楽曲の歌詞情報を考慮した手話ダンス創作支援システム

朝比奈わかな, 岩本尚也, Hubert P.H. Shum*1, 森島繁生

早稲田大学, *1Northumbria University

はじめに

3D生成ツールの普及

近年、MikuMikuDanceのような3D制作ツールの普及により3Dキャラクタを踊らせるようなダンス動画が多く作成されるようになった。しかし、一つの作品を生成するには多くの時間的労力や知識が必要である。

ダンスモーションの自動生成

このような背景から簡単にダンスモーションを自動生成する研究が行われるようになった。

[Shiratori et al. 2006]
楽曲の盛り上がりを考慮

[Takano et al. 2010]
モーションラベルを考慮

ダンスの楽曲の歌詞の意味やダンスに含まれる
感情的要素を十分に表現しきれていない

手話ダンスの可能性

一方、手話ダンスは手話とHIPHOPなどのダンスを組み合わせたダンスであり、楽曲の歌詞や雰囲気を適切に伝えることができる。

研究目的

音楽の歌詞情報を考慮した手話ダンス自動生成

簡単に意味のあるモーションを付与することができるようにすることが可能。

提案手法

研究の概要

１．手話ダンスデータの取得

モーションキャプチャシステムを用いることで、手話ダンスモデル構築の際に必要となる学習用モーションデータを取得した。

手話モーション・手話ダンスモーション（各１０曲分）
それら２０曲分のモーションを４カウント毎に分割したセグメント（３６０セグメント×２）

２．手話ダンスモデルの構築

重回帰分析を用いることで手話ダンスモデルを構築する。

３．使用する特徴量

我々は推定の際に用いるモーション特徴量として以下を用いた。

６つの関節のクオータニオン（２４次元）
手・腕・ルートなど上半身に関する６つの関節

４．候補手話ダンス決定

γが最小のセグメントを最終候補とする

モーション特徴量距離α：推定された各セグメントと学習データの特徴量距離
姿勢類似度1/β：前セグメントとの接続部分の姿勢類似度

※入力楽曲とのBPMの差が閾値以上の候補セグメントは除外
※w1, w2 = 1

結果と考察

生成結果から、出力された手話ダンスは入力の手話の動きを強調するような動きが多く見られた(図２）。また、モーションキャプチャで取得した元の手話ダンスの動きと同じような動きが推定・生成された(図３）。

まとめと今後の課題

我々は楽曲の歌詞を考慮した手話ダンス自動生成手法を提案した。これにより、楽曲に合った意味を持つダンスモーションを生成できるようになるため、見ごたえのあるダンスモーションを作成することができる。

今後の課題・・・

音響特徴量を使用したモーション推定
手話データ入手することで入力は歌詞と音響特徴量のみに
主観評価実験による生成結果の評価

謝辞:: 上記の図では、ピアプロ・キャラクター・ライセンスに基づいてクリプトン・フューチャー・メディア株式会社のキャラクター「鏡音レン」を使用した。その3Dモデルには、もぐら氏およびLat氏によって制作されたMMD用モデルを使用した。