MachineDancing: 機械学習に基づく音楽に連動したダンスの自動生成

深山 覚, 後藤 真孝

MachineDancing とは

音楽に連動した3次元CGキャラクタのダンスを自動生成

• ダンス制作にかかる多大な時間や労力などの困難を克服
• 人手では限界のある、状況に応じた多様な動作の動的な生成を実現

楽曲とダンスが対応付いたデータからダンス動作を学習し生成

• ダンス断片の切り貼りでないため楽曲に応じて新たな動作を生成可能
• 学習データを変えれば、それに伴って異なったダンスを生成

「ダンス語彙」の概念を考案しダンス動作の確率モデルを構築

• 「ダンス語彙」：類似した特徴を持つダンス動作の確率的な生成源
• ダンス語彙を隠れ状態とする隠れマルコフモデルでダンス動作を学習
• ダンス動作（位置座標+クォータニオン）と音響特徴量（MFCC+ΔMFCC）のダンス語彙との関係を（混合）ガウシアンプロセスでモデル化

音楽と連動したダンス生成

入力した楽曲の音響特徴量のもとで確率的にダンス動作を生成

• 学習した確率モデルに基づいて尤度最大のダンス語彙の系列を探索
• 求まったダンス語彙の列からガウシアンプロセスにより動作を生成
• ダンス語彙から生成されたダンス同士をそれぞれ3-4拍目で動作を補間し1曲を通じて滑らかに連なる動作を生成
• 同じ楽曲でも確率モデルの分散に基づき異なったダンス動作を生成可能

ダンス動作の機械学習

ダンス動作をビート構造に基づいた分析区間に区分して分析

• 長さ1.5小節ごとに0.5小節分オーバーラップさせながら逐次的にダンス動作を区分することで、区間の接続部分を含めてダンス動作を分析
• 楽曲間で異なるテンポに対応するため1小節の長さを基準に時刻を正規化

確率モデルによってクラスタリングを行いダンス語彙を学習

• ガウシアンプロセスに基づいて、共通した特徴をもつダンス動作同士を集めその特徴を持つ動作を確率的に生成できるダンス語彙を学習
• 連続時間でダンス動作を出力できる確率モデルとすることで、分析区間中のダンス動作の異なるデータポイント数に対応可能

MachineDancingの今後

インタラクティブにダンスを制作できるインタフェース構築

• 本研究のダンス自動生成手法を応用してダンス動画を手軽に制作可能に

楽曲のより深い理解を反映したダンスの自動生成

• 音楽理解技術を活用しながら新たな音響特徴量や機械学習手法を検討して楽曲の盛り上がりに連動し構成をもつダンスを自動生成