Songroid: 音楽に連動したダンスの分析・生成技術に基づくダンスアニメーション鑑賞サービス

深山 覚, 井上 隆広, 後藤 真孝

Songroid （ソングロイド） とは

音楽に連動したCGキャラクタの ダンスアニメーション 鑑賞サービスSonroid ( http://songroid.jp ) [α版を試験公開中]

• 三次元CGキャラクタが踊るアニメーション を見て楽しめるサービス
• 能動的音楽鑑賞サービスSongleと連携して ダンスを自動生成
• キャラクタと背景を Webブラウザ上でリアルタイムにレンダリング
• ダンス分析技術に基づいて 好みのダンス を探して楽しめる
• 「すごい」「かわいい」「かっこいい」動作を探せる シーク機能 と 検索機能
• 動作に対して どのようなコメントが付きやすいか を自動推定

ダンス動作の 印象を表わすコメントの予測 と検索

• 「すごい」「かわいい」「かっこいい」の コメントが付きそうな動作 を推定



• ダンス１曲を通じたコメント予測に基づいたダンス動作検索

ダンスの分析・生成技術

印象空間を通じたダンス動作の分析と生成

• 機械学習によってダンス動作と音楽を 共通の印象空間 に対応付けて分析
• 与えられた 音楽の印象に最も近い印象を与えるダンス を生成

確率モデルで特徴的なダンス動作を機械学習

• ガウシアンプロセス回帰に基づいて、 似た特徴をもつ複数のダンス動作から
その特徴を持つ動作を確率的に生成できる「ダンス語彙」を学習
• 連続時間でダンス動作を出力できる確率モデルとすることで、
分析区間中のダンス動作の 異なるデータポイント数に対応可能

Songroidの今後

ダンスアニメーション創作支援サービスへの発展

• インタラクティブにダンスを制作できるインタフェース構築
• 本研究のダンス自動生成手法を応用して ダンス動画を手軽に制作可能に

楽曲のより深い理解を反映したダンスの自動生成

• 音楽理解技術を活用し 楽曲の内容に連動し構成をもつダンス を自動生成