ユーザの好みを反映した3Dダンス編集・創作支援

柿塚 亮, 佃 洸摂*1, 深山 覚*1, 岩本 尚也, 後藤 真孝*1, 森島 繁生

早稲田大学, *1産業技術総合研究所

目的

ユーザの好みを反映したキャラクタダンスアニメーション制作システム

p20_mokuteki

はじめに

提案システムにおける技術的課題

  1. ユーザがどのようにデータベースから好みの振付を探すか?
  2. ユーザが指定した振付間のダンスをどのように自動生成するか?

関連研究

  1. モーション検索に関する研究
  2. p20_hajimeni1

    ユーザの負担が大きい

    振付の知識が必要

  3. 音楽にシンクロしたダンスの自動生成に関する研究
  4. p20_hajimeni2

    ユーザ指定振付間の
    ダンス生成手法が必要

1.ダンスモーション検索

好みの振付の探索方法

  • ユーザが指定した楽曲中の任意の部分について、候補の振付となるモーションデータを複数掲示し、ユーザは楽曲と合わせてダンスをプレビューしながら、探索的に好みの振付を検索
  • ユーザは適合フィードバックに基づくモーション検索アルゴリズムにより、掲示される候補モーションを変更可能

p20_dancemotion

掲示される候補モーション

  • 好みの振付と出会う可能性を高めるため、検索の初期段階では掲示モーション間の非類似度は大きく、検索を繰り返すことでユーザの好みに近いダンスモーションに探索範囲が絞られていく
  • 編集中の楽曲部分と候補モーションの相性、ユーザがどのようなモーションに高評価を付けたかを同時に考慮
  • p20_kouhomotion2

    p20_kouhomotion1

2.ユーザ指定振付間のダンス生成

ダイクストラ法を用いて一連の自然なダンスを生成

p20_danceseisei1

  • ① 入力楽曲のテンポに対応するため、1小節の長さを基準にダンスセグメントを正規化し,上図のようにグラフ構造を生成
  • ② 各セグメント間で姿勢の連結性と動きの連結性を評価し、コスト関数の総和を最小化するセグメント列をダイクストラ法で算出
  • p20_danceseisei2

  • ③ 選ばれたセグメント列の各セグメント間の姿勢を三次関数補間で滑らかにつなげて一連のダンスを生成

謝辞:
上記の図では、ピアプロ・キャラクター・ライセンスに基づいてクリプトン・フューチャー・メディア株式会社のキャラクター「初音ミク」を使用した。その3Dモデルには、Lat氏によって制作されたMMD用モデルを使用した。