TextAlive:音楽に同期した歌詞のKinetic Typography制作環境

加藤 淳, 中野 倫靖, 後藤 真孝

産業技術総合研究所

Kinetic Typographyとは

  • 文字情報を動画としてアニメーションさせ、視聴者の印象に残す表現手法
  • 印刷物上で文字を綺麗に配置するTypographyの動画版
  • 研究ではコミュニケーションツール向けの応用が多い
  • 例）インスタントメッセンジャー、携帯電話のSMSなど
  • 商業的にはテレビや映画のタイトルなどで多く実用されている
  • 例）テレビ番組のタイトルやテロップがアニメーションする動画

p17_intro2

音楽動画でKinetic Typographyを使えば、
歌詞に込められたメッセージがより伝わる

a) 単純なカラオケ表示

p17_karaoke

b) Kinetic Typography (提案システムによる出力)

p17_kinectictypography

p17_intro4

Kinetic Typographyの難しさ

(1) 歌声と文字情報の高度な同期
  • 歌詞は、歌声の発声開始～終了の間だけ表示されているわけではない
  • 歌詞中の文字、単語、フレーズそれぞれに画面上で目立つ瞬間がある
  • 通常は全てのタイミングを手作業で設計する必要があり、手間がかかる
(2) 空間的な意味を持つパラメタ調整
  • Kinetic Typographyにはいくつも典型的なパターンがあり、個別に見れば
    調整すべきパラメタの数は多くなく、しかも空間的な意味を持っている

    例）初期位置、アニメーションの向き、文字を敷き詰める領域の形状など
  • 通常はキーフレームでの位置など、個別具体的な調整を行う必要がある

TextAlive（テキストアライブ）とは

  • 音楽に同期した歌詞アニメーションのKinetic Typography制作に特化
  • Kinetic Typographyを制作する上での難しさを解決する2手法を実装
(1) 音楽＋歌詞＝Kinetic Typography自動生成
  • 音楽情報処理技術により、歌詞のKinetic Typographyに必要なパラメタを全て推定して、初期アニメーションを自動生成
  • 歌詞表示のタイミング推定が誤っていてもインタラクティブに修正できる

p17_textalive_1

(2) Kinetic Typographyの直感的な編集用GUI
  • ユーザはアニメーションをステージ上のGUIで直感的に調節できる
  • プログラマはアルゴリズムとパラメタ調整用GUIを容易に実装できる

p17_textalive_2

歌詞をより魅力的に伝える
動画表現の大衆化