音楽と映像のクライマックスシンクロによる音楽動画コンテンツ創作支援

佐藤 晴紀, 平井 辰典 *1 , 中野 倫靖 *2 , 後藤 真孝 *2 , 森島 繁生

早稲田大学, *1 駒澤大学, *2 産業技術総合研究所

研究目的

クライマックス（ 盛り上がり箇所 ）が同期したBGMの 自動生成

p23_mokuteki

1.はじめに

BGMの編集作業には 労力がかかる

p23_hajimeni

簡単に魅力的な BGMを編集できる技術が必要

2.提案手法

盛り上がり箇所の検出：動画
[Hanjalic et al., 2005]

p23_syuho1

盛り上がり箇所の検出：楽曲

p23_syuho2

楽曲の補間・生成
[Wenner et al., 2013]
動的計画法を用いた 拍単位での切り貼りによりBGMを生成

p23_syuho3

3.評価実験

実験内容

  • 質問：BGMが動画を 魅力的にしているか
  • 比較手法： 盛り上がり と 長さ の同期（提案1）、 盛り上がり の同期（提案2）、 長さ の同期（Wenner et al., 2013）
  • 使用動画：スポーツ、発表会見、映画
p23_jikken_hyo
p23_jikken_graph

4.まとめ

  • 動画や楽曲の 盛り上がり箇所 の検出
  • 盛り上がり箇所 と 長さ が一致したBGMの自動生成

今後の課題

  • 盛り上がり箇所検出の 精度の向上
  • 歌声 がある楽曲への対応