音楽と映像のクライマックスシンクロによる音楽動画コンテンツ創作支援

佐藤 晴紀, 平井 辰典*1, 中野 倫靖*2, 後藤 真孝*2, 森島 繁生

早稲田大学, *1駒澤大学, *2産業技術総合研究所

研究目的

クライマックス(盛り上がり箇所)が同期したBGMの自動生成

p23_mokuteki

1.はじめに

BGMの編集作業には労力がかかる

p23_hajimeni

簡単に魅力的なBGMを編集できる技術が必要

2.提案手法

盛り上がり箇所の検出:動画
[Hanjalic et al., 2005]

p23_syuho1

盛り上がり箇所の検出:楽曲

p23_syuho2

楽曲の補間・生成
[Wenner et al., 2013]
動的計画法を用いた拍単位での切り貼りによりBGMを生成

p23_syuho3

3.評価実験

実験内容

  • 質問:BGMが動画を魅力的にしているか
  • 比較手法:盛り上がり長さの同期(提案1)、盛り上がりの同期(提案2)、長さの同期(Wenner et al., 2013)
  • 使用動画:スポーツ、発表会見、映画
p23_jikken_hyo
p23_jikken_graph

4.まとめ

  • 動画や楽曲の盛り上がり箇所の検出
  • 盛り上がり箇所長さが一致したBGMの自動生成

今後の課題

  • 盛り上がり箇所検出の精度の向上
  • 歌声がある楽曲への対応