コンテンツ共生社会のための類似度を可知化する情報環境の実現
- 研究代表者:後藤 真孝（産業技術総合研究所 首席研究員）
- 音楽を中心とした類似度可知化情報環境の実現と全体統括
- 研究分担者:森島 繁生（早稲田大学 教授）
- 音楽連動動画を中心とした類似度可知化情報環境の実現
- 研究分担者:中村 聡史（明治大学 准教授）
- Webインタラクションを中心とした類似度可知化情報環境の実現
- 研究分担者:吉井 和佳（京都大学 講師）
- 機械学習を中心とした類似度可知化情報環境の実現
本研究は、音楽や動画のようなメディアコンテンツを豊かで健全に創作・利用する「コンテンツ共生社会」に貢献できるように、膨大なメディアコンテンツ間の類似度を人々が知ることができる（可知化する）情報環境を実現する技術基盤の構築を目的とする。さらに、創作支援技術と鑑賞支援技術を研究開発することで、コンテンツの創作や鑑賞を人々が能動的に楽しめる社会や、過去のコンテンツに敬意を払う文化、感動体験重視型のコンテンツ文化の実現に寄与することを目指す。
膨大なコンテンツ間の類似度を
「知ることができる」情報環境
メディアコンテンツを豊かで健全に創作・利用
対象とする主な時系列メディアコンテンツ:音楽（音楽音響信号等）、音楽動画（ミュージックビデオ、ダンス動画等）
OngaCREST：これまでの成果
プロジェクト開始時点での想定を上回る研究成果を創出
- JST戦略的創造研究推進事業CRESTに採択されなければ困難だった大きな挑戦ができた
- 学術的に深みのある基礎技術と社会的インパクトのある応用技術をバランス良く研究開発してきた
- 研究成果をWeb上のサービス等の形で社会に展開しユーザや産業界の声を聞きながらプロジェクトを展開
鑑賞支援技術
- 音楽理解技術等を活用したSongle + Songle Widget、Songriumを公開
- 能動的音楽鑑賞のための様々なインタフェース・機能を実現
創作支援技術
- 音楽理解技術等を活用したTextAlive、Songmash、Songroidを公開
- 人間の能力を補いつつ創作の支援をするインタフェース・機能を実現
類似度・ありがち度の推定と音楽理解技術
- 確率的生成モデルに基づく類似度・ありがち度の推定を実現して応用
- 統計的機械学習等に基づく様々な音楽音響信号解析技術を実現
OngaACCEL：これからの挑戦
「次世代メディアコンテンツ生態系技術の基盤構築と応用展開」
- 5年間の新プロジェクトがJST戦略的創造研究推進事業ACCELに採択
- OngaCRESTプロジェクトの成果を最大限に生かして2016年8月から開始
コピー不可能な能動的体験による価値創出の実現を狙う
- 大規模なメディアコンテンツの蓄積に基づいて新たな価値を生む技術
- 新たなコンテンツを生み出し育む生態系を実現するための技術
OngaCRESTシンポジウム2016で紹介した研究成果
鑑賞支援技術
- Songle & Songle Widget: 楽曲の中身を自動解析する能動的音楽鑑賞サービスとそれに基づく音楽連動制御
- 後藤 真孝, 川崎 裕太, 井上 隆広, 吉井 和佳, 中野 倫靖
- Songrium: 膨大な音楽コンテンツを俯瞰的に鑑賞できる音楽視聴支援サービス
- 濱崎 雅弘, 石田 啓介, 後藤 真孝, 中野 倫靖, 佃 洸摂, 深山 覚
- Songriumコメント分析: 視聴者の時刻同期コメントに基づく音楽動画検索支援サービス
- 佃 洸摂, 石田 啓介, 濱崎 雅弘, 後藤 真孝
- 音楽理解技術に基づくマイクロタスク回答可能な音楽ゲーム自動生成
- 中村 聡史, 三輪 聡哉, 十文字 優斗
- ひとの視覚的特性を利用したエフェクトの付与による音楽動画鑑賞支援
- 松井 啓司, 田村 柾優紀, 松田 滉平, 福地 翼, 山浦 祐明, 大島 遼, 中村 聡史
創作支援技術
- TextAlive: 音楽に同期した歌詞アニメーション制作支援サービス
- 加藤 淳, 中野 倫靖, 後藤 真孝
- Songmash: マッシュアップ音楽の創作支援サービス
- 後藤 真孝, 川崎 裕太, Matthew Davies
- Songroid: 音楽に連動したダンスの分析・生成技術に基づくダンスアニメーション鑑賞サービス
- 深山 覚, 井上 隆広, 後藤 真孝
- Dancing Snap Shot System: 個性あるキャラクタ自動生成とダンス音楽動画創作支援システム
- 岩本 尚也, 谷田川 達也, 加藤 卓哉, Savkin Pavel, 福原 吉博, 中塚 貴之, 野沢 綸佐, 柿塚 亮, 山口 周吾, 朝比奈 わかな, 森島 繁生
- ユーザの好みを反映した3Dダンス編集・創作支援
- 柿塚 亮, 佃 洸摂, 深山 覚, 岩本 尚也, 後藤 真孝, 森島 繁生
- 楽曲の歌詞情報を考慮した手話ダンス創作支援システム
- 朝比奈 わかな, 岩本 尚也, Hubert P.H. Shum, 森島 繁生
- 物理ベースのキャラクタ2次動作生成と音楽シンクロキャラクタ生成
- 岩本 尚也, Hubert P.H. Shum, Longzhi Yang, 森島 繁生
- 音楽と映像のクライマックスシンクロによる音楽動画コンテンツ創作支援
- 佐藤 晴紀, 平井 辰典, 中野 倫靖, 後藤 真孝, 森島 繁生
- 音楽に連動した個性的な手書きアニメーション生成による創作支援
- 佐藤 剣太, 新納 真次郎, 久保田 夏美, 斉藤 絢基, 中村 聡史, 鈴木 正明, 小松 孝徳
類似度・ありがち度の推定と音楽理解技術
- 確率的生成モデルに基づく音楽の類似度とありがち度の推定とその応用
- 中野 倫靖, 持橋 大地, 吉井 和佳, 後藤 真孝
- 音楽動画に対する印象評価データセットの構築
- 土屋 駿貴, 大野 直紀, 阿部 和樹, 中村 聡史, 山本 岳洋, 後藤 真孝, 濱崎 雅弘
- 確率的生成モデルに基づく音楽音響信号解析
- 吉井和佳, 中村 栄太, 糸山 克寿, 後藤 真孝
- 楽譜データに対する音楽言語モデルの教師なし学習
- 中村 栄太, 糸山 克寿, 吉井 和佳
- 階層ベイズ音響・言語統合モデルに基づく多重基本周波数推定
- 尾島 優太, 中村 栄太, 糸山 克寿, 吉井 和佳
- 準ビート同期HMMに基づく歌声F0軌跡の自動採譜
- 錦見 亮, 中村 栄太, 糸山 克寿, 吉井 和佳
音楽の聴き方・創り方の未来を切り拓く技術開発により、
音楽の楽しみ方がより能動的で豊かになる変化を
日常生活に起こすことを目指す。