コンテンツ共生社会のための類似度を可知化する情報環境の実現
- 研究代表者:後藤 真孝（産業技術総合研究所 首席研究員）
- 音楽を中心とした類似度可知化情報環境の実現と全体統括
- 研究分担者:森島 繁生（早稲田大学 教授）
- 音楽連動動画を中心とした類似度可知化情報環境の実現
- 研究分担者:中村 聡史（明治大学 准教授）
- Webインタラクションを中心とした類似度可知化情報環境の実現
- 研究分担者:吉井 和佳（京都大学 講師）
- 機械学習を中心とした類似度可知化情報環境の実現
本研究は、音楽や動画のようなメディアコンテンツを豊かで健全に創作・利用する「コンテンツ共生社会」に貢献できるように、膨大なメディアコンテンツ間の類似度を人々が知ることができる（可知化する）情報環境を実現する技術基盤の構築を目的とする。さらに、創作支援技術と鑑賞支援技術を研究開発することで、コンテンツの創作や鑑賞を人々が能動的に楽しめる社会や、過去のコンテンツに敬意を払う文化、感動体験重視型のコンテンツ文化の実現に寄与することを目指す。
コンテンツが単調増加する社会
膨大なメディアコンテンツがデジタル化され
適切な対価で自在にアクセス可能な社会になる
単調増加する過去の膨大なコンテンツの問題
- コンテンツの競争が激化（競争相手が単調増加）
- コンテンツの選択が困難
コンテンツのオリジナリティが危機
- 似ているコンテンツも単調増加して、本体は盗作ではないにも関わらず、盗作疑惑を招く事例が増えてしまう懸念がある
- あらゆる創作は既存コンテンツの影響を受けているのが自然
- 類似度に関する人間の判断速度や「ありがち度」の判断には限界がある
コンテンツが単調増加することによって人々が安心して
コンテンツの制作や発表をしにくい社会になりかねない
過去と未来の共生
過去のコンテンツと共存共栄し敬意を払う文化に貢献
- 論文のようにリファーされ再利用されたら喜びを感じられる新音楽文化
感動体験重視型のコンテンツ文化の実現に寄与
- コンテンツの新規性のみを追求しても人々は幸せになれないのでは？
- 「他にいかに類似していないか」 に価値があるのではない
- コンテンツは本来、人々をいかに感動させ幸せにするかに価値がある
- 感動させる魅力や完成度の高さ等があれば価値があることが重要
デジタル化による「忘却できない社会」における共生という挑戦
- デジタルコンテンツ社会ではもはや忘却できず単調増加する過去の膨大なコンテンツに押しつぶされかねない
豊かで持続発展可能な「コンテンツ共生社会」の実現を目指して
- 過去のコンテンツと未来のコンテンツとの共生を人々が実感できるように
- 人間とコンテンツとの共生により膨大なコンテンツを楽しめる社会に
専門家だけでなく一般の人々が「何が似ているのか」
「どれぐらいありふれているのか」を知ろうと思えば
自在に把握して活用できる技術基盤を構築
膨大なコンテンツ間の類似度を
「知ることができる」情報環境
メディアコンテンツを豊かで健全に創作・利用
対象とする主な時系列メディアコンテンツ:音楽（音楽音響信号等）、音楽動画（ミュージックビデオ、ダンス動画等）
これまでの主要な研究成果
鑑賞支援技術
- 『Songle: Web上の楽曲の中身を自動解析する能動的音楽鑑賞サービス』
- 後藤 真孝，吉井 和佳，川崎 裕太，井上 隆広，中野 倫靖
- 『Songrium: 音楽コンテンツの関係性を可視化する音楽視聴支援サービス』
- 濱崎 雅弘，石田 啓介，後藤 真孝，中野 倫靖
- 『LyricsRadar: 歌詞の潜在的意味分析に基づく歌詞検索インタフェース』
- 佐々木 将人，吉井 和佳，中野 倫靖，後藤 真孝，森島 繁生
- 『音楽理解とアノテーション分析技術によるサムネイル動画自動生成』
- 中村 聡史，山本 岳洋，後藤 真孝，濱崎 雅弘
- 『歌声トピックモデルに基づく類似歌声検索とトピック可視化』
- 中野 倫靖，吉井 和佳，後藤 真孝
- 『音楽音響信号中の調波音の周波数特性およびドラムの音色の置換システム』
- 中村 友彦，吉井 和佳，後藤 真孝，亀岡 弘和
- 『音楽音響信号中の歌声F0軌跡に対する歌唱表現の転写システム』
- 池宮 由楽，糸山 克寿，吉井 和佳
創作支援技術
- 『AutoRhythmGuitar and AutoMashUpper』
- M. McVicar，M. Davies，P. Hamel，K. Yoshii，S. Fukayama，M. Goto
- 『自由なテンポで演奏した複数の演奏データから楽曲を生成するシステム』
- 宮下 芳明，川名 勇気
- 『MachineDancing: 機械学習に基づく音楽に連動したダンスの自動生成』
- 深山 覚，後藤 真孝
- 『TextAlive: 音楽に同期した歌詞のKinetic Typography制作環境』
- 加藤 淳，中野 倫靖，後藤 真孝
- 『VRMixer: 動画と現実の融合による新たなコンテンツの生成』
- 平井 辰典，中村 聡史，森島 繁生，湯村 翼
- 『N次装飾: 動画共有サイト上の動画に対する装飾とその共有手法』
- 中村 聡史，石川 直樹，渡邊 恵太
類似度・ありがち度の推定と音楽理解技術
- 『確率的生成モデルに基づく音楽の類似度とありがち度の推定』
- 中野 倫靖，吉井 和佳，後藤 真孝
- 『半教師ありNMFを利用した音楽信号中のフレーズ検出』
- 増田 太郎，吉井 和佳，後藤 真孝，森島 繁生
- 『統計的機械学習に基づく音楽解析』
- 吉井 和佳，持橋 大地，後藤 真孝
- 『統計的機械学習に基づく言語＝音楽情報処理の横断的展開』
- 持橋 大地，吉井 和佳，後藤 真孝
- 『歌唱音声の統計的知覚年齢制御』
- 小林 和弘，戸田 智基，中野 倫靖，後藤 真孝，G. Neubig，S. Sakti，中村 哲
- 『歌手映像と歌声の解析に基づく音楽動画中の歌唱シーン検出』
- 平井 辰典，中野 倫靖，後藤 真孝，森島 繁生
- 『視聴者コメントに基づく楽曲動画の印象推定とデータセット構築』
- 山本 岳洋，中村 聡史
音楽の聴き方・創り方の未来を切り拓く技術開発により、
音楽の楽しみ方がより能動的で豊かになる変化を
日常生活に起こすことを目指す。