音楽音響信号中の調波音の周波数特性およびドラムの音色の置換システム

中村 友彦, 吉井 和佳*1, 後藤 真孝*2, 亀岡 弘和

システムの概要

加工による音楽理解の促進

• 音楽を聴くだけでなく、加工して深く理解
• 既存楽曲を編集して、自由にリミックス曲を作成可能

音楽音響信号間で音色情報を置換

• 入力およびリファレンスとして多重音の音楽音響信号が使用可能
• 調波楽器音と打楽器音の両方を置換可能
• 楽譜情報がなくても置換可能

調波打楽器音分離[Ono+08]

調波楽器音の周波数特性置換

入力の調波楽器音成分の振幅スペクトルを変形

• 調波楽器音スペクトルからボトム・トップエンベロープの推定[亀岡+06]
• 入力のエンベロープがリファレンスのエンベロープに似るように入力の振幅スペクトルを変形

ドラムの音色置換

リファレンスのドラムの音色を用いて入力のリズムの打楽器音複素スペクトログラムを構築

• HPSSで得られた打楽器音の複素スペクトログラムを、非負値行列因子分解とWienerフィルタにより各ドラム楽器の複素スペクトログラムに分離
• 入力とリファレンスの各ドラム楽器音のペア同士で音色転写

切り貼り法

• 入力とリファレンスのスペクトログラムを時間アライメント
• 音色の差異に頑健な特徴量：非負値行列因子分解のアクティベーション
• 動的計画法により効率的に最適経路を導出
• 最適経路にしたがって、リファレンスの複素スペクトログラムを切り貼り

主観評価実験

11人の被験者による5段階MOS評価

• Q1：「調波楽器音の音色がリファレンスから入力に適切に置換されているか」
• Q2：「ドラムの音色がリファレンスから入力に適切に置換されているか」

システムが適切に動作していることを確認

• Q1とQ2どちらについてもMOS値が1に比べ有意差有り
• （t検定：p<0.01）