音楽音響信号中の歌声F0軌跡に対する歌唱表現の転写システム

池宮 由楽, 糸山 克寿, 吉井 和佳

歌唱表現転写システムとは

音楽音響信号から歌手の歌唱表現を抽出し別の歌手の歌唱や歌声合成器に豊かな表現を転写するシステム

歌唱表現

歌声F0軌跡の特徴的な変動

こんなことができるように

「美空ひばりのようなこぶしで初音ミクに歌ってほしい

でも本格的なパラメータチューニングは難しそう」

「スピッツのグリスダウンが好きでたまらない

この曲もスピッツのような歌い方で聞いてみたい」

歌唱表現の抽出

歌唱F0推定

音響信号中に含まれる
歌声のF0軌跡を見つける

時間周波数領域での
最適時系列探索問題
として定式化

歌声F0軌跡の滑らかさ
を課すマルコフモデル

周波数探索範囲の制限

歌唱表現同定

推定された歌声F0軌跡から
歌唱表現を見つける

各歌唱表現を操作可能な
パラメータ表現に落とし込む

パターンマッチングにより
歌唱表現を同定

音楽音響信号への歌唱表現転写

ユーザによる歌唱表現転写

任意歌唱の任意箇所に対して歌唱表現を転写する