準ビート同期HMMに基づく歌声F0軌跡の自動採譜
錦見 亮, 中村 栄太, 糸山 克寿, 吉井 和佳
京都大学
研究背景
楽曲の歌声の解析
- 歌声を楽譜成分（音符系列）と逸脱成分（歌唱表現）とに分離
- 歌唱表現の転写や楽曲の検索に応用可能
音符推定問題
音楽音響信号から楽譜（音符の系列）を推定する問題
- 連続的なから離散的な信号への変換
- 歌声F0軌跡からメロディ音符系列を推定
問題設定
入力
- 音楽音高信号化から推定された
- 10ms単位の歌声F0軌跡
- 16分音符単位のビート時刻
出力
- 16分音符単位での音符の音高
歌声の生成過程の定式化
音高と時間変動 ｜ HMMの潜在変数で表現
周波数変動 ｜ HMMの出力確率で表現
尺度パラメータをΔF0に比例させる
歌声F0軌跡の変動と生成過程
時間変動
ビート時刻とオンセット時刻のずれ
周波数変動
楽譜の音高と歌声の音高のずれ
歌声F0軌跡の生成過程とHMMによるモデル化
- 楽譜に時間・周波数変動が付与されて歌声F0軌跡が生成される過程
- 楽譜と時間変動は潜在状態,観測歌声F0軌跡は出力確率で表現
実験結果
音高推定精度
時間・周波数変動に対する結果
ルーズな歌い方が推定できている
変化の大きなビブラートに頑健
音高推定誤りと時間変動の獲得
完全5度やオクターブの誤りが多い
時間変動がうまく学習できていない