楽譜データに対する音楽言語モデルの教師なし学習

中村 栄太, 糸山 克寿, 吉井 和佳

京都大学

音楽言語モデルの教師なし学習

各楽曲に特有な文法を記述するモデルの構築

  • ジャンル・スタイル・作曲者により異なる多様な音楽文法を精密に表現
  • 多くの楽曲では、反復構造により現れる音符のパターンは少数
    ⇒ コンパクトな音楽文法の学習
  • 音楽の背後にある構造・規則をデータから学習

従来
音楽全般に共通するモデル

本研究
楽曲ごとに個別なモデル

p29_kyoushinashi

音型の反復と変形の階層ベイズモデル

3ステップからなる楽曲生成過程のモデル

  1. 楽曲で用いる（少数の）音型の選択
  2. 音型の貼り合わせ（反復）による音符列の生成
  3. 音型の変形による最終的な音符列の生成

p29_kaisomodel
楽譜データから音型や変形パターンの学習が可能

リズム採譜への応用

目標：MIDI演奏から楽譜（リズム）を推定

  • テンポ変動や動作ノイズにより不正確なリズムから正しいリズムを復元
  • 音型モデルを用いて背後にある文法を同時推論
動的システムによる演奏のリズム変動モデル

p29_oyo

音楽文法構文木の学習

音楽理論GTTMで現れる音符列の構文木を
統計モデル（PCFG）を用いて学習

p29_gakusyu