運指・演奏動作

バイオリンの自動運指推定

この研究は2014年度修士課程修了の長田さん、2017年度学部卒業の渡邉さんが取り組んだ研究です。バイオリンを対象とした自動運指推定の研究で、演奏者の習熟度に対応した適切な運指推定を行うことが特徴です。運指とは楽器を演奏するときの指使いのことで、バイオリンであればどの指でどの弦を抑えるか、に相当します。バイオリンの運指は演奏者の熟練度によって適切な運指が異なるため、同じ音を発することのできる運指が複数存在します。例えば初級者では、できるだけ容易な運指が適切なのですが、習熟が進むにつれ単に演奏、習熟が進むにつれ単に演奏できるだけでなく適切な演奏表現（弦による音色の違い、ビブラートの付与など）を考慮した運指が用いられます。この研究では、このような習熟度に応じた適切な運指を任意の楽譜から決定することが目的です。

様々な習熟度に対応するためには、単に演奏可能で不自然な動きを避ける運指を定めるだけでなく演奏表現を考慮した上で判断する必要があります。演奏者はどのような運指が適切かどうかは楽譜の様々な情報を元に判断していると考えられるため、楽譜に記載されている音符以外の演奏指示記号に着目し、楽譜と運指の関係を確率モデルの一つである条件付き確率場(CRF)によりモデル化することで、教本に記載された運指データから運指推定モデルを学習によって獲得することができます。

コントラバスの演奏動作生成

この研究は2022年度修士課程修了の白井さんが取り組んだ研究です。コントラバスを対象に与えられた楽譜を演奏する際の演奏動作（上半身の身体特徴点の三次元軌跡）を生成することを目的としています。所望の楽譜を演奏するときの押弦のしかたや運弓の動作を3Dモデルで再現することができ、初学者の演奏訓練に役立てたり、演奏表情生成技術などと組み合わせることで仮想演奏者を生成することなどが期待されます。

成果発表

• 長田 若奈, 酒向 慎司, 北村 正, "隠れマルコフモデルを用いたバイオリンの運指推定", 平成24年度電気関係学会東海支部連合大会, 音声言語(2), C5-6, Sep. 2012.

• 長田 若奈, 酒向 慎司, 北村 正, "動的計画法に基づく音符長を考慮したバイオリン運指推定", 情報処理学会第75回全国大会, 4R-6, pp. 275–276, Mar. 2013. [CiNii]

• 長田 若奈, 酒向 慎司, 北村 正, "習熟度に応じたバイオリン運指推定のための確率モデルとパラメータ学習", 情報科学フォーラム　(FIT2013), E-029, pp. 249–250, Sep. 2013. [CiNii] 【奨励賞受賞】

• 長田 若奈, 酒向 慎司, 北村 正, "隠れマルコフモデルによる習熟度に対応したバイオリン運指推定", 情報処理学会研究報告 音楽情報科学(MUS), 2014-MUS-102(11), pp. 1–6, Feb. 2014. [CiNii]

• 長田 若奈, 酒向 慎司, 北村 正, "条件付き確率場に基づくバイオリン運指推定のための教本からのパラメータ学習", 日本音響学会2014年秋季研究発表会, 2-4-5, pp. 909–912, Sep. 2014. [CiNii]

• 長田 若奈, 酒向 慎司, 北村 正, "演奏記号を考慮したバイオリン運指の推定", 情報処理学会研究報告 音楽情報科学(MUS), 2015-MUS-106(8), pp. 1–6, Mar. 2015. [CiNii]

• 渡邉 樹里, 酒向 慎司, "バイオリンの初級者教育に有効な運指推定", 情報処理学会第81回全国大会講演論文集, pp.335–336, Mar. 2019. [IPSJ] [PDF]

• Wakana Nagata, Shinji Sako, and Tadashi Kitamura, "Violin Fingering Estimation According to Skill Level based on Hidden Markov Model", Joint conference of 40th ICMC (International Computer Music Conference) and 11th SMC (Sound & Music Computing conference), pp. 1233–1238, Sep. 2014. [PDF]

• Shinji Sako, Wakana Nagata, and Tadashi Kitamura, "Violin fingering estimation according to the performer's skill level based on conditional random field", Proc. of HCII 2015, Human-Computer Interaction: Interaction Technologies, LNCS 9170, pp.485–494, Aug. 2015. [DOI]

• Takeru Shirai, and Shinji Sako, "3D skeleton motion generation of double bass from musical score", 15th International Symposium on Computer Music Multidisciplinary Research (CMMR), pp.41–46, Nov. 2021. [PDF]