ニューラルネットによる合成チェロ

火曜〜木曜は東京にてレッスン。ご利用&お越し頂いた皆様有難うございました。特に水曜日の猛暑の中お越し頂いた方々、大感謝です。来週頭も38度の猛暑とのこと。どうぞ皆々様お気をつけてお過ごし下さい。

今朝配信されたThe Stradのメールマガジンに「チェロのAIゲーム」の記事が出ていた。?意味不明?Viola the Birdというもの。早速やってみた。

下記リンクです。PCでもiPadでもできました。

Viola the Bird - Google Arts & Culture
Play a cello inspired instrument with Viola the Bird and the help of machine learning! An experiment by David Li.

画面上の弓をマウスドラッグやスワイプで動かすと音が出る。これが機械学習モデルによって生成したリアルタイム合成音声によってチェロの音が出ているのだそうだ(仕組みを自分は分かっていません)。録音やサンプリングによる音源ではなく、動きに応じた音の変化を学習させコンピューター内で生成させた音という事だろうか。従ってチェロの音ではなくAIが覚えたチェロのような楽器の音。

仕組みは分かっていないのだがやってみると面白い。動きに応じて音色や音量が変化する様は、確かによく似ている。乱暴に弾けば下手な音が出るし、ムラなく均質な動きにすればそれらしい音が出る。動きに応じて今まさに発生させた音というところが興味深い。左右に動かすだけでこれだけ音の印象が変わるということも(ボウイングの均質性は大事)。

仮想現実空間による楽器演奏に繋がりうるし、本当の「エアヴァイオリン」ができるのだ。手の動きをカメラで撮影しその動きから音を合成すれば「ヴァイオリン演奏」ができるのだ。そしてAIによる学習で未知の楽器も作成し得る。

こんな未来に我々は到達しているのだ。素直にすごい。