音楽情報処理

第８回：自動・作編曲システムと構成原理（5/30実施）

目標

• 自動作・編曲研究の歴史的概観
• イリアック組曲（世界初の計算機による自動作曲の実験）
• ルールの利用
• 乱数の利用
• 自動作・編曲システムと創造性
• 主要自動作曲システム（深層学習以前）
• EMI（David Copeによる自動作曲プロジェクト）　音源（とヒトによる添削事例）
• ハービー君（演繹オブジェクト指向DBによるリハーモナイゼーション）
• Continuator（掛け合いでのメロディ生成）
• Orpheus（言語韻律制約に基づくメロディ生成）
• Band In A Box（昔からある商用システム）
• 主要自動作曲システム（深層学習以降）とその構成原理
• DeepBach（双方向RNNでのソプラノ課題（バスパート、アルト、テノールパートの生成））
• MusicTransformer（Google Brain 2018, 長期依存性を扱える自己回帰型Transformerによる（Relative Attention）によるMIDI音楽生成モデル）
• MuseNet（OpenAI 2019, 最大15楽器・多ジャンルに対応した音楽生成、GPT風のTransformerを用いた条件付き音楽生成）
• Mubert（Mubert Inc., 商用向けBGM生成AI。ユーザ入力に基づきルールベースと深層学習を組み合わせた生成（詳細なモデルは非公開））
• Jukebox（OpenAI, 2020 VQ-VAE＋自己回帰Transformerで歌詞付き音楽生成、マルチスケール音声生成モデル）
• MusicLM（Google Research 2023, 階層的自己回帰型Transformerで音楽トークン列を生成、MuLanと音響トークン化を組み合わせたマルチモーダル生成）
• MusicLDM（UCSD 2023, CLAPと拡散モデル（Latent Diffusion）を統合、音楽の潜在表現を用いた高自由度な音楽生成）
• Udio（Uncharted Labs 2024, 歌詞・ボーカル付き音楽を即時生成。大規模言語モデル（LLM）＋音声合成を用いた商用指向モデル（詳細非公開））
• 乱数と音楽制約の利用によるMAXでのメロディ生成テクニック
• uni-gramによる音列生成
• 音階（スケール）制約の利用
• 擬似1/f乱数の生成

事前準備

1. 主要自動作曲システムとその構成原理の所で取り上げているシステムのリンク先を探索し、視聴ならびに予習を行っておく。
2. 講義資料（ドラフト）

課題