歌詞から曲を作れる無料の音楽生成AIモデル「YuE」、日本語にも対応し複数の言語が混ざる楽曲も生成可能

「YuE」はAI研究コミュニティのMultimodal Art Projectionや香港科技大学が共同開発した音楽生成AIで、メロディーと歌詞の入った最大5分間の楽曲を生成可能です。モデルデータは無料で公開されており、日本語にも対応しています。

YuE
https://map-yue.github.io/

GitHub - multimodal-art-projection/YuE: YuE: Open Full-song Music Generation Foundation Model, something similar to Suno.ai but open
https://github.com/multimodal-art-projection/YuE?tab=readme-ov-file

YuEはLlama2アーキテクチャをベースに開発された音楽生成AIで、YuEという名称は中国語で「音楽」や「幸せ」を意味する「乐」という単語が元となっています。乐の発音は英語の「yeah」に近いということで、研究チームはデモ音源として「乐」を連呼するポップな楽曲を公開しています。


YuEは歌詞と曲調を指定して楽曲を生成することが可能。以下の楽曲はメタル風の曲調を指定して生成したものです。曲全体の雰囲気を指定して歌詞を自動生成するタイプの音楽生成AIと異なり、イントロ部分やコーラス部分の歌詞を明示的に指定できるのが特徴です。


また、YuEには英語に特化したモデルや中国に特化したモデルなどのバリエーションがあり、「YuE-s1-7B-anneal-jp-kr-cot」と「YuE-s1-7B-anneal-jp-kr-icl」は日本語と韓国語の出力に特化しています。以下の楽曲は韓国の音楽グループ「EXID」の楽曲である「OFFICIAL」をYuEを用いてアレンジしたものです。実際に再生すると、「完璧な関係。端から見ればね」「甘い棘が刺さったままのpain」「愛の魔法に溺れるわ。Abracadabra... in love with you」といった歌詞を上手に歌い上げていることが分かります。ただし、日本語はネイティブ話者ほどの精度ではなく、「韓国のアイドルが日本語を練習して歌っている」といった感じの精度です。


YuEのモデルデータは以下のリンク先で配布されています。

YuE - a m-a-p Collection
https://huggingface.co/collections/m-a-p/yue-6797d55e22990ae89b90a3d6