日本語を高速生成できる拡散言語モデル「ELYZA-LLM-Diffusion」が登場

東京大学の松尾研究室から発足したAI開発企業のELYZAが日本語特化拡散言語モデル「ELYZA-LLM-Diffusion」を2026年1月16日に公開しました。既存の言語モデルで主流な自己回帰モデルではなく画像生成AIで発展した拡散モデルを採用しており、計算コストを抑えた高速生成を特徴としています。

日本語特化拡散言語モデル「ELYZA-LLM-Diffusion」の公開
https://zenn.dev/elyza/articles/f9dd010e895a34

ELYZA、高速な文章生成を可能にする日本語拡散言語モデル「ELYZA-LLM-Diffusion」を開発、商用利用可能な形式で公開 | 株式会社ELYZA
https://prtimes.jp/main/html/rd/p/000000066.000047565.html

既存の言語モデルは自己回帰モデルと呼ばれる仕組みを採用しており、テキストを先頭から順番に生成しています。一方で、ELYZA-LLM-Diffusionは画像生成モデルで活用されている拡散モデルを採用しています。拡散モデルは「ノイズから画像やテキストを生成する」という仕組みで動作し、自己回帰モデルと比べて高速な動作が可能とされています。

ELYZA-LLM-Diffusionは「Dream 7B」という拡散言語モデルをベースに620億トークンの日本語コーパスで追加学習を施した「ELYZA-Diffusion-Base-1.0-Dream-7B」と、1億8000万トークンのデータを用いてインストラクション・チューニングを行った「ELYZA-Diffusion-Instruct-1.0-Dream-7B」の2種類が公開されています。

ELYZA-Diffusion-Instruct-1.0-Dream-7Bの日本語処理性能を拡散言語モデルの「Dream-v0-Instruct-7B」「WeDLM-7B-Instruct」「WeDLM-8B-Instruct」や自己回帰型言語モデルの「ELYZA-Shortcut-1.0-Qwen-7B」「Qwen2.5-7B-Instruct」と比べた表が以下。ELYZA-Diffusion-Instruct-1.0-Dream-7Bは他の拡散言語モデルと比べて高い性能を示しましたが、自己回帰型言語モデルには及ばないことが分かります。

ELYZA-Diffusion-Instruct-1.0-Dream-7Bを実際に動かせるデモが公開されているので、実行してみました。

日本語を高速生成できる拡散言語モデル「ELYZA-LLM-Diffusion」のデモ - YouTube

文章生成中のスクリーンショットが以下。自己回帰型言語モデルでは先頭から順番にテキストが生成されますが、ELYZA-Diffusion-Instruct-1.0-Dream-7Bではテキスト全体を段階的に更新しながら生成処理が進みます。

ELYZAはELYZA-LLM-Diffusionが「拡散言語モデルとして実用的な性能水準」に達したとアピールしています。記事作成時点では自己回帰型言語モデルと比べて生成制度の低さが課題ですが、今後の研究開発によって拡散モデルが言語モデルの新たな標準となる可能性が期待されています。

ELYZA-Diffusion-Base-1.0-Dream-7BとELYZA-Diffusion-Instruct-1.0-Dream-7Bのモデルデータは以下のリンク先で公開されています。ライセンスはApache license 2.0で商用利用が可能です。

elyza/ELYZA-Diffusion-Base-1.0-Dream-7B · Hugging Face
https://huggingface.co/elyza/ELYZA-Diffusion-Base-1.0-Dream-7B

elyza/ELYZA-Diffusion-Instruct-1.0-Dream-7B · Hugging Face
https://huggingface.co/elyza/ELYZA-Diffusion-Instruct-1.0-Dream-7B