Google's DiffusionGemma proves you don't need to train from scratch to build a text diffusion model
開発 Google DeepMind ベースモデル Gemma 4 26B-A4B 公開 2026-06-10 ライセンス Apache 2.0 · テキストを並列に洗練する拡散モデル · Google DeepMindの《DiffusionGemma》は、次のトークンを1つずつ予測する一般的な自己回帰型言語モデルとは異なり、256トークンのブロックを一度に扱い、複数の段階にわたって精製します。画
ベースモデル Gemma 4 26B-A4B
公開 2026-06-10
ライセンス Apache 2.0
テキストを並列に洗練する拡散モデル
Google DeepMindの《DiffusionGemma》は、次のトークンを1つずつ予測する一般的な自己回帰型言語モデルとは異なり、256トークンのブロックを一度に扱い、複数の段階にわたって精製します。画像拡散モデルがノイズから画像を復元するように、文全体を同時に扱う実験的なテキスト生成モデルです。
完全に新しいモデルを学習したのではなく、Gemma 4 26B-A4Bを拡散構造へと変換しました。技術報告書によると、元の学習トークン予算の10%未満を使用し、26B MoE構造のうち推論時に有効化されるパラメータは約3.8Bのみです。
双方向アテンションにより、後ろの文脈を見ながら、生成中に前半部分の誤りを修正できます。H100単一GPUで毎秒約1,500トークンを記録し、Googleの公式案内では、ハードウェアと設定により1,000トークン以上、従来方式より最大4倍高速な出力が示されています。
ただし、あらゆる状況で従来のGemma 4を上回るわけではありません。一般的な推論品質は自己回帰型モデルに及ばず、出力が繰り返されることもあります。また、同時リクエストが増えると、単一ユーザー環境での速度面の優位性も小さくなります。Googleも、研究や特化モデル開発のための実験的な公開モデルと説明しています。