Google 《DiffusionGemma》, 기존 언어 모델을 텍스트 확산 모델로 전환

《DiffusionGemma》는 Gemma 4를 처음부터 다시 학습하지 않고 256토큰을 병렬 정제하는 확산 모델로 전환한 실험입니다. 빠른 출력과 자기 수정이 장점이지만 추론 품질과 동시 처리에는 한계가 있습니다.

개발 Google DeepMind

기반 모델 Gemma 4 26B-A4B

공개 2026-06-10

라이선스 Apache 2.0

텍스트를 병렬로 다듬는 확산 모델

Google DeepMind의 《DiffusionGemma》는 다음 토큰을 하나씩 예측하는 일반적인 자기회귀 언어 모델과 달리, 256개 토큰 블록을 한꺼번에 놓고 여러 단계에 걸쳐 정제합니다. 이미지 확산 모델이 노이즈에서 이미지를 복원하듯 문장 전체를 동시에 다루는 실험적 텍스트 생성 모델입니다.

완전히 새 모델을 학습한 것이 아니라 Gemma 4 26B-A4B를 확산 구조로 전환했습니다. 기술 보고서에 따르면 원래 학습 토큰 예산의 10% 미만을 사용했으며, 26B MoE 구조 가운데 추론 시 약 3.8B 파라미터만 활성화합니다.

양방향 어텐션 덕분에 뒤쪽 문맥을 보면서 앞부분의 오류를 생성 도중 수정할 수 있습니다. H100 단일 GPU에서 초당 약 1,500토큰을 기록했으며, Google의 공식 안내는 하드웨어와 설정에 따라 1,000토큰 이상, 기존 방식보다 최대 4배 빠른 출력을 제시합니다.

다만 모든 상황에서 기존 Gemma 4보다 좋은 것은 아닙니다. 일반 추론 품질은 자기회귀 기반 모델에 미치지 못하고 반복 출력이 생길 수 있으며, 동시 요청이 많아지면 단일 사용자 환경에서의 속도 우위도 줄어듭니다. Google 역시 연구와 특화 모델 개발을 위한 실험적 공개 모델로 설명합니다.

Maru