DiffusionGemma : pourquoi Google mise sur un autre paradigme pour générer du texte

Le 10 juin 2026, Google DeepMind a publié DiffusionGemma, un modèle ouvert qui fait quelque chose d’inhabituel pour un système de génération de texte : il ne prédit pas le mot suivant, il débruite un canevas de 256 tokens fictifs en plusieurs passes, puis finalise le bloc entier d’un coup. Présenté par Google comme « quatre fois plus rapide » que les Gemma classiques de taille comparable, le modèle est sorti le même jour qu’un billet technique détaillé signé NVIDIA sur l’optimisation de DiffusionGemma à travers l’ensemble de la gamme RTX et DGX. Ce synchronisme n’est pas anodin : il dit où Google place ce pari technologique.

Le problème que l’autorégressif n’a pas résolu en local

Tous les grands modèles de langage fonctionnent sur le même principe : ils lisent les tokens un par un, de gauche à droite, et ne peuvent pas regarder en avant. C’est rapide à entraîner, simple à paralléliser côté serveur, et c’est devenu le standard de l’industrie. Mais sur une machine locale, cette mécanique se heurte à un mur physique : la bande passante mémoire. Le GPU passe l’essentiel de son temps à attendre que ses données arrivent, pas à calculer. C’est précisément ce que les sources consultées soulignent : sur un seul GPU, la fenêtre où le calcul peut vraiment accélérer la sortie est très étroite.

Google DeepMind a donc cherché un autre angle. Au lieu de demander au modèle d’écrire « le mot suivant », on lui demande de partir d’un canevas entièrement masqué — 256 tokens fictifs — et de l’affiner en parallèle, comme on le ferait pour une image générée à partir de bruit. À chaque passe, le modèle révise ses estimations sur l’ensemble du bloc, pas sur un seul token. C’est ce qu’on appelle la génération par diffusion appliquée au texte, une idée étudiée depuis plusieurs années, mais que peu d’éditeurs avaient industrialisée pour un modèle public de cette taille.

Une fiche technique compacte, héritée de Gemma 4

DiffusionGemma est construit sur l’architecture Gemma 4 26B A4B, une mixture-of-experts où 25,2 milliards de paramètres totaux sont stockés, mais dont seulement 3,8 milliards sont actifs à chaque étape d’inférenceInférence Inférence désigne, dans le contexte de l'intelligence artificielle, le processus opérationnel par lequel un modèle entraîné applique ses connaissances acquises à de nouvelles données inédites pour effectuer une prédiction, une…. Le résultat, documenté par NVIDIA, tient en 18 Go de mémoire vidéo en version compressée : la taille d’une carte graphique grand public haut de gamme. Le contexte peut grimper jusqu’à 256 000 tokens, et le modèle est livré en précisions BF16 et NVFP4.

La promesse de vitesse dépend du matériel. Sur un NVIDIA H100, Google annonce plus de 1 000 tokens par seconde. Sur une RTX 5090, on tombe à environ 700 tokens par seconde selon les mesures relayées par Korben. NVIDIA ajoute deux chiffres plus parlants encore : environ 150 tokens par seconde sur un DGX Spark (le petit poste de travail annoncé récemment) et jusqu’à 2 000 sur un DGX Station. Le gain par rapport à un Gemma 4 standard tourne autour d’un facteur quatre sur la plupart des configurations.

Là où la diffusion change vraiment la donne

La vitesse brute n’est pas le seul intérêt. Les sources consultées insistent sur un point moins repris dans la presse généraliste : les tâches non linéaires. Tant qu’un texte se lit dans l’ordre où il s’écrit, l’autorégressif reste très efficace. Mais dès qu’un mot dépend d’un mot qui n’a pas encore été écrit — édition au milieu d’un paragraphe, complétion d’un bloc de code, résolution d’une grille de Sudoku — le modèle standard doit recommencer plusieurs fois pour s’aligner.

Google a affiné une version spécifique de DiffusionGemma sur le Sudoku, un exercice considéré comme quasi impossible pour un autorégressif puisque chaque case dépend de cases pas encore écrites. Le modèle ainsi ajusté atteint 80 % de réussite, en ramenant le calcul de 48 à 12 étapes selon le billet de Korben qui reprend les chiffres de l’annonce Google. Ce n’est pas un gadget : c’est la preuve que la diffusion permet de revoir globalement un bloc sans repartir de zéro, et que cette propriété est exploitable pour des usages concrets en complétion de code et en édition en ligne.

Les limites assumées

Google ne présente pas DiffusionGemma comme un remplaçant de Gemini 3 ou des Gemma 4 classiques. Le statut du modèle est explicitement expérimental, et Google recommande de rester sur Gemma 4 standard pour les usages où la qualité de la sortie compte plus que la latenceLatence Latence désigne le délai temporel qui s'écoule entre le déclenchement d'une action et la survenue de son effet, correspondant souvent au temps nécessaire pour qu'une donnée transite d'un point source…. La raison est intuitive : sur une image, un pixel raté passe inaperçu ; sur un texte, un token mal prédit peut rendre un paragraphe entier incohérent. Et pour une réponse de cinq mots, débruiter un canevas complet gaspille du calcul.

C’est d’ailleurs ce que soulignent les sources françaises : « c’est pour ça que les gros Gemini du cloud n’y passent pas ». Le pari de Google n’est donc pas de remplacer l’autorégressif, mais de lui trouver un complément sur le terrain précis où il est faible : l’inférence locale, l’édition non linéaire, la latence interactive.

Pourquoi NVIDIA était prêt dès le jour J

Le fait que NVIDIA publie un billet technique complet le 10 juin, le jour exact de l’annonce, n’est pas un hasard de calendrier. Cela montre que l’optimisation a été conduite en parallèle entre les deux équipes : checkpoints BF16 et NVFP4 publiés simultanément sur Hugging Face, intégration day-zero dans Hugging Face Transformers, vLLM, Unsloth, et NIM côté NVIDIA. La société pousse l’inférence locale sur RTX comme alternative à la centralisation cloud, et un modèle qui déplace le goulot de la mémoire vers le calcul lui donne un argument matériel de plus.

Pour le développeur, l’effet est concret : un modèle ouvert, sous licence Apache 2.0, utilisable commercialement sans restriction, qui s’installe sur une carte grand public et qui change la nature du goulot qu’il rencontre. DiffusionGemma ne remplacera pas Gemini pour une conversation longue, mais il ouvre un espace que peu de modèles occupaient jusqu’ici : celui d’un texte généré rapidement, localement, et révisable globalement plutôt que pas à pas.