Mercury 3 apuesta por modelos de difusión a escala frente a los transformers

Inception Labs publicó Mercury 3, su apuesta por llevar a escala los modelos de lenguaje basados en difusión, una arquitectura que hasta hace poco se consideraba experimental frente al dominio de los transformers. El anuncio escaló al primer lugar de Hacker News, con alrededor de 120 puntos y medio centenar de comentarios, lo que da una idea del interés que despertó entre desarrolladores.

La diferencia técnica es de fondo. Los transformers generan texto token por token, de forma secuencial, mientras que los modelos de difusión producen la salida en paralelo, refinando el resultado en varias pasadas. En teoría, ese enfoque reduce la latencia y el costo por token, porque aprovecha mucho mejor el paralelismo del hardware de inferencia en lugar de encadenar cálculos uno detrás de otro.

Si la calidad del modelo se mantiene a medida que crece, el impacto se sentiría en cualquier producto que dependa de IA generativa: asistentes con respuestas casi instantáneas, pipelines que procesan grandes volúmenes de texto y aplicaciones donde el costo de inferencia es hoy el principal freno para escalar. También obliga a revisar supuestos de ingeniería arraigados, desde el diseño de prompts hasta la forma de medir latencia y de cachear resultados.

El anuncio no cierra la discusión, sino que la reabre. La comunidad ya está comparando resultados con modelos de referencia y preguntando por reproducibilidad, licencias y disponibilidad real para producción. Que una arquitectura alternativa llegue a escala es, en sí mismo, una señal de que el ecosistema busca salidas al costo creciente de los modelos actuales.

Fuente: Hacker News / Inception Labs.