IBM afirma que los modelos de pesos abiertos logran 90% del rendimiento por una décima parte del costo
El CEO de IBM sostuvo que los modelos de pesos abiertos alcanzan cerca del 90% de la calidad de los modelos frontier con un 10% del costo, y que pueden operar en dos o tres racks dentro de las instalaciones del cliente.
El consejero delegado de IBM afirmó que los modelos de pesos abiertos ya alcanzan cerca del 90% de la calidad de los modelos frontier por aproximadamente una décima parte del precio, y que ese rendimiento es posible ejecutarlo en dos o tres racks instalados en las dependencias del propio cliente. La declaración coloca la inferencia local en el centro de la discusión sobre costos de inteligencia artificial.
En la misma dirección, Nvidia está impulsando modelos abiertos de embeddings y de reranking orientados al mercado europeo, lo que amplía el catálogo de componentes disponibles para construir sistemas de búsqueda y recuperación de información sin depender de servicios externos. Ambos movimientos apuntan a un mismo fenómeno: la presión por llevar el cómputo desde las interfaces de pago por token hacia hardware propio.
Para los equipos de desarrollo, la consecuencia práctica es que montar un producto con modelos locales de calidad razonable dejó de ser una apuesta meramente experimental y pasó a ser una decisión de costos evaluable. La comparación ya no se reduce a la calidad del modelo, sino al costo total de propiedad: hardware, energía, operación y el trabajo de mantener la infraestructura actualizada.
La discusión también redefine el papel de los proveedores de nube. Si la brecha de calidad se estrecha y el precio se convierte en el factor decisivo, la ventaja competitiva se traslada a quien pueda ofrecer control sobre los datos y previsibilidad en el gasto, más que a quien tenga el modelo más grande del mercado.
Fuente: The Register.