FreeToken: inferencia de modelos MoE de frontera en hardware de consumo

Un nuevo enfoque de co-ejecución dinámica permite correr inferencia de modelos expert-mixture de nivel frontera en hardware doméstico, según InfoQ.

Contexto: Es la tendencia que más le conviene seguir a un dev en LatAm: modelos grandes corriendo en la máquina local sin depender de APIs caras. Si madura, cambia las cuentas de costo y privacidad de cualquier proyecto personal o de cliente.

Fuente: InfoQ