Modelo de lenguaje grande de 1.58 bits de Microsoft reduce la memoria y el consumo computacional
Tap title to read story
Investigadores de Microsoft han desarrollado un nuevo modelo de lenguaje grande (LLM) utilizando un sistema de pesos ternario (-1, 0, 1), reduciendo significativamente el espacio de memoria y las necesidades computacionales. Este modelo de "1.58 bits", entrenado de forma nativa a escala con 4 billones de tokens, logra un rendimiento comparable a los modelos de precisión completa, ejecutándose eficientemente en una CPU de escritorio. A diferencia de los métodos de cuantificación anteriores, este modelo de código abierto evita una degradación significativa del rendimiento, lo que representa un avance clave en el diseño eficiente de LLM.
Investigadores de Microsoft han desarrollado un nuevo modelo de lenguaje grande (LLM) utilizando un sistema de pesos ternario (-1, 0, 1), reduciendo significativamente el espacio de memoria y las necesidades computacionales. Este modelo de "1.58 bits", entrenado de forma nativa a escala con 4 billones de tokens, logra un rendimiento comparable a los modelos de precisión completa, ejecutándose eficientemente en una CPU de escritorio. A diferencia de los métodos de cuantificación anteriores, este modelo de código abierto evita una degradación significativa del rendimiento, lo que representa un avance clave en el diseño eficiente de LLM.
More context
Sources
JQJO Editorial Desk · Human reviewed · AI assisted. Report a correction.
