Read, Watch or Listen

Des chercheurs de Microsoft ont développé un nouveau grand modèle linguistique (LLM) utilisant un système de poids ternaire (-1, 0, 1), réduisant considérablement l'empreinte mémoire et les besoins de calcul. Ce modèle « 1,58 bit », entraîné nativement à grande échelle avec 4 000 milliards de jetons, atteint des performances comparables à celles des modèles en pleine précision, fonctionnant efficacement sur un processeur de bureau. Contrairement aux méthodes de quantification précédentes, ce modèle open source évite une dégradation significative des performances, marquant une avancée majeure dans la conception efficace des LLM.

Prepared by Jonathan Pierce and reviewed by editorial team.