Un modèle linguistique 1,58 bit révolutionne l'efficacité des LLM
Tap title to read story
Des chercheurs de Microsoft ont développé un nouveau grand modèle linguistique (LLM) utilisant un système de poids ternaire (-1, 0, 1), réduisant considérablement l'empreinte mémoire et les besoins de calcul. Ce modèle « 1,58 bit », entraîné nativement à grande échelle avec 4 000 milliards de jetons, atteint des performances comparables à celles des modèles en pleine précision, fonctionnant efficacement sur un processeur de bureau. Contrairement aux méthodes de quantification précédentes, ce modèle open source évite une dégradation significative des performances, marquant une avancée majeure dans la conception efficace des LLM.
Des chercheurs de Microsoft ont développé un nouveau grand modèle linguistique (LLM) utilisant un système de poids ternaire (-1, 0, 1), réduisant considérablement l'empreinte mémoire et les besoins de calcul. Ce modèle « 1,58 bit », entraîné nativement à grande échelle avec 4 000 milliards de jetons, atteint des performances comparables à celles des modèles en pleine précision, fonctionnant efficacement sur un processeur de bureau. Contrairement aux méthodes de quantification précédentes, ce modèle open source évite une dégradation significative des performances, marquant une avancée majeure dans la conception efficace des LLM.
More context
Sources
JQJO Editorial Desk · Human reviewed · AI assisted. Report a correction.
