
Un modèle linguistique 1,58 bit révolutionne l'efficacité des LLM
Des chercheurs de Microsoft ont développé un nouveau grand modèle linguistique (LLM) utilisant un système de poids ternaire (-1, 0, 1), réduisant considérablement l'empreinte mémoire et les besoins de calcul. Ce modèle « 1,58 bit », entraîné nativement à grande échelle avec 4 000 milliards de jetons, atteint des performances comparables à celles...








