Apple dévoile de nouveaux modèles linguistiques performants et respectueux de la vie privée | JQJO

Apple a publié un rapport technique détaillant ses nouveaux modèles fondamentaux sur appareil et cloud. Le modèle sur appareil, avec 3 milliards de paramètres, est divisé en deux blocs pour une meilleure efficacité mémoire et une vitesse accrue. Le modèle cloud utilise une architecture personnalisée Parallel-Track Mixture-of-Experts pour des réponses plus rapides et plus précises. La prise en charge multilingue a été considérablement améliorée, augmentant les données multilingues de 8 % à 30 % des données d'entraînement. Les sources de données comprenaient le crawl web (en respectant robots.txt), du contenu sous licence et des données synthétiques. Le rapport souligne l'accent mis par Apple sur la confidentialité et l'efficacité.