Llama 3.1 est un grand modèle d'IA dont la principale caractéristique est qu'il est open source , contrairement à des concurrents tels que le GPT-4o d'OpenAI ou le Claude 3.5 Sonnet d'Anthropic . Mais pas seulement : il s’agit du plus grand modèle d’IA open source du marché, capable de véritablement concurrencer les modèles mentionnés ci-dessus. Formé sur plus de 16 000 GPU NVIDIA H100, un investissement à lui seul valant des centaines de millions de dollars, Llama 3.1 propose jusqu'à 128 Ko de fenêtre contextuelle , prend en charge huit langues, dont le français et, dans sa plus grande version, est équipé de 405 milliards de paramètres (à titre de comparaison , Llama 3 n'en compte « que » 70 milliards, dans sa plus grande version, et 8 milliards dans la plus petite). Un géant du secteur de l'IA, à tel point que Mark Zuckerberg s'est déclaré convaincu que dans les mois à venir, il contribuera à pousser l'utilisation du chatbot Meta AI au point de dépasser celle de ChatGPT avec ses 100 millions d'utilisateurs. Des constats forts, mais appuyés par les énormes investissements et les benchmarks partagés par l'entreprise (à prendre pour ce qu'ils sont, en tant que propriétaires). Llama 3.1 est capable de surpasser GPT-4o et Claude 3.5 Sonnet dans certains contextes, mais le gros avantage est que selon Meta, il coûte la moitié du prix des modèles en production mentionnés ci-dessus, et il est open source . De plus, Llama 3.1 a également été testé pour la première fois pour des cas d'utilisation potentiels en matière de biochimie et de cybersécurité . Llama 3.1 peut s'intégrer à une API de moteur de recherche pour « récupérer des informations sur Internet sur la base d'une requête complexe et appeler plusieurs outils successivement pour accomplir vos tâches ». Par exemple, vous pouvez faire une requête au modèle, qui récupérera des données sur le Web et pourra même générer du code Python puis l'exécuter.

Meta pense que Llama 3.1 permettra de nouvelles applications et paradigmes de modélisation, y compris la génération de données synthétiques pour permettre l'amélioration et la formation de modèles plus petits. Une curiosité : vous avez peut-être remarqué que Gemini est absent des comparaisons. Selon une déclaration à The Verge , Meta n'a pas réussi à utiliser l'API de Google pour reproduire ses résultats, elle ne l'a donc pas inclus dans les comparaisons. Mais sur quoi Llama 3.1 est- il formé ? C'est un point assez obscur. La société a déclaré avoir adopté une procédure post-formation itérative, dans laquelle chaque cycle utilise un réglage fin supervisé et une optimisation directe des préférences. Cela nous aurait permis de créer des données synthétiques de très haute qualité pour chaque tour et d'améliorer les performances de chaque capacité. Cependant, pour la formation, il n'a pas été révélé quelles données ont été utilisées, ce qui est assez courant pour les entreprises qui créent des modèles d'IA. Il est désormais clair qu’Internet ne suffit plus à former des modèles, et de plus en plus d’entreprises se tournent vers les données synthétiques (une des applications possibles de Llama 3.1). Cependant, selon certains, il s’agit d’une tactique visant à retarder l’inévitable assaut des poursuites pour violation du droit d’auteur . Lors du lancement, Zuckerberg a expliqué pourquoi ces énormes investissements pour un projet open source : au fond, il est convaincu que cela permettra d'économiser des milliards de dollars à l'avenir. Selon le fondateur de Facebook, les modèles d'IA open source surpasseront les modèles propriétaires , un peu comme Linux est devenu le système d'exploitation open source qui alimente la plupart des téléphones, serveurs et appareils du marché.

Zuckerberg fait la comparaison avec son Open Compute Project , le système de centre de données de Meta, qui, selon lui, a permis à l'entreprise d'économiser des milliards de dollars en permettant à d'autres entreprises d'aider à améliorer et à standardiser le code. Il en va de même pour les modèles d'IA, et pour cette raison, Llama 3.1 constituera un tournant dans l'industrie : à partir de maintenant, « la plupart des développeurs commenceront à utiliser principalement l'open source ». Pour lancer Llama 3.1, Meta travaille avec plus de deux douzaines d'entreprises, dont Microsoft, Amazon, Google, NVIDIA et Databricks, pour aider les développeurs à implémenter leurs propres versions. Llama 3.1 arrive cette semaine sur Meta AI, l'assistant IA de Meta. Llama 3.1 sera d'abord accessible via WhatsApp et le site Meta AI aux États-Unis, suivi par Instagram et Facebook dans les semaines à venir. Nous vous rappelons que pour le moment Meta AI n'est pas encore disponible en Europe, mais vous pouvez y accéder en utilisant un VPN et en configurant le serveur aux États-Unis. Meta a souligné que Llama 3.1 sera disponible gratuitement, mais pour un nombre limité (on n'a pas dit combien) de demandes, puis il passera à Llama 3. Alternativement, vous pouvez le télécharger depuis Hugging Face .