OpenAI lance de nouveaux modèles de langage gpt-oss Open-Weight !
OpenAI a annoncé la sortie de gpt-oss-120b et gpt-oss-20b, deux nouveaux modèles de langage à poids ouverts de pointe conçus pour offrir des performances robustes dans le monde réel à faible coût. Disponibles sous la licence permissive Apache 2.0, cette initiative marque la première publication par OpenAI de grands modèles de langage à poids ouverts depuis GPT-2 en 2019, signalant une étape significative vers une plus grande accessibilité dans l’écosystème de l’IA.
Les modèles gpt-oss sont conçus pour exceller dans les tâches de raisonnement et démontrent de solides capacités d’utilisation d’outils, surpassant les modèles ouverts de taille similaire. Le plus grand modèle gpt-oss-120b, doté de 116,8 milliards de paramètres au total et de 5,1 milliards de paramètres actifs par jeton, atteint une quasi-parité avec le modèle propriétaire o4-mini d’OpenAI sur les benchmarks de raisonnement essentiels. Remarquablement, ce modèle puissant est optimisé pour fonctionner efficacement sur un seul GPU de 80 Go.
Pour des déploiements plus accessibles, le modèle gpt-oss-20b, avec 20,9 milliards de paramètres au total et 3,6 milliards de paramètres actifs, offre des performances comparables à celles de l’o3-mini d’OpenAI. De manière cruciale, ce modèle plus petit peut fonctionner sur du matériel grand public avec aussi peu que 16 Go de mémoire, ce qui le rend idéal pour les cas d’utilisation sur appareil, l’inférence locale et le développement rapide sans nécessiter d’infrastructure coûteuse. Les deux modèles utilisent un schéma de quantification à 4 bits (MXFP4) pour leurs poids de Mixture-of-Experts (MoE), ce qui réduit considérablement l’empreinte mémoire et permet une inférence efficace.
Les modèles gpt-oss sont des transformeurs Mixture-of-Experts (MoE) autorégressifs uniquement textuels, construits sur les architectures fondamentales GPT-2 et GPT-3. Ils sont conçus pour une intégration transparente dans les flux de travail d’agents, offrant une conformité exceptionnelle aux instructions, une utilisation avancée d’outils tels que la recherche web et l’exécution de code Python, et des capacités de raisonnement personnalisables, y compris la possibilité d’ajuster l’effort de raisonnement pour les tâches nécessitant différents niveaux de complexité ou de latence. Les développeurs peuvent également bénéficier de Chain-of-Thought (CoT) complet et de sorties structurées, offrant un plus grand contrôle et une plus grande transparence sur les processus des modèles. Au-delà du raisonnement général, ces modèles montrent une force particulière dans des domaines comme les mathématiques de compétition, le codage et les requêtes liées à la santé, surpassant même certains modèles propriétaires sur des benchmarks comme HealthBench.
Cette publication est un développement notable dans le paysage évolutif de l’IA, où les modèles à poids ouverts démocratisent de plus en plus l’accès aux puissantes technologies d’IA. En rendant ces modèles disponibles sous la licence Apache 2.0, OpenAI permet aux développeurs et aux organisations de télécharger, d’affiner et de déployer l’IA sur leur propre infrastructure, réduisant ainsi la dépendance aux API spécifiques aux fournisseurs et favorisant un plus grand contrôle et une plus grande personnalisation. Ce changement s’aligne sur une tendance industrielle plus large où les systèmes à poids ouverts réduisent l’écart de performance avec les modèles fermés, abaissent les barrières à l’entrée et accélèrent l’innovation grâce à la collaboration communautaire. Les modèles gpt-oss sont disponibles en téléchargement sur Hugging Face et peuvent également être accessibles via Amazon Bedrock et Amazon SageMaker AI sur AWS, ainsi que via Ollama.
OpenAI souligne que la sécurité reste un aspect fondamental de son approche de publication de modèles, en particulier pour les modèles ouverts où le potentiel de mauvaise utilisation existe une fois qu’ils sont publiquement disponibles. Les modèles gpt-oss ont subi une formation et des évaluations de sécurité complètes, y compris le test de versions affinées de manière adversariale. Bien que conçus pour adhérer par défaut aux politiques de sécurité d’OpenAI, la société note que les développeurs et les entreprises utilisant ces modèles devront mettre en œuvre des mesures de protection supplémentaires pour reproduire les protections au niveau du système généralement intégrées dans les modèles servis par l’API d’OpenAI. Cela reflète une responsabilité partagée pour le déploiement éthique à mesure que les capacités d’IA deviennent plus largement distribuées.