OpenAI lance GPT-OSS : les premiers LLM open-weight depuis GPT-2

OpenAI a lancé GPT-OSS, son premier ensemble de modèles de langage à poids ouverts depuis la sortie de GPT-2, marquant un changement significatif dans sa stratégie concernant l'accessibilité des modèles. Les nouveaux modèles, disponibles sous la licence très permissive Apache 2.0, offrent aux développeurs une grande liberté pour les applications commerciales et non commerciales sans clauses restrictives.

La série GPT-OSS débute avec deux modèles distincts : un modèle de raisonnement de 120 milliards de paramètres et une version plus compacte de 20 milliards de paramètres. OpenAI déclare que le modèle plus grand offre des performances comparables à son modèle propriétaire o4-mini, tandis que la variante plus petite obtient des résultats similaires à ceux de l'o3-mini.

Ces modèles ont été principalement entraînés sur un vaste corpus de texte anglais, avec un accent particulier sur les sujets STEM, le codage et les connaissances générales. Contrairement à certains des modèles plus grands et plus avancés d'OpenAI, tels que GPT-4o, GPT-OSS n'intègre pas de capacités de vision. Pendant le post-entraînement, OpenAI a appliqué des techniques d'apprentissage par renforcement, similaires à celles utilisées pour son modèle o4-mini, pour doter GPT-OSS de capacités de raisonnement en chaîne de pensée. Les utilisateurs peuvent ajuster l'effort de raisonnement des modèles — faible, moyen ou élevé — via les invites système.

Les deux modèles GPT-OSS exploitent une architecture de Mélange d'Experts (MoE), un choix de conception qui améliore l'efficacité. Dans le modèle de 120 milliards de paramètres, 128 sous-réseaux spécialisés, ou "experts", sont disponibles, avec quatre (totalisant 5,1 milliards de paramètres) générant activement chaque jeton de sortie. La version de 20 milliards de paramètres est une conception simplifiée avec 32 experts et 3,6 milliards de paramètres actifs. Cette structure MoE permet une génération de jetons plus rapide par rapport aux modèles denses de taille équivalente, à condition que le matériel puisse les prendre en charge.

En ce qui concerne les exigences matérielles, OpenAI a optimisé ces modèles pour un fonctionnement efficace. Le modèle de 120 milliards de paramètres peut fonctionner sur un seul GPU H100 de 80 Go, tandis que la version de 20 milliards de paramètres est conçue pour tenir dans seulement 16 Go de VRAM. Les tests préliminaires du modèle GPT-OSS-20B sur un GPU RTX 6000 Ada ont démontré des taux de génération de jetons dépassant 125 jetons par seconde avec une taille de lot de un.

Les modèles disposent d'une fenêtre de contexte native de 128 000 jetons. Bien que compétitive il y a un an, cette capacité est maintenant dépassée par certains rivaux, tels que la famille Qwen3 d'Alibaba, qui offre une fenêtre de contexte de 256 000 jetons, et Llama 4 de Meta, supportant jusqu'à 10 millions de jetons.

La sortie de GPT-OSS fait suite à de multiples retards, que le PDG d'OpenAI, Sam Altman, a attribués à des évaluations de sécurité approfondies. Dans un récent article de blog, OpenAI a détaillé les mesures de sécurité mises en œuvre, y compris le filtrage des données nuisibles liées à la recherche et au développement chimique, biologique, radiologique ou nucléaire (CBRN). Les modèles ont également été conçus pour résister aux invites dangereuses et aux tentatives d'injection d'invites. OpenAI a reconnu le risque que des adversaires affinent des modèles à poids ouverts à des fins malveillantes, mais a exprimé sa confiance dans ses mesures de protection. Pour tester davantage ces mesures, l'entreprise a lancé un défi de "red-teaming", offrant un prix d'un demi-million de dollars à quiconque pourra identifier de nouvelles vulnérabilités de sécurité.

GPT-OSS est actuellement disponible sur divers dépôts de modèles, y compris Hugging Face, et prend en charge un large éventail de frameworks d'inférence, tels que Hugging Face Transformers, PyTorch, Triton, vLLM, Ollama et LM Studio。

Pour l'avenir, Sam Altman a fait allusion à de nouveaux développements, déclarant sur X qu'une "mise à niveau majeure" est attendue plus tard cette semaine, alimentant les spéculations sur une éventuelle sortie de GPT-5.