Fuite: OpenAI s'apprête à lancer un modèle GPT open-source
Selon des rapports, OpenAI serait sur le point de lancer un modèle d’IA open-source significatif, avec des indications suggérant un lancement imminent.
Cette spéculation découle d’une série de traces numériques, principalement des captures d’écran de dépôts de modèles désormais supprimés sur des plateformes comme GitHub. Ces dépôts, portant des noms tels que yofo-deepcurrent/gpt-oss-120b et yofo-wildflower/gpt-oss-20b, auraient été liés à des comptes d’équipe d’OpenAI. La désignation gpt-oss est largement interprétée comme ‘GPT Open Source Software’, signalant un retour potentiel vers les origines plus ouvertes de l’entreprise après des années passées à se concentrer sur des modèles propriétaires. La présence de plusieurs noms de code et tailles de paramètres suggère une famille de modèles planifiée.
Des détails supplémentaires, provenant apparemment d’un fichier de configuration divulgué, éclairent la version suspectée de 120 milliards de paramètres. Ce modèle semble être construit sur une architecture de Mixture d’Experts (MoE). Dans cette conception, au lieu qu’un seul grand modèle gère toutes les tâches, le système sélectionne intelligemment quelques « experts » spécialisés – dans ce cas, quatre sur 128 – pour chaque requête. Cette approche combine la vaste capacité de connaissance d’un grand modèle avec l’efficacité opérationnelle et la vitesse typiquement associées aux systèmes plus petits, car seule une fraction de ses composants est active à un moment donné. Au-delà de son architecture, le modèle est également réputé pour son grand vocabulaire, améliorant son efficacité dans diverses langues, et pour l’emploi de l’Attention à Fenêtre Glissante (Sliding Window Attention), ce qui lui permet de traiter efficacement de longues séquences de texte.
Si ces spécifications s’avèrent exactes, la potentielle sortie open-source d’OpenAI concurrencerait directement les modèles établis dans le paysage de l’IA open-source, notamment Mixtral de Mistral AI et la famille Llama de Meta.
Le timing d’une telle sortie invite à la spéculation concernant les motivations stratégiques d’OpenAI. Pendant des années, l’entreprise a été critiquée pour s’être écartée de son engagement fondamental envers l’ouverture, d’autant plus qu’elle commercialisait de plus en plus ses modèles avancés. Une puissante sortie open-source pourrait servir de geste significatif pour renouer avec les communautés de développeurs et de chercheurs qui se sentaient négligées. De plus, cela représente une manœuvre concurrentielle astucieuse. Des entreprises comme Meta et Mistral ont démontré comment un écosystème open-source dynamique peut accélérer l’innovation et favoriser une adoption généralisée. En introduisant un modèle open-source haute performance, OpenAI n’entrerait pas seulement dans cette arène concurrentielle, mais chercherait également à en influencer la direction.
Bien que ces détails n’aient pas été confirmés par OpenAI, les preuves provenant du code et des fichiers de configuration divulgués confèrent un poids considérable à la spéculation. Le lancement potentiel d’un modèle MoE open-source haute performance de 120 milliards de paramètres par une entreprise aussi proéminente qu’OpenAI marquerait sans aucun doute un développement significatif dans le secteur de l’intelligence artificielle, et son arrivée semble imminente.