Leak: OpenAI plant Open-Source GPT-Modell-Release
Berichten zufolge steht OpenAI kurz vor der Veröffentlichung eines bedeutenden Open-Source-KI-Modells, wobei einige Anzeichen auf einen bevorstehenden Start hindeuten.
Diese Spekulationen stammen aus einer Reihe digitaler Spuren, hauptsächlich Screenshots von inzwischen gelöschten Modell-Repositories auf Plattformen wie GitHub. Diese Repositories, die Namen wie yofo-deepcurrent/gpt-oss-120b und yofo-wildflower/gpt-oss-20b trugen, waren Berichten zufolge mit OpenAI-Teamkonten verknüpft. Die Bezeichnung gpt-oss wird weithin als ‘GPT Open Source Software’ interpretiert, was eine potenzielle Rückkehr zu den offeneren Ursprüngen des Unternehmens signalisiert, nachdem es sich jahrelang auf proprietäre Modelle konzentriert hatte. Das Vorhandensein mehrerer Codenamen und Parametergrößen deutet auf eine geplante Modellfamilie hin.
Weitere Details, die Berichten zufolge aus einer geleakten Konfigurationsdatei stammen, geben Aufschluss über die vermutete 120-Milliarden-Parameter-Version. Dieses Modell scheint auf einer Mixture-of-Experts (MoE)-Architektur zu basieren. Bei diesem Design wählt das System nicht ein einziges großes Modell für alle Aufgaben aus, sondern intelligent einige spezialisierte „Experten“ – in diesem Fall vier von 128 – für jede Abfrage aus. Dieser Ansatz kombiniert die enorme Wissenskapazität eines großen Modells mit der betrieblichen Effizienz und Geschwindigkeit, die typischerweise mit kleineren Systemen verbunden sind, da zu jedem Zeitpunkt nur ein Bruchteil seiner Komponenten aktiv ist. Neben seiner Architektur soll das Modell auch über ein großes Vokabular verfügen, das seine Effizienz über verschiedene Sprachen hinweg verbessert, und Sliding Window Attention verwenden, wodurch es umfangreiche Textsequenzen effektiv verarbeiten kann.
Sollten sich diese Spezifikationen als korrekt erweisen, würde OpenAIs potenzielle Open-Source-Veröffentlichung direkt mit etablierten Modellen in der Open-Source-KI-Landschaft konkurrieren, insbesondere mit Mistral AIs Mixtral und Metas Llama-Familie.
Der Zeitpunkt einer solchen Veröffentlichung lädt zu Spekulationen über OpenAIs strategische Motivationen ein. Jahrelang wurde das Unternehmen dafür kritisiert, von seinem grundlegenden Bekenntnis zur Offenheit abzuweichen, insbesondere da es seine fortschrittlichen Modelle zunehmend kommerzialisierte. Eine leistungsstarke Open-Source-Veröffentlichung könnte als bedeutende Geste dienen, um die Entwickler- und Forschungsgemeinschaften, die sich übersehen fühlten, wieder zu erreichen. Darüber hinaus stellt sie ein geschicktes Wettbewerbsmanöver dar. Unternehmen wie Meta und Mistral haben gezeigt, wie ein lebendiges Open-Source-Ökosystem Innovationen beschleunigen und eine breite Akzeptanz fördern kann. Durch die Einführung eines Hochleistungs-Open-Source-Modells würde OpenAI nicht nur in diese Wettbewerbsarena eintreten, sondern auch versuchen, deren Richtung zu beeinflussen.
Obwohl diese Details von OpenAI unbestätigt bleiben, verleihen die Beweise aus geleaktem Code und Konfigurationsdateien den Spekulationen erhebliches Gewicht. Die potenzielle Einführung eines leistungsstarken, 120-Milliarden-Parameter-Open-Source-MoE-Modells von einem so prominenten Unternehmen wie OpenAI würde zweifellos eine bedeutende Entwicklung im Bereich der künstlichen Intelligenz darstellen, und seine Ankunft scheint sich zu nähern.