OpenAI veröffentlicht GPT-OSS: Erste Open-Weight LLMs seit GPT-2

OpenAI hat GPT-OSS auf den Markt gebracht, seine ersten Open-Weight Sprachmodelle seit der Veröffentlichung von GPT-2, was eine bedeutende strategische Neuausrichtung hinsichtlich der Modellzugänglichkeit darstellt. Die neuen Modelle, die unter der sehr freizügigen Apache 2.0 Lizenz verfügbar sind, bieten Entwicklern umfassende Freiheit für kommerzielle und nicht-kommerzielle Anwendungen ohne einschränkende Klauseln.

Die GPT-OSS-Serie debütiert mit zwei unterschiedlichen Modellen: einem 120-Milliarden-Parameter-Argumentationsmodell und einer kompakteren 20-Milliarden-Parameter-Version. OpenAI gibt an, dass das größere Modell eine Leistung liefert, die mit seinem proprietären o4-mini-Modell vergleichbar ist, während die kleinere Variante Ergebnisse erzielt, die dem o3-mini ähneln.

Diese Modelle wurden hauptsächlich auf einem riesigen Korpus englischer Texte trainiert, mit besonderem Fokus auf MINT-Fächer (Mathematik, Informatik, Naturwissenschaften, Technik), Codierung und Allgemeinwissen. Im Gegensatz zu einigen größeren, fortschrittlicheren Modellen von OpenAI, wie GPT-4o, integriert GPT-OSS keine visuellen Fähigkeiten. Während des Post-Trainings wendete OpenAI Reinforcement-Learning-Techniken an, ähnlich denen, die für sein o4-mini-Modell verwendet wurden, um GPT-OSS mit Chain-of-Thought-Argumentationsfähigkeiten auszustatten. Benutzer können den Argumentationsaufwand der Modelle – niedrig, mittel oder hoch – über System-Prompts anpassen.

Beide GPT-OSS-Modelle nutzen eine Mixture-of-Experts (MoE)-Architektur, eine Designentscheidung, die die Effizienz erhöht. Im 120-Milliarden-Parameter-Modell stehen 128 spezialisierte Subnetzwerke oder „Experten“ zur Verfügung, wobei vier (insgesamt 5,1 Milliarden Parameter) aktiv jeden Ausgabe-Token generieren. Die 20-Milliarden-Parameter-Version ist ein optimiertes Design mit 32 Experten und 3,6 Milliarden aktiven Parametern. Diese MoE-Struktur ermöglicht eine schnellere Token-Generierung im Vergleich zu dichten Modellen gleicher Größe, vorausgesetzt, die Hardware kann sie aufnehmen.

Hinsichtlich der Hardwareanforderungen hat OpenAI diese Modelle für einen effizienten Betrieb optimiert. Das 120-Milliarden-Parameter-Modell kann auf einer einzelnen 80-GB-H100-GPU ausgeführt werden, während die 20-Milliarden-Parameter-Version so konzipiert ist, dass sie in nur 16 GB VRAM passt. Vorläufige Tests des GPT-OSS-20B-Modells auf einer RTX 6000 Ada GPU zeigten Token-Generierungsraten von über 125 Tokens pro Sekunde bei einer Batch-Größe von eins.

Die Modelle verfügen über ein natives Kontextfenster von 128.000 Tokens. Während diese Kapazität vor einem Jahr noch wettbewerbsfähig war, wird sie mittlerweile von einigen Konkurrenten übertroffen, wie der Qwen3-Familie von Alibaba, die ein 256.000-Token-Kontextfenster bietet, und Metas Llama 4, das bis zu 10 Millionen Tokens unterstützt.

Die Veröffentlichung von GPT-OSS erfolgte nach mehreren Verzögerungen, die OpenAI-CEO Sam Altman auf umfangreiche Sicherheitsbewertungen zurückführte. In einem kürzlich veröffentlichten Blogbeitrag erläuterte OpenAI die implementierten Sicherheitsmaßnahmen, einschließlich des Herausfilterns schädlicher Daten im Zusammenhang mit chemischer, biologischer, radiologischer oder nuklearer (CBRN) Forschung und Entwicklung. Die Modelle wurden auch so konzipiert, dass sie unsicheren Prompts und Prompt-Injection-Versuchen widerstehen. OpenAI räumte das Risiko ein, dass Gegner Open-Weight-Modelle für bösartige Zwecke feinabstimmen könnten, zeigte sich jedoch zuversichtlich in seine Schutzmaßnahmen. Um diese Maßnahmen weiter zu testen, hat das Unternehmen eine Red-Teaming-Challenge ins Leben gerufen und bietet einen halbe Million Dollar Preis für jeden an, der neuartige Sicherheitslücken identifizieren kann.

GPT-OSS ist derzeit in verschiedenen Modell-Repositories, einschließlich Hugging Face, verfügbar und unterstützt eine breite Palette von Inferenz-Frameworks, wie Hugging Face Transformers, PyTorch, Triton, vLLM, Ollama und LM Studio.

Mit Blick auf die Zukunft deutete Sam Altman weitere Entwicklungen an und erklärte auf X, dass ein „großes Upgrade“ noch diese Woche erwartet werde, was Spekulationen über eine mögliche GPT-5-Veröffentlichung anheizt.