ARC AGI 3: Warum Spitzen-LLMs an menschlichen Rätseln scheitern

Die rasche Entwicklung von großen Sprachmodellen (LLMs) hat in jüngster Zeit die Veröffentlichung leistungsstarker neuer Iterationen wie Qwen 3 MoE, Kimi K2 und Grok 4 erlebt. Da diese Fortschritte in hohem Tempo weitergehen, sind robuste Benchmarks unerlässlich, um ihre Fähigkeiten zu bewerten und zu vergleichen. Zu den neuesten Werkzeugen für diesen Zweck gehört ARC AGI 3, ein Benchmark, der darauf abzielt, die aktuelle Kluft zwischen menschlicher und künstlicher Intelligenz hervorzuheben.

Kürzlich veröffentlicht, ist ARC AGI 3 die neueste Iteration der ARC AGI-Serie, bekannt für ihren „Interaktiven Reasoning Benchmark mit der größten Kluft zwischen leicht für Menschen und schwer für KI“. Die Plattform wurde mit drei verschiedenen Spielumgebungen, einem 10.000-Dollar-Agentenwettbewerb und einer KI-Agenten-API gestartet. Erste Bewertungen auf ARC AGI 3 haben eine frappierende Diskrepanz gezeigt: Spitzen-KI-Modelle erreichen 0% Erfolg, während Menschen konstant 100% erzielen.

Die ARC AGI-Serie fordert die Teilnehmer mit Mustererkennungs-Puzzlespielen heraus. Während ARC AGI 1 und 2 das Vervollständigen von Mustern aus gegebenen Eingabe-Ausgabe-Paaren beinhalten, führt ARC AGI 3 ein interaktives Spiel ein, bei dem Spieler einen Block zu einem Zielbereich navigieren müssen, was oft Zwischenschritte erfordert. Ein Kernaspekt dieser Spiele ist das Fehlen von Anweisungen; Spieler müssen die Regeln ausschließlich durch Beobachtung der Umgebung und der Auswirkungen ihrer Handlungen ableiten. Dieses Setup testet rigoros die Fähigkeit eines Agenten, neue Umgebungen zu lernen, sich anzupassen und neuartige Probleme zu lösen.

Frühere Versionen des Benchmarks haben gezeigt, dass LLMs erhebliche Fortschritte machen. Zum Beispiel zeigten OpenAIs Modelle eine verbesserte Leistung auf ARC AGI 1, wobei ihr o1 mini 7,8% erreichte, o3-low 75% und das fortschrittlichere o3-high 88%. Dieser Fortschritt deutet darauf hin, dass Modelle mit der Zeit lernen können, diese Mustererkennungsaufgaben zu bewältigen.

Die aktuelle Erfolgsquote von 0% der Spitzenmodelle auf ARC AGI 3 weist jedoch auf grundlegende Herausforderungen hin. Mehrere Faktoren könnten zu diesem Problem beitragen:

• Kontextlänge und Speicherverwaltung: Die interaktive Natur von ARC AGI 3 erfordert umfangreiche Experimente innerhalb eines potenziell riesigen Aktionsraums. Modelle müssen verschiedene Aktionen ausprobieren, deren Ergebnisse beobachten, die Sequenz bewerten und nachfolgende Züge planen. Dieser Prozess erfordert die effektive Nutzung langer Kontextfenster und eine ausgeklügelte Speicherverwaltung, um das Wiederholen erfolgloser Aktionen zu vermeiden und ein kohärentes Verständnis der Spielmechanik aufzubauen. Techniken wie das Zusammenfassen des vorherigen Kontexts oder der Einsatz externer Dateisysteme zur Speicherung könnten für zukünftige Verbesserungen entscheidend sein.

• Abweichung von Trainingsdaten: Die Aufgaben innerhalb von ARC AGI 3 unterscheiden sich wahrscheinlich erheblich von den Datensätzen, auf denen LLMs typischerweise trainiert werden. Während ein wachsender Trend zum Training von LLMs für agentisches Verhalten – bei dem sie Werkzeuge nutzen und Aktionen ausführen – besteht, fehlt es aktuellen Spitzenmodellen möglicherweise noch an ausreichender Exposition gegenüber den einzigartigen Herausforderungen interaktiver, spielähnlicher Umgebungen. Dies wirft eine wichtige Frage auf, ob LLMs über echte Intelligenz verfügen, die es ihnen ermöglicht, Aufgaben ohne explizite Hinweise zu verstehen, ein Kernprinzip des ARC AGI-Benchmarks.

Trotz der aktuellen Hürden werden erhebliche Verbesserungen der LLM-Leistung auf ARC AGI 3 erwartet. Zukünftige Fortschritte könnten aus der Feinabstimmung von KI-Agenten speziell für agentische Leistung und der Optimierung ihrer Speichernutzung resultieren. Diese Verbesserungen könnten durch relativ kostengünstige Methoden oder durch substanziellere Entwicklungen, wie die Veröffentlichung leistungsfähigerer, allgemeiner LLMs, erzielt werden.

Es ist wichtig, das Phänomen des „Benchmark-Jagens“ anzuerkennen, bei dem LLM-Anbieter das Erreichen hoher Punktzahlen bei bestimmten Benchmarks über die Kultivierung echter, breiter Intelligenz stellen. Diese Praxis, ähnlich dem „Reward Hacking“ im Reinforcement Learning, kann zu Modellen führen, die bei einer engen Reihe von Aufgaben hervorragend abschneiden, ohne notwendigerweise tieferes Verständnis oder Anpassungsfähigkeit zu besitzen. Die öffentliche Bewertung von LLMs basiert oft auf Benchmark-Leistung und subjektiven „Vibe Checks“, was irreführend sein kann. Vibe Checks könnten beispielsweise nur einen kleinen Bruchteil der Fähigkeiten eines Modells testen, oft bei Aufgaben, die es in seinen Trainingsdaten ausgiebig gesehen hat. Um sicherzustellen, dass Modelle wirklich spezifische Anwendungsfälle erfüllen, werden Organisationen ermutigt, ihre eigenen proprietären, nicht durchgesickerten Datensätze für das interne Benchmarking zu entwickeln.

Zusammenfassend sind LLM-Benchmarks für die vergleichende Analyse und die Verfolgung des Fortschritts in diesem Bereich von entscheidender Bedeutung. ARC AGI 3 dient als überzeugender neuer Benchmark, der einen Bereich klar illustriert, in dem menschliche Intelligenz derzeit selbst die fortschrittlichsten LLMs übertrifft. Obwohl zukünftige Verbesserungen der LLM-Leistung auf ARC AGI 3 erwartet werden, besteht die Hoffnung, dass diese Gewinne durch echte Fortschritte in der KI-Intelligenz und nicht nur durch die Optimierung für Benchmark-Ergebnisse erzielt werden.