MLE-STAR: Googles KI automatisiert ML-Pipelines minimal
Google Research hat MLE-STAR vorgestellt, einen neuen KI-Agenten, der entwickelt wurde, um den komplexen Prozess des Aufbaus von Machine-Learning (ML)-Pipelines mit minimalem menschlichen Eingriff zu automatisieren. Dieses System zielt darauf ab, komplexe ML-Aufgaben über verschiedene Datentypen hinweg zu optimieren, indem es ausführbare Python-Skripte allein aus einer Aufgabenbeschreibung und den bereitgestellten Daten generieren kann.
Traditionelle ML-Automatisierungsagenten verlassen sich oft auf einen begrenzten Satz von Standardwerkzeugen und neigen dazu, Flexibilität bei der Erkundung vielfältiger Modelle oder Pipeline-Komponenten zu vermissen. Sie schreiben typischerweise eine gesamte Codebasis auf einmal um, was die gezielte Verbesserung spezifischer Schritte wie des Feature-Engineerings erschwert. MLE-STAR begegnet diesen Einschränkungen mit einem mehrstufigen, iterativen Ansatz.
Der Agent beginnt damit, die Websuche zu nutzen, um zeitgenössische Modellideen zu entdecken, und verwendet diese Informationen, um eine initiale Lösung zu konstruieren. Anschließend analysiert er akribisch die Codebasis, um zu identifizieren, welches Segment – sei es Feature-Engineering, Modellauswahl oder Ensemble-Konstruktion – den signifikantesten Einfluss auf die Gesamtleistung hat. Mit dieser Erkenntnis konzentriert MLE-STAR seine Bemühungen darauf, diesen spezifischen Codeblock Schritt für Schritt zu verfeinern, kontinuierlich Feedback aus früheren Experimenten einzubeziehen und das verbesserte Skript als Ausgangspunkt für die nächste Iteration zu verwenden.
Über seinen Kernverfeinerungsprozess hinaus umfasst MLE-STAR mehrere Module, um robuste und zuverlässige Ergebnisse zu gewährleisten. Es kann mehrere Lösungsvarianten generieren und eigene Ensemble-Strategien entwickeln, die es iterativ für maximale Vorhersagekraft verbessert. Um häufige Fallstricke zu verhindern, integriert das System einen Debugging-Agenten zur Behebung von Laufzeitfehlern, einen Datenleck-Prüfer zur Verhinderung unbefugten Zugriffs auf Testdaten während des Trainings und einen Datennutzungsprüfer, der sicherstellt, dass alle verfügbaren Datenquellen, nicht nur grundlegende CSV-Dateien, genutzt werden.
Google testete MLE-STAR auf MLE-Bench-Lite, einer Benchmark-Suite, die von tatsächlichen Kaggle-Wettbewerben abgeleitet ist. Die Ergebnisse zeigten einen bedeutenden Leistungssprung, wobei der Agent in 63,6 Prozent der Fälle eine Medaille erzielte, eine erhebliche Steigerung gegenüber dem bisherigen Bestwert von 25,8 Prozent. Bemerkenswerterweise waren 36 Prozent davon Goldmedaillen. Google führt diesen Erfolg auf die Fähigkeit von MLE-STAR zurück, moderne Modellarchitekturen wie EfficientNet und ViT zu integrieren, im Gegensatz zu konkurrierenden Systemen, die oft ältere Designs wie ResNet bevorzugen. Das System unterstützt auch manuelle Anpassungen, was durch die erfolgreiche Integration des RealMLP-Modells nach Bereitstellung einer manuellen Beschreibung demonstriert wurde.
Das Entwicklungsteam beobachtete Fälle, in denen große Sprachmodelle wie Gemini 2.5 Flash und Pro fehlerhaften Code generierten, z. B. die Verwendung von Testdaten zur Normalisierung. Der integrierte Datenleck-Prüfer von MLE-STAR griff in diesen Situationen effektiv ein. Ähnlich identifizierte und schloss der Datennutzungsprüfer Datensätze ein, die während des Testens zunächst übersehen wurden.
MLE-STAR ist jetzt als Open-Source verfügbar und basiert auf Googles Agent Development Kit. Benutzer sind dafür verantwortlich, die ordnungsgemäße Lizenzierung für alle von ihnen verwendeten Modelle oder Websuchinhalte sicherzustellen. Derzeit ist MLE-STAR nur für Forschungszwecke bestimmt.