Deep Cogito v2: Open-Source-KI schärft Denken, steigert Effizienz

Deep Cogito hat die Veröffentlichung von Cogito v2 angekündigt, einer neuen Sammlung von Open-Source-KI-Modellen, die darauf ausgelegt sind, ihre eigenen Denkfähigkeiten zu verbessern. Die unter einer Open-Source-Lizenz verfügbare Modellreihe umfasst vier hybride Reasoning-KI-Modelle: zwei mittelgroße Versionen mit 70 Milliarden und 109 Milliarden Parametern sowie zwei größere Modelle mit 405 Milliarden und 671 Milliarden Parametern.

Das größte unter ihnen, ein Mixture-of-Experts (MoE)-Modell mit 671 Milliarden Parametern, wird bereits als eine der leistungsstärksten Open-Source-KIs angesehen, die derzeit verfügbar sind. Deep Cogito behauptet, dass dieses Flaggschiff-Modell effektiv mit den neuesten Angeboten von DeepSeek konkurriert und den Leistungsabstand zu fortschrittlichen proprietären Systemen wie O3 und Claude 4 Opus verringert.

Der bedeutende Fortschritt in Cogito v2 liegt jedoch nicht nur in seiner Größe oder Rohleistung, sondern in einer grundlegenden Veränderung der Art und Weise, wie die KI lernt. Anstatt einfach die „Denkzeit“ während der Inferenz zu verlängern, um eine Antwort zu finden, ist Cogito v2 darauf ausgelegt, seine eigenen Denkprozesse zu internalisieren.

Dieses internalisierte Denken wird durch eine Technik namens Iterierte Destillation und Amplifikation (IDA) erreicht. IDA funktioniert, indem die während eines Suchprozesses gemachten Entdeckungen in die Kernparameter des Modells zurückdestilliert werden. Ziel ist es, eine stärkere „Intuition“ zu kultivieren, die es dem Modell ermöglicht, das Ergebnis seines eigenen Denkens vorherzusehen, ohne die gesamte Suchsequenz ausführen zu müssen.

Dieses verfeinerte „Bauchgefühl“ für den richtigen Ansatz ermöglicht es den Open-Source-KI-Modellen, Denkketten zu generieren, die Berichten zufolge 60 % kürzer sind als die von Konkurrenten wie DeepSeek R1, was die Effizienz erheblich verbessert.

Diese Effizienz erstreckt sich auch auf die Entwicklungskosten. Deep Cogito gibt an, dass die gesamten Ausgaben für die Entwicklung all ihrer Modelle, von den ersten Experimenten bis zum finalen Training, weniger als 3,5 Millionen US-Dollar betrugen. Obwohl dies eine beträchtliche Summe ist, ist diese Zahl im Vergleich zu den enormen Investitionen, die typischerweise von vielen führenden KI-Forschungslabors getätigt werden, bemerkenswert bescheiden.

Das 671-Milliarden-Parameter-Flaggschiffmodell erhielt während seines Trainings besondere Aufmerksamkeit. Seine Entwicklung konzentrierte sich nicht nur auf die Verbesserung der Genauigkeit seiner endgültigen Antworten, sondern auch auf die Verfeinerung des Denkprozesses selbst. Dieser Ansatz ermutigt das Modell, einen direkteren Weg zu einer Lösung zu verfolgen und „mäanderndes“ oder ineffizientes Denken zu vermeiden. Leistungsdaten zeigen die Wirksamkeit dieser Methode, wobei Deep Cogitos Open-Source-KI die neuesten DeepSeek-Versionen bei wichtigen Benchmarks erreicht oder übertrifft und auch proprietären Alternativen sehr nahekommt.

Eines der überraschendsten Ergebnisse dieser Entwicklung ist die emergente Fähigkeit der Modelle, über Bilder zu denken, eine Fähigkeit, für die sie nie explizit trainiert wurden. Das Deep Cogito-Team lieferte ein Beispiel, bei dem ihr Open-Source-KI-Modell zwei Bilder verglich, eines von einer Ente und eines von einem Löwen. Es demonstrierte einen tiefen Denkprozess bezüglich ihrer Lebensräume, Farben und Zusammensetzung, rein durch Transferlernen. Deep Cogito glaubt, dass diese unerwartete Eigenschaft eine leistungsstarke Methode bieten könnte, um Trainingsdaten für zukünftige multimodale Reasoning-Systeme zu bootstrappen.

Für die Zukunft plant das Deep Cogito-Team, auf den Fortschritten der iterativen Selbstverbesserung aufzubauen, um ihr ständiges Streben nach Superintelligenz fortzusetzen. Sie haben ihr Engagement bekräftigt, dass alle von ihnen erstellten KI-Modelle Open-Source bleiben werden.