Google stellt Gemma 3 270M vor: Winzige Open-Source-KI für Smartphones

Googles DeepMind KI-Forschungsteam hat Gemma 3 270M vorgestellt, ein neues Open-Source-KI-Modell, das für außergewöhnliche Effizienz und On-Device-Leistung konzipiert wurde. Dieses Modell, benannt nach seinen 270 Millionen Parametern – den internen Einstellungen, die das Verhalten eines Modells steuern –, steht in starkem Kontrast zu den Milliarden von Parametern umfassenden großen Sprachmodellen (LLMs), die typischerweise die KI-Landschaft dominieren. Während größere Parameterzahlen im Allgemeinen leistungsstärkeren Modellen entsprechen, priorisiert Gemma 3 270M eine andere Art von Leistung: die Fähigkeit, direkt auf Smartphones und anderer leichter Hardware ohne Internetverbindung zu laufen, wie interne Tests auf einem Pixel 9 Pro Prozessor zeigten.

Trotz seiner geringen Größe ist Gemma 3 270M darauf ausgelegt, komplexe, domänenspezifische Aufgaben zu bewältigen und kann schnell – oft innerhalb weniger Minuten – feinabgestimmt werden, um den genauen Anforderungen eines Unternehmens oder eines unabhängigen Entwicklers gerecht zu werden. Omar Sanseviero, ein Google DeepMind Staff AI Developer Relations Engineer, hob die Vielseitigkeit des Modells im sozialen Netzwerk X weiter hervor und bemerkte dessen Fähigkeit, direkt im Webbrowser eines Benutzers, auf einem Raspberry Pi und sogar, humorvoll, “in Ihrem Toaster” zu funktionieren, was seine Anpassungsfähigkeit an sehr ressourcenbeschränkte Umgebungen unterstreicht.

Die Architektur des Modells kombiniert 170 Millionen Embedding-Parameter, unterstützt durch ein umfangreiches 256.000-Token-Vokabular, das seltene und spezifische Begriffe verarbeiten kann, mit zusätzlichen 100 Millionen Transformer-Block-Parametern. Google behauptet, dass dieses Design eine starke Leistung bei der Befolgung von Anweisungen direkt out-of-the-box ermöglicht, während es klein genug für schnelles Fine-Tuning und die Bereitstellung auf Geräten mit begrenzten Rechenressourcen, einschließlich mobiler Hardware, bleibt. Gemma 3 270M erbt seine grundlegende Architektur und Vortrainings von den größeren Gemma 3 Modellen, was eine nahtlose Kompatibilität im gesamten Gemma-Ökosystem gewährleistet. Entwickler können umfassende Dokumentationen, Fine-Tuning-Rezepte und Bereitstellungsanleitungen für beliebte Tools wie Hugging Face, UnSloth und JAX nutzen, um den Übergang von experimentellen Phasen zur praktischen Bereitstellung zu beschleunigen.

In Bezug auf die Leistung erreichte das auf Anweisungen abgestimmte Gemma 3 270M einen Wert von 51,2 % im IFEval-Benchmark, der die Fähigkeit eines Modells zur Befolgung von Anweisungen bewertet. Dieser Wert positioniert es laut Googles Vergleichsdaten deutlich vor anderen Modellen ähnlicher Größe, wie SmolLM2 135M Instruct und Qwen 2.5 0.5B Instruct, und nähert sich den Leistungsniveaus einiger Milliarden-Parameter-Modelle an. Forscher und Führungskräfte des rivalisierenden KI-Startups Liquid AI wiesen jedoch schnell auf X darauf hin, dass Googles Vergleich ihr eigenes LFM2-350M-Modell, das im Juli veröffentlicht wurde und mit nur geringfügig mehr Parametern einen höheren Wert von 65,12 % aufweist, ausgelassen hat.

Eines der überzeugendsten Merkmale von Gemma 3 270M ist seine außergewöhnliche Energieeffizienz. Bei internen Tests verbrauchte eine für INT4-Präzision optimierte Version des Modells über 25 Konversationen hinweg lediglich 0,75 % der Akkulaufzeit eines Pixel 9 Pro. Dies macht es zu einer äußerst praktischen Wahl für On-Device-KI-Anwendungen, insbesondere dort, wo Benutzerdatenschutz und Offline-Funktionalität von größter Bedeutung sind. Das Release-Paket enthält sowohl ein vortrainiertes Modell für allgemeine Aufgaben als auch eine auf Anweisungen abgestimmte Variante, die Entwicklern sofortige Nützlichkeit bietet. Darüber hinaus sind Quantization-Aware Trained (QAT)-Checkpoints verfügbar, die eine INT4-Präzision mit minimaler Leistungsverschlechterung ermöglichen, was für Produktionsbereitstellungen in ressourcenbeschränkten Umgebungen entscheidend ist.

Google positioniert Gemma 3 270M als Beweis für seine Philosophie, für eine bestimmte Aufgabe das geeignete Werkzeug zu wählen, anstatt standardmäßig das größte verfügbare Modell zu verwenden. Für spezifische Funktionen wie Sentiment-Analyse, Entitätsextraktion, Abfrage-Routing, strukturierte Textgenerierung, Compliance-Prüfungen und sogar kreatives Schreiben argumentiert das Unternehmen, dass ein fein abgestimmtes kleines Modell schnellere und kostengünstigere Ergebnisse liefern kann als ein großes, allgemeines Modell. Diese Spezialisierung hat sich in früheren Kooperationen als wirksam erwiesen, wie beispielsweise bei der Arbeit von Adaptive ML mit SK Telecom, wo ein fein abgestimmtes Gemma 3 4B-Modell deutlich größere proprietäre Systeme für die mehrsprachige Inhaltsmoderation übertraf. Gemma 3 270M wurde entwickelt, um ähnliche Erfolge in noch kleinerem Maßstab zu ermöglichen und die Erstellung spezialisierter Modelle zu erleichtern, die auf individuelle Aufgaben zugeschnitten sind.

Über Unternehmensanwendungen hinaus zeigt das Modell auch Potenzial in kreativen Szenarien. Ein Demo-Video zeigt eine mit Gemma 3 270M und Transformers.js erstellte Gute-Nacht-Geschichten-Generator-App, die vollständig offline in einem Webbrowser läuft. Die Anwendung ermöglicht es Benutzern, einen Hauptcharakter, eine Umgebung, eine Wendung, ein Thema und die gewünschte Länge auszuwählen und generiert dann eine kohärente und fantasievolle Geschichte basierend auf diesen Eingaben. Dieses aussagekräftige Beispiel veranschaulicht, wie Gemma 3 270M ansprechende, interaktive Anwendungen ohne Abhängigkeit von Cloud-Infrastruktur antreiben kann, was neue Wege für On-Device-KI-Erlebnisse eröffnet.

Gemma 3 270M wird unter den Gemma-Nutzungsbedingungen veröffentlicht, die die Nutzung, Reproduktion, Modifikation und Verteilung des Modells und seiner Derivate unter bestimmten Bedingungen erlauben. Diese Bedingungen umfassen die Einhaltung der Google-Richtlinie für verbotene Nutzungen, die Sicherstellung, dass nachfolgende Empfänger die Bedingungen kennen, und die klare Angabe von Änderungen. Obwohl dieses Lizenzmodell im traditionellen Sinne nicht “Open Source” ist, ermöglicht es weitgehend die kommerzielle Nutzung ohne eine separate kostenpflichtige Lizenz. Unternehmen können das Modell in Produkte einbetten, es als Teil von Cloud-Diensten bereitstellen oder es zu spezialisierten Derivaten feinabstimmen, wobei sie die vollen Rechte an den vom Modell generierten Inhalten behalten. Entwickler tragen jedoch die Verantwortung für die Einhaltung geltender Gesetze und die Vermeidung verbotener Nutzungen, wie z.B. die Generierung schädlicher Inhalte oder die Verletzung von Datenschutzbestimmungen.

Mit dem “Gemmaverse”, das über 200 Millionen Downloads überschritten hat, und der Erweiterung der Gemma-Reihe um Cloud-, Desktop- und Mobil-optimierte Varianten positionieren die Google AI Entwickler Gemma 3 270M strategisch als grundlegendes Element für die Entwicklung schneller, kostengünstiger und datenschutzorientierter KI-Lösungen.