GoogleのGemma 3 270M：トースターでも動く超小型AIモデル

Google LLCの人工知能研究部門であるGoogle DeepMindは、これまでで最もコンパクトなAIモデルの一つであるGemma 3 270Mを発表しました。この新しいモデルは、わずか2億7000万個のパラメータしか持たず、そのパラメータが動作を決定する内部設定である、最も強力なフロンティア大規模言語モデルに通常見られる数十億個のパラメータとは対照的です。

Gemma 3 270Mの意図的な設計選択は、合理化と効率性を優先しており、インターネット接続なしでもスマートフォンなどの低電力デバイスで直接動作することを可能にしています。その小さなサイズにもかかわらず、GoogleはGemma 3 270Mが、複雑なドメイン固有のタスクの狭い範囲を処理する能力が非常に高いと主張しています。これは、開発者が自身の正確な要件に合わせて迅速にファインチューニングできるためです。そのアクセシビリティを強調し、Google DeepMindのスタッフAI開発者リレーションズエンジニアであるOmar Sansevieroは、Xで「トースターで」またはRaspberry Piのようなコンパクトなハードウェアで実行できるほど小さいとユーモラスに述べました。

Google DeepMindのチームは、ブログ投稿でさらに詳しく説明し、Gemma 3 270Mのアーキテクチャが1億7000万個の「埋め込みパラメータ」と1億個の「トランスフォーマーブロックパラメータ」を組み合わせていることを述べました。この構成により、稀で特定の言語単位でも処理でき、特定のタスクや言語に効果的に特化できる堅牢な基盤モデルとなっています。その設計は、指示追従タスクで強力なパフォーマンスを保証しつつ、限られた計算リソースのデバイス上での迅速なファインチューニングと展開に十分な小ささを維持しています。このモデルのアーキテクチャは、単一のグラフィックス処理ユニットで動作するように設計されたより大規模なGemma 3ファミリーから派生しており、ファインチューニングのレシピ、ドキュメント、Hugging Face、JAX、UnSlotなどの人気開発者ツール用のデプロイメントガイドを含む包括的なリソースが付属しています。

Gemma 3 270Mの初期ベンチマーク結果は有望に見えます。このモデルの命令チューニングされたバリアントは、AIモデルが指示を正確に追従する能力を評価するIFEvalベンチマークで51.2%のスコアを達成しました。この性能は、Qwen 2.5 0.5B InstructやSmolLM2 135M Instructのような同サイズのコンパクトモデルを大幅に上回り、Googleは数十億のパラメータを持つ一部の小型モデルの能力にも匹敵すると指摘しています。しかし、コンパクトAIモデルの競争環境は激しいです。スタートアップのLiquid AI Inc.はGoogleの主張に素早く反論し、わずか1ヶ月前にリリースしたLFM2-350Mモデルが、わずかにパラメータが多いにもかかわらず、同じベンチマークで65.12%というより高いスコアを達成したことを指摘しました。

それにもかかわらず、GoogleはGemma 3 270Mの主な利点がそのエネルギー効率にあることを強調しています。Pixel 9 ProスマートフォンでモデルのINT4量子化バージョンを用いて行われた内部テストでは、驚くべき電力節約が示されました。25回の会話でデバイスのバッテリーをわずか0.75%しか消費しませんでした。これにより、Gemma 3 270Mは、データプライバシーとオフライン機能が最重要であるアプリケーションにとって、AIをデバイスに直接展開しようとする開発者にとって理想的な選択肢となります。

Googleは、AI開発者はアプリケーションのパフォーマンスを向上させるために、モデルサイズだけでなく、特定のジョブに基づいてツールを選択すべきであると強調しています。クリエイティブライティング、コンプライアンスチェック、エンティティ抽出、クエリルーティング、感情分析、構造化テキスト生成などのタスクにおいて、Gemma 3 270Mは、より大規模な数十億パラメータの言語モデルよりも大幅に優れた費用対効果で、効果的な結果を提供するためにファインチューニングすることができます。魅力的なデモンストレーションビデオでは、開発者がGemma 3 270Mを搭載した「おやすみ物語ジェネレーター」アプリを構築する様子が紹介されました。このアプリは、Webブラウザでオフラインで動作し、親のプロンプトに基づいてオリジナルの子供の物語を生成します。登場人物、設定、テーマ、プロットのひねり、希望する物語の長さなど複数の入力を統合して、一貫性のある物語を素早く生成します。これは、オンデバイスAIの急速な進歩を示しており、インターネット接続なしで動作する新しいアプリケーションへの扉を開きます。Gemma 3 270Mは現在、Hugging Face、Docker、Kaggle、Ollama、LM Studioなどのプラットフォームを通じて開発者にアクセス可能であり、事前学習済みバージョンと命令チューニング済みバージョンの両方がダウンロードできます。