Google Gemma 3 270M：デバイス向けAIの超小型LLM

Googleは、その「オープン」な大規模言語モデル（LLM）ファミリーに重要な新メンバー、Gemma 3 270Mを発表しました。この非常に小さなモデルは、わずか2億7000万のパラメータを持ち、約550MBのメモリを必要とします。これは、オンデバイス展開を革新し、モデルの反復を加速するために設計されています。そのリリースには、潜在的な幻覚、出力の不整合、そしてそのトレーニングデータに起因する著作権侵害の可能性という、業界でよくある注意点が伴います。

2024年2月にローンチされたオリジナルのGemmaファミリーは、主に2つのバージョンを提供していました。1つは、コンピューターのCPU（中央処理装置）で直接実行するために最適化された20億パラメータのモデルで、もう1つは、GPU（グラフィックス処理装置）またはGoogleのTPU（テンソル処理装置）を搭載したシステム向けのより強力な70億パラメータのバリアントです。GoogleはGemmaモデルを独自のGeminiシリーズとは対照的に「オープン」と位置付けていますが、競合他社のほとんどの「オープン」モデルと同様に、基盤となるソースコードや生のトレーニングデータは含まれていないことに注意が必要です。代わりに、ユーザーは事前学習済みモデルとその関連する重みを受け取ります。これは、Googleが「Gemmaverse」と呼ぶこの最新のエントリーにも当てはまる特性です。

新しい小型のGemma 3 270Mモデルは、オンデバイスでの使用に特化して最適化されており、最小限のRAMで効率的に動作できます。Googleは、これが「大量で明確に定義された」タスクや「毎ミリ秒、毎マイクロセントが重要」なシナリオに理想的であると示唆しています。その設計は、高速なファインチューニング（特定のアプリケーション向けに事前学習済みモデルをカスタマイズするプロセス）が可能な速度から、迅速な開発を重視しています。Googleは、この機能が「専門タスクモデルのフリートを簡単に作成する」ことにつながると示唆しています。

内部ベンチマーク（未検証ではあるが）によると、Gemma 3 270Mは、IFEvalの指示追従ベンチマークにおいて、SmollLM2-360M-InstructやQwen 2.5 0.5B Instructといった同サイズのモデルを上回る性能を示しています。当然ながら、4倍大きいGemma 3 1Bに比べてパフォーマンスは著しく低く、前者が51.2点であるのに対し、後者は80.2点です。Googleは、270Mモデルが生のパフォーマンスのために作られたものではないと強調しています。代わりに、その最大のセールスポイントはエネルギー効率です。INT4精度に量子化した場合（メモリを節約し速度を向上させるためにモデルの数値データの精度を低下させるプロセスで、INT8に対するパフォーマンスへの影響を最小限に抑えるために事前提供された量子化認識学習（QAT）チェックポイントが保証されています）、Pixel 9 ProスマートフォンでのGoogleの内部テストでは、25回の長さが指定されていない会話で、バッテリー消費がわずか0.75パーセントポイントにとどまったことが示されました。

この小型モデルの最も驚くべき点は、おそらくそのトレーニングデータセットです。パラメータ数が少ないにもかかわらず、2億7000万パラメータのモデルは、AIを学習させるために使用されたとされる6兆トークン（テキストとデータの断片）でトレーニングされました。これは10億パラメータバージョンで使用されたデータの3倍であり、40億パラメータモデルの1.5倍です。Googleの最大の120億および270億パラメータモデルのみがこれを上回り、それぞれ12兆および14兆トークンでトレーニングされています。他のすべてのGemma 3モデルと同様に、このデータセットには2024年8月の「知識カットオフ日」があり、それより新しい情報はファインチューニング中または直接プロンプトによって組み込む必要があります。

この新しいコンパクトモデルは、より大きなGemmaの先行モデルと同様に、無料で利用できます。ただし、その使用はGoogleの禁止使用ポリシーに概説されている一連の制限に従います。これらの規約に違反した場合、Googleは、合理的に違反していると判断したGemmaサービスへのアクセスをリモートまたはその他の方法で制限する権利を有します。これらの制限には、知的財産権を侵害するコンテンツの生成、危険な、違法な、または悪意のある活動への従事、無免許での医療行為や会計業務、またはスパムの生成の禁止が含まれます。さらに議論の的となるのは、ポリシーが「安全フィルターをオーバーライドまたは回避しようとする試み」および「性的に露骨なコンテンツ」の生成も禁止している点です。ただし、後者には科学的、教育的、ドキュメンタリー、または芸術的目的で作成されたコンテンツに対する例外が含まれています。「Gemmaverse」のこの最新モデルを試したい開発者向けには、Hugging Face、Ollama、Kaggle、LM Studio、Dockerなどのプラットフォームで簡単に入手でき、Googleは特定のアプリケーション向けにモデルをファインチューニングするための包括的なガイドも提供しています。