谷歌Gemma 3 270M：小巧LLM，赋能设备端AI新纪元

谷歌已为其“开放”大型语言模型（LLM）家族揭示了一个重要的新成员：Gemma 3 270M。这个小巧的模型，仅有2.7亿参数，约需550MB内存，旨在彻底改变设备端部署并加速模型迭代。其发布伴随着行业常见的警示，包括潜在的幻觉、输出不一致以及其训练数据可能引发的版权问题。

Gemma家族最初于2024年2月推出，提供了两个主要版本：一个针对计算机中央处理器（CPU）直接执行优化的20亿参数模型，以及一个更强大的70亿参数变体，面向配备图形处理单元（GPU）或谷歌张量处理单元（TPU）的系统。虽然谷歌将Gemma模型定位为“开放”，以区别于其专有的Gemini系列，但值得注意的是，与大多数竞争对手的“开放”模型一样，它们不包含底层源代码或原始训练数据。相反，用户收到的是预训练模型及其关联的权重——这一特性也适用于谷歌称之为“Gemma宇宙”的最新成员。

新的、更小的Gemma 3 270M模型专为设备端使用而优化，能够以最少的RAM高效运行。谷歌建议它非常适合“大批量、定义明确”的任务或“每一毫秒和每一微分都至关重要”的场景。其设计强调快速开发，源于其可以快速进行微调——一个为特定应用定制预训练模型的过程。谷歌表示，这种能力可以“毫不费力地创建一批专业任务模型”。

内部基准测试（尽管未经证实）表明，Gemma 3 270M在IFEval指令遵循基准测试中，性能优于同等大小的模型，如SmollLM2-360M-Instruct和Qwen 2.5 0.5B Instruct。不出所料，其性能明显低于大四倍的Gemma 3 1B，前者得分为51.2，后者为80.2。谷歌强调270M模型并非为原始性能而构建。相反，其主要卖点是能效。当它被量化到INT4精度时——这是一个降低模型数值数据精度以节省内存和提高速度的过程，同时预先提供了量化感知训练（QAT）检查点，确保对INT8的性能影响最小——谷歌在Pixel 9 Pro智能手机上的内部测试显示，25次长度未指定的对话仅消耗了0.75个百分点的电池电量。

或许这个微型模型最令人惊讶的方面是其训练数据集。尽管参数数量很小，但这个2.7亿参数的模型据称是在6万亿个token（用于训练AI的文本和数据片段）上进行训练的。这是10亿参数版本所用数据的三倍，是40亿参数模型所用数据的一点五倍。只有谷歌最大的120亿和270亿参数模型超越了它，它们分别在12万亿和14万亿个token上进行训练。与所有其他Gemma 3模型一样，该数据集的“知识截止日期”为2024年8月，这意味着任何比这更新的信息都需要在微调过程中或通过直接提示来整合。

这款新的紧凑型模型，像其更大的Gemma前辈一样，可免费使用。然而，其使用受谷歌禁止使用政策中规定的一系列限制。违反这些条款将赋予谷歌远程或其他方式限制其合理认为违规的任何Gemma服务的权利。这些限制包括禁止生成侵犯知识产权的内容，禁止从事危险、非法或恶意活动，禁止无证行医或会计，以及禁止生成垃圾邮件。更具争议的是，该政策还禁止“试图规避或绕过安全过滤器”和生成“露骨色情内容”，尽管后者包含为科学、教育、纪录片或艺术目的创建内容时的豁免。对于渴望在“Gemma宇宙”中尝试这个最新模型的开发者来说，它已在Hugging Face、Ollama、Kaggle、LM Studio和Docker等平台上线，谷歌还提供了关于为特定应用微调模型的综合指南。