谷歌发布Gemma 3 270M:智能手机专用微型开源AI

Venturebeat

谷歌的DeepMind AI研究团队推出了Gemma 3 270M,这是一款全新的开源AI模型,旨在实现卓越的效率和设备端性能。该模型以其2.7亿参数(即控制模型行为的内部设置)命名,与通常主导AI领域的多亿参数大型语言模型(LLM)形成鲜明对比。虽然参数数量越多通常意味着模型越强大,但Gemma 3 270M优先考虑的是另一种能力:它能够在没有互联网连接的情况下直接在智能手机和其他轻量级硬件上运行,正如在Pixel 9 Pro处理器上的内部测试所展示的那样。

尽管体积小巧,Gemma 3 270M仍能处理复杂的、领域特定的任务,并且可以快速进行微调(通常只需几分钟),以适应企业或独立开发者的精确需求。Google DeepMind的员工AI开发者关系工程师Omar Sanseviero在社交网络X上进一步强调了该模型的多功能性,指出它能够直接在用户的网络浏览器中、在树莓派上,甚至幽默地说,“在你的烤面包机里”运行,这突显了它对资源受限环境的适应性。

该模型的架构结合了1.7亿个嵌入参数,并由一个庞大的25.6万词汇量支持,能够处理罕见和特定的术语,此外还有1亿个Transformer块参数。谷歌声称,这种设计有助于在指令遵循任务上实现出色的开箱即用性能,同时又足够小巧,便于在计算资源有限的设备(包括移动硬件)上进行快速微调和部署。Gemma 3 270M继承了其基础架构和预训练自更大的Gemma 3模型,确保了在更广泛的Gemma生态系统中的无缝兼容性。开发者可以利用全面的文档、微调配方以及针对Hugging Face、UnSloth和JAX等流行工具的部署指南,加速从实验阶段到实际部署的过渡。

在性能方面,经过指令微调的Gemma 3 270M在评估模型指令遵循熟练度的IFEval基准测试中取得了51.2%的分数。根据谷歌的比较数据,这一分数使其显著领先于其他同等大小的模型,如SmolLM2 135M Instruct和Qwen 2.5 0.5B Instruct,并接近某些十亿参数模型的性能水平。然而,竞争对手AI初创公司Liquid AI的研究人员和负责人迅速在X上指出,谷歌的比较遗漏了他们自己在7月份发布的LFM2-350M模型,该模型仅用略多的参数就取得了更高的65.12%的分数。

Gemma 3 270M最引人注目的特性之一是其卓越的能效。在内部测试中,一个针对INT4精度优化的模型版本在25次对话中仅消耗了Pixel 9 Pro电池寿命的0.75%。这使其成为设备端AI应用的绝佳选择,尤其是在用户隐私和离线功能至关重要的情况下。发布包中包含一个用于通用任务的预训练模型和一个指令微调变体,为开发者提供了即时实用性。此外,还提供了量化感知训练(QAT)检查点,可以在性能损失最小的情况下实现INT4精度,这对于资源受限环境中的生产部署至关重要。

谷歌将Gemma 3 270M定位为其“为给定任务选择适当工具,而非默认使用最大可用模型”理念的证明。对于情感分析、实体提取、查询路由、结构化文本生成、合规性检查乃至创意写作等特定功能,该公司认为,一个经过精细微调的小型模型可以比大型通用模型提供更快、更具成本效益的结果。这种专业化在过去的合作中已被证明是有效的,例如Adaptive ML与SK Telecom的合作,其中经过微调的Gemma 3 4B模型在多语言内容审核方面超越了更大的专有系统。Gemma 3 270M旨在以更小的规模促进类似的成功,从而能够创建针对单个任务量身定制的专业模型。

除了企业应用,该模型还在创意场景中展现了潜力。一段演示视频展示了一个使用Gemma 3 270M和Transformers.js构建的睡前故事生成器应用,该应用完全在网络浏览器中离线运行。该应用允许用户选择主角、背景、情节转折、主题和所需长度,然后根据这些输入生成一个连贯且富有想象力的故事。这个有力的例子说明了Gemma 3 270M如何在不依赖云基础设施的情况下为引人入胜的交互式应用提供动力,为设备端AI体验开辟了新途径。

Gemma 3 270M根据Gemma使用条款发布,该条款允许使用、复制、修改和分发模型及其衍生品,但需满足特定条件。这些条件包括遵守谷歌的禁止使用政策,确保下游接收者了解条款,并明确指出任何修改。虽然这种许可模式并非传统意义上的“开源”,但它广泛地支持商业用途,无需单独的付费许可证。企业可以将该模型嵌入产品、作为云服务的一部分进行部署,或将其微调为专业衍生品,并保留对模型生成内容的所有权利。但是,开发者有责任确保遵守适用法律,并避免禁止使用,例如生成有害内容或违反隐私法规。

随着“Gemmaverse”下载量突破2亿,Gemma系列产品线不断扩展,涵盖云端、桌面和移动优化版本,Google AI开发者正在战略性地将Gemma 3 270M定位为开发快速、经济高效且以隐私为中心的AI解决方案的基础要素。