谷歌发布Gemma 3 270M模型：高效小体，专为特定任务优化

体积小巧，仅241MB。

本周四，谷歌隆重推出了Gemma 3系列的最新力作——Gemma 3 270M。

这款紧凑型的语言模型拥有2.7亿个参数，专为特定任务的微调而精心打造，展现出卓越的指令跟踪与文本结构化能力。它承袭了Gemma 3系列的尖端架构与强大的预训练功能，为小型模型带来了卓越的指令执行能力。

IFEval基准测试成绩斐然，Gemma 3 270M在同级模型中树立了新的性能标杆，让复杂的AI功能在设备端与研究应用中更加触手可及。

Gemma 3 270M的核心功能亮点包括：

• 架构紧凑而强大：该模型拥有2.7亿个参数，其中词汇量高达256k，嵌入参数1.7亿个，Transformer模块1亿个。如此庞大的词汇量使该模型能够轻松应对特定与罕见的token，成为在特定领域与语言中进一步微调的坚实基础。
• 极致节能：在Pixel 9 Pro手机SoC上的内部测试显示，INT4量化模型在25次对话中仅消耗0.75%的电量，成为Gemma系列中最节能的模型。
• 指令遵循：谷歌推出了一个指令调整模型及预训练检查点，尽管并非为复杂对话用例设计，但它能出色地遵循通用指令。
• 生产量化可用：提供量化感知训练(QAT)检查点，使人们能以INT4精度运行模型，同时最大限度地减少性能下降，对资源受限设备部署至关重要。

对于1.7亿个嵌入参数如何在训练过程中避免嵌入崩溃，谷歌并未详述技术细节。但AI社区迅速展开了研究。

Sebastian Raschka第一时间进行了深入分析，他注意到了新模型的一些独特架构特点。

谷歌表示，Gemma 3 270M是一款高质量的基础模型，开箱即用，适用于专业任务。实践中，应从这款紧凑而强大的模型出发，构建出精简、快速且成本效益高的生产系统。

这种思路已在实际应用中取得显著成效。谷歌以Adaptive ML与SK Telecom的合作成果为例，面对复杂的多语言内容审核挑战，他们选择了对Gemma 3 4B模型进行微调。结果显示，专业化的Gemma模型在特定任务上的表现甚至超越了更大规模的专有模型。

Gemma 3 270M旨在让开发者进一步利用这种方法，为明确定义的任务提升效率。它是创建一系列小型专业模型的理想起点，每个模型都是其任务领域的专家。

这种专业化不仅适用于企业任务，还能助力个人开发者打造创意应用。例如，Hugging Face团队利用Gemma 3 270M为基于Transformers.js的睡前故事生成器网页应用提供支持。该模型的体积与性能使其非常适合离线、基于网页的创意任务。

谷歌指出，Gemma 3 270M适用于以下场景：

• 拥有明确且高容量任务时，该模型尤其适合情绪分析、实体提取、查询路由、非结构化到结构化文本处理、创意写作及合规性检查等功能。
• 需要精打细算且时延要求高的任务时，它能大幅降低甚至消除生产中的推理成本，并快速响应用户。经过微调的270M模型可在轻量级基础设施上运行或直接在设备上运行。
• 需要快速迭代与部署时，Gemma 3 270M的小巧体积使其能快速进行微调实验，帮助您在数小时内而非数天内找到适合您用例的最佳配置。
• 需要确保用户隐私的任务时，由于该模型可完全在设备上运行，您可构建处理敏感信息的应用而无需将数据发送至云端。
• 需要一批专门的任务模型时，构建并部署多个自定义模型，每个模型都经过专业训练且能完成不同任务且不会超出预算。

谷歌为这款新模型提供了快速入门的方案与工具。您可在Gemma文档中找到使用Gemma 3 270M进行完整微调的指南：https://ai.googledev/gemma/docs/core/huggingface_text_full_finetune

同时，谷歌发布了Gemma 3 270M的预训练模型与指令调优模型：https://huggingface.co/collections/google/gemma-...

您可在Vertex AI上试用模型或使用llama.cpp、Gemma.cpp、LiteRT、Keras及MLX等热门推理工具：https://console.cloud.google.com/...

现在您也可在Colab上尝试自行微调，仅需不到5分钟即可完成。

过去数月间，谷歌的Gemma开放模型系列经历了一系列发布。从4月至5月期间推出了Gemma 3与Gemma 3 QAT为单云与桌面级GPU提供了出色的AI性能。随后于6月25日面向移动端的Gemma 3n正式发布为手机等设备引入了强大的实时多模态AI能力。

据谷歌透露截至上周Gemma系列累计下载量已突破两亿次。