当前位置:首页 > 科技资讯 > 正文

Google双拳出击:T5Gemma重燃encoder-decoder战火,MedGemma引领医疗AI开源浪潮

Google双拳出击!T5Gemma重燃encoder-decoder架构战火,性能暴涨12分;MedGemma坚守decoder-only路线,强攻医疗多模态,击穿闭源壁垒。Gemma体系完成「架构+落地」双重进化,打响Google开源反击战。

自2023年以来,decoder-only架构在大模型战场上占据主导地位。

从GPT家族到LLaMA、Gemma、Mistral,再到Claude、Command-R、Yi系列,能叫得出名字的主流LLM,几乎都是清一色的「纯解码器」(decoder-only)。

但今天,Google带着T5Gemma杀回来了——

Google双拳出击:T5Gemma重燃encoder-decoder战火,MedGemma引领医疗AI开源浪潮 T5Gemma encoder-decoder MedGemma 医疗AI 第1张

Google不仅重启了encoder-decoder的技术路线,还略施小技就让它原地起飞,性能超越原版Gemma 2。

T5Gemma本身基于decoder-only的Gemma 2框架。

神奇的是,通过简单的「适配」转换成encoder-decoder架构后,T5Gemma一举实现性能飞跃。

T5Gemma 9B-9B在GSM8K(数学推理)上得分⽐原始Gemma 2 9B⾼出9分,在DROP(阅读理解)上⾼出4分。

进一步缩小参数量,结果反而更惊人!

T5Gemma 2B-2B在IT的MMLU得分⽐Gemma 2 2B提高了近12分,GSM8K准确率暴涨到70.7%。

Google双拳出击:T5Gemma重燃encoder-decoder战火,MedGemma引领医疗AI开源浪潮 T5Gemma encoder-decoder MedGemma 医疗AI 第2张

T5Gemma主要面向文本生成任务,包括问答系统、数学推理、阅读理解等。

并且encoder-decoder的架构支持「不平衡」配置。如9B编码器配2B解码器,可以在质量和效率之间游刃有余。

在相同的计算量下,T5Gemma性能优于仅解码器模型,灵活度也更胜一筹,可以根据具体任务调整编码器和解码器的大小。

除了Gemma 2的技术回马枪之外,Gemma 3系列也有重大更新!

Google这次专攻医疗多模态任务,基于Gemma 3架构,推出了MedGemma和MedSigLIP两款多模态模型。

MedGemma支持图文输入,输出是医学自由文本;MedSigLIP则是轻量图文编码器。

Google双拳出击:T5Gemma重燃encoder-decoder战火,MedGemma引领医疗AI开源浪潮 T5Gemma encoder-decoder MedGemma 医疗AI 第3张

Google将「低资源友好」贯彻到底,MedGemma仅需4B模型即可逼近SoTA,部署门槛极低,单卡、甚至移动端也能轻松跑起来。

4亿参数的MedSigLIP也是全能王者,不仅擅长医学图像,检索、零样本分类等非医学下游任务也手拿把掐。

「架构+落地」双王炸,Google的开源LLM体系战略杀疯了。

四两拨千斤,重燃encoder-decoder架构之战

T5Gemma基于Gemma 2框架,包括适配后的Gemma 2 2B和9B模型,以及⼀组新训练的T5尺寸模型(Small、Base、Large 和 XL)。

Google双拳出击:T5Gemma重燃encoder-decoder战火,MedGemma引领医疗AI开源浪潮 T5Gemma encoder-decoder MedGemma 医疗AI 第4张

一招适配,暴打原版

不少网友在T5Gemma发布后纷纷表示,encoder-decoder其实也具有很强的输入理解、上下文建模和推理能力。

想法简单,效果惊人

实验证明,T5Gemma的想法非常有效。

全方位碾压!T5Gemma不止于快

MedGemma击破医疗AI开源壁垒

性能强大且资源友好

医学图像与文本处理的完美结合

Gemma路线大升级,Google开源吹响反攻号角

从架构革新到产业落地