乐鱼体育-谷歌宣布开源多模态大模型Gemma3 媲美DeepSeek

2025-04-07

　　【LEYU科技消息】日前，谷歌首席执行官Sundar Pichai宣布开源最新多模态大模型Gemma-3，主打低成本与高性能。Gemma-3提供四种不同参数规模的版本，分别为10亿、40亿、120亿和270亿参数。即便在参数量最大的270亿版本中，仅需一张H100显卡即可实现高效推理。相比之下，同类模型若要达到类似效果，至少需要提升10倍算力。因此，Gemma-3也是目前性能最强的小参数模型之一。

谷歌宣布开源多模态大模型Gemma3 媲美DeepSeek

　　在性能测试方面，根据LMSYS ChatbotArena的盲测数据，Gemma-3的表现仅次于DeepSeek的R1-671B，优于OpenAI的o3-mini和Llama3-405B等知名模型。

　　在架构设计上，Gemma-3延续了前两代的通用解码器Transformer架构，并进行了多项创新和优化。为解决长上下文带来的内存占用问题，Gemma-3采用了局部和全局自注意力层交错的架构：每5个局部层之间插入1个全局层，局部层的跨度仅为1024个token。由于只有全局层负责处理长上下文，局部层仅关注1024个token的小跨度，从而有效降低了内存占用。

谷歌宣布开源多模态大模型Gemma3 媲美DeepSeek

　　多模态能力是Gemma-3的一大技术亮点。该模型能够同时处理文本和图像，并集成了定制版的SigLIP视觉编码器。这一编码器基于Vision Transformer架构，通过CLIP损失的变体进行训练。

　　为了评估Gemma-3的性能，谷歌在MGSM、Global-MMLU-Lite、WMT24++、RULER、MRCR等多个主流平台进行了测试。结果显示，Gemma-3在多模态任务中表现出色，例如在DocVQA、InfoVQA和TextVQA等任务中，其性能显著优于前代模型。在长文本处理方面，270亿参数版本的Gemma-3在RULER128K任务上达到了66.0%的准确率。

-乐鱼体育

热门资讯

企业数字化智能体：打造企业数智化AI底座

2024-04-02

TitanIDE（社区版）重磅免费开放使用！

2023-09-26

CloudOS：落地平台工程，实现真正的DevOps

2023-08-16

热门标签

企业数字化智能体 Agent AI 智能体企业智能体数智化AI底座 TitanIDE（社区版）免费在线代码编辑器 CloudIDE免费 TitanIDE免费云端IDE 平台工程 DevOps CloudOS 云原生开发平台落地平台工程云原生物联网开发平台云原生物联网物联网容器云 cloudos 微服务容器编排边端交付 TITANIDE 在线IDE 云原生开发远程研发 IDE TitanIDE 云端开发环境模板 K8s 不懂K8s也能用K8s