英伟达优化Gemma 4本地运行,推动本地Agent AI落地
创始人
2026-04-03 08:51:55

AIPress.com.cn报道

4月3日消息,英伟达发布技术博客称,已与谷歌合作对Gemma 4开源模型进行优化,使其能够在英伟达 GPU生态中高效运行,从RTX PC到DGX Spark个人AI超级计算机以及Jetson边缘设备均可部署,从而推动本地“Agentic AI”应用的发展。

Gemma 4是谷歌DeepMind最新发布的开源模型家族,包括E2B、E4B、26B和31B四种规模。英伟达表示,这些模型在保持较小体积的同时具备较强推理、代码生成和多模态能力,可在本地设备上完成复杂任务。通过针对英伟达 GPU的优化,Gemma 4能够在从数据中心到个人电脑的多种硬件环境中高效运行。

在功能方面,Gemma 4支持复杂推理、代码生成与调试,并原生支持函数调用等结构化工具使用能力,使其能够作为AI代理执行自动化任务。模型还具备多模态处理能力,可处理图像、视频与音频,并支持在同一提示中混合文本和图像输入。语言方面,模型支持35种以上语言的直接使用,并在超过140种语言数据上进行预训练。

其中E2B和E4B模型主要面向边缘设备与移动端部署,强调低延迟和离线运行能力,可在Jetson Nano等设备上实现接近实时的推理性能。26B和31B模型则更适合开发者工作流和高性能推理任务,能够在RTX GPU和DGX Spark设备上支持本地代码助手、开发工具和AI代理应用。

英伟达表示,随着本地AI代理逐渐成为重要应用形态,一些软件已经开始利用这些模型构建常驻本地的智能助手。例如OpenClaw平台已兼容Gemma 4,使用户可以构建访问本地文件、应用程序和工作流程的AI代理,以自动化日常任务。

在部署方面,Gemma 4模型可以通过Ollama或llama.cpp在本地运行,也可以从Hugging Face下载GGUF格式模型权重。英伟达还与Unsloth合作提供优化版本,以支持更高效的本地微调和部署。

英伟达表示,借助GPU中的Tensor Core加速以及CUDA软件栈,Gemma 4等开源模型可以在不同硬件平台上实现更高吞吐量和更低延迟,使开发者能够在本地设备上运行复杂AI应用,而不必完全依赖云端计算资源。(AI普瑞斯编译)

相关内容

热门资讯

汕头素色瓷砖品牌哪家好 汕头素色瓷砖怎么选?对比多家后,我为什么推荐震业装饰建材 最近后台收到很多潮阳、汕头业主的私信,问得...
本地性价比高的瓷砖门店有哪些 行业痛点分析 数据表明,2023年新乡本地硬装主材消费投诉中,瓷砖品类占比达32%,位居建材类投诉前...
固安装修瓷砖选择推荐 在如今的瓷砖市场,消费者面临着诸多采购痛点。比如品牌和品类繁杂,难以抉择且容易踩坑;存在货不对板,补...
精工筑质,定制无界|雅浪卫浴,... 卫浴空间是居家美学的缩影,而异形格局、特殊尺寸、个性化审美需求,让标准化浴室柜难以满足大宅与私宅项目...
潮州智能马桶供应商教你选对适合... 家人们,最近是不是都在琢磨着把家里的老马桶换掉,或者新装修正卡在卫浴选品这一关?搜智能马桶哪个牌子好...