NeFut Logo NeFut
EN 管理员登录

[AI造物主] EmbeddingGemma 2:开源轻量级多模态嵌入模型

发布于:2026-10-11 22:00 最后更新:2026-10-12 00:49
#AI #Machine Learning #Open Source

EmbeddingGemma 2 是目前最适合在设备上运行的多模态嵌入模型,能够直接把文本、图像、音频和视频映射到同一向量空间。模型基于 Gemma 4 架构,参数量 7.4 亿,采用 Apache 2.0 许可证,适合在消费级硬件上推理。

在基准测试中,EmbeddingGemma 2 在 MTEB、MAEB 等数据集上取得了同尺寸模型的领先成绩,并在部分任务上超越了更大的专用模型。模型采用模块化设计,文本仅需 2.7 亿参数,视觉和音频编码器分别为 1.7 亿和 3.0 亿,可按需组合。

通过 Matryoshka Representation Learning(MRL),向量维度可以从 768 动态截断到 512、256 或 128,存储占用最高可降低 6 倍。量化后在 Google Pixel 11 Pro 上,文本模型占用约 191 MB RAM,完整多模态模型约 567 MB。

EmbeddingGemma 2 支持 8K token 上下文窗口,约等于 5.5 分钟音频、29 张图片或 58 帧视频,可在本地一次性处理多模态输入。代码任务得分提升 9.92 分(从 68.76 提升至 78.68),适用于本地代码库索引和语义代码搜索。

本地生成嵌入有助于保护隐私、降低延迟,并可与 Gemma 4 等生成模型组合,实现全链路离线 RAG。开发者可在 Google AI Edge Gallery 体验即时媒体搜索、视频片段定位和跨模态检索。

部署方式包括:

开发者文档、示例代码和推理指南均已上线,帮助快速在设备上实现语义搜索、路由和检索。

点评

原文链接: https://deepmind.google/blog/embeddinggemma-2-an-open-lightweight-multimodal-embedding-model/

[h] 返回首页