跳到主要内容

EmbeddingGemma-2 INT8

Google 推出的多模态嵌入模型,可将文本、图像、视频和音频映射到同一个 768 维空间以实现跨模态搜索,并已针对 Torq NPU 进行优化。

支持的处理器

  • SL2619

性能

Torq Compiler/Runtime v2.3.0 · audio_1120

2188.848ms
推理时间
377.5MB
DRAM Footprint

Torq Compiler/Runtime v2.3.0 · audio_140

326.629ms
推理时间
350MB
DRAM Footprint

Torq Compiler/Runtime v2.3.0 · audio_280

490.968ms
推理时间
352.5MB
DRAM Footprint

Torq Compiler/Runtime v2.3.0 · audio_560

990.621ms
推理时间
358.5MB
DRAM Footprint

Torq Compiler/Runtime v2.3.0 · text_body_s128

416.327ms
推理时间
194.6MB
DRAM Footprint

Torq Compiler/Runtime v2.3.0 · text_body_s512

2300.843ms
推理时间
214.1MB
DRAM Footprint

Torq Compiler/Runtime v2.3.0 · vision_384x384

2930.231ms
推理时间
325.6MB
DRAM Footprint

EmbeddingGemma-2

模型概述​

EmbeddingGemma-2 是 Google 推出的多模态嵌入模型。它将文本、图像、视频和音频映射到同一个 768 维嵌入空间(Matryoshka:768、512、256 或 128 维),因此文本查询可以直接与照片、视频帧和声音片段进行比较。

EmbeddingGemma-2 已针对配备 Torq NPU 的 Synaptics Astra® SL2610 系列处理器进行优化。此版本采用 8 位权重(int8,块大小 32)和 bf16 激活值,生成的嵌入与原始模型非常接近(在一个媒体库上与 fp32 的余弦相似度为 0.997)。

模型特性​

  • 模型类型: 多模态嵌入模型
  • 输入: 文本、图像(384x384)、视频(采样帧)、音频(16 kHz 单声道)
  • 输出: 768 维嵌入(可截断为 512、256 或 128 维并经 L2 归一化)

部署​

编译后的模型文件可从 Huggingface 下载:Synaptics/Google-EmbeddingGemma-2。

8 位版本(约 2.3 GB)位于 main 分支。较小的 4 位版本(1.1 GB,精度较低)位于 q4 分支,bf16 版本(3.6 GB)位于 bf16 分支。

使用教程​

使用示例请参阅 Torq Examples / EmbeddingGemma-2。 具体操作说明请查看 README。

许可证​

源模型和用于设备端部署的编译模型均依据 Apache License 2.0 授权。

了解更多​