跳到主要内容

AI 示例

Synaptics Coralboard™ SL

您可以在 Synaptics Coralboard™ SL 上体验多个 ML 示例应用。所有代码均可从 SL2610-examples 代码仓库获取。

语音操作​

使用自然语言控制现实世界中的物理系统。​

Gemma LLM 模型完全在设备端运行，从人类语言输入中识别意图，并将其转换为控制 Synaptics Coralboard 上 LED 和蜂鸣器的 API 调用。例如：“把颜色改成某种颜色”、“闪烁 n 次”、“蜂鸣 n 次”。这是通过一种混合多模态架构实现的：MoonshineAI 的语音转文本模型运行在搭载 Coral NPU 的 Torq AI 引擎上，Google FunctionGemma 270M 运行在双核 Arm CPU 上。Gemma 模型可以针对特定词汇进行微调。

Function Gemma

更多信息请参阅 Readme。

语言翻译​

使用设备端翻译，在不同语言之间翻译口述的句子。​

语音转文本 Transformer 模型捕获口述内容，将其编码为 token，再传入 Gemma LLM 进行翻译。本示例支持从英语翻译为多种语言，包括西班牙语和法语。通过微调还可以支持更多语言。

该应用通过一种混合多模态架构实现，集成了 MoonshineAI 的语音转文本模型和用于翻译的 Google Gemma3-270M，二者均运行在搭载 Coral NPU 的 Torq AI 引擎上。

翻译

更多信息请参阅 Readme。

目标检测​

使用单个 CNN 检测、识别和跟踪图像中的目标。​

使用运行在 NPU 上的 Yolov8 目标检测模型，检测、识别或跟踪图像帧中的目标。本示例基于 COCO（Common Objects）数据集训练，也可以针对特定用例在其他数据集上重新训练，例如姿态检测。我们同样提供了姿态检测示例。

更多信息请参阅 Readme。

场景描述​

使用视觉语言模型，以自然语言描述图像内容。​

使用 LiquidAI LFM2-VL-450M 视觉语言模型中的视觉编码器（通过 ONNX Runtime 在 CPU 上运行）生成图像 token。这些 token 随后输入运行在 NPU 上的量化 LFM2-VL-450M 解码器，由其用自然语言描述图像细节。

更多信息请参阅 Readme。

生成式音频：“Jellectronica”​

结合图像识别 CNN 和音频生成 RNN，构建创作音乐的混合模态管道。​

使用运行在 NPU 上的 Yolo v8 目标检测模型，跟踪直播或录制视频中水母的运动。这些位置坐标被输入到运行在 CPU 上的 MelodyRNN，实时生成音乐。这是 Google I/O 2026 开场体验 Jellectronica 的轻量版本，完全在设备端运行。您可以将视频流替换为自己的视频，探索各种生成式创意。

更多技术细节请参阅 Readme。

Function Gemma

Google I/O 2026 上的 Jellectronica​

这个 Jellectronica 示例曾在 2026 年 5 月的开发者大会上亮相，使用了附近蒙特雷湾水族馆的水母实时摄像头画面。这段令人惊叹的视频作为实时数据源，用于以全新方式展示多项新的 Google AI 技术。

该项目的创作初衷是展示 AI（尤其是在音乐领域）能够激发新的创造形式，而非取代人类的努力。它同时展示了超高能效的边缘计算在实现强大 AI 体验方面的潜力。Jellectronica 应用打造了一种“人类与水母的 AI 协作”，实现了以往无法实现的效果。

工作原理​

Jellectronica 将实时边缘处理与前沿的生成式 AI 模型相结合，把水母的运动转化为不断变化的交响乐：

  • 实时目标检测：系统使用 Python 和定制训练的 YOLOv8（You Only Look Once）目标检测模型，处理来自水族馆的 720p 实时视频流，以每秒 20 帧的速度实时跟踪游动的水母。
  • 基于 MelodyRNN 的音频：利用采集到的水母位置数据生成音乐。
  • 边缘 ML 加速：为高效处理视频流，ML 模型代码运行在搭载 Coral NPU 的 Torq AI 引擎上。该加速器是 Synaptics Astra™ SL2619 SoC 的一部分，安装在 Coralboard 开发平台上。

从运动到音乐​

游动的水母如何指挥一段实时配乐？

Torq AI 引擎接收实时视频流，并将水母的运动转换为位置数据流。

这些位置数据以原始数值的形式输出到上层设备，再被转换为 MIDI 音乐数据。系统使用由 Lyria 预先生成的数字音乐分轨（stem）。分轨是从混音完成的歌曲中导出的独立分组音轨（如鼓、人声或贝斯），便于单独进行重新混音和处理。

水母的位置和互动数据用于触发和选择这些分轨，控制乐器编排的强度和类型等因素。由于这些因素由水母决定，Jellectronica 体验的每一刻都由大自然实时、独一无二地编排而成。

更多内容……​

更多精彩内容，请访问 SL2610-examples 代码仓库。