跳到主要内容

LLM:在 SL2610 系列上实现语音翻译

请先完成入门指南

请先完成 SL2610 入门指南。该指南涵盖开发板配置、克隆示例仓库以及创建 Python 环境。每打开一个新终端,都需要运行 source .venv/bin/activate 激活环境。

大语言模型不仅仅用于聊天。在本指南中,您将构建一个完全在开发板上运行的口语翻译器:您说英语,应用即可显示西班牙语、法语、德语、葡萄牙语或印尼语的译文。

Translation

三个模型在一条流水线中协同工作:

  1. Silero VAD 检测是否有人在说话。
  2. Moonshine 在 Torq NPU 上将语音转换为文本(语音转文本)。
  3. Gemma 3 270M 负责翻译文本。它是 Google Gemma 3 系列中最小的模型,专为极致效率而设计。

图形界面基于 PyQt6 构建。

在 Astra 上运行翻译器​

硬件​

  • 连接到开发板的 USB 麦克风(文本模式下无需)
  • 通过 ADB 或 SSH 从 PC 连接,或连接显示屏及 USB 键盘和鼠标

安装该示例所需的依赖、用于麦克风输入的 PortAudio 库,并下载模型:

cd gemma_translate
pip install -r requirements.txt
../setup/install_portaudio.sh
python setup_demo.py

在边缘侧运行翻译​

在终端中使用语音输入​

python run_cli.py

应用会列出您的音频输入设备,并要求您选择其中一个:

List of Audio input devices:
0 HyperX SoloCast: USB Audio (hw:0,0), ALSA (2 in, 0 out)
1 sysdefault, ALSA (128 in, 0 out)
> 3 default, ALSA (128 in, 0 out)
Enter input device to listen on:

然后开始说话。随时按数字键可切换目标语言,按 Ctrl+C 退出。请用英语说出多于几个单词、但时长不超过五秒的短语。

文本输入(无需麦克风)​

python run_cli.py --text
→ Good morning, how are you?
[You] Good morning, how are you?
[Translation] Buenos días, ¿cómo estás?
→ /2
[Language changed to: French]
→ Good morning, how are you?
[Translation] Bonjour, comment allez-vous ?

使用 /1 至 /5 切换语言,使用 /q 退出。

运行图形界面​

按照入门指南配置显示环境(XDG_RUNTIME_DIR 和 WAYLAND_DISPLAY),并添加 Qt 相关变量:

export QT_QPA_PLATFORM=wayland
export WESTON_DISABLE_GBM_MODIFIERS=true

如需在 800x480 显示屏上使用竖屏模式:

export ORIENTATION=portrait
export DISPLAY_HEIGHT=800
export DISPLAY_WIDTH=480

然后启动应用:

python run_gui.py

可以尝试的其他选项​

  • --language:初始目标语言,可选西班牙语(默认)、法语、德语、葡萄牙语或印尼语
  • --moonshine-tda {cpu,dmabuf}:Moonshine 使用的内存分配器(默认 dmabuf)
  • --gemma-tda {cpu,dmabuf}:Gemma 使用的内存分配器(默认 dmabuf)
  • --gemma-device-io / --no-gemma-device-io:Gemma 是否使用设备端 I/O(默认启用)
备注

两个模型请使用相同的分配器。在同一进程中混用(例如 Gemma 使用 dmabuf、Moonshine 使用 cpu)可能会失败,并且 dmabuf 需要启用设备端 I/O。如需两者都使用 CPU 分配器:python run_gui.py --moonshine-tda cpu --gemma-tda cpu --no-gemma-device-io。

模型​

本教程使用以下预编译模型(适用于 SL2610 系列)。有关详细信息、性能数据和下载链接,请参阅模型页面:

可前往模型页面浏览所有模型。

Python 代码解析​

应用代码位于 gemma_translate/,共享的音频和模型辅助代码位于 app_utils/:

  • run_cli.py 和 run_gui.py 分别是终端和 PyQt 的入口
  • translation.py 构建翻译提示词并运行 Gemma
  • setup_demo.py 从 Hugging Face 下载模型文件

Moonshine 和 Gemma 均被编译为 Torq .vmfb 文件,并通过 Torq 运行时在 NPU 上运行。

探索其他应用​