LLM:在 SL2610 系列上实现语音翻译
请先完成入门指南
请先完成 SL2610 入门指南。该指南涵盖开发板配置、克隆示例仓库以及创建 Python 环境。每打开一个新终端,都需要运行 source .venv/bin/activate 激活环境。
大语言模型不仅仅用于聊天。在本指南中,您将构建一个完全在开发板上运行的口语翻译器:您说英语,应用即可显示西班牙语、法语、德语、葡萄牙语或印尼语的译文。

三个模型在一条流水线中协同工作:
- Silero VAD 检测是否有人在说话。
- Moonshine 在 Torq NPU 上将语音转换为文本(语音转文本)。
- Gemma 3 270M 负责翻译文本。它是 Google Gemma 3 系列中最小的模型,专为极致效率而设计。
图形界面基于 PyQt6 构建。
在 Astra 上运行翻译器
硬件
- 连接到开发板的 USB 麦克风(文本模式下无需)
- 通过 ADB 或 SSH 从 PC 连接,或连接显示屏及 USB 键盘和鼠标
安装该示例所需的依赖、用于麦克风输入的 PortAudio 库,并下载模型:
cd gemma_translate
pip install -r requirements.txt
../setup/install_portaudio.sh
python setup_demo.py
在边缘侧运行翻译
在终端中使用语音输入
python run_cli.py
应用会列出您的音频输入设备,并要求您选择其中一个:
List of Audio input devices:
0 HyperX SoloCast: USB Audio (hw:0,0), ALSA (2 in, 0 out)
1 sysdefault, ALSA (128 in, 0 out)
> 3 default, ALSA (128 in, 0 out)
Enter input device to listen on:
然后开始说话。随时按数字键可切换目标语言,按 Ctrl+C 退出。请用英语说出多于几个单词、但时长不超过五秒的短语。
文本输入(无需麦克风)
python run_cli.py --text
→ Good morning, how are you?
[You] Good morning, how are you?
[Translation] Buenos días, ¿cómo estás?
→ /2
[Language changed to: French]
→ Good morning, how are you?
[Translation] Bonjour, comment allez-vous ?
使用 /1 至 /5 切换语言,使用 /q 退出。
运行图形界面
按照入门指南配置显示环境(XDG_RUNTIME_DIR 和 WAYLAND_DISPLAY),并添加 Qt 相关变量:
export QT_QPA_PLATFORM=wayland
export WESTON_DISABLE_GBM_MODIFIERS=true
如需在 800x480 显示屏上使用竖屏模式:
export ORIENTATION=portrait
export DISPLAY_HEIGHT=800
export DISPLAY_WIDTH=480
然后启动应用:
python run_gui.py
可以尝试的其他选项
--language:初始目标语言,可选西班牙语(默认)、法语、德语、葡萄牙语或印尼语--moonshine-tda {cpu,dmabuf}:Moonshine 使用的内存分配器(默认dmabuf)--gemma-tda {cpu,dmabuf}:Gemma 使用的内存分配器(默认dmabuf)--gemma-device-io/--no-gemma-device-io:Gemma 是否使用设备端 I/O(默认启用)
备注
两个模型请使用相同的分配器。在同一进程中混用(例如 Gemma 使用 dmabuf、Moonshine 使用 cpu)可能会失败,并且 dmabuf 需要启用设备端 I/O。如需两者都使用 CPU 分配器:python run_gui.py --moonshine-tda cpu --gemma-tda cpu --no-gemma-device-io。
模型
本教程使用以下预编译模型(适用于 SL2610 系列)。有关详细信息、性能数据和下载链接,请参阅模型页面:
可前往模型页面浏览所有模型。
