跳到主要内容

在 SL2610 系列上进行语音转文本

请先完成入门指南

请先完成 SL2610 入门指南。该指南介绍了如何配置开发板、克隆示例仓库以及创建 Python 环境。在每个新终端中,使用 source .venv/bin/activate 激活该环境。

语音转文本,也称为自动语音识别(ASR),可将口语转换为书面文本。它是语音助手、字幕和语音控制的第一步。

本指南使用两个模型:

  • Moonshine:一款专为边缘设备上高效、低延迟、实时使用而设计的语音转文本模型。它在 Torq NPU 上运行。
  • Silero VAD(语音活动检测):一个小型模型,用于检测何时有人在说话,使应用只转录真实的语音。

在 Astra 上运行语音转文本​

硬件​

将 USB 麦克风连接到开发板。通过 ADB 或 SSH 从 PC 连接,或者连接显示屏和 USB 键盘后直接打开终端。

安装本示例专用的依赖项、用于麦克风输入的 PortAudio 库,并下载模型:

cd speech_to_text
pip install -r requirements.txt
../setup/install_portaudio.sh
python setup_demo.py

边缘端语音转文本​

python run_cli.py

对着麦克风说话。请使用多于几个单词但时长少于五秒的英文短语。应用会捕获您的语音并在终端中打印文本。

默认情况下,Moonshine 使用 DMA(dmabuf)分配器和设备端 I/O。若要改用 CPU 分配器:

python run_cli.py --tda cpu

模型​

本教程使用以下预编译模型(适用于 SL2610 系列)。有关详细信息、性能数据和下载链接,请参阅模型页面:

可前往模型页面浏览所有模型。

Python 代码解析​

run_cli.py 从麦克风录制音频,使用 Silero VAD 确定每段语音的起止位置,然后将音频发送到 NPU 上的 Moonshine。Moonshine 推理和下载代码共享在 utils/moonshine/ 中。

查看 speech_to_text/run_cli.py 以了解更多信息。

引用​

探索其他应用​