跳到主要内容

在 SL2610 系列上进行流式语音转文本

请先完成入门指南

请先完成 SL2610 入门指南。该指南介绍了如何配置开发板、克隆示例仓库以及创建 Python 环境。在每个新终端中,使用 source .venv/bin/activate 激活该环境。

基础的语音转文本示例会等您说完一句话后才显示文本。在本指南中,转录内容会在您说话的同时逐词更新,并且应用可以在收到更多音频时修正最近的词语。实时字幕就是这样工作的。

本指南使用 Moonshine V2 Streaming 模型(tiny,英文),该模型拆分为编码器和解码器,两者均在 Torq NPU 上运行。语音活动检测器负责确定每段语音的起止位置。

有关 Moonshine Streaming 模型以及如何将其转换为在 Torq 上运行的详细信息,请参阅博客 Real-time Speech Recognition on SL2610-Series。

在 Astra 上运行流式语音转文本​

硬件​

将 USB 麦克风连接到开发板。通过 ADB 或 SSH 从 PC 连接,或者连接显示屏和 USB 键盘后直接打开终端。

安装本示例专用的依赖项、用于麦克风输入的 PortAudio 库,并下载模型:

cd speech_to_text_streaming
pip install -r requirements.txt
../setup/install_portaudio.sh
python setup_demo.py

模型保存在 models/Synaptics/moonshine-streaming-tiny-torq/ 中,并固定为 v2.1.0 版本。若要使用其他版本,请运行 python setup_demo.py --moonshine-models streaming-tiny-en:<version>。

边缘端流式转录​

python run_cli.py

应用会列出音频输入设备并提示您选择一个。按 Enter 使用系统默认设备,或使用 --device <N> 跳过提示。然后开始说话。词语会在被识别时出现,并在模型确信后固定下来。按 Ctrl+C 退出。

python run_cli.py --list-devices
python run_cli.py -m ../models/Synaptics/moonshine-streaming-tiny-torq --device 1

转录 WAV 文件​

您可以在没有麦克风的情况下进行测试。文件会经过相同的处理流程,处理完成后应用自动退出:

python run_cli.py -m ../models/Synaptics/moonshine-streaming-tiny-torq --wav ../samples/sample.wav

添加 --realtime 可按实际速度播放文件,观察实时预览如同使用麦克风时一样更新。

调整语音活动检测器​

转录质量在很大程度上取决于语音片段的切分位置,默认值只是一个起点。

  • --vad-silence(默认 2.5 秒)是结束一段语音前所需的停顿时长。如果输出零碎,请调高该值;如果句子被合并或转录滞后,请调低该值。
  • --vad-threshold 是语音电平阈值。在嘈杂的房间中请调高该值,麦克风音量较小时请调低该值。
  • 如果词语开头被截断,--vad-lookback 会有所帮助。
  • --vad-backend silero 会从默认的能量检测器切换到 Silero 神经网络检测器,后者能更好地处理不均匀的背景噪声。
python run_cli.py -m ../models/Synaptics/moonshine-streaming-tiny-torq --vad-backend silero

工作原理​

音频以 16 kHz 采样率按 80 ms 的块进行采集。在您说话时,每个音频块都会经过编码器,编码器会不断扩展迄今为止音频的交叉注意力记忆(最长约 8 秒)。每隔几个音频块,以及在您停止说话时,解码器会根据该记忆生成 token。

有两个设计让该应用在开发板上保持快速:

  • 续接而非重启。 解码器从已提交的词语继续解码,而不是重新解码整段语音,因此每次预览只需处理新增的尾部。
  • 提交规则。 只有当最近几次解码结果一致,并且该词语落后于实时音频至少三秒时,它才会在屏幕上被固定。已提交的文本永远不会被改写。

解码器在各步骤之间将注意力张量保留在 NPU 上,因此每一步只需复制回少量的 logits。

性能分析​

--profile 会记录每个音频块的耗时,并显示应用是否能跟上实时速度:

python run_cli.py -m ../models/Synaptics/moonshine-streaming-tiny-torq --wav ../samples/sample.wav --profile
pip install matplotlib
python plot_profile.py

图表会写入 profile_results/plots/。

模型​

本教程使用以下预编译模型(适用于 SL2610 系列)。有关详细信息、性能数据和下载链接,请参阅模型页面:

可前往模型页面浏览所有模型。

Python 代码解析​

  • run_cli.py:应用主体,包括麦克风采集、VAD、工作线程、解码触发和终端显示
  • vad.py:能量检测器和 Silero 语音活动检测器
  • setup_demo.py:下载并校验模型文件
  • profiling.py 和 plot_profile.py:耗时采集和绘图

查看这些文件以了解更多信息。

引用​

探索其他应用​