跳到主要内容

音乐生成:在 SL2610 系列上运行 Jellectronica

请先完成入门指南

请先完成 SL2610 入门指南。该指南涵盖开发板配置、克隆示例仓库以及创建 Python 环境。每打开一个新终端,都需要运行 source .venv/bin/activate 激活环境。

Jellectronica Lite 可将视频流实时转化为氛围音乐。YOLOv8 目标检测器在 Torq NPU 上运行,每个被检测对象的位置都会映射到一个音乐网格上。当生物在画面中移动时,便会触发音符、和弦和琶音。

默认情况下,演示会播放内置的水母视频。它也可以使用 YouTube 直播流(例如蒙特雷湾水族馆的海月水母直播)、IP 摄像头或任意视频文件。

可选的 MelodyRNN 层会监听被触发的音符,并使用预训练的 Magenta LSTM 生成伴奏旋律。所有处理都在开发板上完成:NPU 推理、旋律生成、音频合成和画面渲染。

Jellectronica

工作原理​

video source ─→ Torq NPU (YOLOv8 int8, 320x320) ─→ tracker (8x4 grid)
│
┌───────────────────────────┼──────────────────┐
▼ ▼ ▼
SoftSynth MelodyRNN Display
(USB audio out) (optional LSTM) (DSI or browser)

当被检测对象跨越 8x4 网格中的单元格边界时,就会触发一个音符。四行分别对应不同的乐器(琶音、铺底音色、和弦和贝斯),因此画面中的对象越多,声音就越丰富。合成器和 MelodyRNN 均以纯 Python 和 NumPy 实现,无需安装 TensorFlow 或 Magenta 软件包。

在 Astra 上运行 Jellectronica​

硬件​

  • Synaptics Coralboard 或 Astra Machina SL2619 套件
  • USB 音箱或耳机(也可使用蓝牙音箱,见下文)
  • 可选:Waveshare 7 英寸 DSI 显示屏。没有显示屏时,应用会将画面推流到浏览器。

安装该示例所需的依赖并下载模型:

cd jellectronica
pip install -r requirements.txt
python setup_demo.py

如需使用蓝牙音箱代替 USB 音频,请参考 Astra Linux 蓝牙指南进行配对。

在边缘侧根据视频生成音乐​

无头模式:推流到浏览器​

python3 run_cli.py

在同一网络中的浏览器中打开 http://<board-ip>:5002。视频及检测叠加层会推流到浏览器,音乐则通过开发板连接的音箱播放。使用 --port 可更改端口。

显示模式:DSI 或 HDMI 屏幕​

按照入门指南配置显示环境(XDG_RUNTIME_DIR 和 WAYLAND_DISPLAY),并添加:

export WESTON_DISABLE_GBM_MODIFIERS=true

如需在 800x480 显示屏上使用竖屏模式:

export ORIENTATION=portrait
export DISPLAY_HEIGHT=800
export DISPLAY_WIDTH=480

然后启动应用,画面将直接渲染到显示屏:

python3 run_gui.py

选择视频源​

视频源选项
内置水母视频(默认)无需选项
YouTube 直播(水母直播)--youtube
其他 YouTube 视频--youtube <URL>
本地文件、IP 摄像头或 HTTP 流--video <path-or-URL>
python3 run_cli.py --youtube
python3 run_cli.py --video rtsp://192.168.1.100:554/stream

如果 YouTube 不可用,或视频流黑屏,应用会自动回退到内置视频。

可以尝试的其他选项​

  • --no-ai:关闭 MelodyRNN 伴奏
  • --model <file>.vmfb:使用其他检测模型
  • --audio-driver alsa --alsa-device hw:0,0:选择音频输出设备

打造您自己的版本​

该音乐网格适用于任何 YOLOv8 检测模型,并且所有被检测对象无论属于哪个类别都会触发音符。若想让您的狗、喂鸟器或街道车流"演奏"音乐:

请按照博客文章在 Synaptics Torq NPU 上部署自定义 YOLO 模型中的步骤创建您自己的模型。以下是简要步骤:

  1. 使用 Ultralytics 在您的目标对象上训练 YOLOv8 模型。
  2. 使用 Torq 编译器将其转换为可在 NPU 上运行的模型。
  3. 将 .vmfb 文件复制到开发板。
  4. 运行 python3 run_cli.py --model ../models/your_model.vmfb。

模型​

本教程使用以下预编译模型(适用于 SL2610 系列)。有关详细信息、性能数据和下载链接,请参阅模型页面:

可前往模型页面浏览所有模型。

Python 代码解析​

  • detector.py:在 Torq NPU 上运行 YOLOv8
  • tracker.py:跟踪对象并将其映射到网格
  • music_engine.py 和 soft_synth.py:五声道音频引擎及内置合成器
  • melody_rnn.py:用于 AI 伴奏的 NumPy LSTM 推理

更多细节请参阅示例中的 docs/architecture.md。

备注

水母视频由蒙特雷湾水族馆(Monterey Bay Aquarium)提供,仅限非商业用途。

探索其他应用​