Astra 上的 LLM
使用 llama.cpp 在 Astra Machina 上本地运行 TinyLlama。
5 篇文档带有标签「llama.cpp」
查看所有标签Astra上的VLM
使用 llama.cpp 运行能理解图像和文本的视觉语言模型。
交叉编译 LLM
在主机上为 Astra Machina 交叉编译 llama.cpp。
大型语言模型
在 Astra 上本地运行小型大语言模型。
构建 llama-cpp Python wheel
在开发板上构建 llama-cpp-python，用 Python 进行本地 LLM 推理。