2 篇博文含有标签「llm」 | Edge AI for Developers

用于边缘设备 AI 助手的 Llama 3.2

2024年9月28日 · 阅读需 1 分钟

Astra Team

Synaptics

Meta 最近宣布推出 Llama 3.2，其中包含专门为边缘设备设计的新型轻量级纯文本模型（1B 和 3B）！这些模型包括预训练和指令微调版本，具有 128K token 的上下文长度。

针对边缘优化的 LLM

2024年7月12日 · 阅读需 4 分钟

Meet Patel

MLE @ Synaptics

在自然语言处理领域不断发展的今天，LLM（大语言模型）和 SLM（小语言模型）已成为从聊天机器人到文本补全等各种应用的强大工具。使用 Astra Machina 开发套件在嵌入式系统上运行 Llama.cpp 为部署本地化、高效的 AI 解决方案开辟了新的可能性，特别适合边缘计算环境。在本博客中，您将了解在 Astra Machina 开发套件上实现 llama.cpp 的高级方法，使设备能够直接运行高级 LLM 功能。

Llama.cpp 使得在边缘设备或各种本地硬件上运行 Llama 和其他支持的模型变得简单得多。其轻量级设计经过优化，无需强大的 GPU 或云基础设施即可部署。通过使用 CPU 推理，Llama.cpp 使模型能够高效运行。它还支持在 GPU 上运行。开发人员可以利用 OpenCL 在 Machina 的 GPU 上运行它。