使用 AidGenSE 部署 GGUF 模型

介绍

GGUF (GPT-Generated Unified Format) 是一种面向端侧推理的模型文件格式，它将模型权重、分词器与元数据封装在单一文件中，并支持多种量化方案，便于在资源受限的边缘设备上高效加载与运行。端侧部署 GGUF 模型指将原本在云端运行的大模型转换为 GGUF 格式并进行量化压缩，部署到本地设备上，实现离线、低时延的推理服务。本章节以 AidGenSE 推理引擎为基础，演示如何在边缘设备上完成 GGUF 模型 HTTP 服务的部署 (适配 OpenAI API)。

在本案例中，GGUF 模型推理运行在设备端，通过代码调用相关接口接收用户输入并实时返回对话结果。

• 设备：Rhino Pi-X1
• 系统：Ubuntu 22.04
• 模型：qwen3-4b

支持平台

平台	运行方式
Rhino Pi-X1	Ubuntu 22.04, AidLux

准备工作

1. Rhino Pi-X1 硬件

2. Ubuntu 22.04 系统或 AidLux 系统

案例部署

步骤一：安装 AidGenSE

sudo aid-pkg update
sudo aid-pkg -i aidgense
sudo aid-pkg -i aidgen-sdk
sudo aid-pkg -i aidgen-qnn240
sudo aid-pkg -i aidgen-qnn248

步骤二：模型查询 & 获取

• 已支持模型查看

# 查看已支持的模型
aidllm remote-list api | grep llamacpp

#------------------------示例输出如下------------------------
ministral-3-3b-instruct-2512-llamacpp-llamacpp-q4_0-qcs8550    VLM     2026-09-10 19:44:28
granite-4.0-micro-llamacpp-llamacpp-q4_0-qcs8550               LLM     2026-09-10 19:44:24
gemma-4-e2b-it-llamacpp-llamacpp-q4_0-qcs8550                  LLM     2026-09-10 19:44:16
qwen3-vl-4b-instruct-llamacpp-llamacpp-q4_0-qcs8550            VLM     2026-09-10 19:44:12
qwen3-vl-2b-instruct-llamacpp-llamacpp-q4_0-qcs8550            VLM     2026-09-10 19:44:08
qwen3.5-2b-llamacpp-llamacpp-q4_0-qcs8550                      VLM     2026-09-10 19:44:04
qwen3.5-0.8b-llamacpp-llamacpp-q4_0-qcs8550                    VLM     2026-09-10 19:44:00
qwen3-4b-instruct-2507-llamacpp-llamacpp-q4_0-qcs8550          LLM     2026-09-10 19:43:56
qwen3-4b-llamacpp-llamacpp-q4_0-qcs8550                        LLM     2026-09-10 19:43:52
qwen3-1.7b-llamacpp-llamacpp-q4_0-qcs8550                      LLM     2026-09-10 19:43:48
qwen3-0.6b-llamacpp-llamacpp-q4_0-qcs8550                      LLM     2026-09-03 14:59:45

• 下载 qwen3-4b-llamacpp-llamacpp-q4_0-qcs8550

# 下载模型
aidllm pull api qwen3-4b-llamacpp-llamacpp-q4_0-qcs8550

# 查看已下载模型
aidllm list api

步骤三：启动 HTTP 服务

# 启动对应模型的 openai api 服务
aidllm start api -m qwen3-4b-llamacpp-llamacpp-q4_0-qcs8550 --device dsp

# 查看状态
aidllm status api

# 停止服务: aidllm stop api

# 重启服务: aidllm restart api

💡注意

默认端口号是 8888

步骤四：对话测试

使用 Web UI 对话测试

# 安装 UI 前端服务
sudo aidllm install ui

# 启动 UI 服务
aidllm start ui

# 查看 UI 服务状态: aidllm status ui

# 停止 UI 服务: aidllm stop ui

UI 服务启动后访问 http://ip:51104

使用 Python 对话测试

import os
import requests
import json

def stream_chat_completion(messages, model="qwen3-4b-llamacpp-llamacpp-q4_0-qcs8550"):

    url = "http://127.0.0.1:8888/v1/chat/completions"
    headers = {
        "Content-Type": "application/json"
    }
    payload = {
        "model": model,
        "messages": messages,
        "stream": True    # 打开流式
    }

    # 发起带 stream=True 的请求
    response = requests.post(url, headers=headers, json=payload, stream=True)
    response.raise_for_status()

    # 逐行读取并解析 SSE 格式
    for line in response.iter_lines():
        if not line:
            continue
        # print(line)
        line_data = line.decode('utf-8')
        # SSE 每一行以 "data: " 前缀开头
        if line_data.startswith("data: "):
            data = line_data[len("data: "):]
            # 结束标志
            if data.strip() == "[DONE]":
                break
            try:
                chunk = json.loads(data)
            except json.JSONDecodeError:
                # 解析出错时打印并跳过
                print("无法解析JSON：", data)
                continue

            # 取出模型输出的 token
            content = chunk["choices"][0]["delta"].get("content")
            if content:
                print(content, end="", flush=True)

if __name__ == "__main__":
    # 示例对话
    messages = [
        {"role": "system", "content": ""},
        {"role": "user", "content": "Give me a short introduction to large language model."}
    ]
    print("Assistant:", end=" ")
    stream_chat_completion(messages)
    print()  # 换行