端侧部署 Qwen3.5 系列
介绍
近几个月来，Qwen3.5 加大了在开发高实用性与高性能基座模型领域的投入。Qwen3.5 代表了一次重大飞跃，它融合了多模态学习、架构效率、强化学习规模以及全球化可及性等方面的突破，赋予开发者和企业前所未有的能力与效率。
本章节将演示如何在边缘设备上完成 Qwen3.5 系列模型部署、加载与对话流程。提供如下方式部署：
- AidGen C++ API
在本案例中，大语言模型推理运行在设备端，通过代码调用相关接口接收用户输入并实时返回对话结果。
- 设备：Rhino Pi-X1
- 系统：Ubuntu 22.04
- 模型：Qwen3.5-4B
支持平台
| 平台 | 运行方式 |
|---|---|
| Rhino Pi-X1 | Ubuntu 22.04, AidLux |
准备工作
Rhino Pi-X1 硬件
Ubuntu 22.04 系统或 AidLux 系统
AidGen 案例部署
步骤一：安装 AidGen SDK
bash
# 安装 AidGen SDK
sudo aid-pkg update
sudo aid-pkg -i aidgen-sdk
sudo aid-pkg -i aidgen-qnn240
sudo aid-pkg -i aidgen-qnn248
# 拷贝测试代码
cd /home/aidlux/aidmlm
cp -r /usr/local/share/aidgen/examples/ ./💡注意
这里需要确保aidgen-sdk 与 aidgen-qnn248 版本一致，且 aidgen-sdk 版本 >= 2.4.4.*
步骤二：下载模型资源
由于 Qwen3.5-4B 目前位于 Model Farm 预览板块中，需要通过
mms命令获取
bash
# 登录
mms login
# 查找模型
mms list Qwen3.5
# 下载模型
mms get -m "Qwen3.5-4B" -p w4a16 -c qcs8550 -b qnn2.48 -d /home/aidlux/aidmlm/
cd /home/aidlux/aidmlm/
unzip qnn248_qcs8550_cl8192.zip步骤三：资源文件确认
文件分布如下：
bash
/home/aidlux/aidmlm/qnn248_qcs8550_cl8192
├── aidgen_config.json
├── examples
├── position_ids_cos.rawposition_ids sin.raw
├── ingredients.png
├── qwen3.5-4b_qnn248_qcs8550_cl18192_1_of_3.serialized.bin.aidem
├── qwen3.5-4b_qnn248_qcs8550_c18192_2_of_3.serialized.bin.aidem
├── embedding_fp32.bin
├── qwen3.5-4b_qnn248_qcs8550_c18192_3_of_3.serialized.bin.aidem
├── veg.serialized.bin.aidem步骤四：编译运行
bash
cd /home/aidlux/aidmlm/examples
# 替换示例文件
cp ../qnn248_qcs8550_cl8192/examples/* ./
# 编译
mkdir build && cd build
cmake .. && make
# 将编译后的示例文件放到模型目录下
cp ./test_qwen35vl ../../qnn248_qcs8550_cl8192
cd /home/aidlux/aidmlm/qnn248_qcs8550_cl8192
# 运行示例程序
./test_qwen35vl qnn248- 模型运行成功后，有如下日志回显
bash
图文Embedding输入
这张图片展示了一组新鲜、色彩丰富的食材，摆放在深色背景上。
- **中央**：一块圆形木制砧板上放着两片生鲷鱼（或类似的白肉鱼类）切片。
- **周围环绕着各种蔬菜和水果**：
- 左上角是翠绿的香菜和几块姜。
- 左侧有两根深绿色的黄瓜、三个青番茄和四根橙色胡萝卜。
- 右上角是一串红色的小番茄。
- 右下角有一个牛油果和一个石榴，旁边还有一把绿叶蔬菜（可能是白菜或生菜）。
- 底部中间有两个黄色的柠檬。
整体构图饱满且富有层次感，色彩鲜艳，给人一种健康、天然的感觉，常用于展示食材多样性或健康饮食主题。<|im_end|>