1. 模型介绍
本仓库提供由 Qwen/Qwen2.5-0.5B-Instruct 转换得到的 RKNN LLM 模型。
- Model ID：
RKNNAI/RK182X-LLM-Qwen2.5-0.5B-Instruct
- 模型显示名称：
RK182X-LLM-Qwen2.5-0.5B-Instruct
- 发布版本：
v1.1.0
- 源模型：
Qwen/Qwen2.5-0.5B-Instruct
- 模型类型：LLM
- 芯片字段：RK182X
- 具体支持芯片：RK1820、RK1828
可用模型
| 发布版本 |
配置目录 |
支持芯片 |
量化方式 |
NPU 核数 |
上下文长度（tokens） |
KVCache |
v1.1.0 |
Qwen2.5-0.5B-Instruct-w4a16-8-36352 |
RK1820、RK1828 |
w4a16 |
8 |
36352（35.5k） |
fp16 |
2. 文件说明
| 文件或目录 |
说明 |
LICENSE |
源模型许可证 |
Notice |
许可、使用要求及归属说明 |
<配置目录>/ |
配套模型文件 |
子目录 README.md |
当前配置说明 |
子目录 config.json |
模型配置与文件清单 |
子目录 SHA256SUMS |
当前目录交付文件的 SHA-256 校验值（不包含自身） |
3. 模型下载
ModelScope 完整下载：
modelscope download --model RKNNAI/RK182X-LLM-Qwen2.5-0.5B-Instruct --revision v1.1.0 --local_dir ./RK182X-LLM-Qwen2.5-0.5B-Instruct
Hugging Face 完整下载：
hf download RKNNAI/RK182X-LLM-Qwen2.5-0.5B-Instruct --revision v1.1.0 --local-dir ./RK182X-LLM-Qwen2.5-0.5B-Instruct
ModelScope 指定配置下载：
from modelscope import snapshot_download
snapshot_download(
"RKNNAI/RK182X-LLM-Qwen2.5-0.5B-Instruct",
revision="v1.1.0",
allow_patterns=["README.md", "LICENSE", "Notice", "Qwen2.5-0.5B-Instruct-w4a16-8-36352/**"],
local_dir="./RK182X-LLM-Qwen2.5-0.5B-Instruct",
)
Hugging Face 指定配置下载：
hf download RKNNAI/RK182X-LLM-Qwen2.5-0.5B-Instruct --revision v1.1.0 --include "README.md" "LICENSE" "Notice" "Qwen2.5-0.5B-Instruct-w4a16-8-36352/**" --local-dir ./RK182X-LLM-Qwen2.5-0.5B-Instruct
4. SHA-256 校验
在配置目录执行：
cd ./RK182X-LLM-Qwen2.5-0.5B-Instruct/Qwen2.5-0.5B-Instruct-w4a16-8-36352
sha256sum -c SHA256SUMS
所有条目显示 OK 后再部署。
5. 兼容性与限制
- 支持芯片：RK1820、RK1828。
- 使用配套 RKNN Runtime 和驱动；运行前用
rknn-smi -v 检查设备端版本。
- 所选配置目录内的文件须配套使用。
6. 版权与许可证
源模型许可证见根目录 LICENSE；同时遵守 RKNN Toolkit 和 RKNN Runtime 许可条款。
本发布物为源模型的 RKNN 转换/量化衍生物，保留原始许可与归属声明，见 Notice。
