1. 模型介绍
本仓库提供由 Qwen/Qwen3-4B-Instruct-2507 转换得到的 RKNN LLM 模型。
- Model ID：
RKNNAI/RK182X-LLM-Qwen3-4B-Instruct-2507
- 模型显示名称：
RK182X-LLM-Qwen3-4B-Instruct-2507
- 发布版本：
v1.1.0
- 源模型：
Qwen/Qwen3-4B-Instruct-2507
- 模型类型：LLM
- 芯片字段：RK182X
- 具体支持芯片：RK1828
可用模型
| 发布版本 |
配置目录 |
支持芯片 |
量化方式 |
NPU 核数 |
上下文长度（tokens） |
KVCache |
v1.1.0 |
Qwen3-4B-Instruct-2507-w4a16-8-16896 |
RK1828 |
w4a16 |
8 |
16896（16.5k） |
fp16 |
v1.1.0 |
Qwen3-4B-Instruct-2507-w4a16-8-39424-kv-int4 |
RK1828 |
w4a16 |
8 |
39424（38.5k） |
int4 |
2. 文件说明
| 文件或目录 |
说明 |
LICENSE |
源模型许可证 |
<配置目录>/ |
配套模型文件 |
子目录 README.md |
当前配置说明 |
子目录 config.json |
模型配置与文件清单 |
子目录 SHA256SUMS |
当前目录交付文件的 SHA-256 校验值（不包含自身） |
3. 模型下载
ModelScope 完整下载：
modelscope download --model RKNNAI/RK182X-LLM-Qwen3-4B-Instruct-2507 --revision v1.1.0 --local_dir ./RK182X-LLM-Qwen3-4B-Instruct-2507
Hugging Face 完整下载：
hf download RKNNAI/RK182X-LLM-Qwen3-4B-Instruct-2507 --revision v1.1.0 --local-dir ./RK182X-LLM-Qwen3-4B-Instruct-2507
ModelScope 指定配置下载：
from modelscope import snapshot_download
snapshot_download(
"RKNNAI/RK182X-LLM-Qwen3-4B-Instruct-2507",
revision="v1.1.0",
allow_patterns=["README.md", "LICENSE", "Qwen3-4B-Instruct-2507-w4a16-8-16896/**"],
local_dir="./RK182X-LLM-Qwen3-4B-Instruct-2507",
)
Hugging Face 指定配置下载：
hf download RKNNAI/RK182X-LLM-Qwen3-4B-Instruct-2507 --revision v1.1.0 --include "README.md" "LICENSE" "Qwen3-4B-Instruct-2507-w4a16-8-16896/**" --local-dir ./RK182X-LLM-Qwen3-4B-Instruct-2507
4. SHA-256 校验
在配置目录执行：
cd ./RK182X-LLM-Qwen3-4B-Instruct-2507/Qwen3-4B-Instruct-2507-w4a16-8-16896
sha256sum -c SHA256SUMS
所有条目显示 OK 后再部署。
5. 兼容性与限制
- 支持芯片：RK1828。
- 使用配套 RKNN Runtime 和驱动；运行前用
rknn-smi -v 检查设备端版本。
- 所选配置目录内的文件须配套使用。
6. 版权与许可证
源模型许可证见根目录 LICENSE；同时遵守 RKNN Toolkit 和 RKNN Runtime 许可条款。
