1. 模型介绍
本仓库提供由 openbmb/MiniCPM5-2B 转换得到的 RKNN LLM 模型。
- Model ID:
RKNNAI/RK182X-LLM-MiniCPM5-2B
- 模型显示名称:
RK182X-LLM-MiniCPM5-2B
- 发布版本:
v1.1.0
- 源模型:
openbmb/MiniCPM5-2B
- 模型类型:LLM
- 芯片字段:RK182X
- 具体支持芯片:RK1820、RK1828
可用模型
| 发布版本 |
配置目录 |
支持芯片 |
量化方式 |
NPU 核数 |
上下文长度(tokens) |
KVCache |
v1.1.0 |
MiniCPM5-2B-w4a16-8-13312-kv-int4 |
RK1820、RK1828 |
w4a16 |
8 |
13312(13k) |
int4 |
v1.1.0 |
MiniCPM5-2B-w4a16-8-18432-normal |
RK1828 |
w4a16 |
8 |
18432(18k) |
fp16 |
v1.1.0 |
MiniCPM5-2B-w4a16-8-48128-kv-int4 |
RK1828 |
w4a16 |
8 |
48128(47k) |
int4 |
v1.1.0 |
MiniCPM5-2B-w4a16-8-5632 |
RK1820、RK1828 |
w4a16 |
8 |
5632(5.5k) |
fp16 |
v1.1.0 |
MiniCPM5-2B-w8a16-8-14336-normal |
RK1828 |
w8a16 |
8 |
14336(14k) |
fp16 |
2. 文件说明
| 文件或目录 |
说明 |
LICENSE |
源模型许可证 |
Notice |
许可、使用要求及归属说明 |
<配置目录>/ |
配套模型文件 |
子目录 README.md |
当前配置说明 |
子目录 config.json |
模型配置与文件清单 |
子目录 SHA256SUMS |
当前目录交付文件的 SHA-256 校验值(不包含自身) |
3. 模型下载
ModelScope 完整下载:
modelscope download --model RKNNAI/RK182X-LLM-MiniCPM5-2B --revision v1.1.0 --local_dir ./RK182X-LLM-MiniCPM5-2B
Hugging Face 完整下载:
hf download RKNNAI/RK182X-LLM-MiniCPM5-2B --revision v1.1.0 --local-dir ./RK182X-LLM-MiniCPM5-2B
ModelScope 指定配置下载:
from modelscope import snapshot_download
snapshot_download(
"RKNNAI/RK182X-LLM-MiniCPM5-2B",
revision="v1.1.0",
allow_patterns=["README.md", "LICENSE", "Notice", "MiniCPM5-2B-w4a16-8-13312-kv-int4/**"],
local_dir="./RK182X-LLM-MiniCPM5-2B",
)
Hugging Face 指定配置下载:
hf download RKNNAI/RK182X-LLM-MiniCPM5-2B --revision v1.1.0 --include "README.md" "LICENSE" "Notice" "MiniCPM5-2B-w4a16-8-13312-kv-int4/**" --local-dir ./RK182X-LLM-MiniCPM5-2B
4. SHA-256 校验
在配置目录执行:
cd ./RK182X-LLM-MiniCPM5-2B/MiniCPM5-2B-w4a16-8-13312-kv-int4
sha256sum -c SHA256SUMS
所有条目显示 OK 后再部署。
5. 兼容性与限制
- 各配置支持芯片见“可用模型”表。
- 使用配套 RKNN Runtime 和驱动;运行前用
rknn-smi -v 检查设备端版本。
- 所选配置目录内的文件须配套使用。
6. 版权与许可证
源模型许可证见根目录 LICENSE;同时遵守 RKNN Toolkit 和 RKNN Runtime 许可条款。
本发布物为源模型的 RKNN 转换/量化衍生物,保留原始许可与归属声明,见 Notice。