Quincyqiang

Model · Zero-shot classification

chinese-decision-0.8b-gguf

Quincyqiang

中文概率决策模型的 GGUF 版本：llama.cpp 推理，CPU 即可部署 各尺寸、部署格式与外部模型对比。2B BF16 与 2B Q80 均已公开发布并完成 CJ-Bench 全量评测：2B 整体准确率更高，0.8B 更小更快，部分法律判断与金融评分任务仍是 0.8B 更好。 本仓库是 Chinese Decision 0.8B 的 GGUF 格式导出，用于 llama.cpp / llama-cpp-python 推理。 原版模型是一个中文决策模型：给定上下文和一组固定候选项（单题 2–26 个；类别更多的 choice 问题可用服务端的 /v1/tournament 分组淘汰），一次前向直接返回每个候选项的概率，不生成任何 token。支持 noul（是/否）、choice（单选）、score（有序等级）三种题型，覆盖通用、医疗、法律、金融四个领域。模型能力、训练细节与应用案例见原版模型卡。 GGUF 版本的特点： - 无需 PyTorch 和 GPU：llama-cpp-python 即可在 CPU 上运行，也可用 CUDA 版 llama.cpp 跑在 GPU 上。 - 体积约为原版的一半：Q80 为 812 MB，原版 safetensors 为 1.50 GB。 - 内存占用更低：同一台服务器上，CPU 推理进程峰值内存 2.19 GiB，Transformers FP32 为 7.44 GiB。 - 精度基本不变：CJ-Bench 全量 307,900 条上，准确率、NLL、ECE、Brier 的变化都在千分之一以内。…

Model · Zero-shot classification

chinese-decision-0.8b

Quincyqiang

各尺寸、部署格式与外部模型对比。2B BF16 与 2B Q80 均已公开发布并完成 CJ-Bench 全量评测：2B 整体准确率更高，0.8B 更小更快，部分法律判断与金融评分任务仍是 0.8B 更好。 Chinese Decision 是一个面向中文场景的轻量级决策模型。它不聊天、不生成文本，只做一件事：给定上下文和一组固定候选项，返回每个候选项的概率。 - 一次前向，零输出 token：读取最后位置上候选字母 A–Z 的 logits，softmax 后即为概率。 - 三种题型：noul（是/否）、choice（单选）、score（有序等级，返回期望分值）。 以下截图来自我们的测试平台 Decision Studio，后端运行的就是本模型（step 10000）。这些场景采用同一种设计：业务规则写在代码里，决策模型只负责给出概率。 每张工单在一次请求里同时问 6 个问题：类别（choice），严重程度和情绪（score），是否可复现、是否要求退款、是否有流失风险（noul）。不管后续用不用得上都一并提问，省去多次往返。路由规则写在代码里，根据这些概率决定工单派给哪个队列；类别置信度低于 0.5 时转人工复核。截图中 8 张工单 × 6 个问题共 48 次决策，用时 285 ms。 推荐同时安装 flash-linear-attention，它为 Qwen3.5 的线性注意力层提供高效 kernel： Hugging Face： ModelScope： decisionconfig.json 中的温度只在 softmax 前缩放…

Model · Zero-shot classification

chinese-decision-2b-gguf

Quincyqiang

Chinese Decision 2B 的 CPU 部署包，保留相同提示、候选概率计算与校准温度。 本仓库是 Chinese Decision 2B 的 GGUF Q80 导出，用于 llama.cpp / llama-cpp-python 推理。原版是一个中文决策模型：给定上下文和一组固定候选项（单题 2–26 个；类别更多的 choice 问题可用服务端的 /v1/tournament 分组淘汰），一次前向直接返回每个候选项的概率，不生成任何 token；支持 noul（是/否）、choice（单选）、score（有序等级）三种题型，覆盖通用、医疗、法律、金融四个领域。 - 无需 PyTorch 和 GPU：llama-cpp-python 即可在 CPU 上运行，也可用 CUDA 版 llama.cpp 跑在 GPU 上。 - 体积约为原版的一半：Q80 为 2.01 GB，原版 safetensors 为 3.76 GB。 - 内存占用更低：同一台服务器上，CPU 推理进程内存观测最大值 3.34 GiB，Transformers FP32 为 11.74 GiB。 - 精度基本不变：CJ-Bench 全量 307,900 条上准确率 84.1094%（BF16 交付版 84.1107%），首选项一致率 99.00%。 - 接口不变：与 BF16 版共用提示编译器、温度和 HTTP 接口，可直接接入 Decision Studio。 2026-10-17 完成量化、文件校验、CPU / HTTP 检查与 CJ-Bench 全量对照，并在 Hugging Face 与…

Model · Zero-shot classification

chinese-decision-2b

Quincyqiang

Chinese Decision 是一个面向中文场景的轻量级决策模型。它不聊天、不生成文本：给定上下文和一组固定候选项，一次前向直接返回每个候选项的概率，适合意图识别、工单分流、内容审核、数据打标、给模型输出打分、智能体动作选择等"有限选项判断"任务。 - 一次前向，零输出 token：读取最后位置上候选字母 A–Z 的 logits，softmax 后即为概率。 - 三种题型：noul（是/否）、choice（单选）、score（有序等级，返回期望分值）。 - 系列中准确率最高：CJ-Bench 全量整体 ACC 84.11%，医疗 / 法律 / 金融平均 78.25%，比 chinese-decision-0.8b 分别高 1.01 / 1.35 个百分点。 - 概率经过校准：附带在独立校准划分上拟合的温度，整体 ECE 0.64%。 更新于 2026-10-17。BF16 合并模型已完成全量 CJ-Bench、保存/重载和实际 HTTP 三题型/双路由验证，并已在 Hugging Face 与 ModelScope 公开发布。由本模型直接转换的 Q80 GGUF 也已完成全量 CJ-Bench 对照，见 2B Q80 模型卡。 训练数据版本 a3963a61f71e00051a80721e587d720d8926e8e7。最终 adapter SHA256 为 9b55e8eda00997544b76fa945d890605c3acae4199041c197ef5a09275142a7c；合并权重 SHA256 为…