minimind-math-v3 是一个基于 MiniMind 项目从零训练的小型中文数学语言模型，权重已转换为 Qwen3 兼容格式，可直接使用 HuggingFace transformers 加载推理。 - 架构：Dense Transformer（Decoder-only），未使用 MoE - 数据：以数学/推理语料为主的预训练数据（pretraint2tmini.jsonl），并经过数学 SFT 训练 - Tokenizer：基于 MiniMind 自训 tokenizer 修改的 patched tokenizer，详见下方说明 本模型的预训练与 SFT 均基于 jiwubu/minimind 代码仓库完成。相对上游 jingyaogong/minimind 的主要修改是新增 math/ 目录，用于生成数学 SFT 用的加减乘除算术数据（genmathdataaddsub.py、genmathdatamuldiv.py 等），并提供配套评测脚本（evalmath.py）。 最简单的方式是用仓库自带的交互式验证脚本（chat template + 贪心解码 + 流式输出）： 或直接用 transformers： - 预训练 2 个 epoch，batch size 32，最大序列长度 340 - 优化器 AdamW，初始学习率 5e-4（带 warmup + 余弦衰减） - 混合精度：bfloat16 本模型使用基于 MiniMind 原版 tokenizer 修改的 patched tokenizer（Sequence[Digits, ByteLevel]）：…