Luck

本仓库是 CNSS 2026 招新赛题目 「小模型大秘密」 的分析材料，供参赛选手在赛期内下载研究。 torch.load(..., weightsonly=True) 后得到一个字典： - modelkwargs — 重建前向计算所需的全部超参数 - model — statedict（52 个张量） - step — 训练步数，纯元数据，无实际用途 注意：这是自定义结构的模型，不能用 transformers.AutoModelForCausalLM 直接加载；仓库不提供网络定义，需要依据下表自行实现前向计算——这本身就是题目的一部分。29.5M 参数 fp32，CPU 即可完成前向推理，不强制要求 GPU。 标准 HF tokenizers 格式的 ByteLevel BPE，词表 8192。 特殊 token： 加载方式：tokenizers.Tokenizer.fromfile("tokenizer.json")。 验证环境为 torch 2.6.0（CUDA 12.4 / CPU 均可运行）。fp32 权重在不同 torch 版本、硬件或后端上的浮点结果可能存在微小抖动；若你观察到的模型行为恰好在临界处，请先核对自己使用的数值栈。建议使用较新的稳定版 torch。 1. 本仓库仅供 CNSS 2026 招新赛 参赛选手对「小模型大秘密」进行白盒分析使用； 2. 赛期内请勿转载权重文件，请勿公开解题思路、writeup 或可触发目标行为的输入； 3. 完整比赛规则以赛题平台页面为准，本 README 仅约定本仓库文件的使用范围。 MIT