面向 RTX 5070 Ti 16GB 的单卡 looped language model 研究项目。当前模型有 803,629,472 个物理参数,可简称 800M 或 0.8B;默认 4 loops 时为 2 prefix + 8×4 shared body + 2 suffix,即 36 次逻辑 block application。 第一阶段只训练 CCI3-HQ 中文与 FineWeb-Edu 英文 Base Model。代码、Agent、长文档 和长上下文能力放在后续 continued pretraining / SFT,不混入 Stage A。 DATAROOT 可以放在项目外。程序递归发现所有子孙目录中的.jsonl,一级目录名 就是 source,默认要求如下: 每行至少包含字符串字段 text;若存在 id 或 documentid,它用于稳定文档划分, 否则使用正文 SHA-256。字段名、语言和验证比例在 configs/data-stage-a.json 配置。 训练不会生成或依赖固定 token.bin。首次扫描会建立一个轻量.npz/JSON 索引, 只记录文件偏移、token 数、source、language、document hash 和 train/validation split; 正文始终在训练时从原 JSONL 动态读取并 tokenize。原文件路径、大小、mtime、tokenizer 或 source 配置变化会产生新索引签名。 在 PowerShell 中运行: 它只创建项目内.venv,并按…