Lee

基于 MikeLee000/olmo3-190m-zh-full 完成一轮持续预训练（Continued Pretraining，CPT）的课程实验模型，约 187M 参数。 不是 SFT 或指令对话模型。 使用普通文本作为提示进行续写，不使用 applychattemplate，不应将其作为可靠的问答助手。 - 架构：Olmo3ForCausalLM，12 层，hidden size 768，intermediate size 3072，词表 48,000。 - 数据：cmz1024/llm101-olmo3-zh-demo-data 仓库中的 continue/tokenizedv31.bin。 - 全参数持续预训练；不使用 LoRA；序列长度 2,048；BF16。 - 1 epoch，共 11,918 个 optimizer steps。 - Batch size 16，gradient accumulation 4，有效 batch size 64。 - Learning rate 2e-4，warmup ratio 0.1，cosine scheduler。 - Transformers 5.9.0，PyTorch 2.5.1。 - 最终 validation loss：1.9467759132385254。这是特定验证集上的语言模型损失，不是准确率或通用问答质量评分。 发布文件来自 /checkpoints/olmo3zhcontinue/final，已核对与 checkpoint-11918/model.safetensors 的 SHA-256 一致：…