Skip to page content
SAVRN
Search Plan a project

Independent publisher

LT_lrsoft

lrsoft

Models in Library1
Datasets in Library0
Models on Hugging Face5
Followers3

Compare the published evidence

This profile connects the 1 model and dataset record shown below to their upstream cards and sources. The library counts describe SAVRN's coverage, rather than this publisher's entire output.

Compare model specifications, source dates, and hardware estimates on the individual records. Publisher identity verification is separate from a model's quality, deployment readiness, or suitability for your work.

Models

面向 RTX 5070 Ti 16GB 的单卡 looped language model 研究项目。当前模型有 803,629,472 个物理参数,可简称 800M 或 0.8B;默认 4 loops 时为 2 prefix + 8×4 shared body + 2 suffix,即 36 次逻辑 block application。 第一阶段只训练 CCI3-HQ 中文与 FineWeb-Edu 英文 Base Model。代码、Agent、长文档 和长上下文能力放在后续 continued pretraining / SFT,不混入 Stage A。 DATAROOT 可以放在项目外。程序递归发现所有子孙目录中的.jsonl,一级目录名 就是 source,默认要求如下: 每行至少包含字符串字段 text;若存在 id 或 documentid,它用于稳定文档划分, 否则使用正文 SHA-256。字段名、语言和验证比例在 configs/data-stage-a.json 配置。 训练不会生成或依赖固定 token.bin。首次扫描会建立一个轻量.npz/JSON 索引, 只记录文件偏移、token 数、source、language、document hash 和 train/validation split; 正文始终在训练时从原 JSONL 动态读取并 tokenize。原文件路径、大小、mtime、tokenizer 或 source 配置变化会产生新索引签名。 在 PowerShell 中运行: 它只创建项目内.venv,并按…

Open weights