Steve

Laya 拼音输入法（macOS）用的候选词排序模型，基于 convaiinnovations/laya（revision 7b928d82）微调。 prior 对于词来说是词频，对短语来说是词格路径得分。模型看不到用户输入的拼音。 训练样本由输入法自己的引擎（backend/，commit 9d87301）录制，每条样本都对应一次真实的模型调用：上文、按引擎 - 从基座 Laya 开始，除 embedding 以外的全部参数参与训练。 - 损失：对每次调用的候选做 listwise cross-entropy，得分为 logit + betakind prior，每种调用类型各学一个 beta；每个 epoch 打乱候选顺序。 - AdamW，LR 3e-5，weight decay 0.01，bf16 autocast，gradient clipping 1.0。 - 学习率：1,000 step warmup，之后保持不变，最后 20% 线性衰减到 0。 - 166,432 step，batch 100（1,664 万条，约 1.15 轮），单张 RTX 5090 约 6 小时。 bootstrap 区间。对照为未公开的上一个版本 w28。 - 依赖本引擎： 模型针对本引擎的候选列表和 prior 微调，不是通用语言模型，不能单独当输入法用。 权重为 Apache 2.0，是 convaiinnovations/laya（Apache 2.0）的衍生作品。inference/、scripts/ 和 eval/ 中的代码为 MIT，与输入法仓库相同。