Japanese Data Analyze

日本語の約1,000万パラメータBaseモデルに、二つの情報を答える64件の教材で SFT（教師あり追加学習）を行った最終重みです。一般会話の品質は改善せず、 リポジトリと全ファイルはpublicで、アクセス申請・ログインなしで取得できます。 10,001,152 parameters、13層、hidden256、FFN640、GQA 4Q/2KV、語彙4096、 context1024。元Baseからfresh Adam、seed42、LR1e-4、BF16/mathで483更新、 250,003 Assistant教師tokenを学習しました。64教材は8組の事実設定の変形です。 親Baseは研究保存版のweb-10bです。 最大32tokenのgreedy、BF16/mathによる固定DEV評価です。全1,973応答を Codexで非blind判定しており、独立人手評価や一般的な利用全体の精度ではありません。 空応答、同文反復、履歴の訂正失敗、UTF8破損が残ります。 inspectmodel.pyはCPU FP32、nativeモデル、元の対話テンプレートとprotected-byte Tokenizer、greedy、EOT7/EOS3停止、特殊ID六つの抑制を使います。実際の本文と 停止理由をJSONで返します。CPU FP32の試用は上表のBF16評価と精度条件が異なります。 AutoModelForCausalLMやAutoTokenizerの標準形式ではありません。…

約1,000万パラメータの日本語Baseモデルをスクラッチ学習した研究の保存版です。 Baseの品質目標は未達です。完成した会話モデルではありません。学習は停止中です。 リポジトリと全ファイルはpublicで、アクセス申請・ログインなしで取得できます。 すべて10,001,152 parameters、語彙4096、context1024の同じnative構成です。 各フォルダにnative model.safetensors、jmicroconfig.json、trainingstate.pt、 出所・元checkpoint SHA256・正確な学習量を記録したprovenance.jsonがあります。 trainingstateはoptimizer・scheduler・RNG等の学習状態です。samplerとデータは除いています。 モデル重みは元checkpointから無損失で保存し、CPU再読込・全重み一致・forward一致を確認しています。 HF Transformers形式への変換・量子化・追加学習は今回行っていません。 - 全体記録: データ、Tokenizer、WSL、学習高速化、EOS、反復、日本語評価、目的関数、構成、最新不採用まで。 - 実験値の機械可読記録: 保存済み4,815 JSON報告の原キー・指標・採否・SHA256。記録数は独立実験数ではありません。 - project/src、project/scripts、project/configs、project/schemas、project/uv.lock: 当時の実装と固定環境。…