Peta1 is an autonomous software engineering agent checkpoint based on google/gemma-4-E4B-it (4.3B active parameters), post-trained using a targeted three-stage curriculum: 1. Tree-of-Reasoning (ToR) SFT: Supervised deliberation in Gemma 4's native latent thinking tokens ( thought) enforcing hypothesis formulation, environment simulation, and branch pruning. 2. Capability Frontier Discovery: Screening of candidate tasks (G = 4, T = 0.7) to isolate the 18% informative frontier band (0 < p < 1.0), preventing policy gradient collapse from trivial (36%) and impossible (46%) tasks. 3. Verifiable Outcome GRPO: Policy gradient optimization with verifiable rewards (Rtarget + Rformat + Rtor - lambda…
Open-weight model · Text generation
Baihua-Gemma4-E4B
by Roland Wayne Roland-Wayne/Baihua-Gemma4-E4B
Baihua-Gemma4-E4B is an open-weight model for text generation from Roland Wayne, released under Apache License 2.0. It has 7.9B parameters and a 131,072-token context. At 16-bit it needs about 19.1 GB of GPU memory, which fits on 1x MI300X from $1.85 an hour, at the lowest prices in the SAVRN Index.
Conversational Writing Model｜口语化写作模型 Baihua-Gemma4-E4B 白话 Baihua 是Roland Wayne基于 Google Gemma 4 E4B-it 经过后训练的中文口语化写作模型。把已有内容，或整理好的事实、观点和提纲，写成像人类口述的正文，减少模板化、机械化的表达。 Roland Wayne 是内容创作者，也是白话 Baihua 的训练作者。在这个项目中，他负责确定表达目标、筛选训练材料，并通过实际测试和人工修改评估模型输出。…
Parameters7.9B
Context131,072
Weights15.9 GB
Licenseapache-2.0
AccessOpen weights
Monthly Downloads—
Runs On
What it takes to serve Baihua-Gemma4-E4B (7.9B parameters): the memory its weights need at each precision, and the cheapest way to rent enough data-center GPUs to hold them.
| Precision | Weights | Memory needed | Cheapest setup | Per hour | Also fits |
|---|---|---|---|---|---|
| 16-bit | 15.9 GB | 19.1 GB | 1x MI300X (192 GB) Vultr |
$1.85 | 1x H100 $1.99 · 1x MI325X $2.00 |
| 8-bit | 7.9 GB | 9.5 GB | 1x MI300X (192 GB) Vultr |
$1.85 | 1x H100 $1.99 · 1x MI325X $2.00 |
| 4-bit | 4.0 GB | 4.8 GB | 1x MI300X (192 GB) Vultr |
$1.85 | 1x H100 $1.99 · 1x MI325X $2.00 |
Memory is the weights at that precision plus 20% for the runtime and a short context; a long context needs more. Prices are the lowest on-demand hourly rates in the SAVRN Index, read Oct 18, 2026.
Baihua-Gemma4-E4B on every accelerator the SAVRN Index prices, at every precision
Model Card
By Roland Wayne, published under apache-2.0, revision 12dfd64f5c8c.
Conversational Writing Model｜口语化写作模型 Baihua-Gemma4-E4B 白话 Baihua 是Roland Wayne基于 Google Gemma 4 E4B-it 经过后训练的中文口语化写作模型。把已有内容，或整理好的事实、观点和提纲，写成像人类口述的正文，减少模板化、机械化的表达。 Roland Wayne 是内容创作者，也是白话 Baihua 的训练作者。在这个项目中，他负责确定表达目标、筛选训练材料，并通过实际测试和人工修改评估模型输出。 X：https://x.com/rwayne Github：https://github.com/ozrwayne - 微调方法：LoRA，rank 16，alpha 32；在前一轮风格 adapter 基础上继续进行配对微调。 - 完整权重：BF16 Safetensors，LoRA 已合并，加载完整权重时不需要再叠加同一 adapter。权重文件合计约 15.88 GB；含配套文件的完整包约 15.91 GB（十进制）。 - Ollama 性能测试使用约 14.94 GB 的 BF16 文本 GGUF 运行副本，归一化等少量张量为 FP32；它不包含纯文字推理不需要的音频和图像编码模块。原完整 Safetensors 模型保持独立。 - E4B 是基础模型的官方规格名称，不表示总参数只有 4B。官方标注约 4.5B 有效参数、含嵌入约 8B；当前 Ollama 文本副本实测为 7,463,013,674 个参数，约 7.5B。 - 配置总上下文：131,072…
Read Roland Wayne's full model card
白话 Baihua
Conversational Writing Model｜口语化写作模型
Baihua-Gemma4-E4B
模型简介
白话 Baihua 是Roland Wayne基于 Google Gemma 4 E4B-it 经过后训练的中文口语化写作模型。把已有内容，或整理好的事实、观点和提纲，写成像人类口述的正文，减少模板化、机械化的表达。
主要使用方式：上游模型或作者提供事实、观点和提纲，由白话将其写成正文；也可以输入已有正文，让白话调整表达。搜索、事实整理和观点选择由上游完成，本模型侧重表达。
训练作者
Roland Wayne 是内容创作者，也是白话 Baihua 的训练作者。在这个项目中，他负责确定表达目标、筛选训练材料，并通过实际测试和人工修改评估模型输出。
白话的训练方向来自他自己的写作需求：让 AI 辅助生成的正文更接近日常口述，减少固定句式和模板化表达。
作者主页：Roland Wayne｜Hugging Face。 X：https://x.com/rwayne Github：https://github.com/ozrwayne
模型规格
| 项目 | 规格 |
|---|---|
| 公开名称 | 白话 Baihua |
| 模型标识 | Baihua-Gemma4-E4B |
| 用途说明 | Conversational Writing Model｜口语化写作模型 |
| 基础模型 | Google Gemma 4 E4B-it（google/gemma-4-E4B-it） |
| 参数规模 | 完整模型约 8B（80 亿）；Ollama 文本版约 7.5B（75 亿） |
| 权重精度 | BF16 |
| 上下文窗口 | 128K（131,072 tokens，输入与输出合计，含系统提示和模板） |
| 完整权重大小 | 约 15.88 GB；含配套文件约 15.91 GB（十进制） |
| 部署方式 | 下载权重，本地运行 |
| 主要用途 | 中文口语化写作、正文改写 |
基础与权重
- 基础模型：Gemma 4 E4B 官方模型页。
- 微调方法：LoRA，rank 16，alpha 32；在前一轮风格 adapter 基础上继续进行配对微调。
- 完整权重：BF16 Safetensors，LoRA 已合并，加载完整权重时不需要再叠加同一 adapter。权重文件合计约 15.88 GB；含配套文件的完整包约 15.91 GB（十进制）。
- Ollama 性能测试使用约 14.94 GB 的 BF16 文本 GGUF 运行副本，归一化等少量张量为 FP32；它不包含纯文字推理不需要的音频和图像编码模块。原完整 Safetensors 模型保持独立。
- E4B 是基础模型的官方规格名称，不表示总参数只有 4B。官方标注约 4.5B 有效参数、含嵌入约 8B；当前 Ollama 文本副本实测为 7,463,013,674 个参数，约 7.5B。
- 配置总上下文：131,072 tokens。实际测试范围见性能章节。
训练概况
训练材料为作者授权使用的私有中文材料及表达修改配对，不随权重公开。
配对微调阶段去重后有 144 组，其中 130 组用于训练、14 组留作验证；44 组包含人工修改，100 组保留前一轮风格模型的输出。训练只对目标答案部分计算损失。
训练阶段在同一 14 组验证样本上的答案部分 loss：配对微调前的适配器为 0.744804，配对微调后选中的适配器为 0.432404。这是小型验证集上的训练记录，不是独立测试集成绩，也不是当前 BF16 Ollama 部署重新测得的 loss；它与早期原话续写任务的 loss 不直接可比。
用途与使用方式
输入建议写清事实、观点、提纲、篇幅和格式，再让模型直接输出正文。改写模式则提供完整原文。
固定运行设置采用确定性生成：Transformers 中 do_sample=false、repetition_penalty=1.05；本次 Ollama 运行采用 temperature=0、repeat_penalty=1.05、repeat_last_n=131072、think=false。应用默认最多输出 4096 tokens，并按剩余上下文限制输出预算。
本模型的训练目标是表达风格，不以消除拒答行为为目标；没有据此进行 UNC／uncensored 宣称，也没有完成专门的拒答行为评测。BF16 精度和完整合并权重与 UNC 是不同概念。
下载和本地加载步骤见 使用说明。本仓库发布完整 BF16 Safetensors；性能章节中的 Ollama 文本 GGUF 不包含在本次下载文件中。
示例
以下是虚构材料的部署冒烟测试，不是训练原文，也不是长文效果的代表性基准。
输入：
事实：目前只有35份测试记录，不是350份；产品尚未正式上线。 观点：我认为应该先看真实效果，再谈规模。 提纲：先说清楚数量和上线状态，再说我的判断。 要求：写成一条简短推文，不加标题。
白话实际输出：
目前只有35份测试记录，不是350份，而且产品还没有正式上线。所以呢，我觉得还是应该先看真实的效果怎么样，然后再去谈规模。
推理性能
测试日期：2026-10-10。AMD Ryzen AI Max+ 395 / Radeon 8060S，Ollama 0.32.13 Vulkan，BF16 文本 GGUF；白话热驻留，其他服务保留运行。
| 项目 | 实测结果 |
|---|---|
| 1,024 tokens 输入、256 tokens 输出，3 次输出速度中位数 | 9.75 tokens/s |
| 同组首字等待中位数 | 3.80 秒 |
| 最大完整接收输入 | 130,816 tokens（含系统提示和模板） |
| 最大输入档首字等待 | 634.27 秒 |
| 最大输入档开头 / 中间 / 结尾校验码 | 3/3 |
最长输入测试只检查校验码检索，不代表同长度文章的写作质量。最长输出测试为 256 tokens。速度不是独占硬件成绩。
详见 白话 Ollama 性能与上下文测试。测试说明硬件、运行版本、并存任务、输入长度、首字等待、输入和输出速度，以及检索范围。没有以基础模型的公开跑分代替白话实测。
限制与隐私
模型目标是调整表达，但它仍可能改变时间、数字、否定条件、因果关系和判断强度。此前测试中曾出现时间表述变化和技术条件反转；使用者应核对实际输出。完整 BF16 合并版与量化底座加 adapter 的输出也可能不同。
128K 配置和简单校验码检索不保证同长度文章的写作质量。模型不是可靠的事实核验系统，也不承诺通过任何 AI 文本检测器。
原始私人语料、训练配对、私人日志和访问凭据不随权重发布。有限隐私检查没有覆盖所有可能的输入，不能保证模型永不复述训练内容。权重本身不负责联网采集用户输入；具体部署程序的数据保存、日志和权限由部署者控制。
许可证
本模型以 Apache License 2.0 发布。基础模型由 Google DeepMind 提供，后训练作者为 Roland Wayne；来源和修改说明见 NOTICE。
参考资料
Configuration
- Architecture
- Gemma4ForConditionalGeneration
- Context length (tokens)
- 131,072
- Layers
- 42
- Hidden size
- 2,560
- Feed-forward size
- 10,240
- Attention heads
- 8
- Key/value heads
- 2
- Head dimension
- 256
- Vocabulary size
- 262,144
- Sliding window (tokens)
- 512
- Model type
- gemma4
Identity and Version
- Repository
- Roland-Wayne/Baihua-Gemma4-E4B
- Publisher
- Roland Wayne
- Task
- Text generation
- Modality
- Text
- Library
- transformers
- Parameters
- 7.9B parameters
- Languages
- zh
- Revision
- 12dfd64f5c8c46d4ee03529cd6336228474a3afc
- First published
- 2026-10-10
- Last updated
- 2026-10-10
Files and Weights
21 files, 15.9 GB in total. The weights are 4 files totalling 15.9 GB in safetensors.
Weights4 files · 15.9 GB
Configuration5 files · 221.0 KB
Tokenizer2 files · 32.2 MB
Documentation5 files · 29.2 KB
Other4 files · 21.1 KB
Repository1 file · 1.6 KB
Every file
| File | Type | Size | SHA-256 |
|---|---|---|---|
| model-00001-of-00004.safetensors | Weights | 5.6 GB | aa3e9d1e0443 |
| model-00002-of-00004.safetensors | Weights | 4.0 GB | 2bde4a398f0b |
| model-00003-of-00004.safetensors | Weights | 4.0 GB | 1dabc748c112 |
| model-00004-of-00004.safetensors | Weights | 2.3 GB | 9361f2e249a8 |
| config.json | Configuration | 5.5 KB | — |
| generation_config.json | Configuration | 234 B | — |
| model.safetensors.index.json | Configuration | 212.4 KB | — |
| processor_config.json | Configuration | 1.7 KB | — |
| release_settings.json | Configuration | 1.2 KB | — |
| LICENSE | Documentation | 11.4 KB | — |
| NOTICE | Documentation | 1.4 KB | — |
| Ollama性能与上下文.md | Documentation | 5.0 KB | — |
| README.md | Documentation | 7.2 KB | — |
| USAGE.md | Documentation | 4.3 KB | — |
| SHA256SUMS | Other | 1.6 KB | — |
| chat_template.jinja | Other | 18.6 KB | — |
| system_prompt.txt | Other | 438 B | — |
| writer_system.txt | Other | 483 B | — |
| .gitattributes | Repository | 1.6 KB | — |
| tokenizer.json | Tokenizer | 32.2 MB | cc8d3a0ce364 |
| tokenizer_config.json | Tokenizer | 3.7 KB | — |
License and Download
- License
- apache-2.0
- Access
- Open weights, no gate
- Download size
- 15.9 GB
Download from Roland Wayne
Released by Roland Wayne through its official repository on Hugging Face. Read the license.
Built From
- Derived from google/gemma-4-E4B-it
Memory Requirements
| Precision | Weights in memory |
|---|---|
| As published | 15.9 GB |
| 16-bit | 15.9 GB |
| 8-bit | 7.9 GB |
| 4-bit | 4.0 GB |
Weights only, from the published parameter count; the key-value cache and runtime add to this.
Questions About Baihua-Gemma4-E4B
How much GPU memory does Baihua-Gemma4-E4B need?
About 19.1 GB at 16-bit and 4.8 GB at 4-bit: the weights (7.9B parameters) plus a working margin. A long context needs more.
What is the cheapest GPU to run Baihua-Gemma4-E4B on?
At 16-bit, 1x MI300X from $1.85 an hour; at 4-bit, 1x MI300X from $1.85 an hour, at the lowest on-demand prices the SAVRN Index lists.
Can I use Baihua-Gemma4-E4B commercially?
Yes. Baihua-Gemma4-E4B is released under Apache License 2.0. The Apache License 2.0 is a permissive open-source license. It permits commercial use, modification and redistribution. It requires keeping the license and copyright notices and any NOTICE file, stating significant changes, and it includes an express patent grant from contributors.
What is Baihua-Gemma4-E4B's context length?
131,072 tokens, from the maximum position embeddings in its published configuration.
Similar Models
Gemma 4 E4B fine-tuned for the Oxalis desktop app's language-learning surfaces (camera translate, text translate, tutor, talk, dictionary) across Japanese, Korean, and Simplified Chinese. The E4B sibling As a fair warning... this fine-tune will perform poorly outside of the Oxalis app. Feel free to run it for funzies though:) shamrock-0-e4b is licensed under CC BY-NC 4.0 (see LICENSE). You can use, share and adapt it for non-commercial purposes, including personal projects and research, as long as you give credit. Commercial use, such as selling the weights, serving them in a paid product or API, or bundling them into a commercial app, is not permitted. For commercial licensing, reach out…
Merged TuneLM checkpoint published from a JarvisLabs GPU job. Do not redistribute Gemma weights outside your licensed use.
LLaDA-8B-Instruct with Parallel Inconsistency Guidance (PIG), which lets the model commit more tokens per forward pass at the same accuracy. This repository is the whole model: the backbone, a 2.2M-parameter PIG adapter and its calibration tables. Paper: PIG: Parallel Inconsistency Guidance for Accelerating Diffusion Language Models, Fruytier, Xue, Shakkottai, Sanghavi (UT Austin), 2026; arXiv:2610.17375. Code: https://github.com/Quentin-Fruytier/PIG-DLM-release Blog: Which tokens can a diffusion language model commit together? Needs transformers 5.x and a GPU with 24 GB. Implementation details, every argument, and how the adapter and tables were fitted: AGENTS.md. MIT. The backbone is…
Full-parameter fine-tuning for TLINK temporal relation classification. mistralai/Ministral-8B-Instruct-2410 AnirbanSaha/tlink-classification-sentence-only The evaluation/ directory contains predictions, the classification report, confusion matrix, and a machine-readable evaluation summary.
The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text only models (8B, 70B, 405B) are optimized for multilingual dialogue use cases and outperform many of the available open source and closed chat models on common industry benchmarks. Model Architecture: Llama 3.1 is an auto-regressive language model that uses an optimized transformer architecture. The tuned versions use supervised fine-tuning (SFT) and reinforcement learning with human feedback (RLHF) to align with human preferences for helpfulness and safety.…