samai-27b（Qwen/Qwen3.8-27B 手术版：PonderNet 停机位点 L35/39/43/47/51/55/59/63 + dMoE 8 专家 + MTP）经 QLoRA SFT 后，按 mixbit 静态化管线产出的 llama.cpp 混合精度权重。 等价稠密模型 ≙ Qwen35ForCausalLM（48 linearattention + 16 fullattention，hidden 5120），可直接用上游 llama.cpp 载入。 - Token embedding /…
Model Card
By Tchbcn, published under apache-2.0, revision c39920a07eb2.
samai-27b（Qwen/Qwen3.8-27B 手术版：PonderNet 停机位点 L35/39/43/47/51/55/59/63 + dMoE 8 专家 + MTP）经 QLoRA SFT 后，按 mixbit 静态化管线产出的 llama.cpp 混合精度权重。 等价稠密模型 ≙ Qwen35ForCausalLM（48 linearattention + 16 fullattention，hidden 5120），可直接用上游 llama.cpp 载入。 - Token embedding / output：Q6K（--token-embedding-type Q6K） OpenAI 兼容端点 /v1/chat/completions。 - 基座：tchbcb/samai-27b（含 SFT adapter / 训练日志 / 数据） - 配方参考：tchbcb/samai-4b-mixbit
Read Tchbcn's full model card
samai-27b-mixbit (Q5_K_M mixed-precision GGUF)
samai-27b（Qwen/Qwen3.8-27B 手术版：PonderNet 停机位点 L35/39/43/47/51/55/59/63 + dMoE 8 专家 + MTP）经 QLoRA SFT 后，按 mixbit 静态化管线产出的 llama.cpp 混合精度权重。
静态化（相对 samai-27b 的结构变化）
| 组件 | 处理 |
|---|---|
| PonderNet (L35..63 停机循环) | 展开：ponder_forced_steps=1 单遍语义，halter/router 丢弃 |
| dMoE 8 专家 (仅 L35..63) | 按校准激活频率 f_i 加权合并为稠密 FFN（8×2176 → 17408，与稠密层同形） |
| MTP 模块 | 丢弃（推理旁路；训练时 mtp_loss_weight=0） |
| 视觉塔 (460M) | 丢弃（纯文本） |
| LoRA SFT (r16 α32, 124.66M) | 已合并进基座权重 |
等价稠密模型 ≙ Qwen3_5ForCausalLM（48 linear_attention + 16 full_attention，hidden 5120），可直接用上游 llama.cpp 载入。
量化配方（与 samai-4b-mixbit 同款）
- 主体：Q5_K_M
- Token embedding / output：Q6_K（
--token-embedding-type Q6_K）
文件
| 文件 | 说明 |
|---|---|
samai-27b-mixbit-Q5_K_M.gguf |
主权重（含 Q6_K embedding） |
sft-adapter/（见 samai-27b 仓） |
SFT 训练侧信息 |
用法
llama-server -m samai-27b-mixbit-Q5_K_M.gguf --host 0.0.0.0 --port 8100 -ngl 999 -c 131072 -fa
OpenAI 兼容端点 /v1/chat/completions。
来源
- 基座：
tchbcb/samai-27b（含 SFT adapter / 训练日志 / 数据） - 配方参考：
tchbcb/samai-4b-mixbit
Identity and Version
- Repository
- tchbcb/sami-27b-mixbit
- Publisher
- Tchbcn
- Task
- Not stated by the source
- Modality
- Other
- Library
- gguf
- Parameters
- Not stated by the source
- Languages
- Not stated by the source
- Revision
- c39920a07eb2e9f0daaa1635a580759bfb93b57f
- First published
- 2026-09-17
- Last updated
- 2026-09-18
Files and Weights
15 files, 34.6 GB in total. The weights are 2 files totalling 34.6 GB in gguf.
Every file
| File | Type | Size | SHA-256 |
|---|---|---|---|
| samai-27b-mixbit-IQ4_XS.gguf | Weights | 15.2 GB | 05f2da870c00 |
| samai-27b-mixbit-Q5_K_M.gguf | Weights | 19.4 GB | 9ea172a5c9dc |
| README.md | Documentation | 1.7 KB | — |
| logs/0918_001830_master8.log | Other | 443 B | — |
| logs/0918_001830_pip_core.log | Other | 637 B | — |
| logs/0918_001830_preflight.log | Other | 164 B | — |
| logs/0918_001830_preflight_help.log | Other | 6.0 KB | — |
| logs/0918_005127_convert.log | Other | 128.4 KB | — |
| logs/0918_005128_master8.log | Other | 875 B | — |
| logs/0918_005128_quant_i4.log | Other | 4.9 KB | — |
| logs/0918_010111_convert.log | Other | 128.4 KB | — |
| logs/0918_023427_master8.log | Other | 1.8 KB | — |
| logs/0918_023427_push.log | Other | 3.5 KB | — |
| logs/0918_024743_convert.log | Other | 128.4 KB | — |
| .gitattributes | Repository | 1.6 KB | — |
License and Download
- License
- apache-2.0
- Access
- Open weights, no gate
- Download size
- 34.6 GB
Released by Tchbcn through its official repository on Hugging Face. Read the license.
Built From
- Derived from tchbcb/samai-27b
- Quantized from tchbcb/samai-27b
Memory Requirements
| Precision | Weights in memory |
|---|---|
| As published | 34.6 GB |
Weights only, from the published parameter count; the key-value cache and runtime add to this.
Questions About sami-27b-mixbit
Can I use sami-27b-mixbit commercially?
Yes. sami-27b-mixbit is released under Apache License 2.0. The Apache License 2.0 is a permissive open-source license. It permits commercial use, modification and redistribution. It requires keeping the license and copyright notices and any NOTICE file, stating significant changes, and it includes an express patent grant from contributors.