LycheeAI-coder-2b-II-pro-MLX-bf16

Runs On

What it takes to serve LycheeAI-coder-2b-II-pro-MLX-bf16 (2.5B parameters): the memory its weights need at each precision, and the cheapest way to rent enough data-center GPUs to hold them.

Memory is the weights at that precision plus 20% for the runtime and a short context; a long context needs more. Prices are the lowest on-demand hourly rates in the SAVRN Index, read Sep 18, 2026.

Model Card

By Hwc, published under apache-2.0, revision 61d3eff819c4.

LoRA adapter 已融合进基座，权重是 bf16 全精度，没有经过任何量化。 MLX 和 transformers 都能直接加载——它是标准 safetensors 格式，所以一套权重两种用法。 一句话：要在它身上"再加工"，就必须用这个版本；只是想用它，4bit 更省。 命令行也行（mlxlm.generate 自己会套模板）： 和 4bit 版完全一致——模型输出裸 JSON： 完整接入代码（含多步循环、JSON 兜底解析）见主仓库的 1. 不套 chat template 会复读。 直接 generate(model, tok, prompt="递归是什么？") 会得到类似这样的东西： 这不是模型坏了，是你喂的是裸补全而不是对话。用 tok.applychattemplate(...)， 或者干脆用 mlxlm.generate 命令行。 2. enablethinking 记得显式传 False。 模板里有 开关，不传的话没有默认值，输出可能带游离的 。 想要思考内容就传 True，它会单独出现（不混在回答里）。 3. 加载比 4bit 慢、占内存多——这是正常的。 实测对比（MacBook Pro M4 / 16GB）： ① 无工具时算术会算错 → 在 system 里要求"一律调 calculate"； ② 通用 system 下身份可能答错 → system 里写清身份； - 基座：MiniCPM5-2B（面壁智能 OpenBMB） - 许可：Apache 2.0 个人项目，欢迎提 issue。有用的话 Bilibili 关注一下

pip install mlx-lm

from mlx_lm import load, generate

model, tok = load("whcl412/LycheeAI-coder-2b-II-pro-MLX-bf16")

msgs = [
{"role": "system", "content": "你是 LycheeAI-coder-2b-II-pro，由 MiniCPM5-2B 通过 LoRA 微调而来的编程助手。回答简洁、直接，不谄媚；做不到的事直接说明，不要编造。"},
{"role": "user", "content": "递归是什么？一句话。"},
]

# 必须套 chat template，否则会复读乱码（见下文"踩坑"）
prompt = tok.apply_chat_template(msgs, tokenize=False,
add_generation_prompt=True,
enable_thinking=False)
print(generate(model, tok, prompt=prompt, max_tokens=256, verbose=False))

递归是**函数自己调用自己**。

python -m mlx_lm.generate \
  --model whcl412/LycheeAI-coder-2b-II-pro-MLX-bf16 \
  --prompt "用 Python 写一个二分查找，带注释。" \
  --max-tokens 256 --temp 0.4

from transformers import AutoModelForCausalLM, AutoTokenizer

mid = "whcl412/LycheeAI-coder-2b-II-pro-MLX-bf16"
tok = AutoTokenizer.from_pretrained(mid, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    mid, torch_dtype="bfloat16", device_map="auto", trust_remote_code=True)

{"name": "calculate", "arguments": {"expression": "789*123"}}

还是说：递归是函数自己调用自己。区别很大，对吧。还是说：递归是**把问题缩小到更小的问题**。还是说：…

Configuration

Architecture

LlamaForCausalLM

Context length (tokens)

131,072

Layers

42

Hidden size

2,048

Feed-forward size

6,144

Attention heads

16

Key/value heads

2

Head dimension

128

Vocabulary size

130,560

RoPE base

5,000,000

Stored precision

bfloat16

Model type

llama

Identity and Version

Repository

whcl412/LycheeAI-coder-2b-II-pro-MLX-bf16

Publisher

Hwc

Task

Not stated by the source

Modality

Other

Library

mlx

Parameters

2.5B parameters

Languages

zh, en

Revision

61d3eff819c4e6b32b758b3f3e154419cb840fa3

First published

2026-09-13

Last updated

2026-09-18

Files and Weights

9 files, 5.0 GB in total. The weights are 1 file totalling 5.0 GB in safetensors.

License and Download

License

apache-2.0

Access

Open weights, no gate

Download size

5.0 GB

Built From

• Derived from openbmb/MiniCPM5-2B

Memory Requirements

Weights only, from the published parameter count; the key-value cache and runtime add to this.