Ternary Bonsai 2 4B for onwx — 2 ビットの 4B を AMD Ryzen AI の NPU で（画像も読めます）
日本語 | English
Prism ML の Ternary-Bonsai-2-4B（Qwen3.5-4B を三値の重みで学習し直したモデル）を、onwx 用に変換したものです。onwx は LLM を AMD Ryzen AI の NPU（XDNA2）だけで 動かすアプリで、このリポジトリにはモデルと、このモデル専用の NPU プログラムが入っています（アプリは別にインストールします）。
重みは三値（−1・0・+1）を 2 ビットのまま NPU に載せ、行列計算・DeltaNet・アテンション・LM ヘッドまで 1 トークンの計算をすべて NPU の 32 個の AI エンジンで行います。同じ大きさの int4 のモデルよりダウンロードもメモリも小さく、生成も速くなります。画像のエンコーダー（ViT）は CPU で動きます。NPU 向けのプログラムはビルド済みなので、PC の上でコンパイルを待つことはありません。
|
Ryzen AI Max+ 395（Windows） |
| プロンプトの読み込み |
約 1.8 秒 / 約 5.8 秒（1,000 / 4,000 トークン。2 万トークンで約 34 秒） |
| 文章の生成 |
約 29 tok/s |
| 画像 1 枚のエンコード |
約 2 秒（CPU、384×288 ピクセルの画像。初回は読み込みに約 1.8 秒） |
| ダウンロード |
2.3 GB |
| 使用メモリ |
約 3.3 GB ＋ 文脈 1k トークンあたり約 13 MB（画像を使うと＋約 1.3 GB） |
| ロード |
数秒（コンパイルなし） |
（onwx 0.7.0、Ryzen AI Max+ 395（Windows）で NPU の電力モードを performance にして測定。Ryzen AI 300 シリーズ（HX 370 など）も NPU は同じ 32 個の AI エンジンで、同じ方式で動きます。標準の電力モードでは NPU のクロックが下がって 2 割ほど遅くなります。電力モードは管理者の PowerShell で C:\Windows\System32\AMD\xrt-smi.exe configure --pmode performance。Windows の Copilot+ の AI 機能が NPU を使っていると遅くなることがあります）
使い方
- onwx（アプリ）を入れます。 Windows はスタートメニューで「PowerShell」を開き、次の 1 行を貼って Enter（Ubuntu は onwx の README の
curl ... | bash）。
powershell
irm https://huggingface.co/ryugyosoft/onwx/resolve/main/install.ps1 | iex
- タスクトレイの赤い onwx アイコンから開く onwx ウィンドウ の「モデル」タブで Ternary Bonsai 2 4B を選び、「ダウンロード」を押します（2.3 GB）。
- 「サーバー」タブで「ロード」を押します。
- 「チャット」ですぐ試せます（画像も貼れます）。他のアプリからは OpenAI 互換 API として使えます（base URL は
http://127.0.0.1:8100/v1、画像は image_url の data URL で）。
from openai import OpenAI
c = OpenAI(base_url="http://127.0.0.1:8100/v1", api_key="none")
r = c.chat.completions.create(model="Ternary-Bonsai-2-4B-onwx", messages=[{"role": "user", "content": "こんにちは"}])
print(r.choices[0].message.content)
動く PC
- XDNA2 NPU の AMD Ryzen AI：Ryzen AI 300 シリーズ（Strix Point、例：Ryzen AI 9 HX 370）、Ryzen AI Max シリーズ（Strix Halo、例：Ryzen AI Max+ 395）
- Windows 11 と AMD の NPU ドライバー（32.0.203 以降で確認）。Ubuntu は試験的（amdxdna ドライバーと XRT が必要）
- メモリ 16 GB 以上
しくみ
- 重み：三値の符号を 2 ビット、128 個ごとのスケールを bf16 で持つ元の MLX 2 ビット形式のまま、NPU の各 AI エンジンが読む順に並べ替えています（1 重みあたり約 2.1 ビット）。Prism ML の重みは、入力側を 512 個ずつアダマール行列とランダムな符号で回転した形で保存されているので、NPU 上でも入力を同じように回転してから掛けます。
- 生成（1 トークンずつ）：16 個の AI エンジンが重みを読みながら行列×ベクトルを計算し、8 個が DeltaNet、4 個がアテンションを受け持ちます。元のモデルを CPU で計算した参照との差は、出力の分布の KL で 0.0013 以下です（貪欲法で選ぶトークンは同じ）。
- プロンプトの読み込み：1,024 / 2,048 トークンずつ、NPU の 32 個の AI エンジン全部で 1 層ずつ計算します（行列計算は bfp16 の行列ユニット。三値の重みはその層の直前に NPU 上で展開するので、使用メモリの増加は作業領域の約 0.5 GB だけ）。アテンション・DeltaNet・行列計算は Qwen3.5-4B 用のプログラムと共通で、512 個ずつの回転を含む合間の小さな処理は CPU で行います（AVX-512 が必要。Ryzen AI 300 / Max は対応）。1 トークンずつ読んだときとの差は KL で 0.0007〜0.0042（最も確率の高いトークンは同じ）。画像を含むプロンプトは今のところ 1 トークンずつ読みます
- 画像：Qwen3.5 の ViT（24 層。Prism ML のモデルでも元の重みのまま）を numpy で CPU 上で動かし、2×2 パッチごとに 1 トークンとして言語モデルに入れます（位置は MRoPE）。縦横比は保ったまま、最大で 512×512 ピクセル相当（256 トークン）に縮めます。
- キャッシュ：アテンションのキーと値は、ヘッドごとにアダマール行列で回転してから int8 で持ちます。
- 文脈：最大 262144 トークン（モデルの上限）。長いほど遅くなります。
- 思考モードとツール呼び出しに対応しています。動画は読めません。
ファイル
| ファイル |
中身 |
blobs/L*.wgt |
各層の重み（2 ビット、NPU が読む並び） |
blobs/L*.st |
DeltaNet 層の状態の初期値・畳み込みの重み |
blobs/head.wgt、embed.npz |
LM ヘッド・単語の埋め込み（元のモデルと同じく、LM ヘッドは埋め込みと同じ重み） |
vision.npz |
画像エンコーダーの重み（bf16、元のまま） |
plans/ |
NPU プログラム（xclbin と命令列：生成用・プロンプト用（pfx/ が 1,024 / 2,048 トークンずつまとめて読む経路）） |
xdna.json、engine.json |
プログラムとモデルの設定 |
tokenizer.json ほか |
元のモデルのトークナイザーとチャットテンプレート |
ライセンス
元のモデルと同じ Apache-2.0 です（LICENSE、NOTICE.txt）。モデルの重みは Prism ML の Ternary-Bonsai-2-4B（Created using Bonsai by Prism ML）に由来し、そのもとは Alibaba Cloud の Qwen/Qwen3.5-4B です。
