Ryu Gyo

Model · Text generation

Ternary-Bonsai-2-27B-onwx

Ryu Gyo

Prism ML の Ternary-Bonsai-2-27B（Qwen3.8-27B を三値の重みで学習し直したモデル）を、onwx 用に変換したものです。onwx は LLM を AMD Ryzen AI の NPU（XDNA2）だけで 動かすアプリで、このリポジトリにはモデルと、このモデル専用の NPU プログラムが入っています（アプリは別にインストールします）。 重みは三値（−1・0・+1）を 2 ビットのまま NPU に載せ、行列計算・DeltaNet・アテンション・LM ヘッドまで 1 トークンの計算をすべて NPU の 32 個の AI エンジンで行います。NPU 向けのプログラムは AI エンジンごとに手で書いてビルド済みなので、PC の上でコンパイルを待つことはありません。 （onwx 0.4.0、Ryzen AI Max+ 395（Windows）で NPU の電力モードを performance にして測定。Ryzen AI 300 シリーズ（HX 370 など）も NPU は同じ 32 個の AI エンジンで、同じ方式で動きます。標準の電力モードでは NPU のクロックが下がって 2 割ほど遅くなります。電力モードは管理者の PowerShell で C:\Windows\System32\AMD\xrt-smi.exe configure --pmode performance。Windows の Copilot+ の AI 機能が NPU を使っていると遅くなることがあります） 1. onwx（アプリ）を入れます。 Windows…

Model · Text generation

llm-jp-4.1-8b-onwx

Ryu Gyo

国立情報学研究所 大規模言語モデル研究開発センターの llm-jp-4.1-8b-thinking を、onwx 用に変換したものです。onwx は LLM を AMD Ryzen AI の NPU（XDNA2）だけで 動かすアプリで、このリポジトリにはモデルと、このモデル専用の NPU プログラムが入っています（アプリは別にインストールします）。 重みは int4（128 個ごとのスケールと最小値つき）で NPU に載せ、行列計算・アテンション・LM ヘッドまで 1 トークンの計算をすべて NPU の 32 個の AI エンジンで行います。NPU 向けのプログラムはビルド済みなので、PC の上でコンパイルを待つことはありません。 （onwx 0.4.0、Ryzen AI Max+ 395（Windows）で NPU の電力モードを performance にして測定。Ryzen AI 300 シリーズ（HX 370 など）も NPU は同じ 32 個の AI エンジンで、同じ方式で動きます。標準の電力モードでは NPU のクロックが下がって 2 割ほど遅くなります。電力モードは管理者の PowerShell で C:\Windows\System32\AMD\xrt-smi.exe configure --pmode performance。Windows の Copilot+ の AI 機能が NPU を使っていると遅くなることがあります） 1. onwx（アプリ、0.2.2 以降）を入れます。 Windows はスタートメニューで「PowerShell」を開き、次の 1…

Model · Image and text to text

Qwen3.6-35B-A3B-onw

Ryu Gyo

Qwen/Qwen3.6-35B-A3B を onw（俺のNPUがこんなに動くわけない）用に変換したモデルです。onw は LLM を Intel NPU だけで動かすエンジンで、このリポジトリにはモデルだけが入っています（エンジンは別にダウンロードします）。 総パラメータ 35B、1 トークンあたり約 3B が動く MoE（Gated DeltaNet 30 層＋ゲート付きアテンション 10 層、256 エキスパートから 8 個＋共有エキスパート）。テキストと画像に対応。半分のサイズの刈り込み版は ryugyosoft/Qwen3.6-REAP-18B-A3B-onw。 私たちの知る限り、MoE と Gated DeltaNet を組み合わせた 35B 級モデルを画像入力まで含めて NPU だけで動かす公開実装は onw が初めてです（2026 年 9 月、Fable 5.1 調べ。OpenVINO 公式は Qwen3.6 を CPU・GPU のみ対応としています）。 1. onw（エンジン）を入れます。 まだの場合は、onw の「インストール」 のとおり 1 行貼るだけです。Windows はスタートメニューで「PowerShell」を開き、次の 1 行を貼って Enter（Ubuntu は onw の README の curl... | bash）。 2. タスクトレイの onw アイコンから開く onw ウィンドウ の「モデル」タブで Qwen3.6-35B-A3B を選び、「ダウンロード」を押します（17 GB）。 3.…

Model · Image and text to text

Qwen3.5-9B-onw

Ryu Gyo

Qwen/Qwen3.5-9B を onw（俺のNPUがこんなに動くわけない）用に変換したモデルです。onw は LLM を Intel NPU だけで動かすエンジンで、このリポジトリにはモデルだけが入っています（エンジンは別にダウンロードします）。 テキストと画像に対応。Hugging Face の重みから onw convert で直接作っています（単独版は ryugyosoft/Qwen3.5-9B-npu）。 私たちの知る限り、Gated DeltaNet 混在のハイブリッドモデルを画像入力まで含めて NPU で動かす公開実装は onw が初めてです（2026 年 9 月、Fable 5.1 調べ。OpenVINO 公式は Qwen3.5 を CPU・GPU のみ対応としています）。 1. onw（エンジン）を入れます。 まだの場合は、onw の「インストール」 のとおり 1 行貼るだけです。Windows はスタートメニューで「PowerShell」を開き、次の 1 行を貼って Enter（Ubuntu は onw の README の curl... | bash）。 2. タスクトレイの onw アイコンから開く onw ウィンドウ の「モデル」タブで Qwen3.5-9B を選び、「ダウンロード」を押します（5.3 GB）。 3. 「サーバー」タブでモデルを選んで「ロード」を押します。初回だけ NPU 向けの準備に約 13 分かかります。 4. 「チャット」ですぐ試せます。他のアプリからは OpenAI 互換 API として使えます（base URL は…

Model · Image and text to text

gemma-4-E4B-it-onw

Ryu Gyo

google/gemma-4-E4B-it を onw（俺のNPUがこんなに動くわけない）用に変換したモデルです。onw は LLM を Intel NPU だけで動かすエンジンで、このリポジトリにはモデルだけが入っています（エンジンは別にダウンロードします）。 テキストと画像に対応。単独版 ryugyosoft/gemma-4-E4B-it-npu と同じ検証済みの NPU グラフを、共通エンジンで動かします。 私たちの知る限り、画像エンコーダーと層ごとの埋め込みまで含めて Gemma 4 全体を NPU で動かす公開実装は onw が初めてです（2026 年 9 月、Fable 5.1 調べ。Intel 公式の OpenVINO GenAI は画像エンコーダーを CPU で動かし、他の公開例はテキストのみです）。 1. onw（エンジン）を入れます。 まだの場合は、onw の「インストール」 のとおり 1 行貼るだけです。Windows はスタートメニューで「PowerShell」を開き、次の 1 行を貼って Enter（Ubuntu は onw の README の curl... | bash）。 2. タスクトレイの onw アイコンから開く onw ウィンドウ の「モデル」タブで gemma-4-E4B-it を選び、「ダウンロード」を押します（4.3 GB）。 3. 「サーバー」タブでモデルを選んで「ロード」を押します。初回だけ NPU 向けの準備に約 4 分かかります。 4. 「チャット」ですぐ試せます。他のアプリからは OpenAI 互換 API…

Model · Image and text to text

Qwen3.6-REAP-18B-A3B-onw

Ryu Gyo

onw（俺のNPUがこんなに動くわけない）用に変換したモデルです。onw は LLM を Intel NPU だけで動かすエンジンで、このリポジトリにはモデルだけが入っています（エンジンは別にダウンロードします）。 Qwen/Qwen3.6-35B-A3B の エキスパートを半分に刈り込んだ 版（各層 256 → 128 個、REAP 方式）。総パラメータ約 18B、1 トークンあたり約 3B が動きます。テキストと画像に対応。刈り込みなしの版は ryugyosoft/Qwen3.6-35B-A3B-onw。 私たちの知る限り、MoE と Gated DeltaNet を組み合わせたモデルを画像入力まで含めて NPU だけで動かす公開実装は onw が初めてです（2026 年 9 月、Fable 5.1 調べ）。16 GB の PC 向けに刈り込んだのがこの版です。 1. onw（エンジン）を入れます。 まだの場合は、onw の「インストール」 のとおり 1 行貼るだけです。Windows はスタートメニューで「PowerShell」を開き、次の 1 行を貼って Enter（Ubuntu は onw の README の curl... | bash）。 2. タスクトレイの onw アイコンから開く onw ウィンドウ の「モデル」タブで Qwen3.6-REAP-18B-A3B を選び、「ダウンロード」を押します（9.6 GB）。 3. 「サーバー」タブでモデルを選んで「ロード」を押します。初回だけ NPU 向けの準備に約 7 分かかります。 4.…

Model · Image and text to text

Qwen3.5-4B-onwx

Ryu Gyo

Alibaba の Qwen3.5-4B を、onwx 用に変換したものです。onwx は LLM を AMD Ryzen AI の NPU（XDNA2）だけで 動かすアプリで、このリポジトリにはモデルと、このモデル専用の NPU プログラムが入っています（アプリは別にインストールします）。 重みは int4（128 個ごとのスケールと最小値つき）で NPU に載せ、行列計算・DeltaNet・アテンション・LM ヘッドまで 1 トークンの計算をすべて NPU の 32 個の AI エンジンで行います。画像のエンコーダー（ViT）は CPU で動きます。NPU 向けのプログラムはビルド済みなので、PC の上でコンパイルを待つことはありません。 （onwx 0.5.0、Ryzen AI Max+ 395（Windows）で NPU の電力モードを performance にして測定。Ryzen AI 300 シリーズ（HX 370 など）も NPU は同じ 32 個の AI エンジンで、同じ方式で動きます。標準の電力モードでは NPU のクロックが下がって 2 割ほど遅くなります。電力モードは管理者の PowerShell で C:\Windows\System32\AMD\xrt-smi.exe configure --pmode performance。Windows の Copilot+ の AI 機能が NPU を使っていると遅くなることがあります） AMD Ryzen AI の NPU で LLM を動かす代表的なアプリ FastFlowLM（FLM）1.0.8…

Model

onwx

Ryu Gyo

LLM を AMD Ryzen AI の NPU（XDNA2）だけで 動かすアプリです。行列計算から DeltaNet・アテンション・LM ヘッドまで、 1 トークンの計算をすべて NPU の上で行います（CPU は単語の表引きと次の単語の選択だけ）。NPU 向けのプログラムは OpenAI 互換 API サーバーとブラウザのチャット画面、タスクトレイのアプリ（モデルのダウンロード・切り替え・設定）を備えています。 AMD Ryzen AI の NPU で LLM を動かす代表的なアプリ FastFlowLM（FLM）1.0.8 と、 同じ測り方で比べました（Qwen3.5 9B、Ryzen AI Max+ 395、NPU は performance モード）。プロンプトは FLM の flm bench と同じ文章（長さ 128〜32K トークン）で、プロンプトを読み終わるまでの時間（TTFT）と、そのあと 32 トークンの生成を測っています。 点線は、設定の「CPU も使ってプロンプトの読み込みを速くする」をオンにした値です（既定はオフ）。 生成速度はどちらも MTP なし（温度 0 で 1 トークンずつ）の値です。FLM の Qwen3.5 には MTP がないので、条件はそろっています。 onwx の MTP（温度 0 のときの先読み）を使った値は、生成のグラフに破線で示しました。 - 512 トークンの回答をプロンプトから書き終えるまでの実効速度（512 ÷ 合計時間）は、128〜32K のどの長さでも onwx が上です（MTP なしでも）。…

Model · Image and text to text

Ternary-Bonsai-2-4B-onwx

Ryu Gyo

Prism ML の Ternary-Bonsai-2-4B（Qwen3.5-4B を三値の重みで学習し直したモデル）を、onwx 用に変換したものです。onwx は LLM を AMD Ryzen AI の NPU（XDNA2）だけで 動かすアプリで、このリポジトリにはモデルと、このモデル専用の NPU プログラムが入っています（アプリは別にインストールします）。 重みは三値（−1・0・+1）を 2 ビットのまま NPU に載せ、行列計算・DeltaNet・アテンション・LM ヘッドまで 1 トークンの計算をすべて NPU の 32 個の AI エンジンで行います。同じ大きさの int4 のモデルよりダウンロードもメモリも小さく、生成も速くなります。画像のエンコーダー（ViT）は CPU で動きます。NPU 向けのプログラムはビルド済みなので、PC の上でコンパイルを待つことはありません。 （onwx 0.7.0、Ryzen AI Max+ 395（Windows）で NPU の電力モードを performance にして測定。Ryzen AI 300 シリーズ（HX 370 など）も NPU は同じ 32 個の AI エンジンで、同じ方式で動きます。標準の電力モードでは NPU のクロックが下がって 2 割ほど遅くなります。電力モードは管理者の PowerShell で C:\Windows\System32\AMD\xrt-smi.exe configure --pmode performance。Windows の Copilot+ の AI 機能が NPU…

Model · Image and text to text

Ternary-Bonsai-2-9B-onwx

Ryu Gyo

Prism ML の Ternary-Bonsai-2-9B（Qwen3.5-9B を三値の重みで学習し直したモデル）を、onwx 用に変換したものです。onwx は LLM を AMD Ryzen AI の NPU（XDNA2）だけで 動かすアプリで、このリポジトリにはモデルと、このモデル専用の NPU プログラムが入っています（アプリは別にインストールします）。 重みは三値（−1・0・+1）を 2 ビットのまま NPU に載せ、行列計算・DeltaNet・アテンション・LM ヘッドまで 1 トークンの計算をすべて NPU の 32 個の AI エンジンで行います。同じ大きさの int4 のモデルよりダウンロードもメモリも小さく、生成も速くなります。画像のエンコーダー（ViT）は CPU で動きます。NPU 向けのプログラムはビルド済みなので、PC の上でコンパイルを待つことはありません。 （onwx 0.7.0、Ryzen AI Max+ 395（Windows）で NPU の電力モードを performance にして測定。Ryzen AI 300 シリーズ（HX 370 など）も NPU は同じ 32 個の AI エンジンで、同じ方式で動きます。標準の電力モードでは NPU のクロックが下がって 2 割ほど遅くなります。電力モードは管理者の PowerShell で C:\Windows\System32\AMD\xrt-smi.exe configure --pmode performance。Windows の Copilot+ の AI 機能が NPU…