Max Sun

Source: sca255/animemixv10lcm (SD 1.5 LCM anime model, StableDiffusionPipeline). Recipe: numinferencesteps=8, guidancescale=1.5, 1024x1024 (LCM distilled model). Converted with optimum-intel 2.2.0 / optimum 2.3.0 / openvino 2026.4.0 / nncf 3.4.0: 1. optimum-cli export openvino -m sca255/animemixv10lcm --task text-to-image --library diffusers --weight-format fp16./animemixv10lcm-ov-fp16 2. OVQuantizer NNCF weight-only INT4 (bits=4, sym=False, groupsize=128, fallback=adjust, ratio=1.0) on unet + textencoder, VAE INT8 default. See quantizeint4.py. - FP16 OV 3.2G → INT4 OV 0.86G (unet 700M, textencoder 81M, vaedec 48M, vaeenc 33M, ~73%↓). Env: diffusers==0.37.1 transformers==4.57.6…

把 Real-ESRGAN 的 RealESRGANx4plus （RRDBNet，23 個 RRDB block，16.7 M 參數）轉成 OpenVINO IR，並用 NNCF 做成 INT4 / INT8 / FP16 多種精度版本。所有模型都是純 OpenVINO 推論， 執行時不需要 PyTorch，只要 openvino + opencv + numpy（首次使用會自動從本 repo 下載權重）。 測試機：Intel Xeon Platinum 8559C（Emerald Rapids，16 vCPU，含 AMX-INT8 / AVX512-VNNI / AVX512-FP16）、 OpenVINO 2026.4.1、tile=128、tilepad=16。 畫質（3 張 inputs/ 測試圖，PSNR / SSIM 對 fp16 版本；fp16 與 PyTorch FP32 差異 直接下載 00sourcelr.mp4 你的瀏覽器不支援 video 標籤，請改用 直接下載 20sidebyside1920x780.mp4 若播放器不支援 HTML video，可直接看這支 GIF： 原始 PyTorch FP32（放大後） 你的瀏覽器不支援 video 標籤，請改用 直接下載 10pytorchfp324x.mp4 OpenVINO FP16 你的瀏覽器不支援 video 標籤，請改用 直接下載 11openvinofp164x.mp4 OpenVINO INT8（W8A8） 你的瀏覽器不支援 video 標籤，請改用 直接下載…

在 8 GB RAM 的 Intel 機器上真的跑得動 Qwen3.6-35B-A3B（22.1 GB / Q4KM）： 冷專家留在 SSD，RAM 只放有限容量的 expert cache，不用 swap 冒充 RAM。 - 引擎基礎：llama.cpp（pinned commit，見 sdq/config.py） - 核心實作：cpp/sdqpager.cpp（RAM arena + 槽位 + pin + 淘汰 + 指標） ＋ cpp/sdqmoe.cpp（自訂 MoE op）＋ cpp/sdqbuft.cpp（讓 18.2 GiB 專家權重不進 RAM） - 進度真相來源：stage.txt（每階段更新，並上傳 HF） - 文件：docs/01 執行路徑分析、docs/02 設計、docs/03 實測結果與瓶頸、 docs/04 mode C 與負結果、docs/05 I/O 段平行與 8 GB 預算修正 - 一鍵從零到聊天：python demo.py 條件：--ram-budget-mb 8192 + RLIMITDATA 8 GB、8 執行緒、ctx 4096、temp 0， 短提示詞、48 個生成 token。換機器數字一定不同（見 docs/05 §1：本機的 SSD 上下文設計上支援 1M，實測只驗 4K。細節見 docs/03results.md（量測方法）、 docs/04experiments.md（mode C 與兩個負結果）、docs/05optimization.md（本輪的 一句話：一個 expert 的三段權重（gate/up/down）在…

權重與大 KV cache 放在 SSD 檔案，RAM 只留執行必須的部分。禁止 swap。 CPU 純推論（無 GPU）。 - 模型：unsloth/Qwen3.5-4B-GGUF / Qwen3.5-4B-Q4KM.gguf（2.553 GiB） - 引擎：llama.cpp commit 0504396 + patches/0001-ssd-mmap-release.patch + patches/0002-kv-ssd-pager.patch - 硬約束：行程總 RSS（含 page cache）≤ 1 GiB；VmSwap = 0

Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference

在 8 GB RAM 的 Intel 機器上真的跑得動 Qwen3.6-35B-A3B（22.1 GB / Q4KM）： 冷專家留在 SSD，RAM 只放有限容量的 expert cache，不用 swap 冒充 RAM。 - 引擎基礎：llama.cpp，用 patch 改（不重寫引擎）。唯一的進入點是 llamaserver.sh。 - 核心實作：cpp/sdqpager.cpp（RAM arena + 大小兩種槽位 + pin + 淘汰 + 指標） ＋ cpp/sdqmoe.cpp（自訂 MoE op）＋ cpp/sdqbuft.cpp（讓 18.2 GiB 專家權重不進 RAM） - 進度真相來源：stage.txt（每階段更新，並上傳 HF） 1. git clone llama.cpp 並 checkout 到 patch 對應的 commit 2. 抓 patches/.patch（旁邊沒有就從 HelloSun/sddqwen35a3bv01 抓回來） 3. git apply 套 patch（先 --check，套不上就停下來報錯） 4. cmake 編譯 llama-server 6. 啟動 llama-server 需求只有 git、cmake、curl、python3 和 C++ toolchain。 unsloth/Qwen3.6-35B-A3B-GGUF 的 Qwen3.6-35B-A3B-UD-Q4KM.gguf（22,134,528,992 bytes）， 永遠只做 SSD 上的 file-backed mmap。…

EPQ（Expert Paging Quantization）是以 llama.cpp 為基礎的 CPU 推論路徑，讓 22.1 GB 的 Qwen3.6-35B-A3B-UD-Q4KM.gguf 在路由專家權重無法全部放入 RAM 時仍可執行。 GGUF 權重保留在儲存裝置，只有當前選中的專家會分頁載入容量受限的 RAM arena， MoE 專家計算則由 CPU 執行。本 repo 收錄程式碼與量測結果，不包含模型權重。 中文描述名：Qwen3-35B-A3B 專家分頁 4-bit 量化 CPU 推理版。 EPQ 的名稱刻意描述實際機制：MoE expert paging、一般 GGUF 權重量化，以及 CPU 低記憶體推理。本專案不是論文中的 SDQ（Sparse Decomposed Quantization）： 沒有 2:4 結構化稀疏硬體跳零計算，也不宣稱使用 GPU 稀疏加速。sdq/ Python package、sdq C++ 檔案與 SDQ 除錯環境變數是歷史 implementation identifiers， 仍保留以避免破壞既有驗證工具；對外產品名稱與執行入口已改為 EPQ。 需求：Linux x86-64、C++ 工具鏈、CMake、Git、Python 3、足以存放 22.1 GB GGUF 與建置檔的磁碟空間，以及可提供實用解碼速度的本機高速 SSD/NVMe。已測試路徑使用 llama.cpp commit 836d57176dc699a726c55418e4f96b8ca628e1bf。 在其他位置執行時，此腳本會取得本 repo…

This repository contains a patch that adds support for openPangu-2.0-Flash (92B MoE, ~6B active parameters, 512K context) to the latest llama.cpp release v0.7.0 (commit 620d2225cc436ab0b001e3200e590e3b286ef9ab, 2026-10-15). The support was ported from (which tracks an older llama.cpp base) and rebased on top of v0.7.0. - llama.cpp-openpangu-v0.7.0.diff — the full patch (43 files, +3290 / −367) - patch.sh — downloads the pinned llama.cpp commit, applies the patch and prints build/run instructions - LICENSE — GPL-3.0 (this project) with the references/licenses of the upstream projects it is built on 本 repo 是將 openPangu-2.0-Flash（92B MoE、約 6B 激活參數、512K 上下文） 的 llama.cpp 支援，從 mrexodia 的 fork…