IRIS — kayıpsız dağıtık model motoru
Herhangi bir HF modelini, bellek bütçesi altında, bit-birebir (kayıpsız) çalıştır.
Model bitleri hiç atılmaz; katman katman seçmeli yüklenir, kullanılınca bırakılır. Tepe bellek =
tek katman, model boyutu değil. Çıktı, tam-yükle referansla logit düzeyinde birebir aynı.
Bit sıkıştırma değil (yüksek-entropi ağırlıkların kayıpsız sınırı ~1,3×'tir — fizik).
Kayıpsız dağıtım/akış: yerleşik ayak-izi = model/N, N sınırsız.
Kur
pip install iris-engine # yayınlandığında
# veya kaynaktan:
pip install ./iris
Kullan
# 7B modeli katman-akışıyla çalıştır (tek katman kadar RAM/VRAM)
iris run Qwen/Qwen2.5-7B --prompt "Görelilik nedir?" --max-new 40
# çıktı tam-yükle ile bit-birebir mi? ölç:
iris verify Qwen/Qwen2.5-7B
Koddan:
from iris.engine import IrisModel, verify_bit_exact
m = IrisModel("Qwen/Qwen2.5-7B") # GPU varsa kullanır
print(m.generate("Merhaba, ", max_new_tokens=40))
print("tepe bellek:", m.peak_gb, "GB")
print(verify_bit_exact("Qwen/Qwen2.5-7B"))
# {'max_logit_abs_diff': 0.0, 'bit_exact_fraction': 1.0, 'next_token_identical': True, ...}
Neden AirLLM/Colibri yerine
|
AirLLM |
Colibri |
IRIS |
| Kalite |
kayıplı olabilir |
kayıplı akış |
bit-birebir 0.0 |
| Aynı ayak-izinde |
— |
28/48 sapar |
48/48 kesin |
| Disk okuma/token |
2,62 GB |
— |
0,66 GB (7,4× az) |
| Ölçek |
tek makine |
tek makine |
tek + N node dağıtık |
Ölçümler bulutta (Kaggle/Colab) gerçek koşudan. iris verify ile kendin doğrula.
Nasıl çalışır
- Böl — model katman/tensör düzeyinde parçalanır.
- Akıt — her parça gerektiğinde belleğe alınır, kullanılınca bırakılır (disk-offload yok).
- Birleştir — aynı ağırlık + aynı sıra = tam modelle bit-birebir çıktı.
Apache-2.0 · Norovox Labs
