WAL2-Ternary-27B

Исторический идентификатор ветви и файлов — Vol2. WAL2 использует новую исходную Qwen3.8-FP8; старый WAL RC1 на Qwen3.6 со sparse/WALB2 не является parent этих весов.

Идентичность и область выпуска

Основной свежий артефакт этого снимка — E022-Fixed128, потомок E020-B1024. Завершённая диагностика: 69/136 (50,74%), лучше родителя 64/136 по сумме, но AIME25 0/30 против 2/30. E020-B1024 сохранён отдельно как контрольный кандидат. Утверждения о превосходстве E022 по всем задачам нет. Полный GSM8K 84,69% относится только к E017. Слабое AIME25 и регрессии более новых вариантов сохранены в отчёте.

Артефакт текстовый. Визуальная часть исходной conditional-generation модели не преобразовывалась, не обучалась и не выпускается. Нельзя переносить на него мультимодальные возможности исходного Qwen.

Основа: Qwen/Qwen3.8-27B-FP8, зафиксированная ревизия 017b9c7af6b5689d5dd426a76e0bc077eb5ca20a. В загруженной конфигурации используется архитектура Qwen3.5: Qwen3_5ForCausalLM для текстовой части; это описание фактического config, а не переименование основы.

Архитектура

64 блока: 48 Gated DeltaNet и 16 блоков полного attention. Hidden size 5120, промежуточная размерность MLP 17408, словарь 248320. Всего 26 895 998 464 параметра в текстовой модели. Тернаризованы 402 матрицы — 26 869 760 000 параметров (99,9024%), в том числе embedding и lm_head. Исключения — 26 238 464 параметра: 96 небольших in_proj_a/in_proj_b и параметры нормализации, свёртки, состояния и прочие небольшие тензоры. Группа масштаба — 128. Ротация — нормализованная H128, sign_mode identity.

Что означает битность

Трит имеет три значения; информационный нижний предел — log₂(3)=1,58496 бита. В нашем базовом контейнере пять тритов записаны в один байт: 8/5=1,6 бита на символ без масштабов и исключений. BF16-масштаб на 128 весов добавляет 16/128=0,125 бита. С учётом высокоточных исключений и заголовков файлы тензоров занимают 5 846 382 464 байта, 1,73896 бита на параметр всей текстовой модели. Каталог с токенизатором и конфигурацией — 5 869 422 733 байт, 1,74581 бита на параметр. Поэтому краткое «около 1,74–1,75 бита» допустимо только с названием этого формата и учтённых файлов.

Быстрый native GGUF использует PQ2_0: 32 байта двухбитных кодов плюс 2 байта FP16-масштаба на 128 весов, то есть 34×8/128=2,125 бита на тернарный вес. Из четырёх кодов используются три. 402 тензора имеют GGUF type 142 (PQ2_0); 449 небольших тензоров — F32. Веса тензоров занимают 7 242 233 856 байт; весь файл, включая токенизатор, метаданные и выравнивание, — 7 253 239 808 байт: 7,253 ГБ / 6,755 ГиБ / 2,15742 бита на параметр.

Сравнение с идеальным BF16 для тех же параметров: 53 791 996 928 байт без метаданных; native GGUF примерно в 7,42 раза меньше, base3-тензоры — в 9,20 раза меньше. Это сравнение форматов хранения, не скорости и не размера исходного FP8-мультимодального каталога.

Вычисления и память

Native inference читает PQ2, а не создаёт постоянную полную BF16-копию всех весов. Отдельные ядра используют декодирование блоков, высокоточные активации и накопление; «всё вычисляется в двух битах» не заявляется. Проверка включает формат 402 тензоров, allocator/source audit и наблюдение GPU; полного kernel-by-kernel трассирования нет.

При E018, 25 слотах на каждой из двух H200 и контексте 32768 наблюдалось около 62517 МиБ на GPU. Значительная часть — KV-кэш, около 50 ГиБ на один сервер такой конфигурации; сам quantized payload модели около 7,24 ГБ. Поэтому файл 7,25 ГБ не означает, что любой режим запуска занимает ровно 7,25 ГБ VRAM. Требования одного слота не измерены здесь новым запуском и не объявляются равными этому большому batch-замеру.

Во время QAT хранится FP32 latent weight, а forward представляет тернарные значения в BF16. Обучение использует большую память и обычные матричные операции. Native ускорение inference не переносится автоматически на backward.

Оценки и ограничения

E022-Fixed128:69/136 на наборе разработки, AIME25 0/30; E020-B1024:64/136 и AIME25 2/30; режим greedy, thinking medium, до 8192 новых токенов, контекст 32768. Длинные рассуждения и корректное завершение пока слабы. Число правильных конечных ответов не доказывает корректность всего рассуждения.

Последний полный большой тест: E017, GSM8K 1117/1319 (84,69%), Bonsai 1275/1319 (96,66%). Этот показатель не относится к GGUF E020/E022. Прерванный широкий тест и свежая диагностика приведены отдельно. Наборы разработки использовались многократно; отсутствие точных совпадений с подготовленным корпусом не исключает близкие формулировки и неизвестные данные предобучения Qwen.

Файл, происхождение и лицензии

Имя: vol2-e022-fixed128-pq2.gguf. SHA256: f403e7b38258769f7e915af9de7cef3a46fdef723e5d5764c0d224862eb26f23. Локальный пакет подготовлен отдельно; публичного URL весов в этом снимке нет. model/artifact.json — машинный паспорт E022, model/e020-b1024.json — паспорт E020; model/export-audit.json — исходный отчёт экспорта. Его статус exported_not_yet_validated означает момент экспорта; последующая завершённая генерация 136 задач подтверждается в evidence/diagnostic136/e022-fixed128.jsonl.

Веса — собственные производные Qwen после преобразования и обучения, Apache-2.0 с атрибуцией Qwen. Метаданные/схема тензоров GGUF сверялись с совместимым Bonsai-шаблоном; тензоры его весов не переносились. Движок PrismML-Eng/llama.cpp используется по MIT, коммит 9a9394a895b96003ca842a6041cb28ac49a108f7. Проект не связан организационно с PrismML или Qwen и не заявляет их одобрения.

Файлы этого репозитория

Компактные base3-файлы расположены в base3/<вариант>/. Native GGUF требует закреплённого Prism/llama.cpp: обычная загрузка через Transformers или универсальный llama.cpp не заявляется. Base3-loader reference разворачивает значения для BF16 compute. FP32 master и optimizer checkpoint здесь отсутствуют.

В snapshot-документации могли быть указаны ещё не назначенные URL. Этот README описывает фактический состав загруженного model repository; ссылки проекта обновляются после проверки публикации.