Built with Qwen. Qwen/Qwen2.5-3B-Instruct cuantizado a INT4 con (2.57x mas chico) perdiendo 2.43% de calidad. Incluye las dos formas de usarlo: qwen3b-int4.gguf para llama.cpp y Android, y la carpeta.tq para PyTorch. Perplejidad en wikitext-2 test, 20 ventanas de 2048 tokens, todo medido dentro de llama.cpp con llama-perplexity para que la comparacion sea de tu a tu. Este modelo pierde 2.6 veces menos calidad que llama.cpp Q4KM, el formato mas usado para correr modelos en local, a cambio de 0.47 GB mas de archivo. La comparativa de los tres tamaños esta en En PyTorch el modelo cuantizado genera mas lento que el original: Octuma desempaqueta los 4 bits en cada multiplicacion sin un kernel…
Independent publisher
Omar Imanol Rodríguez Rodríguez
Imanol11
Models in Library3
Datasets in Library0
Models on Hugging Face3
Followers—
Compare the published evidence
This profile connects the 3 model and dataset records shown below to their upstream cards and sources. The library counts describe SAVRN's coverage, rather than this publisher's entire output.
Published tasks: Text generation.
Reported licenses: apache-2.0, other. Open a record to review its specific license and conditions.
Compare model specifications, source dates, and hardware estimates on the individual records. Publisher identity verification is separate from a model's quality, deployment readiness, or suitability for your work.
Models
Built with Qwen. Qwen/Qwen2.5-0.5B-Instruct cuantizado a INT4 con (1.91x mas chico) perdiendo 3.73% de calidad. Incluye las dos formas de usarlo: qwen0.5b-int4.gguf para llama.cpp y Android, y la carpeta.tq para PyTorch. Perplejidad en wikitext-2 test, 20 ventanas de 2048 tokens, todo medido dentro de llama.cpp con llama-perplexity para que la comparacion sea de tu a tu. En este tamaño, llama.cpp Q4KM rinde mejor (+2.63% contra +3.73%) y ocupa menos. La ventaja de Octuma aparece en modelos mas grandes: en Qwen2.5-3B la relacion se invierte. La tabla esta aqui para que se vea, no para esconderla. La comparativa de los tres tamaños esta en En PyTorch el modelo cuantizado genera mas lento que…
Built with Qwen. Qwen/Qwen2.5-1.5B-Instruct cuantizado a INT4 con (2.34x mas chico) perdiendo 2.11% de calidad. Incluye las dos formas de usarlo: qwen1.5b-int4.gguf para llama.cpp y Android, y la carpeta.tq para PyTorch. Perplejidad en wikitext-2 test, 20 ventanas de 2048 tokens, todo medido dentro de llama.cpp con llama-perplexity para que la comparacion sea de tu a tu. Este modelo pierde 2.2 veces menos calidad que llama.cpp Q4KM, el formato mas usado para correr modelos en local, a cambio de 0.34 GB mas de archivo. La comparativa de los tres tamaños esta en En PyTorch el modelo cuantizado genera mas lento que el original: Octuma desempaqueta los 4 bits en cada multiplicacion sin un…