Qwen2.5-0.5B Braga Saúde (GGUF - Q4_K_M)
Modelo SLM (Small Language Model) especialista treinado com base no Qwen2.5-0.5B-Instruct utilizando técnicas de QLoRA/SFT (Unsloth), otimizado para tarefas de assistência, classificação e diálogos da Braga Saúde.
- Tamanho: ~397 MB
- Quantização: Q4_K_M (4-bit Medium)
- Formato: GGUF (compatível com llama.cpp, Ollama, LM Studio, vLLM e Hugging Face Spaces)
- Contexto: 2048 tokens
Como Usar
1. Via Ollama
Você pode rodar diretamente com o Modelfile presente neste repositório:
# Clone ou baixe o arquivo GGUF e o Modelfile, depois execute:
ollama create braga-qwen05 -f Modelfile
ollama run braga-qwen05
2. Via Python (llama-cpp-python)
from llama_cpp import Llama
# Carrega o modelo baixando automaticamente do Hugging Face
llm = Llama.from_pretrained(
repo_id="yuriojogador/qwen2.5-0.5b-bragasaude",
filename="Qwen2.5-0.5B-Instruct.Q4_K_M.gguf",
n_ctx=2048,
verbose=False
)
# Exemplo de inferência
messages = [
{"role": "system", "content": "Você é o assistente virtual da Braga Saúde, prestativo e empático."},
{"role": "user", "content": "Olá, como funciona o acompanhamento de saúde?"}
]
response = llm.create_chat_completion(
messages=messages,
max_tokens=256,
temperature=0.7
)
print(response["choices"][0]["message"]["content"])
3. Via llama.cpp (CLI)
llama-cli -m Qwen2.5-0.5B-Instruct.Q4_K_M.gguf -p "Você é o assistente da Braga Saúde." -cnv
Detalhes do Treinamento
- Base Model:
unsloth/Qwen2.5-0.5B-Instruct-bnb-4bit
- Método: SFT com QLoRA 4-bit (r=16, lora_alpha=32)
- Frameworks: Unsloth, TRL, PyTorch, Transformers
