texto-clinico-brasileiro

Dataset unificado de texto clinico e medico em portugues para NLP.

Agrega datasets publicos de acesso aberto em um schema Parquet padronizado, com proveniencia (licenca, origem, lingua, sintetico ou nao) registrada em cada registro, para facilitar treino e avaliacao de modelos de linguagem no dominio clinico.

Conteudo

Total: 530.099 registros, depois de remover duplicatas exatas de texto.

Avisos sobre as fontes:

• LusoClin foi gerado por um modelo pequeno (Llama 3.2 3B) e revisado por humanos so em amostra. As notas sao repetitivas e em portugues europeu. Filtre por source ou por metadata.sintetico se isso importar.
• MedPT nao declara licenca no card de origem; os textos vem da Doctoralia.
• MultiClinSum mistura portugues brasileiro e europeu sem declarar a variante.
• As questoes de prova (HealthQA-BR) sao texto do INEP e da Ebserh, publicado pelo autor do dataset sob CC BY 4.0.

Schema (config default)

id         : str   -- identificador unico (ex: "medpt_000001", "lusoclin_admission_notes_22003")
text       : str   -- texto
source     : str   -- fonte (medpt, chatbulario, lusoclin, multiclinsum, healthqa_br, rarebench_br, sepse_hcrp, protocolos_br)
text_type  : str   -- qa_pair, leaflet_qa, admission_note, outpatient_note, discharge_summary,
                      nursing_note, case_report, exam_question, clinical_guideline
specialty  : str   -- especialidade, como veio da fonte (vazio quando nao ha)
metadata   : str   -- JSON. Sempre tem licenca, origem_url, lingua, sintetico, traduzido,
                      mais os campos proprios da fonte (gabarito, resumo, entidades, CID, etc.)

Anotacoes geradas por LLM local (configs anotacoes_*)

Tabelas separadas, chaveadas por id e text_hash (sha1 dos 16 primeiros hex do texto), geradas por um Qwen3.5-9B rodando localmente com saida forcada por JSON Schema. Sao anotacoes "prata": uteis para filtrar, estratificar e treinar, mas nao revisadas uma a uma.

• anotacoes_geral: especialidade normalizada (enum de 47 valores), capitulo da CID-10 do problema principal, tipo de conteudo, e listas de doencas, sintomas, medicamentos, procedimentos e exames citados no texto.
• anotacoes_nota_clinica: para notas e relatos de caso: UTI, obito, desfecho, cuidados paliativos, ventilacao mecanica, vasopressor, dialise, foco infeccioso, antibioticos e comorbidades previas.

Cada linha registra schema_version, prompt_version e modelo.

Cobertura nesta versao (rodadas de 11 e 12/10/2026; schemas na versao 1, prompts geral e nota_clinica na versao 3):

Validacao contra rotulos que ja existiam, medida por execucao:

Ressalvas: o rotulo de UTI do Sepse vem do prontuario estruturado, e so 24 das 200 notas citam UTI no texto (uma regra por regex tem sensibilidade 0,20). O campo uti e portanto "cuidado intensivo inferido" (vasopressor, intubacao, PCR reanimada): alta sensibilidade e baixa especificidade contra o dado estruturado, e nao o substitui. A especialidade do MedPT e a do profissional que respondeu, um proxy fraco do assunto; o modelo tende a cair em clinica_medica e confunde psiquiatria com psicologia. As listas de entidades nao tem padrao-ouro; a checagem feita e a fidelidade ao texto, ou seja, a fracao dos termos listados que aparecem literalmente no texto: medicamentos 0,98, doencas 0,92, procedimentos 0,91, sintomas 0,87, exames 0,86 (o restante e quase todo normalizacao de grafia ou de forma, nao invencao). Limitacao conhecida: em notas longas, culturas e ecocardiograma as vezes caem em procedimentos em vez de exames. As anotacoes casam com o texto publicado por id e text_hash (100% das linhas, conferido).

Como usar

from datasets import load_dataset

ds = load_dataset("LABDAPS/texto-clinico-brasileiro", split="train")

notas = ds.filter(lambda x: x["text_type"] in {"admission_note", "discharge_summary", "nursing_note", "outpatient_note"})
casos = ds.filter(lambda x: x["source"] == "multiclinsum")
reais = ds.filter(lambda x: '"sintetico": false' in x["metadata"])

anot = load_dataset("LABDAPS/texto-clinico-brasileiro", "anotacoes_geral", split="train")

Pipeline de geracao

Gerado por um pipeline em repositorio privado do autor (download de cada fonte, normalizacao para o schema, merge com deduplicacao exata por texto e anotacao com Qwen3.5-9B local via llama-server com saida forcada por JSON Schema). Datasets com acesso credenciado (SemClinBr, BRATECA) tem suporte no pipeline, mas nao entram nesta publicacao.

Mudancas

• 11/10/2026 (v2). Seis fontes novas: ChatBulario, LusoClin, MultiClinSum (pt), HealthQA-BR, RareBench-BR e Protocolos Clinicos BR; total vai de 384.285 para 530.099 registros. Proveniencia (licenca, origem_url, lingua, sintetico, traduzido) em todo metadata. Configs anotacoes_geral e anotacoes_nota_clinica. Atencao: o texto dos 384.085 registros do MedPT passa a ter os marcadores "Pergunta:" e "Resposta:" (antes era pergunta e resposta coladas); os id nao mudam.
• 02/04/2026 (v1). MedPT e Sepse HC-RP, 384.285 registros.

Citacao

@dataset{texto_clinico_brasileiro_2026,
  title={Texto Clinico Brasileiro: Dataset Unificado de Texto Clinico em Portugues para NLP},
  author={Fabiano Filho},
  year={2026},
  url={https://huggingface.co/datasets/LABDAPS/texto-clinico-brasileiro}
}

Cite tambem as fontes originais que usar:

• Sepse HC-RP: Dataset of anonymized discharge summaries of sepsis patients. Data in Brief, 2025. doi:10.7910/DVN/GWNBQQ
• MedPT: MedPT: A Massive Medical QA Dataset for Brazilian-Portuguese Speakers. LREC, 2026.
• LusoClin: Felix, D. e Teixeira Lopes, C. (2025). Dataset of synthetic clinical notes in European Portuguese generated using an open-source large language model. INESC TEC. doi:10.25747/4GC6-DK48
• MultiClinSum: Rodriguez Ortega et al. MultiClinSum Shared Task Dataset, BioASQ CLEF 2025. doi:10.5281/zenodo.15517617
• HealthQA-BR: D'addario, A. M. V. (2025). arXiv:2506.21578
• Protocolos Clinicos BR: Abonizio et al. (2026). Teaching LLMs Brazilian Healthcare. arXiv:2605.01077
• RareBench-BR: Raras-AI (2026). RareBench-BR Public v1.
• ChatBulario: walmeidadf (2026). ChatBulario, Hugging Face.

Licenca

Nao ha licenca unica: cada fonte mantem a propria, registrada em metadata.licenca de todo registro (tabela acima). As tags do card listam as licencas declaradas pelas fontes: CC BY 4.0 (ChatBulario, MultiClinSum, HealthQA-BR, RareBench-BR, Protocolos Clinicos BR), CC BY-SA 4.0 (LusoClin, e o SA se propaga a essa parte) e CC0 1.0 (Sepse HC-RP). O MedPT nao declara licenca na origem; quem precisar de licenca explicita deve filtrar source != "medpt". O codigo do pipeline e MIT.

Autor

LABDAPS, Laboratorio de Big Data e Analise Preditiva em Saude, FSP-USP.

Fabiano Filho, medico, cientista de dados, doutorando FSP-USP (LABDAPS).