ชุดข้อมูลภาษาไทยสำหรับ semi-pretraining: เอกสารเว็บภาษาไทยที่ถูกทำความสะอาดและเรียบเรียงใหม่ด้วย LLM โดยมีบล็อกการวิเคราะห์สั้น ๆ … ฝังอยู่หน้าข้อความ และมีคู่คำถาม-คำตอบ (SFT) พร้อม think full.jsonl (หนึ่งแถวต่อเอกสาร) pretrainwiththink.jsonl /…
Dataset Card
ชุดข้อมูลภาษาไทยสำหรับ semi-pretraining: เอกสารเว็บภาษาไทยที่ถูกทำความสะอาดและเรียบเรียงใหม่ด้วย LLM โดยมีบล็อกการวิเคราะห์สั้น ๆ … ฝังอยู่หน้าข้อความ และมีคู่คำถาม-คำตอบ (SFT) พร้อม think full.jsonl (หนึ่งแถวต่อเอกสาร) pretrainwiththink.jsonl / pretrainclean.jsonl: id, type (rewrite), text sft.jsonl: id ( -q ), docid, question, think, answer, messages (รูปแบบแชท: user = คำถาม, assistant = … + คำตอบ) 1. แหล่งข้อมูลดิบ: สตรีมตัวอย่างจาก FineWeb-2 ภาษาไทย (HuggingFaceFW/fineweb-2, thaThai) และ Wikipedia ไทย (wikimedia/wikipedia, 20231101.th) รวม 80,000 เอกสาร (CulturaX ไม่ได้ใช้ เพราะยังไม่ได้รับสิทธิ์เข้าถึง) 2. กรองด้วยกฎ (ไม่ใช้ LLM): normalize Unicode (NFC), ลบอักขระล่องหน/ควบคุม, ลบ URL…
Excerpt from the card by AI, licensed other.
Details
- Repository
- Jommarn/thai-semi-pretrain-qwen
- Publisher
- AI
- Task category
- Text generation
- Tags
- thai, pretraining, semi-pretraining
- Size category
- n<1K
- Languages
- th
- Revision
- 765df2f9732d66c468570c3a6da1aa66f009724b
- Last updated
- 2026-10-16
Files
7 files, 573.0 MB in total.
Every file
| File | Type | Size | SHA-256 |
|---|---|---|---|
| data/full.jsonl | Data | 356.2 MB | 7cae5c26a22f |
| data/pretrain_clean.jsonl | Data | 95.0 MB | 7002c8fe7a14 |
| data/pretrain_with_think.jsonl | Data | 121.6 MB | e9550458d454 |
| test/semi_pretrain.jsonl | Data | 88.0 KB | — |
| test/sft.jsonl | Data | 43.6 KB | — |
| README.md | Documentation | 10.9 KB | — |
| .gitattributes | Repository | 2.7 KB | — |
License and Download
- License
- other
- Access
- No access gate
Released by AI through its official repository on Hugging Face.