finetranslations-edu-zhtw

Dataset Card for finetranslations-edu-zhtw

狀態：持續產出中（manual review） —— 本資料集正以背景流程持續翻譯、分批推送，尚未涵蓋上游全量資料，且尚未經過人工抽查驗證，使用前請自行評估品質與涵蓋範圍。

finetranslations-edu-zhtw 是以HuggingFaceFW/finetranslations-edu 為來源，將其 translated_chunks（原始多語言教育類網頁內容、先被 pivot 翻譯成英文的版本）進一步翻譯成繁體中文的資料集。

Dataset Details

Dataset Description

HuggingFaceFW/finetranslations-edu 收錄了原本以英文以外語言（og_language，涵蓋約 200 種語言）撰寫、經篩選具教育價值（edu_score）的網頁內容，並將其 pivot 翻譯成英文（translated_text / translated_chunks）。本資料集在此基礎上，將已經是英文的 translated_chunks 逐段（chunk）翻譯成繁體中文，並依原順序重組回完整段落（translated_text_zhtw），讓來自約 200 種原始語言、已篩選過教育價值的內容，也能以繁體中文呈現。

翻譯由一套 LLM 驅動（模型本身不對外公開資訊，僅說明為 LLM），部署為多個平行推論服務以提升吞吐量。

• Curated by: Liang Hsun Huang
• Language(s) (NLP): Traditional Chinese（來源涵蓋約 200 種原始語言，經英文 pivot 後再譯為繁中）
• License: ODC-By（沿用上游 finetranslations-edu 授權）

Dataset Sources

• Repository: lianghsun/finetranslations-edu-zhtw
• Upstream source: HuggingFaceFW/finetranslations-edu
• Paper: TBA

Uses

Direct Use

• 繁體中文語言模型的持續預訓練（continued pretraining）語料補充，特別是希望涵蓋多元語言/文化來源、且具教育價值的內容。
• 與 fineweb-edu-zhtw、finepdf-edu-zhtw 互補：本資料集的特色是來源語言多元（約 200 種原始語言），非單純英文或中文網頁。

Out-of-Scope Use

• 不適用於需嚴格事實正確之領域（醫療、法律）：內容經過兩次翻譯（原文 → 英文 → 繁中），可能有語意漂移或翻譯腔。
• 不適用於需要保留原文語言/文化細節的研究用途。
• 篩選流程尚未經過人工抽查，下游使用者若對品質有較高要求，建議自行做額外的抽樣驗證。

Dataset Structure

{
  "id": "...",
  "url": "...",
  "og_language": "abk_Cyrl",
  "og_language_score": 0.999,
  "edu_score": 2,
  "edu_score_raw": 2.09,
  "translated_token_count": 444,
  "minhash_cluster_size": 1,
  "translated_text": "... (英文 pivot 翻譯，來自上游) ...",
  "translated_text_zhtw": "... (繁體中文翻譯，本資料集新增) ...",
  "chunk_count": 3,
  "translation_error": false
}

• id / url / og_language / og_language_score / edu_score / edu_score_raw / translated_token_count / minhash_cluster_size：原樣保留自上游 HuggingFaceFW/finetranslations-edu。
• translated_text：上游的英文 pivot 翻譯結果（保留作為對照與除錯用）。
• translated_text_zhtw：本資料集新增，將 translated_chunks 逐段翻譯成繁體中文後，依原順序重組而成。
• chunk_count：該筆資料切分的段落數。
• translation_error：任一段落翻譯失敗時標記為 true（保留該筆資料，translated_text_zhtw 可能不完整，下游使用建議過濾掉此類樣本）。