finetranslations-edu-zhtw

Dataset Card for finetranslations-edu-zhtw

狀態：持續產出中（manual review） —— 本資料集正以背景流程持續翻譯、分批推送，尚未涵蓋上游全量資料，且尚未經過人工抽查驗證，使用前請自行評估品質與涵蓋範圍。

finetranslations-edu-zhtw 是以HuggingFaceFW/finetranslations-edu 為來源，將其 translated_chunks（原始多語言教育類網頁內容、先被 pivot 翻譯成英文的版本）進一步翻譯成繁體中文的資料集。

Dataset Details

Dataset Description

HuggingFaceFW/finetranslations-edu 收錄了原本以英文以外語言（og_language，涵蓋約 200 種語言）撰寫、經篩選具教育價值（edu_score）的網頁內容，並將其 pivot 翻譯成英文（translated_text / translated_chunks）。本資料集在此基礎上，將已經是英文的 translated_chunks 逐段（chunk）翻譯成繁體中文，並依原順序重組回完整段落（translated_text_zhtw），讓來自約 200 種原始語言、已篩選過教育價值的內容，也能以繁體中文呈現。

翻譯由一套 LLM 驅動（模型本身不對外公開資訊，僅說明為 LLM），部署為多個平行推論服務以提升吞吐量。

• Curated by: Liang Hsun Huang
• Language(s) (NLP): Traditional Chinese（來源涵蓋約 200 種原始語言，經英文 pivot 後再譯為繁中）
• License: ODC-By（沿用上游 finetranslations-edu 授權）

Dataset Sources

• Repository: lianghsun/finetranslations-edu-zhtw
• Upstream source: HuggingFaceFW/finetranslations-edu
• Paper: TBA

Uses

Direct Use

• 繁體中文語言模型的持續預訓練（continued pretraining）語料補充，特別是希望涵蓋多元語言/文化來源、且具教育價值的內容。
• 與 fineweb-edu-zhtw、finepdf-edu-zhtw 互補：本資料集的特色是來源語言多元（約 200 種原始語言），非單純英文或中文網頁。

Out-of-Scope Use

• 不適用於需嚴格事實正確之領域（醫療、法律）：內容經過兩次翻譯（原文 → 英文 → 繁中），可能有語意漂移或翻譯腔。
• 不適用於需要保留原文語言/文化細節的研究用途。
• 篩選流程尚未經過人工抽查，下游使用者若對品質有較高要求，建議自行做額外的抽樣驗證。

Dataset Structure

{
  "id": "...",
  "url": "...",
  "og_language": "abk_Cyrl",
  "og_language_score": 0.999,
  "edu_score": 2,
  "edu_score_raw": 2.09,
  "translated_token_count": 444,
  "minhash_cluster_size": 1,
  "translated_text": "... (英文 pivot 翻譯，來自上游) ...",
  "translated_text_zhtw": "... (繁體中文翻譯，本資料集新增) ...",
  "chunk_count": 3,
  "translation_error": false
}

• id / url / og_language / og_language_score / edu_score / edu_score_raw / translated_token_count / minhash_cluster_size：原樣保留自上游 HuggingFaceFW/finetranslations-edu。
• translated_text：上游的英文 pivot 翻譯結果（保留作為對照與除錯用）。
• translated_text_zhtw：本資料集新增，將 translated_chunks 逐段翻譯成繁體中文後，依原順序重組而成。
• chunk_count：該筆資料切分的段落數。
• translation_error：任一段落翻譯失敗時標記為 true（保留該筆資料，translated_text_zhtw 可能不完整，下游使用建議過濾掉此類樣本）。

Dataset Creation

Curation Rationale

繁體中文語料多半侷限於中文網頁或英文翻譯來源，較少涵蓋其他語言、文化背景的教育性內容。HuggingFaceFW/finetranslations-edu 已將約 200 種語言的教育類內容 pivot 翻譯成英文，本資料集在此基礎上再翻譯一次成繁體中文，期望能豐富繁中語料的來源多樣性。

Source Data

Data Collection and Processing

1. 以 streaming 方式讀取 HuggingFaceFW/finetranslations-edu（不落地上游原始資料）。
2. 取出每筆資料的 translated_chunks（英文，已依段落切好），逐段送入 LLM 翻譯成繁體中文。
3. 翻譯時要求：只能使用繁體中文（台灣用語），禁止簡體字與中國大陸慣用語；中文語句採全形標點，英文專有名詞/數字維持半形，中英文之間留半形空格。
4. 各段落翻譯完成後，依原順序重組回完整段落（translated_text_zhtw）。
5. 以多組平行推論服務處理，翻譯結果分批（shard）持續推送至本資料集。

Who are the source data producers?

原始內容由網際網路上以各種語言撰寫網頁內容的作者所產生；上游由 HuggingFaceFW 整理、篩選教育價值並 pivot 翻譯成英文；本資料集在此基礎上進一步翻譯成繁體中文。

Annotations

本資料集不含額外的人工標註，translated_text_zhtw 為 LLM 自動翻譯產出。

Annotation process

無人工標註流程；翻譯全程由 LLM 自動化完成，未經人工校閱。

Who are the annotators?

無人工標註者。翻譯使用的 LLM 基於內部考量不對外公開具體模型資訊。

Personal and Sensitive Information

本資料集係從公開網頁內容篩選、翻譯而成，來源為上游 finetranslations-edu 已處理過的內容。如包含侵犯特定人士或組織隱私的內容，請於 discussion 區提出排除。

Bias, Risks, and Limitations

• 內容經過兩層翻譯（原文 → 英文 → 繁中），可能累積語意漂移、文化脈絡流失或翻譯腔。
• 翻譯全自動、未經人工校閱，可能有誤譯、漏譯或術語不一致的情形。
• translation_error=true 的樣本代表翻譯過程中有段落失敗，內容可能不完整，使用前建議過濾。
• 本資料集仍在持續產出中，尚未涵蓋上游全量資料。

Recommendations

Users should be made aware of the risks, biases and limitations of the dataset, and are encouraged to perform their own manual spot-checks before production use given this dataset has not yet completed manual review and is still being incrementally produced.

Citation

@misc{finetranslations_edu_zhtw,
  title        = {finetranslations-edu-zhtw: A Traditional Chinese Translation of FineTranslations-Edu},
  author       = {Huang, Liang Hsun},
  year         = {2026},
  howpublished = {\url{https://huggingface.co/datasets/lianghsun/finetranslations-edu-zhtw}},
  note         = {Translated from HuggingFaceFW/finetranslations-edu's translated_chunks (English pivot) into Traditional Chinese via an LLM.}
}

Dataset Card Authors

Liang Hsun Huang

Dataset Card Contact

Liang Hsun Huang