ultra-fineweb-l3-en-zhtw

Dataset Card for ultra-fineweb-l3-en-zhtw

Ultra-FineWeb-L3-en-zhtw 是把Ultra-FineWeb-L3 的英文 multi_style 子集完整翻譯成台灣繁體中文的大規模預訓練語料。 本專案以台灣用語為準，逐列保留英文原文與繁體中文譯文，並在翻譯過程中以自動守門機制攔截提示詞洩漏、照抄未譯等問題，提供可直接用於繁體中文語言模型持續預訓練的高品質平行語料。

Dataset Details

Dataset Description

Ultra-FineWeb-L3-en-zhtw 以Ultra-FineWeb-L3 的英文 multi_style 子集為來源。該子集是來源資料集對網頁語料做多風格改寫後的預訓練文本，共約 3.78 億列。

繁體中文的高品質預訓練語料，長期以來在數量和知識密度上都遠不及英文。直接爬取的繁中網頁又常夾雜廣告、論壇灌水與低資訊密度內容。本資料集的做法是反過來，把已經過嚴格篩選與改寫的英文高品質語料，系統性地翻譯成台灣繁體中文，讓繁中模型也能取得與英文同等級的知識與文體多樣性。

翻譯全程使用同一個模型、同一份提示詞與同一組取樣參數，自開始產出以來從未變更，全量風格一致。每一列同時保留英文原文（content）與繁體中文譯文（content_zhtw），可以單獨使用譯文做繁中預訓練，也可以當作英中平行語料。

• Curated by: Liang Hsun Huang
• Language(s) (NLP): Traditional Chinese（譯文）、English（原文）
• License: Apache-2.0（沿用來源）

Dataset Sources

• Repository: lianghsun/ultra-fineweb-l3-en-zhtw
• Source Dataset: openbmb/Ultra-FineWeb-L3
• Paper: TBA

Uses

Direct Use

本資料集主要設計作為語言模型持續預訓練（continued pretraining）的大規模繁體中文語料來源，適合用於： * 提升繁體中文語言模型的知識廣度與文體多樣性； * 建構或強化以台灣繁體中文為主的基底模型（base models）； * 作為英中平行語料，用於翻譯模型的訓練或評測，以及跨語言對齊研究。

Out-of-Scope Use

本資料集不適用於下列用途： * 作為下游任務（如問答、對話、摘要）的指令資料集，因為它不包含指令－回應結構。 * 作為人工翻譯品質的參考標準。譯文為機器翻譯，雖經自動守門，仍可能有誤譯或用語不夠道地之處。 * 生成具特定意圖或立場的內容，例如政治宣傳、商業廣告或情緒操縱。 * 任何違反資料隱私、版權或倫理準則的用途。

Dataset Structure

{
  "uid": "b3bffb8f-eefd-4f45-9966-a0b00f674f84",
  "style": "multi_style",
  "content": "Speak to her of the tears that have hardened upon your face. ...",
  "content_zhtw": "向她訴說那已凝固於你面容上的淚痕。...",
  "chunk_count": 1,
  "translation_error": false
}

Dataset Creation

Curation Rationale

本資料集的建立動機，是補足繁體中文在高品質預訓練語料上的缺口。Ultra-FineWeb-L3 已經對英文網頁做過篩選與多風格改寫，資訊密度與文體多樣性都很高，但只有英文。與其從零收集、清洗繁中網頁，不如把這份經過驗證的高品質語料完整翻成台灣繁體中文，讓繁中模型直接受益於英文社群在資料品質上的累積。

翻譯時特別要求使用台灣慣用詞與正體字，並統一標點規範，避免機器翻譯常見的簡體字、中國大陸用語，以及中英標點混用。

Source Data

Data Collection and Processing

本資料集以Ultra-FineWeb-L3 的英文 multi_style 子集為唯一來源，依來源順序逐列翻譯，不做抽樣或篩選。

主要處理流程如下： 1. 切塊 * 長文本在段落邊界切成每塊約 4,000 字元以內，分別翻譯後再依原順序接合。切塊數記錄在 chunk_count。 2. 翻譯 * 每一塊都使用同一份系統提示詞翻譯，要求： * 一律使用台灣繁體中文與台灣慣用詞，禁止簡體字與中國大陸慣用語（例如「軟件」「視頻」「信息」→「軟體」「影片」「資訊」）； * 標點採全形／半形混排：中文語句用全形標點，英文單字、專有名詞、網址、數字維持半形； * 只輸出譯文本身，不加任何說明、前言或引號。 * 首次翻譯的取樣參數固定（temperature 0.3、單塊輸出上限 2,048 token），自開始產出以來未曾變更。 3. 自動守門與重譯 * 守門機制於產出初期（2026-09）加入，此後每一塊譯文寫入前都會自動檢查。命中就改用加強版提示詞重新翻譯（第一次重譯 temperature 0.3，第二次 0.5），仍失敗才保留並標記（translation_error）。檢查項目： * 系統提示詞或指示文字混入譯文； * 模型自行加上的前言、結語或譯註； * 控制符號外洩； * 原文照抄、未實際翻譯。 * 守門只採用高精確度的樣式觸發自動重譯；模稜兩可的情況只計數回報、不自動修改，避免把好的譯文改壞。 4. 交付 * 譯文依來源順序寫成 parquet 分片，經存在性檢查後才上傳，確保不覆蓋、不漏列、不重複。

Who are the source data producers?

英文原文來自 openbmb 釋出的Ultra-FineWeb-L3，其底層為公開網頁語料經篩選與多風格改寫的結果。繁體中文譯文並非人工翻譯，而是由大型語言模型依上述流程自動產生。

Annotations

Annotation process

本資料集新增的欄位（content_zhtw、chunk_count、translation_error）全部由翻譯流程自動產生，沒有額外的人工標註。翻譯過程的守門統計，例如已檢查列數、重譯後仍被標記的比例，會持續更新在下方的「翻譯進度」區塊。

Who are the annotators?

譯文由大型語言模型以固定的提示詞與取樣參數自動產生，無人工干預。

Personal and Sensitive Information

本資料集係由公開網頁語料衍生的 Ultra-FineWeb-L3 翻譯而成，翻譯過程未加入任何新的個人資訊，也未對來源內容做額外的去識別化處理。如有侵犯特定人士或特定組織隱私之虞，請聯繫我方進行排除。

Bias, Risks, and Limitations

• 譯文為機器翻譯，可能存在誤譯、漏譯，或用語不夠道地之處；專業術語與文化特定內容尤其需要留意。
• 長文本是切塊翻譯後接合的，塊與塊之間的用詞與指代可能不完全一致。
• 自動守門只攔截高精確度的樣式。目前約 0.1% 的列在重譯後仍被標記，另有少量問題可能未被偵測；守門加入之前產出的最早一批譯文，沒有經過寫入前的即時檢查。
• 來源本身是英文網頁語料的改寫，內容的觀點與偏誤會隨翻譯一併保留。

Recommendations

一般使用建議排除翻譯失敗的列：

ds = ds.filter(lambda r: not r["translation_error"])

只需要繁體中文語料時，取 content_zhtw 欄位即可；需要英中平行語料時，請同時使用 content 與 content_zhtw。

Citation

@misc{ultra-fineweb-l3-en-zhtw,
  title        = {Ultra-FineWeb-L3-en-zhtw: A Traditional Chinese Translation of the Ultra-FineWeb-L3 English Multi-Style Corpus},
  author       = {Liang Hsun Huang, (TBA)},
  year         = {2026},
  howpublished = {\url{https://huggingface.co/datasets/lianghsun/ultra-fineweb-l3-en-zhtw}},
  note         = {Translated from openbmb/Ultra-FineWeb-L3 (English, multi_style) into Taiwanese Traditional Chinese with automatic quality gating.}
}

Dataset Card Authors

Liang Hsun Huang

Dataset Card Contact

Liang Hsun Huang

翻譯進度（自動更新）

翻譯設定（模型、提示詞、取樣參數）自本資料集開始產出以來未曾變更，全量風格一致。