finetranslations-edu-zhtw 是以 HuggingFaceFW/finetranslations-edu 為來源,將其 translatedchunks(原始多語言教育類網頁內容、先被 pivot 翻譯成英文的版本)進一步翻譯成繁體中文的資料集。 HuggingFaceFW/finetranslations-edu 收錄了原本以英文以外語言(oglanguage,涵蓋約 200 種語言)撰寫、經篩選具教育價值(eduscore)的網頁內容,並將其 pivot 翻譯成英文(translatedtext / translatedchunks)。本資料集在此基礎上,將已經是英文的 translatedchunks 逐段(chunk)翻譯成繁體中文,並依原順序重組回完整段落(translatedtextzhtw),讓來自約 200 種原始語言、已篩選過教育價值的內容,也能以繁體中文呈現。 翻譯由一套 LLM 驅動(模型本身不對外公開資訊,僅說明為 LLM),部署為多個平行推論服務以提升吞吐量。 繁體中文語言模型的持續預訓練(continued pretraining)語料補充,特別是希望涵蓋多元語言/文化來源、且具教育價值的內容。 id / url / oglanguage / oglanguagescore / eduscore / eduscoreraw / translatedtokencount / minhashclustersize:原樣保留自上游 HuggingFaceFW/finetranslations-edu。…