fineweb-2-russian-quality-full

FineWeb-2 Russian (rus_Cyrl) with quality scores - all 699M documents

English | Русский

[!WARNING] Upload in progress. The files are being uploaded one by one, so train is not complete yet. This notice will be removed when all 440 files are in place.

This is the complete rus_Cyrl subset of FineWeb-2: every one of its 699,118,293 documents (train 699,083,579 + test 34,714), no sampling and no filtering. Each document keeps all original FineWeb-2 columns, including the full text, and gets 30 quality columns: an overall pretraining value, 13 quality axes, 8 content-flag probabilities, topic, format, audience and region.

The scores are predictions of the classifier krysyuk/fineweb-2-russian-quality-nemotron-lite, trained on 26,000 documents labelled by Claude Sonnet 5.5 (krysyuk/fineweb-2-russian-quality-annotations-26k). That dataset is a small labelled sample; this one is the whole corpus, scored.

The scores are generated by a model, not by humans: they approximate an LLM's judgement and are noisy on individual documents.

Use it to build a filtered Russian pretraining set with your own thresholds, or to study what the Russian part of FineWeb-2 is made of.

from datasets import load_dataset

# ~2 TB: stream it instead of downloading
ds = load_dataset("krysyuk/fineweb-2-russian-quality-full", split="train", streaming=True)
good = ds.filter(lambda r: r["overall"] >= 2.5 and r["p_unsafe_content"] < 0.5)

Parquet is columnar, so you can read only the scores without downloading the texts:

import polars as pl

lf = pl.scan_parquet("hf://datasets/krysyuk/fineweb-2-russian-quality-full/data/train/*.parquet")
top = lf.filter(pl.col("overall") >= 3.5).select("id", "url", "overall").collect()

Choosing a threshold

overall is the expected value of the predicted 1–5 score, so it is continuous and rarely leaves the 1–4 range. Rounded to the nearest integer, it reproduces the distribution that Sonnet gave to a uniform random sample:

How well the model agrees with Sonnet on the held-out test split (2,501 documents): quadratic weighted kappa 0.82 for overall and 0.83 on average over the 13 axes, PR-AUC 0.60 for "overall ≥ 4" (base rate 4.7%). Per-axis and per-flag numbers are in the model card.

Columns

Score columns are float32 rounded to 4 digits. The criteria behind every axis, flag and category are described in the annotations dataset.

What's in rus_Cyrl

Categories are the single most likely class, so rare topics (math, physical_sciences) are undercounted.

Layout

One parquet file per FineWeb-2 file, with the same names: data/train/000_00000.parquet ... data/train/ (440 files) and data/test/000_00000.parquet. Rows are in the original order. Join with other FineWeb-2 derivatives by id.

How it was made

• Source: HuggingFaceFW/fineweb-2, data/rus_Cyrl/{train,test}, revision af9c13333eb981300149d5ca60a8e9d659b276b9. rus_Cyrl_removed is not included.
• Model: the first 4 layers of nvidia/Nemotron-3-Embed-1B-BF16 plus heads trained on the Sonnet labels and 32 text heuristics. It reads the first 512 tokens of each document. Inference in FP8 on rented GPUs.
• Checks: every file has exactly the rows of its source file, ids are unique, no missing scores.

Caveats

• Scores are a model's approximation of one LLM's judgement, which is itself noisy. Use them to rank and filter in bulk, not to judge single documents.
• The model sees only the first 512 tokens: problems further in a long document are missed.
• Weak flags (PR-AUC < 0.5 on test): truncated_or_fragment, suspected_mt, pii_present. Do not rely on them alone.
• The texts are unfiltered web pages, as in FineWeb-2: about 10% adult content, gambling and similar, personal data in some documents.

License

ODC-By 1.0, as FineWeb-2. The texts are subject to the Common Crawl terms of use. The scores come from a model trained on outputs of Claude Sonnet 5.5.

Русский

[!WARNING] Идёт загрузка. Файлы загружаются по одному, поэтому train пока неполный. Это предупреждение уберём, когда все 440 файлов будут на месте.

Это полный срез rus_Cyrl из FineWeb-2: все 699 118 293 документа (train 699 083 579 + test 34 714), без выборки и без фильтрации. У каждого документа сохранены все исходные колонки FineWeb-2, включая полный текст, и добавлены 30 колонок качества: общая ценность для предобучения overall, 13 осей качества, вероятности 8 флагов содержания, тема, формат, аудитория и регион.

Оценки - предсказания классификатора krysyuk/fineweb-2-russian-quality-nemotron-lite, обученного на 26 000 документов с разметкой Claude Sonnet 5.5 (krysyuk/fineweb-2-russian-quality-annotations-26k). Тот датасет - небольшая размеченная выборка, этот - весь корпус с оценками.

Оценки сгенерированы моделью, а не людьми: они приближают суждение LLM и на отдельных документах шумны.

Датасет нужен, чтобы собрать отфильтрованный русский корпус для предобучения со своими порогами или изучить, из чего состоит русская часть FineWeb-2.

from datasets import load_dataset

# ~2 ТБ: лучше читать потоком, чем скачивать
ds = load_dataset("krysyuk/fineweb-2-russian-quality-full", split="train", streaming=True)
good = ds.filter(lambda r: r["overall"] >= 2.5 and r["p_unsafe_content"] < 0.5)

Parquet колоночный, поэтому можно прочитать только оценки, не скачивая тексты:

import polars as pl

lf = pl.scan_parquet("hf://datasets/krysyuk/fineweb-2-russian-quality-full/data/train/*.parquet")
top = lf.filter(pl.col("overall") >= 3.5).select("id", "url", "overall").collect()

Как выбрать порог

overall - математическое ожидание предсказанной оценки 1–5, поэтому оно непрерывное и почти не выходит за диапазон 1–4. Если округлить его до целого, получится то же распределение, что Sonnet дал равномерной случайной выборке:

Согласие модели с Sonnet на отложенном test (2 501 документ): квадратичная взвешенная каппа 0.82 для overall и в среднем 0.83 по 13 осям, PR-AUC 0.60 для «overall ≥ 4» (базовая доля 4.7%). Числа по каждой оси и флагу - в карточке модели.

Колонки

Колонки оценок - float32, округлены до 4 знаков. Критерии всех осей, флагов и категорий описаны в датасете разметки.

Что внутри rus_Cyrl

Категория - один самый вероятный класс, поэтому редкие темы (math, physical_sciences) недосчитаны.

Структура

Один parquet на каждый файл FineWeb-2, с теми же именами: data/train/000_00000.parquet ... (440 файлов) и data/test/000_00000.parquet. Строки в исходном порядке. С другими производными FineWeb-2 соединяется по id.

Как сделано

• Источник: HuggingFaceFW/fineweb-2, data/rus_Cyrl/{train,test}, ревизия af9c13333eb981300149d5ca60a8e9d659b276b9. rus_Cyrl_removed не входит.
• Модель: первые 4 слоя nvidia/Nemotron-3-Embed-1B-BF16 и головы, обученные на разметке Sonnet и 32 эвристиках текста. Читает первые 512 токенов документа. Инференс в FP8 на арендованных GPU.
• Проверки: в каждом файле ровно столько строк, сколько в исходном, id уникальны, пропущенных оценок нет.

Ограничения

• Оценки - приближение моделью суждения одной LLM, которое само по себе шумное. Используйте их для массового ранжирования и фильтрации, а не для оценки отдельных документов.
• Модель видит только первые 512 токенов: проблемы дальше в длинном документе она пропускает.
• Слабые флаги (PR-AUC < 0.5 на test): truncated_or_fragment, suspected_mt, pii_present. Не полагайтесь только на них.
• Тексты - нефильтрованные веб-страницы, как в FineWeb-2: около 10% контента 18+, азартных игр и подобного, в части документов есть персональные данные.

Лицензия

ODC-By 1.0, как у FineWeb-2. На тексты распространяются условия использования Common Crawl. Оценки получены моделью, обученной на выходах Claude Sonnet 5.5.