ru-llm-judge-dataset

Датасет собирается инкрементально в течение нескольких сессий бесплатного Google Colab. Текущий объём: 17,479 суждений (по состоянию на последний запуск).

Прогресс к цели (5,000 суждений)

[████████████████████] 100% (17,479 / 5,000)

История сессий сбора

Источник вопросов

ai-forever/rubq-retrieval

Модели-генераторы

• Qwen2.5-1.5B-Instruct
• Qwen2.5-3B-Instruct
• SmolLM2-1.7B-Instruct

Модель-судья

Qwen/Qwen2.5-3B-Instruct

Формат

question_id, question, model_a/answer_a, model_b/answer_b, preferred (A/B), preferred_model, preference_reason

Пример

{
  "question_id": "q_07346",
  "question": "Кто даёт такое определение: Обсчее имя Поморие, а по уездам: Архангельский, Колмоград, Вага, Тотьма, Вологда, Каргополь, Чаронда и Олонец ?",
  "answer_a": "Общерусское общеимени Помория, в то время как по уездам: Архангельский, Колмоград, Вага, Тотьма, Вологда, Каргополь, Чародида, Олонец.",
  "model_a": "Qwen2.5-1.5B-Instruct",
  "answer_b": "Обсчее имя Поморье, а по уздам: Архангельский, Колмоград, Вага, Тотьма, Вологда, Каргополь, Чаронда и Олонец",
  "model_b": "SmolLM2-1.7B-Instruct",
  "preferred": "B",
  "preferred_model": "SmolLM2-1.7B-Instruct",
  "preference_reason": "Ответ Б точнее и полнее, так как он не содержит ошибки в написании \"Чаронда\", которая должна быть \"Чародида\". Кроме того, ответ Б не содержит лишнюю часть \"Обсчее имя\" и \"Уздам\", что делает его более коротким и ясным.",
  "judge_model": "Qwen/Qwen2.5-3B-Instruct"
}

Статус сбора

Датасет пополняется по мере запуска сборочного ноутбука. Чекпоинты сырых данных лежат в папке raw/ этого репозитория. При каждом новом запуске ноутбук подтягивает уже накопленные данные и продолжает сбор с недостающих вопросов и пар ответов, не дублируя уже сделанную работу.