imabari_wiki_qa_v4_reasoning_effort_qwen38

Imabari Wiki QA v4 with Reasoning Effort — Qwen3.8

概要 / Overview

日本語・今治弁のQAを用いて、reasoning effort に応じた思考文の生成を学習するための教師ありファインチューニング（SFT）用データセットです。Imabari Wiki QA v4 Validated の質問と回答を保持し、元記事の文脈を参照して思考文を再生成しています。

This dataset supports supervised fine-tuning (SFT) of reasoning-effort-conditioned explanations using Japanese QA with Imabari dialect expressions. Questions and answers from Imabari Wiki QA v4 Validated are preserved, while reasoning text is regenerated with context from the source articles.

本カードは Qwen3.8 用のチャットテンプレートに合わせたデータ形式を説明します。思考文の生成モデルは、両形式とも Qwen3.8-27B-NVFP4 です。Qwen3.8版とLLM-jp 4版は、同じ質問・回答・生成済み思考文を共有し、メッセージのフィールド、effortラベル、トークン計数用トークナイザーが異なります。

This card describes the data format adapted to the Qwen3.8 chat template. Both versions use Qwen3.8-27B-NVFP4 to generate reasoning. The Qwen3.8 and LLM-jp 4 versions share the same questions, answers, and generated reasoning, but differ in message fields, effort labels, and token-counting tokenizers.

対象は地域知識に限らず、人物・歴史・交通・文化など元QAに含まれる話題を扱います。思考文には自然な今治弁を使うよう指示しています。

Topics extend beyond local knowledge to people, history, transportation, culture, and other subjects covered by the source QA. Generation prompts request natural Imabari dialect in the reasoning text.

収録数と分割 / Dataset Size and Splits

train:validation は約9:1です。入力には 7,254種類の元QA ID と 2,293種類の元記事ID が含まれます。

The train-to-validation ratio is approximately 9:1. Counts are based on the 14,735 source JSONL records.

収録データでは全QAに3段階が揃っているわけではありません。以下は設定上の予定数ではなく生成できた実数です。

Not every QA in the collected data has all three effort levels. The figures below are the actual numbers generated, not the planned numbers specified in the settings.

thinking_tokens は Qwen/Qwen3.8-27B による思考本文のみのトークン数です。チャットテンプレート、質問、最終回答は含みません。

thinking_tokens counts only the reasoning text using Qwen/Qwen3.8-27B. It excludes the chat template, question, and final answer.

生成設定 / Generation Settings

思考文は、内部thinkingを無効にした生成APIの最終出力として作成した説明文です。生成モデル内部の実際の思考過程を記録したものではありません。

Reasoning text is an explanation produced as the generation API’s final output with internal thinking disabled. It is not a recording of the generating model’s actual internal reasoning process.

記事本文は生成時に参照しますが、配布行の messages のuserメッセージには質問だけを入れ、記事本文は収録しません。設定の keep_original_thinking: true にかかわらず、配布用のコンパクト出力には元の original_thinking は含まれません。

Source article text is used during generation but is not distributed in the records. The user message contains only the question; the assistant message contains the answer and reasoning. Despite keep_original_thinking: true in the configuration, the compact distribution format does not include the original original_thinking field.

データ構造 / Data Structure

実データの例 / Actual Record Example

{
  "qa_id": "8c52753f6819218ee9040b0fac0f40707870a4e194bc970cd83909d5bbd7d6cc:qwen3_8",
  "question": "映画『真田風雲録』に出演した笹木俊志が演じた役柄は何か？",
  "answer": "交通整理される先兵たちを演じよるんよ。",
  "thinking": "## 思考プロセス\n\n### 1. 質問の整理\n\n笹木俊志が映画『真田風雲録』で演じた役柄を聞かれとるけん、この作品に絞って確認するんよ。\n\n### 2. 答えへの接続\n\n1963年の『真田風雲録』では交通整理される先兵たちを演じよると書かれとる。ほうやけん、この役柄が答えになるんよ。",
  "reasoning_effort": "low",
  "eval": "5",
  "messages": [
    {
      "role": "user",
      "content": "映画『真田風雲録』に出演した笹木俊志が演じた役柄は何か？"
    },
    {
      "role": "assistant",
      "content": "交通整理される先兵たちを演じよるんよ。",
      "reasoning_content": "## 思考プロセス\n\n### 1. 質問の整理\n\n笹木俊志が映画『真田風雲録』で演じた役柄を聞かれとるけん、この作品に絞って確認するんよ。\n\n### 2. 答えへの接続\n\n1963年の『真田風雲録』では交通整理される先兵たちを演じよると書かれとる。ほうやけん、この役柄が答えになるんよ。"
    }
  ],
  "chat_template_kwargs": {
    "reasoning_effort": "low",
    "enable_thinking": true,
    "preserve_thinking": true
  },
  "thinking_tokens": 101,
  "thinking_generator": "Qwen3.8-27B-NVFP4",
  "source_metadata": {
    "qa_id": "fef0fdd0-ac75-4a1f-8794-6290aa61b6bc",
    "id": "2164118",
    "chunk_index": 0
  }
}

Qwen3.8 のメッセージ形式 / Qwen3.8 Message Format

assistantの content に最終回答、reasoning_content に思考本文を保持します。content だけを取り出すと、思考文を含む学習にはなりません。messages と chat_template_kwargs を組み合わせて対象トークナイザーのテンプレートを適用してください。

The assistant message stores the final answer in content and reasoning in reasoning_content. Training on content alone omits the reasoning. Apply the target tokenizer’s template using both messages and chat_template_kwargs.

enable_thinking=True と preserve_thinking=True を指定します。canonical effort の high は、出力時に xhigh へ変換されています。公式テンプレートの適用後は <think>...</think> に思考文が配置されます。medium では明示的な effort 指示文が付かないテンプレート仕様です。

Set enable_thinking=True and preserve_thinking=True. Canonical high is mapped to xhigh on export. The official template places reasoning inside <think>...</think>. For medium, the template does not add an explicit effort instruction.

検証範囲と制約 / Validation Scope and Limitations

• 元QAは、プログラムによる検証または人手による検証を経た統合データです。全件が両方の検証を通過したという意味ではありません。

The source combines QA that underwent either programmatic or human validation. This does not mean every record passed both methods.

• 今回生成した思考文にはフォーマット・長さ・チャットテンプレートの機械的検証を適用しています。再生成後の全思考文について、人手で事実や論理を再検証したことを示すものではありません。

New reasoning text undergoes automated format, length, and chat-template checks. This does not establish that all regenerated reasoning was reviewed by humans for factual or logical correctness.

• 思考文は既知の最終回答を与えて生成した説明です。独立に問題を解いた過程や、モデルの推論能力の正しさを保証するものではありません。

Reasoning text is an explanation generated with the final answer already provided. It does not demonstrate independent problem solving or guarantee the correctness of the model’s reasoning ability.

• 元QA、生成した説明、方言表現には誤りや偏りが残る可能性があります。記事文脈を利用していても、事実との完全な一致は保証されません。

The original QA, generated explanations, and dialect expressions may contain errors or bias. Using article context does not guarantee full factual consistency.

• effort別件数は不均等です。長い思考文や高いeffortラベルが、より高い正確性を意味するわけではありません。

Effort levels have unequal record counts. Longer reasoning or a higher effort label does not necessarily imply greater accuracy.

• 主な用途は日本語・方言QAのSFT、LoRA/QLoRA、effort条件付き生成の比較です。分割間の元QA重複を考慮せずに、未知質問に対する独立ベンチマークとして扱うことはできません。

Intended uses include Japanese and dialect QA SFT, LoRA/QLoRA, and comparisons of effort-conditioned generation. The data cannot serve as an independent benchmark for unseen questions without accounting for source QA overlap between splits.

ライセンスと出典 / License and Sources

本データセットのライセンスは、派生元データセット と同じ CC BY-SA 4.0（cc-by-sa-4.0）です。

This dataset is licensed under CC BY-SA 4.0 (cc-by-sa-4.0), the same license as the source dataset.

• ライセンス本文 / License: Creative Commons Attribution-ShareAlike 4.0 International
• 直接の派生元 / Direct source: ikedachin/imabari_wiki_qa_v4_validated
• 元QA / Original QA: ikedachin/imabari_wiki_qa_v4
• 元コーパス（派生元カード記載） / Original corpus listed in the source card: ikedachin/imabari_wiki_cpt_v3
• 作成者 / Creator: ikedachin
• 本派生版での変更: 元回答を保持した思考文の再生成、effort条件の追加、Qwen3.8 用形式への変換、train/validationの再分割。

Modifications in this derivative: regenerate reasoning while preserving original answers, add effort conditions, convert to the Qwen3.8 format, and create new train/validation splits.

元資料の帰属情報とあわせて、上記出典・ライセンス・変更内容を参照してください。

Refer to the sources, license, and modifications listed above together with the attribution information for the original materials.