qwen3-0.6b-cefc-rft-vietnamese-legal

CEFC-RFT Qwen3-0.6B for Vietnamese Legal Summarization

Model and data identifiers

• Base model: Qwen/Qwen3-0.6B
• SFT initialization adapter: phuongntc/qwen3-0.6b-vietnamese-legal-sft
• In-domain dataset: duyet/vietnamese-legal-instruct
• External evaluation benchmark: VLegal-Bench
• Reformatted Task 4.1 release used for external evaluation: datht/vlegal
• Task: Vietnamese abstractive legal summarization
• Language: Vietnamese

The paper contains the split sizes, training configuration, evaluation-set sizes, and reported results; they are not repeated here.

Repository contents

The current repository contains:

• adapter_model.safetensors — final CEFC-RFT LoRA weights;
• adapter_config.json — PEFT adapter configuration;
• cefc_run_config.json — exact controller and final-run configuration;
• cefc_training_metadata.json — metadata for the weighted LoRA continuation run;
• selection_state.json — exported selection state from the CEFC-RFT run;
• calibrate_cefc_stage_gates.py — validation-only Stage-gate replay script;
• chat_template.jinja, tokenizer.json, tokenizer_config.json, special_tokens_map.json, added_tokens.json, vocab.json, and merges.txt — tokenizer/chat-template artifacts required by the released adapter.

The full base-model weights are loaded separately from the Qwen3 repository.

Released experimental data

The exact experimental splits used in the study are released in Parquet format:

• data/legal_sft_train.parquet — in-domain supervised fine-tuning split;
• data/legal_rl_sources.parquet — 5,000 source-only documents used for CEFC-RFT reward selection and pseudo-label construction;
• data/legal_valid.parquet — held-out in-domain validation split used for development and calibration;
• data/inner_test.parquet — held-out in-domain test split;
• data/out_test.parquet — exact 392-example external distribution-shift evaluation subset derived from the reformatted VLegal-Bench Task 4.1 release.

The SFT, validation, and inner-test splits are derived from duyet/vietnamese-legal-instruct. The external evaluation split is derived from the reformatted VLegal-Bench Task 4.1 release (datht/vlegal). legal_rl_sources.parquet contains source documents only and is not used with reference summaries during CEFC-RFT candidate scoring or pseudo-label selection.

Supplementary calibration details

The manuscript reports parameter roles and final reported settings. The additional implementation details below document how the validation procedures were carried out.

• The faithfulness feasibility threshold was derived from the 25th percentile of EViSE-mmBERT faithfulness scores on 100 held-out validation reference summaries.
• Utility-weight and initial-multiplier selection used 16 validation configurations on 50 held-out validation sources.
• Stage-gate calibration was performed by replaying the sequential controller on cached validation candidates only; no inner-test or external-test outcome was used in this replay.
• The cached validation candidate bank contains one candidate for each of the three generation types used by the controller: standard_deterministic, legal_action_deterministic, and standard_sampled.

The exact values used in the released run are stored in cefc_run_config.json rather than duplicated in this README.

Stage-gate replay utility

The repository-level script is:

calibrate_cefc_stage_gates.py

Expected candidate-bank schema:

source_id
candidate_type
faith_lcb        # or faith
relevance
coherence
metadata_cost

Expected candidate types:

standard_deterministic
legal_action_deterministic
standard_sampled

Example command:

python calibrate_cefc_stage_gates.py validation_candidate_bank.xlsx \
  --output-dir stage_gate_calibration \
  --assert-reported

The script replays the validation-only sequential controller and checks the stored run configuration against the reported setup.

Additional adapter metadata

The released adapter targets the following Qwen3 modules:

q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj

Training metadata and the exact weighted-continuation state are stored in cefc_training_metadata.json and selection_state.json.

Standard source-grounded generation prompt

The reported generation setup uses a source-grounded Vietnamese legal-summarization prompt of the following form.

SYSTEM:
Bạn là trợ lý tóm tắt văn bản pháp lý tiếng Việt. Chỉ sử dụng thông tin có trong văn bản nguồn. Ưu tiên tính trung thực, liên quan và chính xác pháp lý. Không tự thêm số hiệu, ngày tháng, hiệu lực, cơ quan ban hành hoặc kết luận pháp lý nếu văn bản nguồn không nêu rõ.

USER:
Hãy tóm tắt ngắn gọn văn bản pháp lý sau. Tập trung vào nội dung cốt lõi, chủ thể, phạm vi, hành động pháp lý, nghĩa vụ/quyền hạn và điều kiện quan trọng nếu có.

VĂN BẢN NGUỒN:
{document}

TÓM TẮT:

Stage 1 uses deterministic standard-prompt generation. If Gate 1 fails, Stage 2 uses the legal-action prompt; if Gate 2 also fails, Stage 3 adds one bounded nucleus-sampled candidate using the sampling configuration stored in cefc_run_config.json.

Source-grounded evaluation materials

The numerical evaluation results and audit sample sizes are reported in the paper and are not repeated here. This section releases the operational materials used to produce those evaluations.

The source-grounded evaluation is reference-free at judging time: the evaluator or human rater receives the legal source and one anonymized system summary; no reference summary is shown.

Frozen GPT-5.5 judge prompt

The following is the frozen prompt used for the reported source-grounded LLM evaluation with ChatGPT GPT-5.5 Thinking, High reasoning mode (September 2026).

Bạn là chuyên gia đánh giá văn bản pháp lý tiếng Việt và chất lượng đầu ra của mô hình ngôn ngữ.
Nhiệm vụ của bạn là đối chiếu ĐẦU RA MÔ HÌNH với VĂN BẢN PHÁP LÝ GỐC, sau đó đánh giá độc lập theo ba tiêu chí:
1. Trung thực (Faithfulness)
2. Mạch lạc (Coherence)
3. Liên quan (Relevance)
Mỗi tiêu chí phải được chấm bằng một số nguyên từ 1 đến 5. Không được sử dụng điểm thập phân.

Nguyên tắc chung
- Chỉ sử dụng thông tin có trong văn bản pháp lý gốc để đánh giá.
- Không sử dụng kiến thức bên ngoài để bổ sung, suy đoán hoặc sửa chữa nội dung.
- Không mặc định rằng đầu ra mô hình là đúng.
- Kiểm tra kỹ: chủ thể/đối tượng; quyền, nghĩa vụ, trách nhiệm; hành vi được phép/bắt buộc/bị cấm; điều kiện/ngoại lệ; phạm vi; thời hạn/hiệu lực; thẩm quyền; số liệu, mức tiền, tỷ lệ, ngày tháng, số điều/khoản/điểm; chế tài/hậu quả pháp lý; và quan hệ giữa các điều, khoản hoặc văn bản viện dẫn.
- Đặc biệt chú ý modality pháp lý như “phải”, “được”, “không được”, “có quyền”, “có trách nhiệm”, “chỉ khi”, “trừ trường hợp”, “trong thời hạn”, “tối đa”, “tối thiểu”, “có thể” và “theo quy định”.
- Ba tiêu chí phải được chấm độc lập.

Faithfulness (1–5)
Đánh giá mức độ mọi thông tin trong đầu ra được nguồn hỗ trợ chính xác. Kiểm tra hallucination/suy diễn, sai chủ thể hoặc thẩm quyền, đổi quyền thành nghĩa vụ, sai modality, mất điều kiện/ngoại lệ gây đổi nghĩa, sai số liệu/thời hạn/căn cứ, ghép quy định thành kết luận không được hỗ trợ, đảo ngược quy định, hoặc diễn đạt gây sai nghĩa pháp lý.
Việc lược bỏ chỉ làm giảm Faithfulness khi sự lược bỏ làm phần được trình bày trở nên sai hoặc gây hiểu nhầm; nếu phần còn lại vẫn đúng nhưng thiếu nội dung quan trọng, trừ ở Relevance.

Coherence (1–5)
Đánh giá tổ chức và diễn đạt của chính đầu ra: ngữ pháp, dễ hiểu, sắp xếp ý, liên kết, nhất quán chủ thể, tham chiếu rõ, không mâu thuẫn nội bộ hoặc lặp không cần thiết. Không trừ điểm chỉ vì đầu ra ngắn.

Relevance (1–5)
Đánh giá việc lựa chọn nội dung: mục đích và nội dung cốt lõi, phạm vi, chủ thể, quyền/nghĩa vụ, điều kiện, thủ tục/chế tài; phạt bỏ sót quan trọng, trọng tâm lệch hoặc chi tiết thứ yếu/thừa. Nội dung có thể liên quan nhưng vẫn không trung thực nếu trình bày sai.

Quy trình bắt buộc
1. Xác định nội dung pháp lý cốt lõi trong nguồn.
2. Đối chiếu từng claim kiểm chứng được của summary với nguồn.
3. Xác định lỗi thêm mới, sai lệch, suy diễn, mâu thuẫn hoặc bỏ sót.
4. Chấm F/C/R riêng.
5. Nhận xét ngắn, cụ thể, có căn cứ.
6. Nếu có lỗi, ghi claim sai/thiếu và source evidence.
7. Không xuất chain-of-thought; chỉ xuất kết quả cuối.

Chỉ trả về JSON hợp lệ:
{
  "faithfulness_score": 1,
  "faithfulness_comment": "...",
  "coherence_score": 1,
  "coherence_comment": "...",
  "relevance_score": 1,
  "relevance_comment": "...",
  "major_errors": [
    {
      "model_claim": "...",
      "source_evidence": "...",
      "error_type": "hallucination | contradiction | wrong_subject | wrong_modality | wrong_condition | wrong_exception | wrong_number | wrong_time | wrong_authority | unsupported_inference | omission_causing_distortion | other"
    }
  ],
  "important_omissions": ["..."]
}

<VAN_BAN_PHAP_LY_GOC>
{{VĂN_BẢN_PHÁP_LÝ_GỐC}}
</VAN_BAN_PHAP_LY_GOC>
<DAU_RA_MO_HINH>
{{ĐẦU_RA_MÔ_HÌNH}}
</DAU_RA_MO_HINH>

Human-rating guide

The manuscript reports the audit composition, aggregation procedure, and statistical tests. The following operational instructions are the rubric given to the human raters.

Required workflow:

identify core legal content
→ check each model claim against the source
→ record legal errors/omissions
→ score F/C/R independently
→ discuss F/C/R disagreements after independent scoring
→ record the final consensus rating

Original source records for the Appendix B representative cases

Appendix B of the paper shows the verbatim CEFC-RFT outputs for one representative inner case (i30) and one representative external distribution-shift case (d344). The complete source inputs used for those cases are reproduced below so that reviewers can audit the qualitative claims directly without requiring a separate supplementary file.

For d344, the text below is the complete source record as stored and evaluated in the benchmark snapshot. It ends at the dataset cutoff; no missing continuation has been reconstructed.

i30 — Inner

d344 — External distribution shift (OOD)

License

The adapter is released under the Apache License 2.0, consistent with the base-model license.