matcha-tts-multilingual-datasets

Matcha-TTS Multilingual Master Speech & Acoustic Datasets

Kho dữ liệu âm thanh đa ngôn ngữ (Tiếng Việt & Tiếng Anh) chuẩn phòng thu SOTA, được tiền xử lý và thẩm định toàn diện (SQUIM noise assessment, trích xuất vector âm sắc ECAPA-TDNN 192-d, căn chỉnh phụ đề JSON/timestamps, Mel-spectrogram & F0 pitch contours) phục vụ tối ưu cho việc huấn luyện và suy luận mô hình Matcha-TTS kết hợp Vocoder Vocos.

I. Tổng Quan Các Bộ Dữ Liệu Trên Hugging Face

Toàn bộ dữ liệu âm thanh lớn được đóng gói thành các Shard tiêu chuẩn 2.5 GB – 3.0 GB (.tar.gz) để tối ưu hoá băng thông, tránh lỗi timeout và tương thích hoàn hảo với giới hạn Git LFS của Hugging Face.

matcha-tts-multilingual-datasets/
├── README.md                                  # Hướng dẫn chi tiết & đặc tính kỹ thuật
├── MASTER_DATASET_INVENTORY.md                # Bảng kiểm kê 1,363,144 mẫu chi tiết
├── speaker_centroids/                         # 36 Vector trọng tâm âm sắc (.npy) & manifest
│   ├── centroids_manifest.json
│   ├── vieneu_spk_01_centroid.npy ... vieneu_spk_23_centroid.npy
│   ├── english_master_centroid.npy, mtet_english_centroid.npy ...
│   └── tghm_mc_centroid.npy, vldp_mc_tran_van_centroid.npy
├── vieneu_generated/                          # 53,218 mẫu âm thanh Vieneu AI (~46GB)
│   ├── manifest.jsonl, summary_report.json, squim_noise_quality_assessment.csv
│   ├── ecapa_embeddings.tar.gz, json_timestamps.tar.gz, srt_subtitles.tar.gz
│   └── wavs_shard_0001.tar.gz ... wavs_shard_0016.tar.gz (mỗi shard ~2.5 - 3GB)
├── english_270h/                              # 270 Giờ Audiobook Tiếng Anh (~65GB)
│   ├── manifest.jsonl, squim_noise_quality_assessment.csv
│   ├── f0.tar.gz, ecapa_embeddings.tar.gz
│   ├── mels_shard_0001.tar.gz ... (Mel-spectrograms 80-bin)
│   └── wavs_part_1_shard_xxxx.tar.gz ... (WAV audio theo từng bộ)
├── the_gioi_hoan_my/                          # Audiobook Tiên Hiệp 44.1kHz (~114GB)
│   ├── squim_noise_quality_assessment.csv, ecapa_embeddings.tar.gz
│   ├── canonical_aligned_chapters_dataset.tar.gz, the_gioi_hoan_my_text_dataset.tar.gz
│   └── audio_44100hz_shard_xxxx.tar.gz (88 tập audio siêu dài 4-5 tiếng)
├── vietphrase_vietspeech/                     # 956,826 câu Tiếng Việt Đa Giọng (~124GB)
│   ├── metadata_pristine_studio_25db.csv, metadata.csv, squim_noise_quality_assessment.csv
│   ├── acoustic_features_report.jsonl, ecapa_embeddings.tar.gz, speaker_embeddings.tar.gz
│   └── wavs_16k_shard_xxxx.tar.gz (WAV audio 16kHz chia nhỏ 2.5GB/shard)
└── mtet_english/                              # 294,690 câu Tiếng Anh AI Studio (~149GB)
    ├── metadata.jsonl, squim_noise_quality_assessment.csv
    ├── ecapa_embeddings.tar.gz, json.tar.gz
    └── audio_shard_xxxx.tar.gz (WAV audio studio phòng thu tĩnh 100%)

II. Chi Tiết Kỹ Thuật Từng Bộ Dữ Liệu

1. speaker_centroids/ (Trọng Tâm Âm Sắc Cho Voice Cloning)

• Số lượng: 36 vector đặc trưng âm sắc cho tất cả các giọng nói.
• Định dạng: .npy (NumPy Array), Shape (192,), Dtype float32, chuẩn hoá $L_2$-norm = 1.0.
• Cách dùng: Nạp trực tiếp vào mô hình Matcha-TTS để định hình âm sắc người nói mà không cần chạy lại mô hình trích xuất âm sắc.

2. vieneu_generated/ (53,218 mẫu giọng Vieneu AI)

• Dung lượng: ~46.27 GB (gồm 16 shard audio).
• Đặc tính: File âm thanh 22,050Hz kèm phụ đề SRT, JSON timestamp từng từ, nhãn điểm độ ồn SQUIM.

3. english_270h/ (270 Giờ Audiobook Tiếng Anh)

• Dung lượng: ~65.41 GB.
• Thành phần:
• Audio WAV gốc chia theo 3 phần: Part 1 - Mortal Journey (100h), Part 2 - Shadow Slave (100h), Part 3 - My Dungeon Life (70h).
• mels/: Mel-spectrogram 80 băng tần trích xuất sẵn (~24 GB).
• f0/: Đường cong cao độ F0 trích xuất sẵn (~640 MB).
• manifest.jsonl: Chỉ mục toàn bộ văn bản và đường dẫn file tương ứng.

4. the_gioi_hoan_my/ (Bộ Truyện Tiên Hiệp Dài 44.1kHz)

• Dung lượng: ~113.74 GB.
• Đặc tính: 88 tập audio hoàn chỉnh chất lượng cao 44,100Hz kết hợp bộ văn bản đối soát từng chương canonical_aligned_chapters_dataset.

5. vietphrase_vietspeech/ (956,826 Mẫu Đa Giọng Tiếng Việt)

• Dung lượng: ~123.82 GB.
• Điểm nổi bật: Chứa 72,207 mẫu Zero-Noise tuyệt đối ($\text{SI-SDR} \ge 25\text{ dB}$) lọc từ tập dữ liệu lớn thông qua mô hình thẩm định TorchAudio SQUIM.

6. mtet_english/ (294,690 Mẫu Nữ AI Studio Tiếng Anh)

• Dung lượng: ~149.35 GB.
• Đặc tính: Giọng đọc tiếng Anh chuẩn phòng thu, $99.5\%$ file đạt độ sạch $\ge 28\text{ dB}$ (nền tĩnh tuyệt đối).

III. Hướng Dẫn Sử Dụng & Khôi Phục Dữ Liệu

Cách 1: Tải & Tự Động Giải Nén Bằng Script Python Sẵn Có (Khuyên Dùng)

Sử dụng script restore_dataset.py có sẵn trong dự án:

# Tải và tự động giải nén riêng 1 bộ (ví dụ vieneu_generated)
python3 scripts/restore_dataset.py --dataset vieneu_generated --output_dir ./datasets_restored

# Tải bộ english_270h
python3 scripts/restore_dataset.py --dataset english_270h --output_dir ./datasets_restored

# Tải toàn bộ tất cả các bộ
python3 scripts/restore_dataset.py --dataset all --output_dir ./datasets_restored

Cách 2: Tải Bằng Thư Viện huggingface_hub Trong Code Python

from huggingface_hub import snapshot_download

# Tải thư mục speaker_centroids (rất nhẹ, ~40 KB)
centroids_dir = snapshot_download(
    repo_id="Cong123779/matcha-tts-multilingual-datasets",
    repo_type="dataset",
    allow_patterns="speaker_centroids/*",
    local_dir="./speaker_centroids"
)

# Tải file manifest & điểm SQUIM của Vieneu
manifest_path = snapshot_download(
    repo_id="Cong123779/matcha-tts-multilingual-datasets",
    repo_type="dataset",
    allow_patterns="vieneu_generated/*.json*",
    local_dir="./vieneu_meta"
)

Cách 3: Nạp Trọng Tâm Âm Sắc Vào Matcha-TTS (Voice Cloning)

import numpy as np
import torch

# 1. Nạp vector trọng tâm âm sắc (192 chiều)
centroid_path = "speaker_centroids/vieneu_spk_01_centroid.npy"
speaker_emb = np.load(centroid_path)  # Shape: (192,)

# 2. Chuyển sang PyTorch Tensor cho Matcha-TTS
spk_tensor = torch.from_numpy(speaker_emb).unsqueeze(0).float()  # Shape: [1, 192]

# 3. Đưa vào hàm sinh âm thanh
# mel_output = model.synthesise(text_tokens, spk=spk_tensor, n_timesteps=10, temperature=0.667)

IV. Công Thức Điều Khiển Triệt Tiêu Tạp Âm (Zero-Noise Conditioning)

Các file squim_noise_quality_assessment.csv trong dataset cung cấp điểm $\text{SI-SDR}$ (Signal-to-Distortion Ratio). Để huấn luyện và suy luận mô hình sinh giọng nói tĩnh tuyệt đối:

1. Công thức chuẩn hóa điểm tạp âm về đoạn $[0.0, 1.0]$: $$\text{Noise_Score} = \text{Clip}\left(\frac{25.0 - \text{SI_SDR}}{30.0}, \quad 0.0, \quad 1.0\right)$$ * $\text{SI-SDR} \ge 25.0\text{ dB}$ (Chuẩn phòng thu vô thanh): $\mathbf{\text{Noise_Score} = 0.00}$. * $\text{SI-SDR} = 15.0\text{ dB}$ (Phòng thu bình thường): $\mathbf{\text{Noise_Score} = 0.33}$. * $\text{SI-SDR} \le -5.0\text{ dB}$ (Tạp âm lớn): $\mathbf{\text{Noise_Score} = 1.00}$.

2. Ứng dụng: * Khi Huấn Luyện (Training): Nạp đúng Noise_Score để model học cách phân tách tạp âm khỏi giọng người. * Khi Suy Luận (Inference): Luôn gán cố định $\mathbf{\text{Noise_Score} = 0.0}$ $\rightarrow$ Mô hình tự động lọc bỏ tạp âm, sinh giọng trong và tĩnh $100\%$.