语音小管家闽南语广泛使用于我国福建、台湾及东南亚华人社区，在日常交流中有其独特的词汇和表达方式。在影视剧、有声书、娱乐节目等真实媒体中，闽南语语音还呈现出多样的说话风格和录音条件。要让语音系统听懂、说好闽南语，需要足够大、足够贴近真实场景的数据；但现有公开语料在规模和场景覆盖上仍有不足。更关键的是，同一段语音可以对应两种互补的文本：闽南语文本保留实际说出的方言表达，普通话文本则以书面语呈现其内容。两者面向不同的识别与应用需求，不能互相替代，而大规模配对资源长期缺乏。
为填补这一缺口，西北工业大学音频语音与语言处理研究组（ASLP@NPU）联合南京大学、WeNet 开源社区、新南威尔士大学、厦门大学、月阶科技和数据堂等单位，构建了 WenetSpeech-Min：首个约一万小时的、来自多种网络媒体的闽南语语音语料库，同时每条语音均配有闽南语和普通话两份文本。基于此数据集，我们还建立了对应的高质量的、标准化且公开可用的测试集，包括双语抄本的语音识别测试集（ASR）和闽南语语音合成（TTS）测试集，并使用数据集训练了对应的ASR和TTS模型，在对应任务上展现出具有竞争力的性能，从实验上验证了所提出数据集的有效性。我们将所提出的数据集、评测基准和模型开源，希望可以构建一个闽南语方言语音处理生态系统，支持未来闽南语方言语音智能的研究。相关技术报告已公开，现对该工作进行解读。
论文题目：WenetSpeech-Min: A Large-Scale Minnan Speech Corpus with Dual Transcriptions for Dialectal Speech Processing
作者列表：张皓宇、和春江、李洪涛、朱泽宇、上官琪疃、王成有、胡景斌、张子萸、穆秉甡、王彦博、王帅、叶金辉、梁成栋、张彬彬、朱鹏程、丁闯、丰强泽、洪青阳、薛浏蒙、谢磊
合作单位：南京大学、新南威尔士大学、Wenet 开源社区、月阶科技、厦门大学
论文预印版：https://arxiv.org/pdf/2609.36834
Demo Page：https://aslp-lab.github.io/WenetSpeech-Min-Repo/
Github：https://github.com/ASLP-lab/WenetSpeech-Min-Repo
Huggingface：https://huggingface.co/collections/ASLP-lab/wenetspeech-min
背景动机
大规模语料推动了普通话和英语语音识别、语音合成的发展。WenetSpeech[1]及其后续方言语料 WenetSpeech-Yue[2]、WenetSpeech-Wu[3]、WenetSpeech-Chuan[4]也为相关研究提供了数据基础。相比之下，闽南语虽有广泛的使用人群，公开语音资源仍较少，尤其缺少来自真实媒体场景、同时提供两种文本的大规模语料。
同一段闽南语语音可以有两种互补的转写目标：闽南语文本保留说话者实际使用的词语和方言表达；普通话文本以书面普通话呈现其内容，两者不必逐词对应。前者适用于保留方言形式的识别和语言研究，后者适用于需要普通话文字输出的应用。只提供其中一种文本，难以同时支持这两类任务。
现有闽南语语料在规模、文本形式和场景覆盖上各有侧重：部分大规模资源只提供普通话文本，而双文本资源的规模和领域覆盖仍较有限。评测方面，已有基准或缺少公开测试数据，或只覆盖“闽南语语音转普通话文本”。总体来看，我们仍缺少兼具大规模、真实场景和逐句双文本标注的开放语料，也缺少能够在相同音频上评估两种转写目标、同时覆盖闽南语语音合成的公开基准。
针对这些问题，我们提出 WenetSpeech-Min：构建约一万小时多来源闽南语语音语料，为每条语音提供闽南语与普通话配对文本。在此基础上，进一步利用高质量、经人工核验的评估集，建立了配对转录ASR和闽南语TTS的公开基准，并在统一评估协议下系统评估了具有代表性的开源和商业系统。最后，我们在WenetSpeech-Min上训练了ASR和TTS模型，这些模型在大多数指标上优于所评估的开源模型，并与商业系统保持竞争力，证明了该语料库的实用价值。
WenetSpeech-Min
数据构建流程
网络媒体提供了丰富的闽南语内容，也带来了长短不一、背景声复杂、多人交谈等处理难点。我们将数据构建分为音频处理、标注工具构建和双文本生成几个环节，将异构媒体整理为可用于模型训练的音频—文本样本。
第一步，音频切分与处理。首先，我们对长录音使用语音活动检测（VAD）获得语句片段，计算片段时长、信噪比（SNR）和音质评分 WV-MOS，并结合 DaSheng AED音频事件检测模型判断片段是否包含语音，过滤语音置信度不足的内容。随后使用 pyannote 估计片段内的说话人数，保存为元信息。这样，除了音频与文本，后续研究还可以利用声学质量和说话人数等信息分析、筛选数据。
第二步，专用标注工具构建。我们使用 1,600 小时带有人工核验闽南语文本的语音，分别微调 Qwen3-ASR、FireRedASR2-AED 和 Fun-ASR-Nano，获得三个互补的闽南语识别模型。其中，600 小时子集进一步补充了人工核验的闽南语—普通话配对文本，用于通过 LoRA 微调 Qwen3-8B，构建专用的闽南语到普通话文本转换模型。
第三步，多模型标注得到闽南语文本。三个识别模型分别生成候选转写，再通过 ROVER 进行对齐与投票融合，获得最终的方言文本。该流程利用多个识别器的互补结果，减少对单一模型输出的依赖。
第四步，补充对应普通话文本。对于带有内嵌字幕的视频，我们会使用 WeSubtitle 通过 OCR 提取字幕，经规范化后作为普通话文本；对于其他素材，使用微调后的 Qwen3-8B 将融合后的闽南语文本转换为书面普通话。候选音频—文本对还需经过规范化与一致性检查，切分不可靠或内容置信度较低的样本会被剔除或返回修正。
通过这一流程，每条保留语音都配有闽南语和普通话两份文本。需要区分的是，大规模训练语料通过上述自动化流程构建，人工核验数据用于标注工具训练；后文介绍的评测集则另有人工核验的参考文本。
图1 WenetSpeech-Min 数据构建流程：音频处理、闽南语文本生成与普通话文本生成。
语料规模与特征
WenetSpeech-Min 包含约 10,000 小时语音，共 约五百万条语句，每条均配有闽南语与普通话文本。语句平均时长为 7.24 秒，中位数落在 5–7.5 秒区间；除大量短句外，也保留了一部分约 20 秒的连续语音。这些较长片段主要来自已预先切分的源数据，可以提供更长的时间上下文。
语料覆盖影视剧、有声书、娱乐、朗读、音乐节目、教育、短视频和文化等多种内容。由于约 1,500 小时音频缺少来源记录，图 2(a) 的领域占比仅按其余约 8,500 小时有来源记录的数据统计：影视剧占 54.7%，有声书占 19.8%，娱乐内容占 13.9%，三者合计超过 88%。这些来源使语料包含不同说话风格和表达方式，同时也说明其领域分布具有明显侧重。
数据中包含了一部分相对较老的影视录音。语料中的历史影视内容主要来自 20 世纪 90 年代至 2010 年代初。其音质较低，主要反映原始录制、播出和存档条件，但较长的戏剧情境也包含自然的多人互动、情绪化语音和角色化表达。保留这部分内容，是在声学质量与语言、表达覆盖之间作出取舍。
从整体信噪比分布看，73.8% 的语音时长位于 10–40 dB 区间，时长加权平均信噪比为 21.3 dB。因此，这套语料既包含相对清晰的语音，也保留了复杂的真实媒体录音条件。针对 ASR 的场景适应研究和对音质要求更高的 TTS 训练，可以结合质量元信息进一步选择合适的数据子集。
图2 语料的内容领域、音质评分、信噪比和语句时长分布。
评测基准
双文本 ASR 评测
我们构建的WS-Min-Eval-ASR 包含约 6 小时语音，每条都配有经人工核验的闽南语和普通话参考文本。它的核心设计是同一段音频、两种转写目标：既考察模型能否保留实际说出的方言表达，也考察模型能否输出对应的书面普通话。采用同一批音频，可以减少因测试素材不同给两种任务的分析带来的干扰。
所有系统采用统一的文本规范化与评分流程。闽南语文本识别使用字错误率 D-CER，数值越低越好；普通话文本识别同时报告字错误率 M-CER 和 BLEU 分数 M-BLEU，分别从字符匹配和词序列重合的角度衡量结果。
普通话抄本识别我们报告了两种指标，这是因为方言语音到书面普通话通常包含措辞转换，同一内容可能有不同的合理表达，同时有的部分也很难做到音字对应。M-BLEU 为字符级的 M-CER 提供了补充，但两者仍都是与参考文本比较的指标。不同测试集对普通话文本的处理方式、翻译或改写程度也可能不同，因此更适合在同一测试集内比较模型，而不能直接根据不同测试集的绝对分数判断任务难度或模型优劣。
闽南语 TTS 评测
闽南语语音合成需要同时回答几个问题：内容是否说对，声音是否接近参考说话人，以及口音是否自然。为此，WS-Min-Eval-TTS 使用由大语言模型生成、再经专家核验和修订的闽南语文本，兼顾表达自然度与方言真实性，并划分为 Easy 和 Hard 两个子集。
Easy 集包含 500 条日常语句，用于评估常见表达的合成能力；Hard 集包含 250 条挑战文本，其中有 46 条长度为 161–270 字的长文本、189 条包含 5–7 次重复的文本，以及 15 条绕口令。这样的设计可以进一步考察模型面对长内容、重复结构和复杂发音组合时的表现，避免只凭短句样例评价合成能力。
表1 WS-Min-Eval-TTS 测试文本构成;# 表示条数
评测选取了 9 名音质较好、口音真实的闽南语参考说话人。客观指标包括：使用 Qwen3-ASR-WSM-Min 转写合成语音后计算的 CER，以及基于 WavLM 表征计算的说话人相似度 SIM。前者用于衡量内容可懂度，后者比较合成语音与参考语音的说话人表征。
主观评价则邀请 23 名闽南语母语者，对随机抽取的 40 个测试案例进行听测，Easy 和 Hard 各 20 个，分别评定可懂度 I-MOS、说话人相似度 S-MOS 和口音真实性 A-MOS。主客观评价结合，可以从“说得对不对”“声音像不像”“口音地不地道”三个角度观察合成效果。
实 验
语音识别
在 ASR 实验中，我们分别考察输出闽南语文本、输出普通话文本，以及单模型支持两种输出的设置。闽南语输出模型 Qwen3-ASR-WSM-Min 使用 WenetSpeech-Min 的闽南语文本进行微调；普通话输出模型 Qwen3-ASR-WSM-Mandarin 则使用 MinSpeech 与 WenetSpeech-Min 的普通话文本联合微调，并以同架构、仅在 MinSpeech 上微调的模型作为对照。
此外，我们使用双文本数据适配 FireRedASR2-AED，通过两个可学习的任务嵌入区分输出目标，让同一模型根据任务条件生成闽南语或普通话文本。实验还比较了有代表性的开源与商业系统，分别按照它们支持的输出目标进行评测。
表2 识别闽南语文本部分结果
闽南语文本识别：公开语料训练带来明显改善。在 WS-Min-Eval-ASR 上，Qwen3-ASR 的 D-CER 从 34.61% 降至 17.59%，相对降低约 49.2%，优于本次比较的其他现有系统。FireRedASR2-AED 经双文本适配后，D-CER 也从 43.39% 降至 18.95%。两种不同模型均获得提升，支持了这套语料对闽南语识别适配的价值。
在此基础上进一步加入高质量内部数据，Qwen3-ASR-WSM-Min 的 D-CER 降至 15.21%。这里应区分两个训练条件：17.59% 对应 WenetSpeech-Min 适配结果，15.21% 则还使用了额外内部数据。
表3 识别普通话文本部分结果
普通话文本识别：同时观察自建与外部测试集。我们在 WS-Min-Eval-ASR、GigaSpeechBench 和 MinSpeech 三个测试集上进行评估。相比仅用 MinSpeech 微调的同架构模型，加入 WenetSpeech-Min 后，Qwen3-ASR 的三测试集平均 M-CER 从 51.92% 降至 35.33%，平均 M-BLEU 从 33.56 提升至 51.32。模型在三个测试集上的表现并非同步变化：它在 WS-Min-Eval-ASR 和 GigaSpeechBench 上明显改善，但在 MinSpeech 测试集上有所回落，反映出跨测试集评估的必要性。
进一步使用内部数据训练后，平均 M-CER 降至 33.05%，平均 M-BLEU 达到 54.24，后者接近所比较商业系统的最高平均值 54.25。这里的平均值均为三个测试集分数的非加权平均，结果说明模型在本次评测中具有竞争力。
双文本识别也可以由同一个模型完成。FireRedASR2-AED-WSM 在普通话输出上的平均 M-CER 为 33.33%、平均 M-BLEU 为 53.73，并在 GigaSpeechBench 上取得本次比较中的最佳结果；结合其闽南语输出结果，可以看到配对文本训练支持了同一模型兼顾两种转写需求。
闽南语语音合成
为验证语料对 TTS 的作用，我们以 CosyVoice3 为基础，采用继续预训练、监督微调和偏好优化三个阶段，得到 CosyVoice3-WSM。
首先，在 WenetSpeech-Min 的单说话人数据上进行继续预训练（CPT）；随后，依据 SNR 和 MOS 筛选约 1,000 小时高质量语音进行监督微调（SFT）；最后，依据合成样本的 CER 和 SIM 筛选并构造偏好对，进行直接偏好优化（DPO）。这也展示了同一套大规模语料的使用方式：利用较广泛的数据进行适配，再针对合成任务选择高质量子集，并结合生成结果继续优化模型。
表4 闽南语 TTS 部分结果
内容可懂度和口音真实性均得到改善。在 Easy 集上，CosyVoice3 的 CER 从 63.69% 降至 20.26%；在 Hard 集上，从 60.35% 降至 35.98%。主观可懂度 I-MOS 分别从 2.13 提升至 3.85、从 2.00 提升至 3.65；口音真实性 A-MOS 则分别从 1.49 提升至 3.65、从 1.43 提升至 3.70。结果表明，模型适配的收益同时体现在文本识别指标和母语者听感中。
在本次比较的开源系统中，CosyVoice3-WSM 在两个子集上均取得最低 CER，以及最高的主观可懂度和主观说话人相似度评分；其 Hard 集口音真实性评分也最高。与商业系统相比，它在多项指标上接近其表现，不过仍有差距，例如 QwenAudio-3.0-TTS 在两个子集上的 CER 更低。
同时，CosyVoice3-WSM 的客观说话人相似度 SIM 并非最高。论文讨论，这种客观指标与主观评分排名的差异，可能与可懂度对听感判断的影响有关。因此，评价闽南语合成系统，需要将内容准确性、说话人特征和方言口音结合起来观察。
总结
WenetSpeech-Min 围绕闽南语语音处理提供了相互衔接的三部分资源：约一万小时、逐句配备闽南语与普通话文本的多来源语音；覆盖双文本识别与闽南语合成的公开评测基准；以及经过实际训练验证的 ASR、TTS 模型。实验表明，这套语料能够改善两种文本目标的识别效果，并支持闽南语语音合成适配。
对于后续研究，双文本数据可以支持方言原貌保留、普通话文字输出及多任务建模；声学质量和说话人数等元信息可以辅助数据筛选；统一评测基准则为模型迭代提供可比较的起点。我们希望通过数据、基准和模型的开放，为社区持续研究闽南语语音技术提供基础，也欢迎大家通过项目主页体验模型、使用资源并反馈问题。
参考文献
[1] Binbin Zhang, Hang Lv, Pengcheng Guo, et al., “WENETSPEECH: A 10000+ Hours Multi-Domain Mandarin Corpus for Speech Recognition,” in ICASSP. IEEE, 2022, pp. 6182–6186.
[2] Longhao Li, Zhao Guo, Hongjie Chen, et al., “WenetSpeech-Yue: A Large-Scale Cantonese Speech Corpus with Multi-dimensional Annotation,” in AAAI. AAAI Press, 2026, pp. 31627–31635.
[3] Chengyou Wang, Mingchen Shao, Jingbin Hu, et al., “WenetSpeech-Wu: Datasets, Benchmarks, and Models for a Unified Chinese Wu Dialect Speech Processing Ecosystem,” in ACL (Findings). Association for Computational Linguistics, 2026, pp. 27999–28011.
[4] Yuhang Dai, Ziyu Zhang, Shuai Wang, et al., “WenetSpeech-Chuan: A Large-Scale Sichuanese Corpus with Rich Annotation for Dialectal Speech Processing,” CoRR, vol. abs/2509.18004, 2025.
