INTERSPEECH 2023 论文预讲会是由CCF语音对话与听觉专委会、语音之家主办，旨在为学者们提供更多的交流机会，更方便、快捷地了解领域前沿。活动将邀请 INTERSPEECH 2023 录用论文的作者进行报告交流。

2023年7月25日，INTERSPEECH 2023 论文预讲会第八期成功举办，本次预讲会是由西北工业大学音频语音与语言处理研究组（NPU-ASLP）做专场分享，研究方向是语音合成与转换。



下面是预讲会的回顾：

张雍茂

分享主题：Visinger2: 高保真端到端歌声合成模型

摘要：端到端歌声合成（SVS）模型VISinger比典型的两阶段歌声合成系统的参数量更少，并取得了较好的合成效果。然而，VISinger存在几个问题：
  1. 文本到相位问题，建模文本到相位的无意义映射；
  2. 谱断裂问题，即浊音段的谐波分量发生突变，听感上有顿挫感；
  3. 低采样率，VISinger采用的24KHz采样率不能满足高保真（44.1KHz或更高）歌声生成的需求。
为了解决这些问题，我们将数字信号处理（DSP）方法与VISinger相结合并提出了VISinger 2模型。具体而言，受可微分数字信号处理（DDSP）最新进展的启发，我们将DSP合成器纳入VISinger的解码器中以解决上述问题。DSP合成器包括一个谐波合成器和一个噪声合成器，分别根据VISinger中的中间表征z产生周期和非周期信号。在DSP合成器的监督下，后验编码器提取了不包含相位信息的中间表征z，避免先验编码器建立文本到相位的映射。为了避免谱断裂问题，HiFi-GAN接受由DSP合成器产生的波形作为辅助输入来产生高保真的歌声。此外，受益于改进的波形解码器，VISinger 2能够合成44.1kHz的歌声，带来更丰富的表达和更好的音频质量。在OpenCpop歌声语料库上的实验表明，VISinger 2在主观和客观指标上都优于VISinger、CpopSing和RefineSinger。

宁子谦

分享主题：基于混合预测编码与知识蒸馏的双模语音转换模型
摘要：随着语音转换技术逐渐流行，越来越多的实时应用需要模型具有流式转换能力。与典型的（非流式）语音转换不同，流式语音转换无法利用音频中完整的上下文特征。由于未来信息的缺失，流式语音转换面临着巨大的挑战，表现在可懂度、说话人相似度和声质下降。为了应对这一挑战，我们提出了DualVC，一种双模语音转换方法，使用联合训练的独立网络参数同时支持流式和非流式模式。此外，我们引入了模型内知识蒸馏和混合预测编码（HPC），以提高流式转换的性能。此外，我们结合了数据增强来训练一个噪声鲁棒的自回归解码器，提高了该模型在长语音转换中的性能。实验结果表明，所提出的模型在流式语音转换场景下优于基线模型，同时与利用完整上下文特征的非流式系统保持相当的性能，且延迟仅有252.8毫秒。

宋堃

分享主题：端到端语音到语音翻译中的零样本风格迁移
摘要：端到端 (direct/end-to-end) 语音到语音翻译 (S2ST) 逐渐得到关注，因为它与级联S2ST系统相比具有诸多优势。然而，目前的研究主要集中在从源语言到目标语言语义翻译的准确性上，而忽略了源语音的音色、时长等风格信息的迁移。缺乏高保真、高表现力的平行语料数据使得实现这些风格信息的迁移具有挑战性，尤其是在实际应用场景中，往往源语音的说话人没有足量数据用于训练，因此我们需要实现零样本学习 (zero-shot) 。为了解决这个问题，我们首先使用多语种多说话人文本到语音合成 (TTS) 系统构建并行语料库，并在direct S2ST 系统框架上提出了基于风格适配器的 StyleS2ST 模型。通过并行语料库训练和非并行 TTS 数据扩充实现声学模型的连续风格空间建模，StyleS2ST 能够很好的捕获从源语言到目标语言的跨语种声学特征转换。实验表明，StyleS2ST 在集内说话人和集外的zero-shot场景中都实现了良好的风格相似度和自然度。

刘广厚

分享主题：基于自然语言描述的跨说话人语音风格转换
摘要：近年来，语音合成中的风格迁移备受关注。风格控制通常依赖于带有风格标注的表现力语音数据，然而在实际应用中，用户可能没有目标风格的语音作为参考，而是想要通过所需风格的文本描述来进行风格迁移。最近文本引导的内容生成技术受到广泛关注。本文探索了用自然语言描述进行可控风格迁移的可能性，提出了一个基于文本描述引导的跨说话人风格迁移系统PromptStyle。PromptStyle基于VITS的结构进行构建，并引入跨模态风格编码器实现风格迁移。跨模态风格编码器构建了一个声学特征和语义的共享空间。实验表明，PromptStyle在保持较高的发音稳定性和说话人相似度的同时，实现了基于文本描述引导的风格迁移。
论文征集
INTERSPEECH 2023 论文预讲会面向全球线上招募，结合定向邀请与自选投稿的方式，来选择预讲会的嘉宾。


为了共创高质量的论文预讲会，我们诚挚邀请所有 INTERSPEECH 2023 作者参与到会议中来，也欢迎大家推荐适此会议论文分享的学者。


投稿方式

投稿邮箱：jack@speechhome.com


联系人微信