回顾 | CCF语音对话与听觉专委会2021学术年会

中科院自动化所陶建华研究员作题为《个性化语音生成和分析》的特邀报告。他介绍了当前个性化语音合成领域遇到的主要挑战及解决方案，并分享了中科院自动化所近年来在个性化语音合成方向的研究进展，包括内容与音色分离的少样本生成、韵律与音色分解的极少样本合成、一句话语音合成等工作。此外，针对合成语音可能遇到的不良使用的问题，陶建华研究员还介绍了在生成语音鉴别领域做出的工作。

中科院声学所颜永红研究员以《声学所语音识别最新进展及应用》为题，分享了声学所近年来的学术和工业成果。他指出当前语音大规模预训练模型的出现一方面推动行业发展、降低应用门槛，另一方面也给从事人员带来新挑战。声学所一直致力于构建完全自主的技术路线，其自研的语音平台已赋能多项学术研究和业界解决方案。在近年的新冠疫情中，声学所也利用语音技术提出基于咳嗽音的新冠检测方案，虽不能作为医学标准，但在大规模快速筛查方面具有优势。

百度时代网络技术有限公司贾磊博士作《百度语音在建模技术、多模态和芯片方面的最新进展》主题报告。贾磊博士介绍了百度研发的基于流式Conformer的大规模语音识别模型SMLITA2，结合引入语言先验的PTR解码技术，实现了低延时的精准语音识别系统。贾博士还介绍了百度在自定义语音合成方向的进展，通过端到端对抗解耦技术，实现了对说话人、情感和阅读模式的定制化语音合成。在多模态领域，百度团队实现了利用视觉信息辅助人声分离、语音识别和语音唤醒等任务。此外，百度还将算法与硬件结合，新一代鸿鹄2代芯片内置全套百度语音的全双工交互技术，可以实现智能设备的语音交互。

清华大学郑方教授作题为《声纹识别应用的技术挑战》的主题报告。郑方教授提出学术界要关注场景驱动，融合创新，将目光从技术侧转向应用侧，在应用中发现问题，再尝试使用技术去解决问题。首先针对录音重放攻击检测的问题，郑方教授提出使用单分类模型替代二分类模型，通过仅对正常语音进行建模，解决重放语音模型区分性和泛化性弱的风险。针对声纹掩蔽与还原的问题，郑方教授提出通过学习掩蔽参数的方法恢复原始音频，大大提高了验证系统的准确率。最后，郑方教授对多模态认证的问题进行了展望。

上海交通大学俞凯教授以《语音合成中的自然韵律多样性建模》为题，系统地介绍了在韵律建模方向做出的成果。俞凯教授首先介绍了语音韵律建模的常见思路，即使用韵律语义标签和基于参照语音的韵律模仿两种方法；接着分析了两者的优劣，并结合二者所长提出使用混合密度网络进行数据驱动的无监督韵律结构聚类，从而获得解耦出的韵律信息。俞凯教授提出的方法在跨说话人韵律克隆和韵律控制生成方向取得了显著的效果。