2022年5月19日,语音之家公开课 — 语音合成中的情感强度建模研究成功举办,本次公开课上由内蒙古大学计算机学院研究员,博士生导师,CCF语音对话与听觉专委会委员—刘瑞进行分享。

下面是公开课的回顾:


刘瑞老师分享的主题是“语音合成中的情感强度建模研究”,介绍了关于语音合成中的情感强度建模的发展历程与建模方法,主要围绕下面几个方面:

1.语音合成介绍
对语音合成及应用场景进行了介绍,同时分享了语音合成技术的发展过程,其中包括了机械式语音合成方法和电子式语音合成方法、波形拼接(单元挑选)语音合成方法、统计参数合成、神经网络语音合成、深度学习语音合成(端到端语音合成)和完全端到端的语音模型。

2.语音情感描述表达的理论
对离散情感模型和连续情感描述的方法进行了分享,介绍了其中比较著名的Ekman六元基本情感理论和plutchik情感轮模型在六元基本理论上的效果。语音情感表达是一个层次化的过程,介绍了语音情感表达的流程,构建情感语音合成的简要模型结构。


3.语音合成当中的情感建模
讲解了情感标签合成方法和情感嵌入合成方法,要获得具有丰富情感表现的语音,基于风格迁移的情感迁移是一种很好的解决思路。

4.语音合成当中的情感强度建模
进行情感强度语音合成的工作主要集中在scalar(用标量表示)、relative attriutes算法、Attention weights无监督的方法。

5.总结与展望
情感强度建模是一个很好的研究方向,还有很多需要突破的地方,如何更好的描述情感强度?如何更准确地表达情感强度?这些都有待进一步解决。

本次公开课刘瑞老师的讲解受到了大家一致好评,对于观众们的踊跃提问老师们也是倾囊相授。至此,本次公开课圆满结束。语音之家将持续为大家带来干货满满的技术分享,敬请关注!