李飞飞团队统一动作与语言,新的多模态模型不仅超懂指令,还能读懂隐含情绪
转载2 years ago
李飞飞团队统一动作与语言,新的多模态模型不仅超懂指令,还能读懂隐含情绪

来源丨机器之心 人类的沟通交流充满了多模态的信息。为了与他人进行有效沟通,我们既使用言语语言,也使用身体语言,比如手势、面部表情、身体姿势和情绪表达。因此,为了理解和生成人类动作,理解这些多模态的行为至关重要,而且这一研究方向最近受到的关注…

16 0 0
基于深度说话人表征学习的说话人建模及其应用综述
转载2 years ago
基于深度说话人表征学习的说话人建模及其应用综述

该综述由来自深圳市大数据研究院,上海交通大学,香港理工大学,香港中文大学(深圳)的相关学者共同完成。在这篇综述中,我们从理论和实践两个角度对基于神经网络的说话人表示学习方法进行了系统而全面的回顾。在理论层面,我们探讨了该领域的关键发展,包括…

17 0 0
Freestyler :伴奏同步的说唱合成模型
转载2 years ago
Freestyler :伴奏同步的说唱合成模型

最近,西工大音频语音与语言处理研究组(ASLP@NPU)与微软、CUHK-Shenzhen提出首个说唱生成模型Freestyler,以歌词和伴奏输入,生成与伴奏风格节奏匹配的说唱;同时开源了首个说唱数据集RapBank。现对该论文进行简要的…

11 0 0