![语音/音频处理学术速递[12.20]](https://speechhome.oss-cn-hangzhou.aliyuncs.com/Resources/Thumb/2024-12-24/1871397722301534208.jpg)
声浪
MMAudio：开源 AI 音频合成项目，自动给视频配音效
MMAudio 在给定视频和/或文本输入的情况下生成同步音频。我们的关键创新是多模式联合训练，它允许对广泛的视听和音频文本数据集进行训练。此外，同步模块将生成的音频与视频帧对齐。 项目地址：https://hkchengrex.com/MM…
28 0 0
李飞飞团队统一动作与语言，新的多模态模型不仅超懂指令，还能读懂隐含情绪
来源丨机器之心 人类的沟通交流充满了多模态的信息。为了与他人进行有效沟通，我们既使用言语语言，也使用身体语言，比如手势、面部表情、身体姿势和情绪表达。因此，为了理解和生成人类动作，理解这些多模态的行为至关重要，而且这一研究方向最近受到的关注…
30 0 0
【AI对话系统新挑战】FutureDial-RAG Challenge详解
介绍一个对话系统领域非常令人兴奋的新挑战 —FutureDial-RAG Challenge。这是一个依托 2024 IEEE SLT 国际会议，由中国移动研究院与清华大学联合组织的挑战赛，旨在推动检索增强生成（Retrieval Augm…
23 0 0
![语音/音频处理学术速递[12.19]](https://speechhome.oss-cn-hangzhou.aliyuncs.com/Resources/Thumb/2024-12-20/1869938748859486208.jpg)
![语音/音频处理学术速递[12.18]](https://speechhome.oss-cn-hangzhou.aliyuncs.com/Resources/Thumb/2024-12-20/1869938601039630336.jpg)
Codec-SUPERB 圆满落幕！ Moshi作者开讲！ 录影已上传！
12月3日，在澳门举办的IEEE SLT旗舰会议上成功举办了Codec-SUPERB Challenge。此次活动聚焦于Codec及语音语言模型（speech LM）领域学者之间的交流，特别邀请了五位领域内的专家学者（Moshi、Uniau…
15 0 0
![语音/音频处理学术速递[12.17]](https://speechhome.oss-cn-hangzhou.aliyuncs.com/Resources/Thumb/2024-12-20/1869938430381789184.jpg)
开源更新｜语音生成大模型CosyVoice升级2.0版本
CosyVoice是阿里巴巴通义实验室语音团队于今年7月份开源的语音生成大模型，依托大模型技术，实现自然流畅的语音生成体验。与传统语音生成技术相比，CosyVoice具有韵律自然、音色逼真等特点。自开源以来，CosyVoice凭借高品质的多…
54 0 0
基于深度说话人表征学习的说话人建模及其应用综述
该综述由来自深圳市大数据研究院，上海交通大学，香港理工大学，香港中文大学（深圳）的相关学者共同完成。在这篇综述中，我们从理论和实践两个角度对基于神经网络的说话人表示学习方法进行了系统而全面的回顾。在理论层面，我们探讨了该领域的关键发展，包括…
28 0 0