在过去的几年里,我们看到了AI在图像、视频和文本生成方面的巨大进步。然而,音频生成领域的进展却相对滞后。MetaAI这次再为开源贡献重磅产品:AudioCraft,一个支持多个音频生成模型的音频生成开发框架。 AudioCraft开源地址…
声浪
今日论文合集:cs.SD语音3篇,eess.AS音频处理3篇。 cs.SD语音 【1】 Music De-limiter Networks via Sample-wise Gain Inversion标题:基于采样增益倒置
GPT 等大型语言模型(LLM)的成功离不开 Softmax 注意力机制,但这一机制也存在着成本高等一些缺点。 来源丨机器之心 近日,上海人工智能实验室和 OpenNLPLab 的一个研究团队提出了一种新的大型语言模型 TransNorme…
在多人线下会议的场景,往往会出现多人讲话的讨论场景。多说话人语音识别(Multi-Talker ASR)针对类似场景,旨在识别包含多个说话人的语音,其中正确识别包含说话人交叠(speaker overlap)的语音最具挑战。最近提出的序列化…
对于语音增强来说,噪声一般可以分为稳态噪声(如白噪声)和瞬态噪声(有的地方也叫非稳态噪声,如键盘声)。如果对语音降噪有一定了解的读者会知道,一般的信号处理方法对稳态噪声比较有效,可以参考WebRTC ANR 流程解析,然而对于瞬态噪声,由于…
文章来源于音频语音与语言处理研究组,作者刘广厚 语音风格迁移 (Style Transfer) 旨在把其他说话人的讲话风格迁移到不具备该风格的目标说话人上,在保留目标说话人音色的同时生成各种具有表现力的语音。目前主流的风格迁移方式有两类。一…
文章来源于音频语音与语言处理研究组,作者宋堃 端到端语音到语音翻译(Direct/E2E S2ST)是指一个神经网络模型完成从一个语种的语音到另外一个语种语音的直接翻译。然而目前的研究主要集中在语义翻译的准确性,忽略了源语言到目标语言的语音…
文章来源于清语赋,作者TINA 近日,清华大学语音和语言技术团队联合北京邮电大学发布了中国明星多场景音视频多模态数据集 (CN-Celeb-AV),供音视频多模态身份识别 (AVPR) 等领域的研究者使用。本数据集包含来自1,136名中国明…
今日论文合集:cs.SD语音15篇,eess.AS音频处理22篇。 cs.SD语音 【1】 Audio-visual segmentation, sound localization, semantic-aware sounding obj…
以下文章来源于音频语音与语言处理研究组,作者薛鸿飞 跨语言语音识别(Cross-lingual Speech Recognition)的目标是利用高资源语言的发音信息,应用于低资源语言,提升低资源语言语音识别性能。全球共有7000多种语言,…
