SenseVoice-python：企业级开源多语言语音识别系统
SenseVoice是具有音频理解能力的音频基础模型， 包括语音识别（ASR）、语种识别（LID）、语音情感识别（SER）和声学事件分类（AEC）或声学事件检测（AED）。 当前SenseVoice-small支持中、粤、英、日、韩语的多语…
15 0 0
声浪
![语音/音频处理学术速递[9.5]](https://speechhome.oss-cn-hangzhou.aliyuncs.com/Resources/Thumb/2024-09-09/1833081139926011904.jpg)
Soul App推出类GPT4o端到端语⾳通话⼤模型，实现超拟⼈实时⾃然交互
近⽇，社交平台Soul App（以下简称“Soul”）语⾳⼤模型再次升级，上线⾃研端到端全双⼯语⾳通话⼤模型，能够以超低交互延迟、超快⾃动打断、超真实声⾳表达和情绪感知理解能⼒，直接理解丰富的声⾳世界，⽀持超拟⼈化的多⻛格语⾔，实现更接近⽣…
20 0 0
把大模型装进小设备：语音预训练模型的非结构化剪枝和矩阵分解
随着人工智能的发展，语音识别技术取得了长足的进步。其中，自监督预训练的语音模型因其强大的性能和鲁棒性，成为该领域的研究热点之一。然而，这些模型通常具有大量的参数，导致计算资源消耗巨大，限制了它们在许多实际应用场景中的使用。 本文介绍清华大学…
19 0 0
![语音/音频处理学术速递[9.4]](https://speechhome.oss-cn-hangzhou.aliyuncs.com/Resources/Thumb/2024-09-05/1831536510961324032.jpg)
突破音频语言表征的瓶颈！仅需40个Token，WavTokenizer就能够高质量重建音频
近期，浙江大学，联合阿里通义语音实验室和Meta研究员发表了一篇题为“Wavtokenizer: An Efficient Acoustic Discrete Codec Tokenizer For Audio Language Model…
9 0 0
声学相关学术论文整理
本文整理了一些近期发表的声学相关论文，供大家了解科研进展。 1.记录和模拟双耳房间听觉中直接混响能量比的神经表示 出版日期：2024-08-30 DOI：10.1101/2024.08.29.610373 作者：Viola G. Matte…
12 0 0
360提出冻结语言模型训练LMM新范式，无损获取多模态理解与Grounding能力
当前广泛流行的基于 LLaVA 结构的多模态大语言模型（LMM: Large Multimodal Model）在视觉任务上表现出色，然而因为训练中需要对内嵌的语言模型进行微调，常常会显著削弱其在自然语言任务（NLP）上的能力，具体来说，模…
14 0 0
![语音/音频处理学术速递[9.2]](https://speechhome.oss-cn-hangzhou.aliyuncs.com/Resources/Thumb/2024-09-03/1830865692807794688.jpg)
超10万小时的语音生成数据集 Emilia 现已开放下载！
上个月，香港中文大学（深圳）联合中国科学院声学研究所、上海人工智能实验室等机构推出了涵盖6种语言、超过10万小时的多样化语音生成数据集——Emilia，并在 GitHub 平台上开源了数据预处理框架 Emilia-Pipe。 详情请见：6种…
13 0 0