声浪

语音小管家

转载7 months ago

「现存问题」 TTS（文本转语音）这两年进步很快，很多模型在测试集上能做到很低的 WER（词错误率），听起来“字面上没问题”。 但现实场景里，用户真正关心的往往不是“每个词都对”，而是： 这段语音里提到的关键信息我能不能抓住？例如：日期、金…

语音小管家

转载7 months ago

来源丨新智元 AI音乐变天了！Mureka V8强势登顶AA榜，包揽人声与器乐双项冠军。而这仅仅是开始，下一代Mureka V9已在路上了！ 双榜封顶，实至名归！ 就在今天，AI音乐大模型Mureka V8在权威Artificial Ana…

语音小管家

转载7 months ago

现在的配音模型有时会“顾此失彼”：为了追求声音像，可能时机就不准了；为了追求时机准，音质有可能会变差。这是因为模型试图用一套标准同时满足所有要求，导致目标之间互相“打架”。 为了解决这个问题，通义实验室开源发布了PrismAudio。 论文…

语音小管家

转载7 months ago

开源多模态生成领域，迎来架构级的底层突破。 视频生成已成为当前生成式 AI 最前沿的方向，但在音视频联合同步生成领域，开源界仍面临三重局限： 音视频不同步：视频和音频往往语义对齐精度不足。 架构设计复杂：现有方案要么将音频视为从属信号，要么…

语音小管家

转载7 months ago

在自然人机交互中，实现如同人类般“边听边说”的全双工语音对话（Full-duplex Spoken Dialogue）一直是语音交互系统的终极目标。与传统的半双工系统不同，全双工系统要求模型能够在用户发言过程中，实时判断是否需要继续倾听、生…

语音小管家

转载7 months ago

基于语音编码器、适配器和大语言模型（LLM）构建的语音大语言模型（SLLM），在英语和中文等高资源语言中展现了卓越的多任务理解性能。然而，在泰语等低资源语言中，其有效性显著降低。这种局限性主要源于三个因素： 现有的常用语音编码器（如 Whi…