巨人与清华、西工大发布 “视频 x 音乐” 多模态生成新进展
多模态生成技术在图像、视频、语音等方向的快速突破,使 “音乐 × 视频” 的多模态生成变成新的研究热点。然而在真实业务场景中,仍然存在诸多未被充分解决的技术空白,例如: 在音乐驱动的视频生成中,仍缺乏对长时序一致性、音画节奏对齐与镜头运动的…
21 0 0
多模态生成技术在图像、视频、语音等方向的快速突破,使 “音乐 × 视频” 的多模态生成变成新的研究热点。然而在真实业务场景中,仍然存在诸多未被充分解决的技术空白,例如: 在音乐驱动的视频生成中,仍缺乏对长时序一致性、音画节奏对齐与镜头运动的…
题目:《Auden-Voice: General-Purpose Voice Encoder for Speech and Language Understanding》 地址:https://arxiv.org/pdf/2511.1514…
语音,不仅是人类沟通的载体,更是健康状态的“声纹”。随着人工智能与计算机听觉技术的飞速发展,语音信号正在成为一种新的医学信息源,为疾病筛查、心理评估与神经障碍检测提供全新的非侵入式途径。近期,北京理工大学钱昆教授、胡斌教授团队联合日本东京大…
本系列的十篇文章,是对之前文章 原文链接 AI语音AI思考,公众号:AI语音AI思考关于未来语音技术和应用趋势的10点看法 中提到的十个趋势进行详细的剖析。在这个系列文章中,会穿插科普、技术综述、技术发展路线,以及一些个人和其他行业专家的思…
最近两年开源数据越来越多,大家也意识到,无论是语音识别、语音合成,还是情感分析、多模态交互,高质量的数据集都是技术进步的基石。今天为大家整理了 2024-2025 年最新发布的开源语音数据集,涵盖中文、英文、多语种等多个方向,每个数据集都附…
近日,蚂蚁集团AI身份智能团队在音频-语言大模型的后训练研究上取得重要突破。团队联合香港中文大学、上海交通大学、华南理工大学、萨里大学等国内外知名学府,提出了迄今为止规模最大、质量最高的音频理解选择题数据集AudioMCQ,并基于Audio…