Xmart青年论坛由上海交通大学跨媒体语言智能实验室(SJTU X-LANCE lab)创办,中国计算机学会语音对话专委会主办,语音之家协办,旨在邀请国内外优秀的青年学者分享其最新科研工作和成果,促进多元且深入的交流与合作。Xmart学生论坛作为其中一个系列,致力于邀请国内外知名高校有成体系工作的研究生,主要通过线上分享的方式,系统地介绍其科研成果和心得,为青年学生打造一个学术探讨,思维碰撞和多学科交叉融合的平台。

Xmart•学生论坛丨李凯:高效语音分离:架构、融合、因果性与数据

形式:线上

时间:3月25日(周三) 15:00~17:00

报告嘉宾

李凯,清华大学TSAIL实验室博士在读。他致力于多模态与单模态语音分离,当前拓展至通用音频理解任务。曾获中国图像图形学学会优秀硕士论文,NCMMSC最佳学生报告。曾参加Sony组织的分离竞赛获电影分离第一名。以第一作者身份在NeurIPS、ICLR、ICML、TPAMI等会议和期刊发表多篇论文,相关研究聚焦语音分离在真实场景中的应用,特别是在神经科学启发下设计轻量化模型,以实现边缘设备的高效部署。相关项目在GitHub上累计获得超过5k stars。

报告摘要

音频分离是语音识别、会议转写与人机交互中的关键前处理模块,但在真实应用中常受到算力、时延与数据真实性的严格约束。近年来的一系列工作从结构与生物启发机制出发,探索在保证分离质量的同时显著降低参数量与计算量:包括异步递归卷积结构与自顶向下注意力的高效编码器-解码器设计、时频域的拆维建模与状态空间模型、跨尺度的模态内/模态间选择性注意力融合,以及面向实时系统的因果 AVSS 架构。同时,动态子网、结构化剪枝等方法提升了模型的部署弹性,SonicSim/EchoSet/Hive 等数据与平台进一步推动了对移动声源、复杂混响与数据纯度问题的系统评测。报告将以“效率驱动的分离系统”为主线梳理上述方法的关键思想、性能-复杂度权衡与未来方向。

参加方式

①

直播将通过语音之家微信视频号进行直播

手机端、PC端可同步观看

👇👇👇

②

腾讯会议参加

会议号:950-800-313