今日论文合集:CS.SD语音与音频 共 21 篇。
本文经arXiv每日学术速递授权转载,微信公众号:arXiv_Daily
[机构]信息由AI分析生成,可能存在错误,仅供参考,以论文实际显示为准
快速导航
1. 语音识别与关键词检测 1 篇
2. 语音合成与声音生成 4 篇
3. 语音增强、降噪与音频修复 1 篇
4. 音乐信息检索与音乐生成 1 篇
5. 语音翻译与语音语言模型 1 篇
6. 多模态音频与视听学习 1 篇
7. 数据集、基准与评测 2 篇
8. 安全、隐私与深度伪造音频 1 篇
9. 其他/综合语音音频 9 篇
1. 语音识别与关键词检测 | 1 篇
1. DIY Customized Speech Recognition for a Person with Speech Disabilities
为言语障碍人士定制DIY语音识别系统
AI 总结:本文针对通用ASR系统对言语障碍人士识别失效的问题,基于Whisper模型用LoRA微调构建定制ASR,开发AVoz应用,方法可复现,他人可低成本复刻。
链接:https://arxiv.org/abs/2611.11327
机构:CENSE – Center for Environmental and Sustainability Research(CENSE——环境与可持续发展研究中心); CHANGE - Global Change and Sustainability Institute(CHANGE——全球变化与可持续发展研究所); NOVA School of Science and Technology, NOVA University Lisbon(里斯本新大学 新科技学院); Universidade do Algarve(阿尔加维大学)
作者:Paulo A. Condado, Fernando G. Lobo
2. 语音合成与声音生成 | 4 篇
2. Guidance at Pure Noise Erodes Speaker Similarity in Few-Step Token-Conditioned Flow-Matching TTS
纯噪声引导会削弱少步令牌条件流匹配TTS中的说话人相似度
AI 总结:本文研究少步令牌条件流匹配TTS中纯噪声引导导致说话人相似度下降的问题,提出两种无训练采样器,可有效恢复相似度损失且减少网络评估次数。
链接:https://arxiv.org/abs/2611.11179
机构:KAIST(韩国科学技术院)
作者:Jaeho Lee, Han-Lim Choi
3. Small Data Generative AI for Culturally Specific Artistic Creation: A Case Study on the Sonic Space of sarir
面向文化特定艺术创作的小数据生成式AI:以sarir的声音空间为例
AI 总结:本文以sarir声音空间为案例,提出面向文化特定艺术创作的小数据GenAI方法,构建定制数据集并训练RAVE、StyleGAN2模型,其性能优于现有文本到音频模型,验证了该方法的可行性。
链接:https://arxiv.org/abs/2611.11374
作者:Arshia Sobhan, Paul Triana, Philippe Pasquier
4. Towards Trustworthy Mobile Speech Interaction: Ensuring Voice Authenticity and Transmission Integrity
面向可信的移动语音交互:确保语音真实性与传输完整性
AI 总结:针对移动语音交互中声纹认证受生成式语音模型威胁的问题,提出MoBiMark实时生物语音水印系统,实现源认证与篡改检测,在50名用户的4款手机上准确率达99.79%,且对语音质量影响极小。
链接:https://arxiv.org/abs/2611.11777
机构:Nanjing University(南京大学); Soochow University(苏州大学)
作者:Guodong Liu, Lei Wang, Dongxu Liu, Qianran Qiao, Haipeng Dai, He Huang, Guihai Chen
5. WaveGen: Truly End-to-End Waveform Generation via Internal Spectral Trajectory Learning
WaveGen:基于内部频谱轨迹学习的真正端到端波形生成
AI 总结:本研究提出WaveGen,一种基于频谱强制的全端到端文本到波形扩散框架,无需外部模块,在Seed-en基准上取得WER 1.47、SIM 0.75的性能,实现了端到端波形生成的最先进结果。
链接:https://arxiv.org/abs/2611.12527
机构:Ajou University(明知大学); KT Corp.(KT公司)
作者:Sang-Hoon Lee, Ha-Yeong Choi
3. 语音增强、降噪与音频修复 | 1 篇
6. Textraction: Unified Text-Guided Speaker Extraction and Enhancement for Single- and Multi-Channel Audio
Textraction:用于单通道和多通道音频的统一文本引导说话人提取与增强框架
AI 总结:Textraction是支持单/多通道输入的文本引导音频处理框架,可通过自然语言描述提取指定说话人/噪声,兼具提取与增强功能,灵活性优于专用基线。
链接:https://arxiv.org/abs/2611.12493
机构:Bar-Ilan University(巴伊兰大学); OriginAI
作者:Aviad Eisenberg, Sharon Gannot, Shlomo E. Chazan
4. 音乐信息检索与音乐生成 | 1 篇
7. GlobalTap: Globally Diverse Beat Tracking Benchmark via Crowdsourced Tapping
GlobalTap:通过众包敲击构建的全球多样化节拍跟踪基准
AI 总结:GlobalTap是含59国200段流行音乐的众包节拍跟踪基准,其标注与参考标注无总体差异,分歧具系统性,可用于评估文化多样化音乐的节拍跟踪系统。
链接:https://arxiv.org/abs/2611.11137
作者:William T. Botticelli-Wells, Manuel Anglada-Tort, Elif Celen, Rena Far, Harin Lee, Peter M. C. Harrison, Nori Jacoby
5. 语音翻译与语音语言模型 | 1 篇
8. Machine Hearing: Can Audio LLMs Generalize Beyond Human Auditory Perception?
机器听觉:音频大语言模型能否泛化至人类听觉感知之外?
AI 总结:该研究针对音频大语言模型难以泛化至人类听觉之外的问题,构建机器听觉基准MHB,提出轻量级编码器扩展模块MachEar,可增强模型机器听觉能力并保留原有音频理解性能。
链接:https://arxiv.org/abs/2611.10693
机构:Shanghai Artificial Intelligence Laboratory(上海人工智能实验室); Harbin Institute of Technology(哈尔滨工业大学); University of Science and Technology of China(中国科学技术大学); Fudan University(复旦大学); Tsinghua University(清华大学); Shanghai Jiao Tong University(上海交通大学); University of Cambridge(剑桥大学)
作者:Liwei Liu, Jun Tao, Xingyuan Li, Xuenan Xu, Chen Zhang, Junyi Wang, Boya Zhang, Xiaoyu Yang, Zhen-Hua Ling, Wen Wu, Chao Zhang
6. 多模态音频与视听学习 | 1 篇
9. MUTE: Multi-Level Alignment Uncoupling Against Talking-Head Exploitation for Voice Protection
MUTE:针对“说话人头”模型滥用的多级解耦语音保护方法
AI 总结:针对“说话人头”模型滥用问题,提出MUTE音频保护框架,通过多级策略解耦视听对齐,可降低唇语同步性能并保持音频质量,能与图像方法结合增强多模态保护。
链接:https://arxiv.org/abs/2611.11989
机构:Soongsil University(崇实大学); Chung-Ang University(中央大学); AIM Intelligence(AIM智能科技公司)
作者:Donghyun Kim, Jin Hong, Seungmin Kim, Dain Kim, Junseok Kwon, Daeseon Choi
7. 数据集、基准与评测 | 2 篇
10. Steer Unified Audio Editing Toward Reliable Source Selection
引导统一音频编辑实现可靠的源选择
AI 总结:针对统一音频编辑中源选择易出错且难修正的问题,提出STEER两阶段后训练算法,结合Selective Audio Editing Benchmark验证,可提升SteerSound等编辑器的选择性编辑性能。
链接:https://arxiv.org/abs/2611.10630
机构:Renmin University of China(中国人民大学); Tencent(腾讯); The University of Hong Kong(香港大学); The Chinese University of Hong Kong(香港中文大学)
作者:Youquan Fu, Dongnuan Cai, Yu Pan, Henghui Du, Yujia Zhang, Ping Luo, Quande Liu, Yake Wei, Xi Chen, Hongyuan Zhang, Di Hu
11. LAION-Audio-XL: A Web-Scale Corpus and Scaling Studies for Contrastive Language-Audio Pretraining
LAION-Audio-XL:用于对比语言-音频预训练的网络规模语料库与缩放研究
AI 总结:本研究构建了14.8亿样本的LAION-Audio-XL语料库,研究对比音频-语言模型的缩放规律,提出的CLAP2模型在MAEB、HEAR基准上优于同规模现有模型,相关资源已公开。
链接:https://arxiv.org/abs/2611.11592
机构:Jülich Supercomputing Center (JSC), Forschungszentrum Jülich (FZJ)(于利希超级计算中心,于利希研究中心); LAION; Technical University of Munich(慕尼黑工业大学); University of Tübingen(蒂宾根大学)
作者:Gijs Wijngaard, Felix Förster, Ross Wightman, Marianna Nezhurina, Christoph Schuhmann, Jenia Jitsev, A. Sophia Koepke
8. 安全、隐私与深度伪造音频 | 1 篇
12. When Normality Shifts: Multi-Level WavLM Modeling for Open-World Audio Deepfake Detection
当正态性发生偏移:用于开放世界音频深度伪造检测的多级 WavLM 建模
AI 总结:针对音频深度伪造检测器随合成系统演变失效的问题,提出基于 WavLM 的无攻击正态性模型 MLN-WavLM,在 ASVspoof 2019 LA 上表现接近基线,但域偏移时性能大幅下降,阈值适应无法解决排序退化问题。
链接:https://arxiv.org/abs/2611.11465
机构:Czestochowa University of Technology(琴斯托霍瓦工业大学); Sungkyunkwan University(成均馆大学); AGH University of Krakow(克拉科夫AGH科技大学)
作者:Daniel Niekurzak, Daniel Kozuch, Weronika Folwarska, Khan Muhammad, Rafał Scherer
9. 其他/综合语音音频 | 9 篇
13. Patchbay: a block model for the sonification of ADS-B aircraft data
Patchbay:用于ADS-B飞机数据声音化的块模型
AI 总结:提出Patchbay块模型,通过带类型模块连接将ADS-B飞机数据声音化,参考实现为单HTML文件浏览器编辑器,对比现有系统凸显其将飞机及字段作为单一连接类型的创新。
链接:https://arxiv.org/abs/2611.10973
机构:Independent Researcher(独立研究者); Sector Labs(Sector实验室)
作者:Arquimedes Canedo
14. Real-Time Arbitrary Resampling for Phase-Continuous Microtuning in Audio Streams
音频流中相位连续微调的实时任意重采样
AI 总结:本文提出输出驱动的重采样公式,用于音频流相位连续微调,分离调谐分辨率等属性,采用线性插值等实现,可实现录制信号的精细音高调整。
链接:https://arxiv.org/abs/2611.11282
机构:QPI Laboratories, Inc.(QPI实验室公司)
作者:Andreas Falkenberg
15. Music Inpainting With Similarity-Guided Latent Diffusion
基于相似度引导隐式扩散的音乐修复
AI 总结:提出SimDPS混合方法,结合相似度匹配与扩散模型,在音乐修复中优于RePaint、DPS,提升感知合理性,为音乐修复与音频编辑提供新方案。
链接:https://arxiv.org/abs/2611.11522
作者:Sean Turland, Eloi Moliner, Vesa Välimäki
16. From Sound to Occupancy: Privacy-Aware Audio Sensing for Buildings
从声音到占用情况:面向建筑的隐私感知音频传感技术
AI 总结:该研究提出两阶段隐私感知音频传感设计,在DCASE 2013等数据集上验证其占用检测性能,可减少隐私泄露,为建筑占用控制提供实用方案。
链接:https://arxiv.org/abs/2611.11564
机构:School of Architecture(建筑学院); University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校); University of Kentucky(肯塔基大学)
作者:Myeongwon Chae, Seonghyuk Son
17. Reverberant Speech Conditioning for Material-Aware Acoustic Parameter Mapping
用于材料感知声学参数映射的混响语音条件输入
AI 总结:本研究针对场景级房间声学参数映射需参考脉冲响应的难题,提出以混响语音为条件输入,实验表明Rec-RIR重建的脉冲响应效果最优,可将T30误差降低至19.9%。
链接:https://arxiv.org/abs/2611.11834
机构:Dolby Laboratories, Inc.(杜比实验室); New York University(纽约大学)
作者:Yi Wu, Olha Townsend, Qianqian Fang, Magdalena Fuentes, You Zhang
18. Constraining Evidence Strength in Bayesian Tonal-State Inference: A Posterior-Continuity Diagnostic
约束贝叶斯调式状态推理中的证据强度:后验连续性诊断
AI 总结:本研究通过相邻窗口后验重叠推导的λ量化调式连续性约束贝叶斯调式状态推理的证据强度,在Distant Listening Corpus等实验中确定了合适的证据强度设置,证明了嵌套跨度下局部与主导调式解读可共存。
链接:https://arxiv.org/abs/2611.12006
作者:Chen-Gia Tsai
19. BARS: Beat-Adaptive Rap Synthesis via Flow Matching
BARS:基于流匹配的节拍自适应说唱合成
AI 总结:该研究提出基于流匹配的非自回归说唱合成模型BARS,通过非对称缩放RoPE解决对齐问题,支持部分重新生成,可灵活控制说唱速度,实现高歌词保真度与节拍一致的自然说唱流。
链接:https://arxiv.org/abs/2611.12061
作者:Taemin Cho, Hector Martel, Enyan Koh
20. AudioCodex: Streaming Autoencoders for Live Audio
AudioCodex:用于实时音频的流式自动编码器
AI 总结:本研究提出AudioCodex,一种全因果流式自动编码器,通过结合多种技术优化生成-重建权衡,在保持严格因果性的同时优于现有最优方法,为实时交互式生成音频应用奠定基础。
链接:https://arxiv.org/abs/2611.12375
作者:Marco Pasini, Javier Nistal, Cyran Aouameur, Stefan Lattner, George Fazekas
21. Direct Conditioning of Audio Diffusion Transformers on fMRI Reveals Cortical Contributions to Sound Reconstruction
音频扩散Transformer的fMRI直接条件建模揭示皮层对声音重建的贡献
AI 总结:该研究提出端到端框架MAAS,将音频扩散Transformer直接基于fMRI响应条件建模,在7T fMRI数据集上优于基线,还引入保真度指标量化听觉皮层区域对音频重建的贡献。
链接:https://arxiv.org/abs/2611.12603
机构:University of Rome Tor Vergata(罗马第二大学); Maastricht University(马斯特里赫特大学); Tether Evo; Massachusetts General Hospital(麻省总医院); Harvard Medical School(哈佛医学院)
作者:Matteo Ciferri, Tonio Weidler, Matteo Ferrante, Nicola Toschi, Elia Formisano
