近期安徽大学生物信息感知与人机交互团队联合清华大学提出了一种双重注意力精炼网络的听觉注意力检测方法，相关成果被NeurIPS 2024接收，论文第一作者为安徽大学计算机科学与技术学院2021级本科生严盛。

论文题目：DARNet: Dual Attention Refinement Network with Spatiotemporal Construction for Auditory Attention Detection
论文作者：严盛（本科生）、范存航、张宏玉、杨小可、陶建华、吕钊
作者单位：安徽大学、清华大学
论文地址：http://arxiv.org/abs/2410.11181
开源代码：https://github.com/fchest/DARNet.git

研究背景

在日常生活中，如鸡尾酒会等嘈杂环境中，人类能够专注于某个特定说话者，这种“听觉注意力”的背后依赖于大脑对外部声音的选择性处理能力。听觉注意力检测（Auditory Attention Detection, AAD）技术通过分析脑电图（EEG）信号，尝试模拟这一能力，从而帮助听觉障碍者聚焦于特定的声音来源。然而，现有的AAD模型往往忽略了EEG信号中的空间分布特征，且难以捕捉长程依赖，限制了解码效果。

为了解决这些问题，我们提出了双重注意力精炼网络（Dual Attention Refinement Network，DARNet），通过时空特征构建和双重注意力精炼机制，提高听觉注意力检测的准确率，并极大地减少了模型参数量。


方法概述

图1 DARNet模型架构
DARNet通过结合时空特征和注意力机制，旨在更好地解码EEG信号中的听觉注意力。模型分为三个核心模块：
  • 时空特征构建模块：采用时间卷积层和空间卷积层，分别捕捉EEG信号的瞬时变化和不同通道间的空间分布特征，构建更加丰富的时空特征表达。
  • 双重注意力精炼模块：通过双层自注意力机制，捕捉EEG信号中的长程依赖和深层序列模式。同时，注意力精炼机制减少了噪声干扰，增强了模型的鲁棒性和泛化能力。

  • 特征融合与分类器模块：通过将不同层级的注意力特征进行融合，生成更具多样化的特征表示，并最终通过分类器输出听觉注意力预测结果。

这一整体架构不仅提升了解码精度，还显著减少了模型的参数量，使其在计算资源有限的情况下也能高效运行。

实验结果


表1 模型性能对比

为了验证DARNet的性能，我们在三个公开数据集上进行了实验：KUL、DTU和MM-AAD。实验结果显示，DARNet在多个决策窗口下的解码准确率均超越了当前最先进的模型。

如表1所示，在KUL数据集上，DARNet在0.1秒的决策窗口下实现了91.6%的准确率，远高于对比模型的87.1%。在DTU数据集上，DARNet的1秒决策窗口下准确率为87.8%，比之前的最佳模型高出4.6%。此外，在MM-AAD数据集的听觉场景中，DARNet的准确率在2秒窗口下达到了96.5%。

不仅如此，DARNet还展示了其在参数效率上的卓越表现。与现有的模型相比，DARNet的参数量减少了91%，计算资源需求更少，适合便携式设备和实时解码应用。


表2 模型参数对比

总结与展望

DARNet通过时空特征构建和双重注意力机制的巧妙结合，解决了现有听觉注意力检测模型在捕捉EEG信号长程依赖上的不足，极大提升了解码精度。在各类实验中，DARNet均展现出优异的表现，不仅实现了高准确率，还显著降低了模型参数量，使其在实际应用中更具潜力。

未来，DARNet有望应用于听觉辅助设备、神经康复等领域，帮助听觉障碍者更好地聚焦于目标声音。我们也计划继续优化DARNet的跨个体适应性，使其在更多真实场景中发挥作用。


参考文献
[1] Siqi Cai, Pengcheng Sun, Tanja Schultz, and Haizhou Li. Low-latency auditory spatial attention detection based on spectro-spatial features from eeg. In 2021 43rd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC), pages 5812–5815. IEEE, 2021.
[2] Siqi Cai, Peiwen Li, and Haizhou Li. A bio-inspired spiking attentional neural network for attentional selection in the listening brain. IEEE Transactions on Neural Networks and Learning Systems, 2023.
[3] Xiran Xu, Bo Wang, Yujie Yan, Xihong Wu, and Jing Chen. A densenet-based method for decoding auditory spatial attention with eeg. In ICASSP 2024-2024 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pages 1946–1950. IEEE, 2024.
[4] Qinke Ni, Hongyu Zhang, Cunhang Fan, Shengbing Pei, Chang Zhou, and Zhao Lv. DBPNet: Dual-branch parallel network with temporal-frequency fusion for auditory attention detection. In IJCAI, 2024.
[5] Yifan Jiang, Ning Chen, and Jing Jin. Detecting the locus of auditory attention based on the spectro-spatial-temporal analysis of eeg. Journal of neural engineering, 19(5):056035, 2022.
[6] Siqi Cai, Tanja Schultz, and Haizhou Li. Brain topology modeling with eeg-graphs for auditory spatial attention detection. IEEE transactions on bio-medical engineering, 71(1):171–182, 2024.