非视距（Non-Line-of-Sight，NLOS）成像在机器人与机器视觉、遥感、自动驾驶导航以及医学成像等众多应用中展现了前所未有的潜力。为解决这一具有挑战性的问题，许多方法采用了光学飞行时间成像系统，结合高灵敏度时间分辨光电探测器和超快脉冲激光器。然而使用声学的方案可以用廉价的现成硬件，在更长的距离下以更短的时间重建隐藏物体。

声学的方案其实原理并不复杂，系统通过扬声器发射声波，声波经过墙壁散射到隐藏物体并反射回来。麦克风捕捉返回回声的时间信息，然后可以用受合成孔径雷达和地震成像启发的重建算法来恢复隐藏物体的几何形状。具体而言，从发射阵列发出chrip信号，并通过麦克风阵列测量返回的波形，并通过分析多次反射的声音效应来解决拐角成像的问题。所用的设备如下所示，由一列扬声器和一列麦克风组成搭配可移的轨道组成。



声场模型
所用设备比较简单，可想而知复杂的就是成像算法了。首先使用双向反射分布函数对声学散射进行建模：对于比波长大的平坦表面，会表现出镜面散射；具有与波长相当的角状几何结构的表面会表现出逆向反射散射；而对于比波长小的表面，物体周围的衍射会导致漫反射散射，不同情况如下所示。



信号的发射和接收
使用常规扬声器以高音量产生这样的脉冲在实际中是不切实际的。为此，选择发射一个调制的声学信号，使用线性调频技术，生成频率随时间线性变化的chrip信号。那么，对于单一反射器，返回信号是发射信号的延迟版本。墙壁在声波波长下表现出镜面反射，测量结果看起来像是从墙后一个镜像体积中捕获的，就好像墙壁是透明的。


由于接收信号和发射信号被混合在一起，因此对它们进行傅里叶变换，可以得到一个尖锐的频率峰值，这个峰值的频率与反射器的距离成正比。这表明，通过信号的傅里叶变换，我们能够通过分析信号的延迟来推断反射器的位置和物体的几何形状。


声学成像
共焦测量是指发射和接收位置相同或非常接近的情况，可以通过直接捕捉从物体表面反射回来的信号，来重建物体的形状。但在许多实际场景中，测量可能并不完全满足共焦条件，即扬声器和麦克风的空间位置有所不同。为了解决这种情况需要对非公焦测量进行重建，即发射和接收位置不同的情况。
为了高效处理非共焦测量，可以通过计算方法调整这些测量数据，使其能够模拟在共焦采样网格上捕获的数据。这种计算调整包括三个步骤：
  1. 重新参数化测量：
    2. 将测量数据从传统的发射和接收位置转换为中点和偏移位置的参数。
    • 中点位置表示发射和接收之间的中心点位置。
    • 偏移量用于描述发射和接收之间的相对位移。
  2. 时间维度重采样：
    • 由于非共焦测量的数据具有额外的传播时间延迟，需要对时间维度进行重采样，以将这些额外的传播时间调整回共焦测量对应的时间。这是通过对时间数据进行适当的调整和插值，消除由偏移带来的额外时间差异。
  3. 表面方向校正：
    • 对于表面法线方向不垂直于测量平面的散射体，应用额外的校正因子，调整测量的时间和位置。这一步骤考虑了散射体的表面朝向，以确保所有测量数据能够统一为模拟共焦测量的数据格式。

通过这三个步骤，非共焦测量的数据得以有效地转换为共焦测量格式，从而使得重建过程更加高效，并能够更准确地恢复三维几何形状。最终成像效果如下所示。


本文代码：https://github.com/computational-imaging/AcousticNLOS


参考文献：
[1]. David B. Lindell, Gordon Wetzstein, and Vladlen Koltun. 2019. Acoustic Non-Line-of-Sight Imaging. In Proc. CVPR.