一、论文基本信息
作者 ：孙科（加州大学圣地亚哥分校）； 张新宇（加州大学圣地亚哥分校）
出版源 ：第27届移动计算和网络国际会议论文集2021年10月第160-173页
摘要 ：鲁棒语音增强被认为是音频处理的圣杯，也是人机交互的关键要求。用单通道、纯音频方法解决这个任务仍然是一项艰巨的挑战，尤其是在涉及相互竞争的扬声器和背景噪声混合的实际场景中。在本文中，我们提出了UltraSE，它使用超声波传感作为一种补充模式，将所需说话者的声音从干扰和噪声中分离出来。UltraSE使用商用移动设备（例如智能手机）发射超声波并捕捉说话者发音手势的反射。 它引入了一种多模态、多领域的深度学习框架来融合超声多普勒特征和可听语音频谱图。此外，它还利用一个基于跨模态相似性测量网络的经过对抗性训练的鉴别器来学习两种异质特征模式之间的相关性。我们实验验证了UltraSE同时提高了语音清晰度和质量，并且大大优于最先进的解决方案。
二、论文主要内容
2.1 研究的背景
人类听觉系统非常有能力在干扰扬声器和噪音的混合中挑选出语音源，这仍然是机器听觉的基本挑战。在当今人机交互和人机交互的数字通信系统的激增下，但这个问题仍然存在。示例：移动VoIP、语音命令、现场语音的后期制作等。语音分离与增强(SSE)的相关研究问题通常被认为是音频处理的圣杯。经典解决方案需要依赖先验知识（即每个扬声器的特征工程）或[1] 定向麦克风阵列来将所需的源与环境声音隔离开来。在过去的几年里，深度学习技术已经激增并显着推进了该领域，实现了单麦克风扬声器独立SSE。在分离2个净语音的混合物时，最先进的解决方案已证明平均音频质量提高了约 10 dB。然而，超过2个扬声器与背景噪声混合的具有挑战性的情况很少受到关注。最近的一个初步测试表明，现有的深度学习模型在这种情况下通常表现不佳，因为非结构化背景噪声损害了它们识别语音流中可分离结构的能力。此外，现有的纯音频方法无法解决标签排列问题，即将模型输出与所需的说话者相关联。视听算法利用说话者面部的视频记录来同时解决SSE和排列问题。然而，在特定视角和可调节照明条件下对相机的需求限制了它们的实际可用性[2]。
2.2 研究的目标
利用超声传感作为一种补充方式，将所需的说话者语音与噪声和干扰分开。 这种方法称为 UltraSE，适用于配备单个麦克风和扬声器的商品移动设备（例如智能手机）。 图1说明了该文的基本思想。在录音过程中，UltraSE 不断发出听不见的超声波，该超声波由靠近智能手机的说话者的发音（嘴唇运动）调制。 因此，麦克风记录的信号既包含可听见的声音，也包含听不见的反射。如图1 所示，虽然可听声音（“绿色”）混合了目标清晰的语音（“黑色”）和其他干扰以及背景噪声（“蓝色”），但听不见的反射（“橙色”）仅捕捉目标用户与清晰语音相关的发音手势动作。UltraSE采用DNN框架捕捉这种相关性，并对可听声音进行去噪
图1：UltraSE 针对用户手持智能手机在嘈杂环境中录制语音的场景。UltraSE 使用超声波传感作为一种补充方式，将所需说话者的声音与干扰分开。
2.4 困难与拟解决对策，
问题一：尽管存在干扰，如何通过超声波描述发音姿势？捕捉精细的发音手势是一项挑战，因为它们速度快（80厘米/秒），位移小（小于5厘米）。此外，由于谐波和硬件伪影，语音和超声波之间存在相互干扰
解决对策：充分利用了超声波的优势，即高采样率和与时间域中清晰语音的完美对齐。作者设计了发射超声波形来捕获短期高分辨率多普勒频谱图，并采用一次性发射体积校准来减少跨模态干扰。
问题二：如何设计一个 DNN 模型来融合这两种模态并表示它们的相关性？没有现有方法能够解决作为 UltraSE 基础的跨模态降噪问题，即使用一种模态（超声波）来重建受噪声/干扰污染的另一种模态（语音）。
解决对策：由于两种模态的物理特征特征不同，我们设计了一个双流 DNN 架构来处理每个模态，并设计一个自注意力机制来融合它们。 此外，作者提出了一种基于条件 GAN (cGAN) 的训练模型，该模型具有新颖的跨模态相似性测量网络，以实现这种能力。
问题三：如何提高增强语音的清晰度和质量？
解决对策：时频 (T-F) 频谱图的幅度对于语音清晰度至关重要，而相位决定了语音质量。作者将 UltraSE 扩展为两阶段多域 DNN 架构，该架构优先优化 T-F 域中的清晰度，然后在T域中重构相位以提高语音质量。根据经验观察，我们将多模态融合网络置于 T-F 域内，即发音手势与语音清晰度更相关。
2.5 技术优势
纯音频语音增强：利用T-F 域方法、T域方法和多领域方法对非语音噪声表现出可接受的性能，但它们仍然无法处理涉及多个干扰。为了解决此类语音分离问题，Deep clustering 为每个源训练语音嵌入，然后使用聚类算法将它们分离。PIT在训练过程中迭代地改变源的排列，以训练一个排列不变的语音分离模型。这些方法仍然需要先验地知道说话人的数量，并且不适用于超过3个说话人加上噪声的情况。此外，标签排列问题仍然存在——它们可以分离多个语音源，但不能自动识别哪个来自目标说话者，这可能会阻碍某些机器操作的后端任务（例如，智能手机上的语音助手）。UltraSE克服了所有这些缺陷。
多模态语音增强为了解决排列问题：视听(AV)方法使用对象面部的视频记录作为音频的提示，有许多缺点。例如除了麦克风之外，他们还需要一个额外的摄像头，在良好的光照条件下指向拍摄对象的脸部，这在许多典型用例中是不方便的，甚至是不可行的。此外，相机在许多对隐私敏感的地方无法使用。前人探索了使用超声作为增强语音的补充方式的想法。然而，这些作品都需要特殊的超声波硬件。相比之下，UltraSE 只需要智能手机上的单个音频通道，并克服了模态之间的相互干扰等实际挑战。此外，他们使用传统的方法，即非负矩阵分解和非线性回归，只显示了对环境噪声的语音增强性能，而不是语音干扰。UltraSE 通过设计多模态多域 DNN 框架进一步突破了这一想法的极限，以实现与视听方法类似的语音分离和增强性能。
无需设备的超声波传感：无设备超声波传感技术可以利用商品移动设备上的扬声器和麦克风来跟踪附近物体的距离/方向变化。最先进的超声波手势跟踪方案可以达到毫米级的精度。 除了位置和手势跟踪，最近的研究还尝试使用超声波传感进行唇读[41]。 然而，由于空间分辨率不足，它们只适合粗略的传感应用，相比之下，UltraSE 率先展示了超声波传感可以作为一种补充方式来解决鸡尾酒会问题并将语音增强提升到一个新的水平。
2.6 研究技术简述
UltraSE 代表了首个使 SSE 性能接近多通道解决方案的纯音频方法，同时克服了标签排列问题。下面简述出三个重要技术贡献：
• 作者设计了一个多模态多域 DNN 框架，用于单通道语音增强，融合了超声和语音特征，同时提高了语音清晰度和质量。
2.6.1 ULTRASE DNN 模型概述
第一步是从原始信号创建 DNN 输入特征。然后，我们设计一个两阶段、多模态、多域的 DNN 模型，该模型包括三个关键模块，简述如下。
T-F 域多模态振幅网络模块通过使用语音和超声波作为输入来生成幅度理想比率掩码 (aIRM)，即净和噪声频谱图的幅度之间的比率。它由两个子网组成。
子网 (i) 双流特征嵌入：我们的模型首先使用嘈杂语音的 T-F 频谱图和并发超声多普勒频谱图作为输入。然后，我们设计了一个双流特征嵌入架构，将不同的模态转换到相同的特征空间，同时保持它们的时域对齐。
子网 (ii) 语音和超声融合网络：然后，我们在频率维度上连接每个流的特征。进一步应用自我注意机制来融合级联特征图，让多模态信息相互“串扰”。融合的特征随后被送入 BiLSTM 层，然后是三个 FC 层。结果输出是一个幅度掩模，它与原始噪声幅度谱图相乘以生成幅度增强的T-F 谱图。
图2：UltraSE的多模态多域 DNN 设计概览。卷积层表示法：Channels@Kernel size
如图3说明了DNN 输入特征的预处理步骤工作流程。
图3：DNN 输入特征设计
图4：UltraSE基于cGAN的跨模态训练概览
基于cGAN 的跨模式训练，如图 4 所示，我们设计了一种基于 cGAN 的训练方法，以进一步去噪幅度增强的T-F频谱图。在我们的cGAN 模型中，生成器就是上面的 T-F 域多模态幅度网络；鉴别器被设计成鉴别增强的频谱图是否对应于超声传感特征。T 域相位网络。我们使用iSTFT（一个固定的 1D 卷积层）将幅度增强的 T-F 频谱图转换为T域波形。为了微调增强信号的相位，我们设计了一个编码器-解码器架构来重建相位以接近 T 域中的净语音。
• 作者设计了一个基于cGAN 的跨模态训练模型，该模型有效地捕捉了超声和语音之间的相关性以进行多模态去噪。
2.6.2 基于 CGAN 的跨模态训练
UltraSE 的基本问题是多模态降噪，即使用一种模态（超声波）来恢复被噪声/干扰污染的另一种模态（语音）。前者感知分辨率低，但无干扰，与后者相关。尽管我们有意保持两者之间的时间对齐，但很难强制多模态融合网络“理解”这种多模态相关性，因为传统的损失函数（例如MSE）只能训练网络来清理端到端的TF频谱。 因此，我们提出了一种基于 cGAN 的训练方法，该方法隐含地将跨模态相关性的最大化本身作为训练目标。
任何GAN设计中的一个关键要素是定义鉴别器使用的相似度度量。与在相同类型特征之间进行比较的传统 GAN 应用程序（例如图像生成）不同，我们的跨模态 cGAN 需要区分增强的 TF 语音频谱图是否与超声多普勒频谱图匹配（即，它们是“真实的”还是“假”对）。 我们提出了一个跨模式的 Siemese 神经网络来应对这一挑战。Siamese 神经网络使用共享权重和模型架构，同时在两个不同的输入向量上协同工作以计算可比较的输出向量。它传统上用于测量来自相同模态的两个输入之间的相似性，例如，两个图像。为了启用跨模态连体神经网络，我们创建了两个独立的子网络（图7），旨在分别表征语音和超声的时频域特征之间的对应关系。基本架构下，这两个输入是一个 CNN-LSTM 模型。 由于人类语音在 F 域中包含谐波和空间关系，因此语音 CNN 子网络使用扩张卷积进行频域上下聚合。超声传感的多普勒频移主要包含局部特征。因此，超声 CNN 子网络仅包含传统的卷积层。在卷积之后，使用 Bi-LSTM 层来学习两种模式的长期时域信息。 最后，引入三个全连接（FC）层来分别学习两个可比较的输出向量。 我们强调，这种跨模态设计不共享架构和参数，这与传统的 Siamese 网络不同。
图5：跨模态相似性测量网络的输出 PDF
图5显示了输出的概率密度函数 (PDF)，其中较小的值表示较高的相似性。很明显他输出的真对和假对的PDF完美分离，这意味着我们的相似性测量网络可以有效地区分一对语音和超声输入是否由相同的发音姿势生成。
• 我们收集了一个新的语音数据集——UltraSpeech，并与最先进的解决方案相比验证了 UltraSE 的性能。
2.6.3 ULTRASE 实现
传统的语音数据集只包含原始语音，没有超声波传感信号。为了评估 UltraSE，我们创建了一个名为 UltraSpeech 的新数据集，其中包含两者。
数据收集：我们招募了20名流利的英语人士（4名女性，16 名男性，平均年龄 25 岁）来收集 UltraSpeech 数据集。每个参与者被要求在安静的环境中使用 2 种典型的电话持有方式（“电话”模式和“走向麦克风”模式，如图8（b）所示）在 TIMIT 语音语料库[3]中说出至少300个句子。同时，我们使用定制的 Android 应用程序 UltraRecord，通过智能手机底部的扬声器和麦克风以 96 kHz 的采样率发出超声波信号并捕获音频片段。 请注意，我们不限制用户将智能手机与嘴巴保持特定距离。总的来说，我们为每种握持方式收集了8k 5秒净的语音片段。我们遵循现有的 SSE 工作，合成混合生成嘈杂的语音数据集。干扰语音来自 TIMIT 数据集，其中包含 6300 个不同的英语句子，由 630 位说话者生成，总共持续 3.5 小时。环境噪声数据集来自 AudioSet，其中包含来自现实生活的526种噪声类型的超过170万个10秒片段，包括广泛的人类和动物声音、乐器和流派以及日常生活中常见的噪声。此外，我们生成了一个训练集，其中干扰语音和净语音来自同一个说话者。 这被广泛认为是 SSE [4] 最具挑战性的案例，因为干扰具有与所需语音无法区分的相同听觉模式。 我们将其添加到训练数据集中，以强制模型利用除了听觉特征之外的超声特征。我们的训练数据集包含由三星 Galaxy S8 智能手机收集的 15 名参与者的净语音。每个参与者的净语音都混合了 20 种不同的噪音设置。 对于每个噪声设置，干扰扬声器的数量 𝑛 均匀分布在 [0,4]中，SNR 均匀分布在 [−9, 6] dB（平均为 -1.5 dB）中。训练数据总共包含 120k 5 秒的嘈杂语音片段（300 小时）。
我们在 Pytorch 中实现了 UltraSE DNN模型。特征图的维度和每一层的参数如图 2、6、7 和表 1、2、3所示。除了最后一层应用了sigmoid 之外，ReLU 激活跟随所有层。对于训练，我们使用 Adam 优化器，初始学习率为 1𝑒 − 04，每 5 个 epoch 下降25%，总共 20 个 epoch。UltraSE有15.5M和3.1M参数用于第一阶段和第二阶段 DNN。
2.7 研究验证
2.7.1 微基准比较
在本节中，我们的默认测试数据集包括另外 5 名参与者在“Towards mic”模式下的净语音，使用三星 S8 收集。我们的测试环境包括 6 种不同的干扰加噪声设置：1𝑠 +𝑎、2𝑠 +𝑎、3𝑠 +𝑎、> 3𝑠 +𝑎、2𝑠（“s”和“a”表示干扰扬声器和环境噪声）和最难的情况 >= 2 个同说话者干扰加上噪声 (>= 2𝑠𝑠 + 𝑎)。 噪声语音信号的 SNR 水平均匀分布在 [−9, 6] dB 中。
UltraSE 的所有结果都来自从训练数据集生成的单个模型。我们将 UltraSE 与 4 种最先进的 SSE 方法进行比较，PHASEN [5]（TF 域方法）、SEGAN（T 域方法）、AVSPEECH （视听方法）、Conv-TasNet（语音分离法）。为了公平比较，我们重新实现了 PHASEN、SEGAN 和 Conv-TasNet，并在 UltraSpeech 数据集上训练和测试它们。PHASEN 和 SEGAN 只使用 1𝑠 + 𝑎 训练集，因为它们是为语音增强而不是分离而设计的。PHASEN 和 SEGAN 在 1𝑠 + 𝑎（见表 4）下的结果与原始工作相似，这表明了我们实现的正确性。对于语音分离方法，即 Conv-TasNet，我们首先在“2𝑠”环境中对其进行训练和评估，以检查我们实现的正确性。 然后，我们使用“2𝑠 + 𝑎”数据集以 2 位说话者的净语音作为基本事实来训练模型，并在表 4 中比较其他环境中的结果。对于AVSPEECH，由于我们的数据集没有录像，我们直接使用[6]中的结果作为基线。
与最先进的语音增强方法相比，UltraSE 显着提高了嘈杂和多说话人环境中的语音质量和清晰度。表4显示了在 [−9, 6] dB 范围内均匀分布的所有输入 SNR 水平下的测试结果。UltraSE 在所有4个指标上均优于 PHASEN 和 SEGAN。在 1𝑠 + 𝑎 环境中，UltraSE 实现了平均 17.25 SiSNR (18.75 ΔSiSNR) 和 3.50 PESQ。在具有多扬声器干扰的其他环境中，超声传感模式的作用更为突出，在2个基线上分别平均提高了 6.04 dB 和 9.77 dB 的 SiSNR。即使对于最困难的情况 >= 2𝑠𝑠 + 𝑎，UltraSE 仍可实现 8.97 dB SiSNR 和 2.52 PESQ。 此外，UltraSE 的性能略高于AVSPEECH，这可能是因为超声波特征的采样时间粒度比视频帧更精细，并且可以更好地与语音信号对齐。
大多数现有的语音分离方法只能在有限数量的干扰说话者（2∼3）和没有环境噪声的情况下工作[29,30,73,76]。 如表4所示，当使用“2𝑠 + 𝑎”数据集训练 Conv-TasNet 时，Conv-TasNet 在“2𝑠 + 𝑎”和“2𝑠”设置中取得了良好的性能，但在其他复杂的设置中表现不佳 环境。 相比之下，在 > 3𝑠 + 𝑎 设置下，UltraSE 优于 Conv-TasNet 约 6 dB 的 SDR 或 SiSNR，STOI 为 10%，PESQ 为 24%。
图8中的散点图显示了测试数据集中每个句子的输入和输出 SiSNR，其中包括所有 6 个环境。UltraSE 在不同环境和句子中始终如一地实现高性能，平均 14.75 dB SiSNR 增益。 即使在 -9 dB 输入的最坏情况下，增强型语音平均达到 8.86 dB SiSNR。
2.7.2 消融研究
我们进行了消融研究，以更好地了解 UltraSE 中不同设计组件的性能。 这里的测试数据集包括除了“>= 2𝑠𝑠 + 𝑎”之外的所有环境，这在实践中并不常见。 表 5 总结了结果。
“No T domain”表示没有“T do-main波形语音增强”的DNN模型。 结果表明，该模块几乎不影响 STOI，这是一种语音清晰度指标。
但它有助于分别获得 0.46 dB SDR、0.58 dB SiSNR、0.12 PESQ，这证明它可以进一步提高 T-F 域多模态网络，生成语音的感知质量。
“No cGAN”表示没有“基于 cGAN 的跨模态模型训练”的模型。 应用 cGAN 时，所有指标都显着提高，因为我们的 cGAN 设计迫使网络学习超声和语音之间的相关性，这是 UltraSE 设计背后的关键原则。
“No Fusion Network”是指超声和语音信号的特征图在时频域中直接拼接，没有融合块。 性能略有下降，因为融合块有助于多模态特征相互“串扰”。
“No Ultrasound”表示网络开头没有超声流的网络。 结果变得接近于没有超声传感的传统语音增强方法，例如，PHASEN。
2.7.3 系统效率
时间消耗：我们评估 UltraSE 在 3 个平台上的运行时处理延迟，包括 NVIDIA GTX 2020 (GPU)、Intel i9-9980 3.00GHz (CPU) 和配备 Qual comm Snapdragon 835 CPU 的三星 Galaxy S8 （手机）。前两个对应于 UltraSE 被卸载到受信任的云或边缘服务器的情况。 表6总结了结果。GPU 服务器仅经历 14.85 毫秒的延迟，这对于 VoIP 应用程序来说是可以接受的（最多 150 毫秒 [7]）。 智能手机外壳是使用三星 Galaxy S8 上的 Pytorch Mobile [8] 测量的。请注意，最新版本的 Pytorch Mobile [8] 仅支持单 CPU 处理，没有任何 GPU/NPU 支持。 因此，延迟相对较高（处理 5 秒语音需要 25.08 秒），这仅适用于离线处理应用程序，例如音频消息和录音。有大量关于提高智能手机 DNN 效率的文献 [9]，表明使用移动 GPU/NPU 可以减少 50 倍以上的延迟。 我们将为我们未来的工作探索这些解决方案。 另请注意，由于使用了 Bi-LSTM 块，UltraSE 需要以 5 秒为单位处理输入。 这意味着它的 SSE 在 5 秒的初始引导期后开始生效。
能耗：我们的实验表明，典型的智能手机（Samsung S8）可以连续使用 UltraSE 录制语音，同时发射超声波信号 60.57 小时（不显示）。 我们使用 Android Profiler [80] 进行的测量显示 UltraSE 的 CPU 负载平均为 48.7%，功耗为在 0 到 3 之间的“1”级别。当卸载到服务器时，计算能量消耗变得可以忽略不计。
唯一的开销是 UltraSE 需要将原始的 48/96 kHz 采样率的音频流上传到服务器，然后从服务器下载增强的语音。我们的实验表明，三星 S8 可以在卸载模式下连续运行 UltraSE 并通过 WiFi 上传/下载音频流 10.82 小时。服务器卸载可能会引发其他问题，例如安全性，但这超出了我们当前工作的范围。
2.7.4 泛化采样频率
通过 96 kHz 采样率数据集训练的 UltraSE 模型可直接用于增强以 48 kHz 采样率记录的测试语音。只要超声传感特征的 FFT 窗口长度和跳跃长度分别保持 85 ms 和 10 ms，48 kHz 采样率的特征分辨率与 96 kHz 采样率的情况相同。表5 显示在 96 kHz 采样率训练模型上测试 48/ 96 kHz 采样率数据集时性能下降可忽略不计。
图8：发音手势的 SNR。
握持方式：在“电话通话”模式下（图 8（a）），用户的面部部分遮挡了超声波信号，因此我们训练了一个与“朝向麦克风”模式不同的模型（图 8（c））。 UltraSE 可以使用智能手机内置的基于 IMU 的握持方式检测算法自动选择模型 [81]。
我们的实验表明，在 -1.5 dB 平均输入 SNR 下，由于遮挡，“电话呼叫”（12.47 dB SiSNR）的性能略低于“Towards mic”（13.12 dB SiSNR）。
我们进一步评估了每个模型在不同嘴到麦克风距离下的灵敏度。 图8(b) 和图 8(d) 显示了超声的平均 SNR (SNR𝑔) 与增强语音的 SiSNR。 对于两种握持方式，𝑆𝑁𝑅𝑔 远远超过 10 dB，语音 SiSNR 在 20 cm 距离内保持在 12 dB 左右。 实验表明，只要嘴到麦克风的距离保持在 20 厘米以内，UltraSE 模型的性能就会始终如一。
运动干扰：我们测量来自 3 种主要运动伪影的干扰影响，即呼吸、手势和行走。 在“朝向麦克风”和“打电话”模式下，分别在嘴巴距离麦克风 15 厘米和 2 厘米时进行了实验。(i) 呼吸频率 (~30 bpm) 远小于关节运动 (> 10 Hz)，因此它对 UltraSE 的影响可以忽略不计。(ii) 手势引入与关节运动相似的多普勒效应 [36, 40, 51]，这可能造成不可忽视的干扰。我们在推动手势干扰下测量关节手势的 SNR𝑔。 SNR𝑔 在 0° 到 90° 的 7 个不同角度每 2 cm 处进行采样，步长为 15°，靠近用户的嘴。 图 13 显示了“朝向麦克风”模式下 SNR𝑔 的空间分布 [82]。 只要手势距离嘴巴 > 25 厘米（这在日常使用场景中很常见），SNR𝑔 就会保持在 10 dB 以上，这对于 UltraSE 来说已经足够了（图 8）。 麦克风阵列可用于聚焦用户的嘴部区域以进一步减轻干扰 [40]，但这超出了 UltraSE 的范围。我们省略了“电话通话”模式，因为麦克风离嘴更近，并且感应 SNR𝑔 保持较高。(iii) 当其他人走近（0.8 m 远）时，我们发现 SNR𝑔 几乎没有受到影响，因为超声音量相对较低，并且用户的嘴更近。
总体而言，发音手势的 SNR𝑔 足够高（> 10 dB），并且 UltraSE 模型在日常使用场景中不受运动伪影的影响。
智能手机的概括：不同的智能手机可能有不同的扬声器麦克风布局。 例如，三星 S8、LG G8S ThinQ 和 VIVO X20 的底部麦克风和扬声器之间的距离分别为 5 毫米、25 毫米和 25 毫米。扬声器和麦克风的高频响应也可能因手机型号而异[83]。 将三星 S8 数据集训练的 DNN 模型直接应用到 LG G8S ThinQ 和 VIVO X20 时，增强语音的 SiSNR 分别变为 9.21 dB 和 9.53 dB。低于同款手机壳13.21 dB），但仍高于无超声传感的 SiSNR（7.68 dB）。 为了保持最佳性能，一种直接的方法是为每个电话模型执行一次训练数据收集。 或者，我们可以使用涵盖典型硬件配置的各种智能手机来丰富 UltraSpeech 数据集。 这留给我们以后的工作。
真实环境使用实验：我们要求用户在 4 个不同的真实世界环境中使用 UltraSE，即 1) 带有排气扇和流水噪音的浴室环境（平均 75 dBA）； 2）有电视噪音的客厅环境（平均55分贝）； 3) 有谈话噪音的室内会议环境（平均 60 dBA）； 4) 有车辆噪音的室外路边环境（平均 60 dBA）。 与合成嘈杂语音不同，我们无法在这些场景中捕获真实净的语音并评估 SDR、SiSNR、STOI 和 PESQ 等指标。 因此，为了评估 UltraSE 在实际使用中的性能，我们使用 ASR 单词错误率𝑊𝐸𝑅=(𝑆+𝐷+𝐼)/𝑁 作为指标，其中𝑆、𝐷、𝐼和𝑁是替换、删除的数量 ，插入，目标用户的口语总数。 具体来说，我们要求用户在 TIMIT 语音语料库中跨不同环境说出至少 50 个句子。 图 9 显示了在不同环境中使用和不使用 UltraSE 的WER。 在非语音噪声环境下，即浴室和路边，UltraSE 略微提高了 ASR 语音识别率，因为 ASR 本身具有减轻背景环境噪声干扰的能力。 在语音嘈杂的环境中，即客厅和会议室，WER 高于 100%，因为非目标用户的语音引入了许多词插入和替换。UltraSE 在这种情况下取得了显着的改进，因为它能够通过使用超声波感应将所需的说话者语音与噪声分开。
2.8 文章结论
超声波传感可以作为解决鸡尾酒会问题的补充方式。UltraSE系统引入了通用DNN机制来实现这些功能，例如，多模态多域融合网络和基于新型跨模态连体网络的基于cGAN的训练模型。UltraSE指向了一个新的方向，它融合了无线传感能力，将机器感知提升到一个新的水平。
三、阅读理解与心得
作者提出了UltraSE，它使用超声波传感作为一种补充模式，将所需说话者的声音从干扰和噪声中分离出来。UltraSE使用商用移动设备发射超声波并捕捉说话者发音手势的反射。它引入了一种多模态、多领域的深度学习框架来融合超声多普勒特征和可听语音频谱图。并且利用一个基于跨模态相似性测量网络的经过对抗性训练的鉴别器来学习两种异质特征模式之间的相关性。最后实验验证了UltraSE同时提高了语音清晰度和质量，并且优于当下先进的解决方案。
作者在第一二节分别介绍了该技术的背景与优势，中间章节介绍技术路线，最后就微观基准比较、消融研究、系统效率与泛化采样频率四个方面对实验进行评估得出超声波传感可以作为解决鸡尾酒会问题的补充方式。UltraSE 系统引入了通用 DNN 机制来实现此类功能，融合了无线传感功能，将机器感知提升到一个新的水平。但是在实验分析中不乏存在一个小问题，在系统延时上UltraSE 需要以 5 s 的片段处理输入，这意味着其SSE在5秒的初始引导期后开始生效，如果设备不支持GPU / NPU话，延迟将会很高大于可接受的范围了，基于此这将是进一步研究的对象。
通过本次阅读，使我对电子与通信技术了解了不少，让我懂得专业基本素养及其重要，一方面是专业知识的积累，另一方是英语水平的训练。今后要养成不断阅读文献的习惯，将输入更好的转化为输出，同时在阅读文献方面要做到四知，一、“知事”，了解所读论文的研究内容和研究结果，即英文中的“What had been done? What was the result”。通过阅读摘要（Abstract）或概要（Summary），可以知道研究结果，即知道“What”；而参读全文则可以知道实验方法和策略，即知道“How”。二、“知人”，学会了解研究人员以及他或他们所在研究机构等背景资料。三、“知因”，阅读一篇文章时，有三个问题需要我们思考。一是，为什么研究者能够想到做这个研究。一是，研究者为什么这样设计实验。另一个就是，如果让我们来做，我们会怎样设计我们的研究。四、“知短”，不是所有的研究论文是完美的，许多实验设计可以改进。至于所引出的未解决的问题，更是无穷尽，“真理不是绝对的”。
参考文献
[1] Quan Wang, Hannah Muckenhirn, Kevin Wilson, Prashant Sridhar, Zelin Wu, John Hershey, Rif A Saurous, Ron J Weiss, Ye Jia, and Ignacio Lopez Moreno. Voice filter: Targeted voice separation by speaker-conditioned spectrogram masking. In Proceedings of Interspeech, 2019.
[2] Triantafyllos Afouras, Joon Son Chung, and Andrew Zisserman. My lips are concealed: Audio-visual speech enhancement through obstructions. In Proceedings of Interspeech, 2019.
[3] John S Garofolo et al. Darpa timit acoustic-phonetic speech database. National Institute of Standards and Technology (NIST), 1988.
[4] Aviv Gabbay, Asaph Shamir, and Shmuel Peleg. Visual speech enhancement. In Proceedings of Interspeech, 2018.
[5] Dacheng Yin, Chong Luo, Zhiwei Xiong, and Wenjun Zeng. Phasen: A phaseand-harmonics-aware speech enhancement network. In Proceedings of AAAI, 2020.
[6] Ariel Ephrat, Inbar Mosseri, Oran Lang, Tali Dekel, Kevin Wilson, Avinatan Hassidim, William T Freeman, and Michael Rubinstein. Looking to listen at the cocktail party: A speaker-independent audio-visual model for speech separation. In Proceedings of ACM SIGGRAPH, 2018.
[7] Chris Lewis and Steve Pickavance. Implementing quality of service over cisco mpls vpns. Selecting MPLS VPN Services, 2006
[8] Pytorch Mobile, 2020. https://pytorch.org/mobile/home/.
[9] Siqi Wang, Anuj Pathania, and Tulika Mitra. Neural network inference on mobile socs. IEEE Design & Test, 2020.
你好，请问有这篇论文的数据集吗