了解说话人识别和对抗性语音攻击

链接表

摘要和简介

背景和动机

鹦鹉训练：可行性和评估

PT-AE 生成：联合可转移性和感知视角

优化的黑盒 PT-AE 攻击

实验评估

相关工作

结论和参考文献

附录

II. 背景和动机

在本节中，我们首先介绍说话人识别的背景，然后描述黑盒对抗攻击公式，以创建针对说话人识别的音频 AE。

A.说话人识别

近年来，说话人识别越来越流行。它使机器能够通过说话人的个人语音特征来识别说话人，从而提供个性化服务，例如便捷的登录 [4] 和个性化的通话和消息体验 [1]。通常，说话人识别任务包括三个阶段：训练、注册和识别。需要强调的是，说话人识别任务 [29]、[118]、[113] 可以是 (i) 基于多个说话人的说话人识别 (SI) 或 (ii) 基于单个说话人的说话人验证 (SV)。具体来说，SI 可分为闭集识别 (CSI) 和开集识别 (OSI) [39]、[29]。我们在附录 A 中提供了详细信息。

B. 对抗性言论攻击

给定一个说话人识别函数 f，其输入为原始语音信号 x，输出为说话人的标签 y，攻击者的目标是找到一个小的扰动信号 δ ∈ Ω 来创建音频 AE x + δ，使得

f(x + δ) = yt, D(x, x + δ) ≤ ϵ, （1）

其中 yt ̸= y 是攻击者的目标标签；Ω 是 δ 的搜索空间；D(x, x + δ) 是一个距离函数，用于测量原始语音 x 与扰动语音 x + δ 之间的差异，可以是基于 Lp 范数的距离 [29]，[118]，也可以是听觉特征差异的度量（例如 qDev [44] 和 NISQA [113]）；ϵ 限制从 x 到 x + δ 的变化。

为了解决（1），常见的白盒攻击公式[28]，[72]可以写成

其中 J (·, ·) 是将输入 x + δ 与目标标签 yt 关联时分类器 f 中的预测损失，假设攻击者知道该标签 yt；c 是平衡攻击有效性和原始语音变化的因子。

黑盒攻击不知道 (2) 中的 J (·,·)，因此必须根据从分类器 f 获得的其他信息采用不同类型的公式化。如果攻击可以探测给出二元（接受或拒绝）结果的分类器，则攻击 [118]、[74] 可以表述为

由于 (3) 包含 f(x + δ)，攻击者必须创建一个探测策略，以不断生成不同版本的 δ 并测量 f(x + δ) 的结果，直到成功。因此，需要大量探测（例如超过 10,000 个 [118]），这使得现实世界中的攻击对于通过无线方式接受语音信号的商业说话人识别模型来说不太实用

C.设计动机

为了克服黑盒攻击繁琐的探测过程，我们旨在找到一种创建实用黑盒攻击的替代方法。鉴于如果不探测或不了解分类器的任何知识，就不可能进行黑盒攻击，我们采用 [118] 中使用的先验知识假设，即攻击者拥有目标说话者的非常短的音频样本（请注意，[118] 除了这些知识之外还必须探测目标模型）。这个假设比让攻击者知道分类器的内部结构更实用。鉴于这些有限的知识，我们的目标是消除探测过程并创建有效的 AE。

现有研究集中于有关基于真实值训练的 AE（GT-AE）的广泛方面。鹦鹉语音和鹦鹉训练的概念创造了一种新型 AE，即鹦鹉训练 AE（PT-AE），同时也提出了三个主要问题，即 PT-AE 对实际黑盒攻击的可行性和有效性：（i）PT 模型可以近似 GT 模型吗？（ii）基于 PT 模型构建的 PT-AE 是否像 GT-AE 一样可转移到黑盒 GT 模型？（iii）如何优化 PT-AE 的生成以进行有效的黑盒攻击？图 1 展示了我们针对新的、实用的和非探测性的黑盒攻击解决这些问题的总体过程：（1）我们在第三部分提出了一种两步一次性转换方法来为鹦鹉训练创建鹦鹉语音；（2）我们在第 IV 部分研究了来自 PT 模型的不同类型的 PT-AE 生成，关于它们的可转移性和感知质量； (3) 我们在第五部分中制定了基于 PT-AE 的优化黑盒攻击。然后，我们在第 VI 部分中进行全面评估，以了解所提出的攻击对商业音频系统的影响。

D.威胁模型

在本文中，我们考虑一个攻击者试图创建音频 AE 来欺骗说话人识别模型，使得模型将 AE 识别为目标说话人的声音。我们采用黑盒攻击假设，即攻击者对语音识别模型中使用的架构、参数和训练数据一无所知。我们假设攻击者有一个非常短的目标说话人的语音样本（在我们的评估中是几秒钟），可以在公共场合收集 [118]，但该样本不一定用于目标模型的训练。我们关注一个更现实的场景，其中攻击者不会探测模型，这与大多数需要大量探测的黑盒攻击研究 [113]、[29]、[118] 不同。我们假设攻击者需要对模型（例如，Amazon Echo、Apple HomePod 和 Google Assistant）发起无线注入。