DeepFake 技术的危险：探索 AI 生成的视频和图像的潜在风险

2020年4月，一段比利时首相索菲·威尔梅斯的视频关于冠状病毒的演讲大流行病及其与气候变化的联系在社交媒体上疯传。该视频是作为提高环境问题意识运动的一部分而分享的。

然而，视频并不是真实的。这是一个深度造假，由 Extinction Rebellion Belgium 使用人工智能技术生成，可以操纵任何人的面部表情和声音。该视频被标记为深度造假，但许多人没有注意到或忽略免责声明。一些观众对虚假演讲感到困惑和愤怒，而另一些人则称赞总理的勇气和远见。

这个例子展示了深度造假技术如何通过冒充重要公众人物来传播错误信息和影响公众舆论。它还表明检测和验证深度造假有多么困难，尤其是当它们在节制和事实核查能力有限的社交媒体平台上共享时。

想象一下，您正在观看您最喜欢的名人发表演讲的视频。他们的口才和魅力给您留下了深刻的印象，并且您同意他们的信息。但后来你发现视频不是真实的。这是一个深度造假，是一种由人工智能创造的合成媒体，可以操纵任何人的外表和声音。你感到被欺骗和困惑。

您如何相信您在网上看到和听到的内容？

这不再是一个假设场景；现在这是真实的。互联网上流传着一些著名演员、名人、政治家和有影响力的人物的深度造假。其中包括 TikTok 上汤姆·克鲁斯 (Tom Cruise) 和基努·里维斯 (Keanu Reeves) 的深度造假等。

简单来说，Deepfakes 是AI 生成的视频和图像，可以改变或捏造人物、事件和物体的真实情况。这项技术是一种人工智能，可以创建或处理看起来和听起来很逼真但不真实的图像、视频和音频。

Deepfake 技术每天都变得越来越复杂和易于使用。它可以用于各种目的，例如娱乐、教育、研究或艺术。但是，它也可能给个人和社会带来严重的风险，例如传播错误信息、侵犯隐私、损害声誉、冒充身份和影响公众舆论。

在我的上一篇文章中，我讨论了 Deepfake 技术、它的工作原理以及它的积极和消极影响。在本文中，我将探讨深度造假技术的危险以及我们如何保护自己免受其潜在危害。

Deepfake 技术如何对社会构成潜在威胁？

我曾经相信我，即使视频中的信息接近于能够从不真实中感知真实，我也觉得必须是他。直到我看到视频的结尾，我才明白其中的信息。显然，这不是摩根·弗里曼，而是一个 Deepfake 摩根·弗里曼。

在知道这些之前，我觉得听我有史以来最受尊敬的演员之一的声音很好，但最后我有点失望，事实上，我听了一个 AI 模拟。以这种速度，如果我们看到的几个视频只是 deepfakes 怎么办？对现实的威胁越来越令人担忧。

Deepfake 技术是对社会的潜在威胁，因为它可以：

• 传播错误信息和假新闻，影响舆论，破坏民主，引起社会动荡。
• 未经许可使用个人数据并制造基于图像的性虐待、勒索或骚扰，从而侵犯隐私和同意。
• 通过冒充或诽谤个人、组织或品牌来损害声誉和信誉。
• 通过启用身份盗用、欺诈或网络攻击来制造安全风险。
• Deepfake 技术还会削弱对数字生态系统的信任和信心，使验证信息的真实性和来源变得更加困难。

Deepfake 技术的危险和负面用途

尽管 deepfake 技术可能有一些积极因素，但在我们不断发展的社会中，消极因素很容易压倒积极因素。 Deepfakes 的一些负面用途包括：

1. Deepfakes 可用于在未经他们同意的情况下制作以名人或普通人为主角的虚假成人材料，侵犯他们的隐私和尊严。因为在视频中换脸、换声音已经变得非常容易了。令人惊讶，但却是事实。看看这部的惊悚片，它用第一个蜘蛛侠托比马奎尔的深度伪造取代了汤姆霍兰德。在被告知之前，您永远不会发现差异。如果有那么简单，那么任何视频更改都是可能的。

   
   

2. Deepfakes 可用于传播可能欺骗或操纵公众的错误信息和假新闻。 Deepfakes 可用于制作恶作剧材料，例如涉及政客、名人或其他有影响力人物的虚假演讲、采访或活动。

   正如我在文章开头提到的，深度伪造的比利时首相 Sophie Wilmès 的演讲，真正的 Sophie Wilmès 从未发表过。另一个案例研究是。

   
   

3. 由于deepfake技术可以进行换脸和变声，可以用来影响民意、煽动暴力或扰乱选举，破坏民主和社会稳定。

   虚假宣传是可以制造的，假的语音信息和视频很难分辨是不真实的，可以用来影响公众舆论，对政治候选人、政党或领导人进行诽谤或敲诈勒索。

   
   

4. Deepfakes 可用于通过冒充或诽谤个人、组织或品牌来损害声誉和信誉。想象一下，能够在 TikTok 上获得 Keanu Reeves的 deepfake，创建涉及客户、员工或竞争对手的虚假评论、推荐或认可。

   
   

   对于不知道的人来说，他们很容易被说服，一旦出现问题，可能会导致名誉受损和对演员失去信心。

   
   

5. Deepfakes 可用于通过启用身份盗窃、欺诈或网络攻击来制造安全风险。 2019 年，一家英国能源公司的首席执行官接到其老板（该公司德国母公司的负责人）的电话，要求向匈牙利的一家供应商转账 22 万欧元。据消息来源称，这位首席执行官承认其主管的声音带有“轻微的德国口音和悦耳的旋律”，并遵照指示在一小时内汇出资金。

   然而，来电者再次致电要求另一条电汇后，便起了疑心，后来被确认为诈骗。可悲的是，这只是他老板声音的深度伪造，最初的 220,000 欧元已转移到墨西哥并转移到其他账户。

   但这并不是deepfake欺诈的唯一事件。 Deepfake 技术已在多种情况下用于创建网络钓鱼诈骗、社会工程或其他涉及个人或财务信息的诈骗。

Deepfake 技术的伦理、法律和社会影响

1. 伦理意义

   Deepfake 技术可能会侵犯其图像或声音未经其同意而被使用的人的道德权利和尊严，例如制作虚假的色情材料、诽谤材料或涉及名人或普通人的身份盗用。当 Deepfake 技术被用于传播可能欺骗或操纵公众的错误信息、假新闻或宣传时，还会破坏社会的真相、信任和问责制的价值观。

   
   

2. 法律影响

   Deepfake 技术可能对保护知识产权、诽谤权和合同权的现有法律框架和法规构成挑战，因为它可能侵犯未经许可使用其图像或声音的人的版权、商标或形象权.

   
   

   Deepfake 技术可能会侵犯未经其同意使用其个人数据的人的隐私权。它可能会以负面或有害的方式诽谤被错误描绘的人的声誉或品格。

   
   

3. 社会影响

   Deepfake 技术会对个人和群体的社会福祉和凝聚力产生负面影响，因为它可能对 Deepfake 操纵的受害者造成心理、情感或经济伤害，他们可能会遭受痛苦、焦虑、抑郁或失去收入。

   它还可能在不同群体或社区之间造成社会分裂和冲突，煽动基于种族、性别、宗教或政治派别对某些群体的暴力、仇恨或歧视。

   
   

恐怕在未来，如果不加以控制，深度造假技术可能会被用来制造更复杂、更恶意的虚假信息和宣传形式。它还可用于制作涉及政治对手或活动家的犯罪、丑闻或腐败的虚假证据，或制作涉及客户、员工或竞争对手的虚假推荐、背书或评论。

想象一下，拥有世界领导人宣战、虚假供词或支持极端主义意识形态的深度伪造视频。这可能对整个世界都非常不利。

检测和监管 Deepfake 技术的挑战

Deepfake 检测和监管的现状仍在不断发展，面临着许多挑战。难以识别和防止 deepfake 内容在网上传播的一些原因是：

1. 进步和易于访问：随着生成深度伪造内容的人工神经网络变得更加复杂并在更大、更多样化的数据集上进行训练，深度伪造内容的质量和真实性正在提高。 deepfake 软件和服务的可用性和可负担性也在增加，使任何人都可以更轻松地在线创建和共享 deepfake 内容。
2. 检测方法的不可扩展性和不可靠性：现有的检测 Deepfake 内容的方法依赖于分析图像、视频或音频的各种特征或伪影，例如面部表情、眼球运动、皮肤纹理、光照、阴影或背景噪声.然而，这些方法并不总是准确或一致的，特别是当 deepfake 内容质量低下、压缩或编辑时。此外，这些方法不可扩展或高效，因为它们需要大量计算资源和时间来处理大量数据。
3. 复杂且有争议的法规：围绕深度造假内容的法律和道德问题在不同的司法管辖区、背景和目的之间并不明确或统一。例如，deepfake内容可能涉及知识产权、隐私权、诽谤权、合同权、言论自由权、公共利益等各种权益。然而，这些权利和利益可能相互冲突或重叠，给立法者和监管者带来两难和取舍。

4. 
   

此外，Deepfake 监管的执行和监督可能面临实际和技术上的困难，例如识别 Deepfake 内容的创建者和分发者、确定他们的责任和问责制以及实施适当的制裁或补救措施。

检测、预防和打击 Deepfake 技术的当前和未来战略和解决方案

1. 社交媒体平台的政策：社交媒体平台可以实施政策、指南和标准，通过禁止或标记有害或欺骗性的 deepfakes，或要求用户披露 deepfake 技术的使用情况，来规范其平台上 deepfake 内容的创建和传播.这种策略可以有效地减少有害或欺骗性 deepfakes 在流行和有影响力的平台（例如 Facebook、Twitter 或 YouTube）上的曝光和传播。还可以部署 Deepfake 检测和验证工具，例如数字水印、基于区块链的来源系统或反向图像搜索引擎，以防止上传任何 Deepfake。这些平台还可以与事实核查人员、研究人员或民间社会团体等其他利益相关者合作，以监控和打击深度造假内容。然而，这些解决方案可能面临可扩展性、准确性、透明度和问责制等挑战。

   
   

2. 检测算法：检测算法可以使用机器学习和计算机视觉技术来分析 deepfake 内容的特征和特征，例如面部表情、眼球运动、灯光或音频质量，并识别表明操纵的不一致或异常。研究人员可以开发和改进 deepfake 检测和验证技术，例如人工神经网络、计算机视觉算法或生物特征认证系统，以改进检测算法。

   他们还可以创建和共享用于评估 deepfake 检测和验证方法的数据集和基准，并对 deepfake 技术的社会和伦理影响进行跨学科研究。通过识别表明操纵的不一致或异常，该策略可以有效地分析特征。然而，这些解决方案可能面临数据可用性、质量和隐私等挑战，以及道德困境和双重用途风险。

   
   

3. 互联网反应：这是指在线用户和社区对深度造假内容的集体反应，例如通过标记、报告、揭穿或批评可疑或有害的深度造假，或者通过创建反叙事或模仿来揭露或嘲笑它们。用户可以采用批判性思维和媒体素养来识别和验证 deepfake 内容，也可以使用 deepfake 检测和验证工具，例如浏览器扩展、移动应用程序或在线平台来嗅探他们在社交媒体或其他平台上遇到的 deepfakes，他们可以将其报告或标记为 deepfake 内容。互联网反应策略可以有效调动在线用户和社区对 deepfake 内容的集体反应。然而，这些解决方案可能面临认知偏差、信息过载、数字鸿沟和信任问题等挑战。

   
   

4. DARPA 的举措： DARPA 的举措是指由国防高级研究计划局 (DARPA) 资助的研发项目，旨在推动深度伪造检测和缓解技术的发展，例如通过创建大规模数据集、基准和深度伪造研究的挑战.他们旨在开发能够自动检测和分析深度造假和其他形式的媒体操纵的技术。 DARPA 有两个专门用于检测 deepfakes 的项目：媒体取证 (MediFor) 和语义取证 (SemaFor)。

   
   

   • Media Forensics (MediFor)于 2021 财年结束，旨在开发自动评估照片和视频完整性的算法，并为分析师提供有关如何生成假冒内容的信息。据报道，该项目探索了识别 deepfakes 中存在的视听不一致的技术，例如像素不一致（数字完整性）、与物理定律不一致（物理完整性）以及与其他信息源不一致（语义完整性）。 MediFor 技术有望过渡到作战司令部和情报界。

     
     

   • 语义取证 (SemaFor)于 2021 年宣布，旨在通过开发能够自动检测、归因和表征伪造媒体资产的技术，让分析师在检测器和操纵器之间的斗争中占据上风。该程序旨在利用自动媒体生成器中的一个关键弱点：使所有语义正确的困难。例如，确保从新闻报道的文本到伴随的图像，再到图像本身中的元素，一切都保持一致。 SemaFor 还在开发用于自动组装和管理检测、归因和表征算法提供的证据的技术。

     此外，DARPA 还建立了deepfake 防御模型来记录人们如何移动头部和面部肌肉。该机构使用这些数据并将其集成到软件工具中，以分析“知名人士”的视频，并将行为与真实个人进行比较。

   
   

5. 法律回应：这是应用现有或新的法律法规来解决 deepfake 技术引发的法律和道德问题，例如通过保护 deepfake 虐待受害者的权益，或追究肇事者对其行为的责任.政府可以制定法律法规，禁止或限制创建和传播有害的 Deepfake 内容，例如未经同意的色情、诽谤或选举干预。他们还可以支持深度假货检测和验证技术的研究和开发，以及公共教育和宣传活动。

   一些法律针对不同国家的 deepfake 技术，但它们不是很全面或一致。

   
   

   例如：

   • 在美国， 《国防授权法》(NDAA) 要求国土安全部 (DHS)发布有关深度造假及其潜在危害的年度报告。 《生成对抗网络识别输出法》要求美国国家科学基金会 (NSC) 和美国国家标准与技术研究院 (NIS) 研究深度伪造技术和真实性措施。然而，目前还没有联邦法律明确禁止或规范 deepfake 技术。

   • 在中国，一项新法律要求被操纵的材料必须征得主体的同意并带有数字签名或水印，并且深造假服务提供商必须提供“辟谣”的方法。然而，一些人担心政府可能会利用法律来限制言论自由或审查异议的声音。

   • 在印度，没有明确的法律禁止 deepfakes，但一些现有的法律，如信息技术法或印度刑法典，可能适用于涉及 deepfakes 的诽谤、欺诈或淫秽行为。

   • 在英国，也没有针对 Deepfakes 的具体法律，但隐私、数据保护、知识产权或假冒等一些法律原则可能与有关不受欢迎的 Deepfakes 或操纵视频的纠纷有关。

     
     

   法律回应可能是对抗深度造假可疑性的有效策略。然而，这些解决方案可能面临平衡言论自由和隐私权、执行跨境管辖权以及适应快速变化的技术等挑战

对 Deepfake 技术的未来研究或行动的建议和方向

DeepFake 技术仍在兴起，并且每天都在迅速演变为更好、更逼真的版本。这就需要更积极主动地应对可能伴随这项技术的威胁。以下是我认为可以实施以减轻其负面影响的一些行动：

• 内容的验证和认证：消费者应始终通过使用反向图像或视频搜索、基于区块链的验证系统或数字水印技术来检查他们遇到或创建的内容的来源和真实性。

• 多种可靠的信息来源：数字媒体消费者应始终寻求多种可靠的信息来源，通过咨询信誉良好的媒体机构、事实核查员或专家来证实或反驳他们遇到或创建的内容。

• 开发用于验证和归因的快速、稳健和自适应检测算法和工具：应该更多地关注开发更稳健和自适应的检测算法，以应对越来越真实和多样化的 deepfake 内容，例如通过使用多模态或交叉域方法，结合人类反馈，或利用对抗性学习。应探索数字内容验证和归属的新工具和方法，例如使用基于区块链的验证系统、数字水印技术或反向图像或视频搜索，并且需要更多研究来开发和改进 deepfake 检测和验证技术，以及理解和解决深度造假技术的社会和伦理影响。

• 建立 Deepfake 技术的道德和法律框架及标准：应开展更多研究以建立 Deepfake 技术的道德和法律框架及标准，例如通过定义 Deepfake 内容的创作者和消费者的权利和责任，设定边界和合法和非法使用 deepfake 技术的标准，或执行法律法规以保护受害者并惩罚滥用 deepfake 的肇事者。需要采取更多的法律行动来制定和执行法律法规，以保护受害者和有害深度伪造内容（例如未经同意的色情内容、诽谤或选举干预）的目标的权益。

  
  

  考虑到 Deepfake 内容的跨境性和 Deepfake 技术瞬息万变的性质，行动应该协调、一致和适应性强，并且应该平衡、相称和尊重，同时考虑到言论自由和隐私权deepfake 内容的创造者和消费者。

• 促进关于 Deepfake 技术的教育和意识：未来关于 Deepfake 技术的研究或行动应促进各利益相关者对 Deepfake 技术的教育和意识，例如为记者、事实核查员、教育工作者、政策制定者和公众提供培训和指导关于如何负责任地、批判性地创建、消费和回应 deepfake 内容。

• 报告或标记可疑或有害内容：消费者应了解深度造假内容的存在和流行，并应使用批判性思维和媒体素养技能来识别和验证它。他们应该使用社交媒体平台、执法机构或民间社会组织提供的报告工具或机制，快速报告或标记他们在社交媒体或其他平台上遇到的 deepfake 内容。

• 尊重他人的权益：数字媒体制作者在创建或分享涉及深度造假技术的内容时，应通过征得同意、披露深度造假技术的使用，或避免恶意或欺骗性目的，始终尊重他人的权益。他们应该意识到 deepfake 技术的潜在危害和好处，并应按照同意、诚信和问责制的原则，负责任和合乎道德地使用它。

结论

Deepfake 技术有可能创建虚假或误导性内容，以各种方式伤害个人或群体。然而，deepfake 技术也可以在娱乐、媒体、政治、教育、艺术、医疗保健和可访问性方面发挥积极作用。因此，重要的是要平衡 deepfake 技术的风险和收益，并开发有效且合乎道德的方法来检测、预防和监管它。

为了实现这一目标，政府、平台、研究人员和用户需要通力合作，协调努力，并提高他们的意识和责任感。通过这样做，我们可以利用 deepfake 技术的力量和潜在好处，同时最大限度地减少其危害。