这听起来像是科幻小说，但随着人工智能被大肆炒作，“绑架”的危险值得讨论。 情况是这样的 - 有能力建立自己的内部 LLM 的公司会将所有有价值的 IP（知识产权，涵盖从商业秘密设计到营销活动和产品策略的所有内容）投入到模型中，以便模型生成相关响应。从本质上讲，虽然它仍然是一个非感知的 AI 模型，但它也是公司拥有的所有最有价值信息的存储库。 这使得它成为犯罪分子甚至是不道德竞争对手的绝佳目标。如果可以对它进行毒害以产生不良响应，对其进行克隆以向攻击者提供他们不知道如何处理的更多内部信息，甚至以某种方式锁定它以勒索赎金，那么它就可以对公司造成巨大损害。  公司努力保护其系统，经常有头条新闻报道大型企业遭到入侵。包含公司所有信息的 LLM 模型将很快成为虚拟“绑架”的热门目标。 无论是使用勒索软件加密模型、窃取模型并销毁本地副本，还是将其转变为内部威胁（例如，如果 LLM 已与公司的发票和财务系统集成而没有有效的人工监督），其危害的可能性都是巨大的。 更糟糕的是，这些模型的价值将来自于它们在公司内部的可用性和可访问性。如果没有人可以使用它们，它们就只不过是一个资源消耗器。它们必须得到有效使用才能发挥价值，这意味着它们必须是可访问的。我们如何在这些系统上将可用性需求与安全性需求相匹配？ 软件安全足够吗？ 也许软件定义网络可以成为一种解决方案？问题是，任何软件解决方案本质上都容易受到攻击。如果我们谈论的是与管理系统集成的 LLM（这已经在进行中，其道德和风险本身就可以写成一篇文章 - 也许是一本书），那么恶意方很容易促使 AI 创建进一步攻击的途径。 软件解决方案以及防火墙和数据二极管等传统设备在安全的 AI 系统设计中肯定占有一席之地，但对公司如此有价值的东西值得采取更绝对的方法。如果我们采用传统方法，我们会说任何攻击的最后手段就是切断电源。最终，除非攻击者可以改变物理定律（或坐在数据中心内部，这不太可能），否则切断网络是不可战胜的。 问题在于拔下并重新连接网络需要时间——每次您想要发送授权提示时都打电话给网络工程师插入或拔出它似乎不是一个好选择。 金发姑娘防火线 我最近遇到了一款令我印象深刻的安全设备，这在当今并不常见。这并不是因为它拥有全新的量子暗网 AI 防火墙技术，正如如今许多供应商宣传的那样。相反，这是因为这家公司采用了一个非常古老的想法，对其进行了思考，并以一种为安全网络拓扑开辟了许多可能性的方式对其进行了更新。 这种方法很简单，而且几乎无懈可击（显然没有什么是 100% 安全的，但针对物理断开连接的攻击媒介非常稀少）。本质上，   （当然，与防火墙相反）会根据命令拔出网络电缆 - 或将其重新插入。它并不完全是在数据中心安排一个人随时待命来按需操纵电缆，但这是一种简单的思考方式 - 只不过这个人可以根据您选择的任何方法的提示在几分之一秒内插入或拔出电缆。 FireBreak 管理网络通常仅由防火墙隔开，而 FireBreak 本身的控制平面完全与网络隔离。我可以很容易地想象将 FireBreak 与您的票务系统结合在一起，仅在定义的更改窗口期间物理连接管理平面，从而使即使是最有特权的攻击者也无法在不经过记录过程的情况下访问它们。  “在所谓的‘后入侵时代’，安全行业似乎已经接受了网络攻击是‘ 而不是‘ 的问题这一观点。在 Goldilock，我们希望找到一种方法，让个人和组织能够对其数据的行为承担更多责任和控制权。我们的旗舰产品 FireBreak 就是基于这个想法而诞生的。其基于硬件的方法使用户能够远程、即时且无需使用互联网对所有数字资产（从 LLM 到整个网络）进行物理分段。 何时’ 是否’ 这样一来，用户可以在世界任何地方根据需要进行物理连接和断开连接，隐藏任何资产并增强现有的防御深度，包括针对本质上只是一种软件的人工智能。 最终，我们希望人们重新思考哪些信息需要保持在线，并摆脱可能暴露敏感数据的“始终在线”模式。因为任何保持在线的数据都有被泄露的风险。随着越来越多的公司在内部培训自己的 LLM 模型，需要做出新的安全考虑。网络分段应该是整体网络安全战略的一部分，该战略可以阻止不良行为者，并确保在他们确实违反外部参数时可以立即阻止他们。  —— Goldilock 首席执行官兼联合创始人 Tony Hasek 那么这对解决法学硕士 (LLM) 绑架事件有何帮助？  LLM 模型很大。没有人会在几秒钟内克隆一个。它们也可以异步使用 - 它们不依赖于持续连接来生成对提示的响应，并且可以轻松地在完成后重新连接并发送它，而不是在交互式会话中工作。 用户在生成提示时无需与 LLM 建立活动会话。在等待生成响应时也无需建立活动连接。只需在发送提示或接收响应所需的极短时间内进行连接，是一种非常有效的方法，可以最大限度地减少受到威胁的时间。 这种断开/重新连接发生得太快，人类无法意识到任何延迟，并且 LLM 很少有在微秒级别上时间关键的用例。 它并不是唯一适用的安全层，并且还有许多其他应用方式，但它绝对是值得思考的。

This story contains new, firsthand information uncovered by the writer.

該音頻是用故事的原始語言製作的！

锁定你的法学硕士 (LLM)：拔掉插头

About Author

註釋

標籤

这篇文章刊登在

Related Stories

Claude Sonnet 3.5 系统提示泄漏：法医分析

扬帆起航：利用数据湖开发生产级 RAG 应用程序

Floki 的 Valhalla 成为印度环斯里兰卡赛事联合赞助商

创建以用户为中心的加密产品：客户反馈的重要性

Claude Sonnet 3.5 系统提示泄漏：法医分析

扬帆起航：利用数据湖开发生产级 RAG 应用程序

Floki 的 Valhalla 成为印度环斯里兰卡赛事联合赞助商

创建以用户为中心的加密产品：客户反馈的重要性

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps