如果你今天遵循围绕人工智能安全的演讲,你会被原谅认为我们站在一个存在性的悬崖的边缘,头条新闻和安全警告是无情的,描绘了一个即时和前所未有的威胁景观的画面。 每周都有一个新的,可怕的标题,似乎加剧了即将到来的危机的感觉: 
 
 “AI代理人可以被欺骗到攻击系统” 这通常是指研究表明,旨在执行有用的任务的自主人工智能系统如何可以通过被称为敌对示例或解锁技术的微妙输入来操纵,以执行恶意行动,绕过安全警卫,甚至发动针对底层基础设施的复杂攻击。 
 
 “LLMs允许新的网络攻击” 这涵盖了大语言模型(LLM)所构成的双重威胁。主要关注的是,LLM可以通过帮助新手编写令人信服的钓鱼电子邮件,生成利用代码或执行侦察来降低进入网络犯罪的门槛。 
 
 “快速注射是新的SQL注射” 正如SQL注入利用未能清除用于数据库的用户输入一样,提示注入利用未能正确隔离用户的指令(“提示”)从模型的内部操作指令,这允许攻击者控制模型的行为,导致数据泄露,未经授权的行动或政策违反。 这种不断的负面新闻和恐惧驱动分析的累积影响往往是相同的:人工智能本身就是问题,故事往往集中在与核心技术相关的固有的不稳定性,不可预测性和风险上,导致人们相信技术必须被限制,严格监管,或从根本上重新设计,以便安全。 作为一个花了多年时间分析现实世界的攻击者行为的人,这种框架总是觉得不完整。大多数声称依赖于假设,玩具示例或故意不安全的演示。 为什么MCP是一个有用的现实检查 复杂的语言模型的兴起迫切需要开发与外部资源互动的强大和标准化机制。 建立了一个关键的标准化框架,使语言模型能够安全且可预测地使用外部工具和服务。 模型背景协议(MCP) 模型背景协议(MCP) 该协议作为一个安全的中间体,允许语言模型扩展其能力,超越其内部知识和计算界限. 基本上,MCP对于将语言模型从复杂的文本处理器转化为有能力和互动的代理,可以通过安全地和背景地与更广泛的数字生态系统集成来执行现实任务至关重要。 研究方法 该分析故意避免投机或反对设置,该研究的设计采用了保守的方法,涉及五个关键步骤: 
 
 
 
 
 
 仓库识别:通过分析 GitHub 上发现的 SDK 导入模式来定位 MCP 服务器仓库。 执行验证:未成功启动的存储库被排除在分析中。 工具分析:成功运行的服务器将其暴露的工具和方案提取出来,然后使用开源和专有内部工具进行扫描。 功能地图:工具根据其潜在的行动(即它们能做什么)进行分类,无论它们是否包含已知的漏洞。 服务器排名:服务器最终根据它们所包含的曝光功能的密度和类型进行聚合和排序。 仅包含了实际运行和暴露工具的 MCP 服务器,因为不执行的攻击表面不是攻击表面。 MCP服务器实际上暴露了什么 一旦可运行服务器被隔离,一个清晰的模式出现了:MCP服务器暴露了熟悉的安全原始,而不是异国情调的AI仅有的功能。 表1 — 观察到的 MCP 能力类: 
 
 
 
 
 
 
 
 
 
 
 
 Capability Class 
 Description 
 
 
 
 Filesystem access 
 Read/write operations on files or documents 
 
 
 
 HTTP requests 
 Fetching or scraping remote URLs 
 
 
 
 Database queries 
 Structured data retrieval 
 
 
 
 Process execution 
 Local command or script execution 
 
 
 
 Orchestration 
 Tool chaining, planning, or agent control 
 
 
 
 Read-only search 
 Constrained data or API lookups 文件系统访问 在文件或文档上阅读/写作操作 HTTP 请求 检索或扫描远程 URL 数据库请求 结构化数据检索 执行过程 局部命令或脚本执行 管弦乐 工具链、规划或代理控制 只读搜索 限制数据或 API 搜索 这里的关键点是,这些原始元素已经存在于现代软件系统中,MCP只是以标准化的方式暴露它们。 跨 Real MCP 服务器的能力分布 尽管人们普遍声称,人工智能工具常常允许危险行为,但观察到的分布更具限制性。 表2 — 能力频率(可运行MCP服务器): 
 
 
 
 
 
 
 
 
 
 
 Capability 
 Relative Frequency 
 
 
 
 Filesystem access 
 Medium 
 
 
 
 HTTP requests 
 Medium 
 
 
 
 Database queries 
 Low 
 
 
 
 Process execution 
 Rare 
 
 
 
 Orchestration 
 Occasional 文件系统访问 媒介 HTTP 请求 媒介 数据库请求 低 执行过程 罕见 管弦乐 偶尔 观察: 最初的发现表明,与常见的,常常令人担忧的,关于先进人工智能系统固有的不安全性的叙述有显著差异,具体来说,对这些系统的实际利用的研究表明,任意执行命令,一种可能导致灾难性的系统妥协或数据泄露的能力,被确定为 高影响性安全漏洞。 至少 这种反直观的结果直接挑战了当前的AI模型基本上是“无视”或容易被利用的高严重性缺陷的普遍主张,这些缺陷让攻击者对潜在的基础设施有更深的控制权。而其他漏洞无疑存在,命令执行缺陷的低频率意味着,现有的强大的输入清洁、沙盒和建筑防御可能比普遍承认的更有效。 数据表明,安全努力可能更有效地用于解决更频繁发生的常见、影响较低的漏洞,而不是主要关注最罕见的,尽管最令人印象深刻的潜在利用。 真正的风险:能力组成 单独来说,许多服务器似乎是无害的。当多个原始存在于同一个服务器时,风险会增加,特别是当组织存在时。单个MCP服务器所造成的安全风险通常是最小或在单独观察时似乎是无害的。 这种加重的风险在于,当不同的原始人可以连锁或连接时产生的组合可能性。例如,一个MCP服务器可能能够读取敏感配置数据,而另一个可能能够改变防火墙规则,而第三个可能能够重新启动关键服务。 这种风险的真正转折点是引入 管制,无论是由自动化的安全工具,集装箱平台(如Kubernetes),云原生框架或复杂的脚本提供,都旨在有效地协调和管理这些分布式功能。 乐队 攻击者可以有效地指导一系列恶意行动,将无害原始人的集合转化为强大的自动化武器系统,将局部威胁转化为系统威胁,环境本身的自动化被用来对付它,以实现速度和规模的复杂多阶段攻击。 表3 - 示例组成模式: 
 
 
 
 
 
 
 
 
 
 Composition 
 Security Implication 
 
 
 
 HTTP fetch + filesystem write 
 Content injection / persistence 
 
 
 
 Database query + orchestration 
 Data exfiltration pipelines 
 
 
 
 HTTP fetch + planning 
 Prompt-injection amplification 
 
 
 
 Filesystem write + orchestration 
 Supply-chain style poisoning HTTP fetch + 文件系统编写 内容注射 / 持续性 数据库查询 + 管弦 数据泄露管道 HTTP FETCH + 计划 快速注射放大器 文件系统编写 + 管弦乐队 供应链风格中毒 MCP不是发明这些链条,它只是使它们更容易组合起来。 方案,而不是快速,定义攻击表面 在人工智能安全讨论中,特别是在法学硕士领域,一个常见的主题是对即时操纵的脆弱性,通常被称为“即时注射”。这种焦点虽然可以理解,因为其直接性,但往往掩盖了更具系统性和影响力的安全漏洞。 在这种背景下,该方案指的是整个操作框架:架构,潜在的数据模型,访问控制,编排逻辑,以及围绕核心LLM的预处理和后处理步骤。 例如,一个不安全的计划可能会: 
 
 
 
 允许不受控制的函数调用:如果该方案允许LLM调用外部API或函数而无需强大的输入验证和最少特权原则,成功的注入攻击允许侧移动,数据过滤或任意命令执行。 缺乏背景和指令的分离:将用户输入(提示)与系统指令或操作环境相混合,以允许用户输入劫持系统指令是一个方案缺陷。 在 RAG (Retrieval-Augmented Generation) 系统中使用不充分验证的输入/输出:如果获取的文档在返回提示背景之前没有得到适当的清理,或者如果系统基于输出盲目执行后处理步骤,攻击引擎会绕过核心模型的防御。 基本上,虽然即时注射证明了LLM是一个复杂的,非决定性的输入验证器,但严重的,业务关键的风险植根于模型,方案周围的脆弱排列,确保AI系统需要将安全重点从简单的防御性提示技术转移到采用声音,安装传统软件,在整个AI应用堆栈中应用安全原则,并将LLM视为一个更大的,相互连接和潜在脆弱系统的一个组成部分。 表4 - 计划限制影响: 
 
 
 
 
 
 
 
 
 
 
 Schema Pattern 
 Risk Implication 
 
 
 
 url: string 
 High (arbitrary network access) 
 
 
 
 path: string 
 High (potential traversal / overwrite) 
 
 
 
 query: string 
 Medium (depends on backend) 
 
 
 
 enum(values) 
 Low (constrained intent) 
 
 
 
 Hard-coded parameters 
 Minimal 标签: String 高(任意网络访问) 标签: String 高(潜在穿过 / 写过) 标签: String 中等(取决于后端) 标签(价值) 低意(有限意图) 硬代码参数 最低限度 在MCP服务器中,该方案是信任边界,如果工具接受不受限制的输入并将其传输到强大的水槽,那么风险是架构性的,而不是人工智能驱动的。 为什么这不是一个“AI是危险的”故事 广泛的讨论声称人工智能带来了“前所未有的风险”往往错过了更细致和建筑意义重大的现实。 或 相反,整合AI的深刻后果,特别是以LLM和智能代理的形式,是人工智能从根本上改变了做出和执行关键安全决策的位置。 新 不可管理 这不仅仅是对现有安全模型的不断升级,它代表了应用程序的构建和防御方式的深刻架构转变。 
 
 
 
 
 
 
 
 
 
 
 
 FROM: The Traditional Application Security Focus 
 TO: The Modern AI-Driven System Security Focus 
 
 
 
 UI Flows (User Interface) 
 Schemas (Data and Interaction) 
 
 
 
 Security was heavily focused on validating inputs and protecting against manipulation of front-end components and presentation layers. 
 The emphasis moves to strictly defining and validating the structure and content of data exchanged between models, tools, and the application, ensuring input and output types are rigorously adhered to. 
 
 
 
 Human Intent and Manual Vetting 
 Tool Composition and Orchestration 
 
 
 
 Logic was often designed around what a human   to do, relying on role-based access control (RBAC) and explicit permissions tied to individual actions or user profiles. intended 
 Security now centers on how the AI agent selects, chains, and uses various external tools (e.g., APIs, databases, services). The integrity and safety of the   of actions must be guaranteed, focusing on preventing prompt injection from driving unintended tool use. entire sequence 
 
 
 
 Application Logic (Hard-Coded Business Rules) 
 Execution Context Isolation (Sandboxing) 
 
 
 
 Security resided within monolithic or tightly coupled business logic, where rules were explicitly coded and easy to audit within the application's source code. 
 The focus shifts to isolating the AI model's runtime environment, ensuring that the consequences of any erroneous or malicious model output (e.g., code generation or external calls) are strictly contained and cannot impact critical infrastructure or bypass perimeter defenses. 用户界面(User Interface) 方案(数据和互动) 安全主要集中在验证输入和保护前端组件和演示层的操纵。 重点是严格定义和验证模型、工具和应用之间交换的数据的结构和内容,确保入口和输出类型严格遵守。 人类意图和手动检测 工具组成和管弦乐队 逻辑常常围绕着人类 依靠基于角色的访问控制(RBAC)和与个别操作或用户配置文件相关的明确权限。 意图 安全现在集中在人工智能代理如何选择,链接和使用各种外部工具(例如,API,数据库,服务)。 必须保证采取行动,专注于防止即时注射导致无意使用工具。 整个序列 应用逻辑(硬代码商业规则) 执行环境隔离(沙盒) 安全存在于单一或紧密相连的商业逻辑中,规则在应用程序的源代码中被明确编码并易于审核。 重点转向隔离AI模型的运行时环境,确保任何错误或恶意模型输出(例如,代码生成或外部呼叫)的后果受到严格限制,不能影响关键基础设施或绕过周边防御。 安全局域的这种转移是结构性的转变,不仅仅反映了现有安全实践的失败,它要求组织调整他们的防御策略、安全工具和开发人员的培训,以解决这些新的控制点,认识到主要的安全边界不再是应用程序的前门,而是情报管道的配置和管理。 结论:先采取措施,然后恐慌 围绕人工智能安全的普遍言论常常被恐惧和假设的最坏情况所支配,然而,对于实践者来说,改善人工智能安全的状态需要视角的转变:我们必须用测量和务实的纪律来代替恐惧。 LLM 和其他复杂的人工智能/机器控制的处理系统并不本质上不安全;它们只是功能丰富的系统. 这种功能丰富意味着它们需要对威胁建模,安全配置和运营监督的同样严格,有纪律的方法,我们已经应用于其他关键基础设施,如自动化管道和云 API。 令人不舒服但最终赋予力量的真相是,大量所谓的AI“风险”实际上是使用新语言的旧安全问题。 这是一个好消息。 这是一个好消息,因为这意味着我们没有从头开始,我们已经知道如何解决这些问题,已经建立的安全原则,框架和方法,如最少特权原则(PoLP)和防御深度架构,仍然是完全有效的。 通过将人工智能安全作为企业安全的延伸,而不是一个全新的、无法克服的问题,组织可以从瘫痪的焦虑转向有效的、可测量的风险减少。

This story contains new, firsthand information uncovered by the writer.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Read My Stories

該音頻是用故事的原始語言製作的！

每个人都说AI不安全,所以我测量了它

About Author

註釋

標籤

这篇文章刊登在

Related Stories

释放人工智能的力量。前沿技术的系统评价：摘要与介绍

State of the Noonion: Green Clock Strikes Noon

加密货币增长：创建有效的用户角色

扬帆起航：利用数据湖开发生产级 RAG 应用程序

释放人工智能的力量。前沿技术的系统评价：摘要与介绍

State of the Noonion: Green Clock Strikes Noon

加密货币增长：创建有效的用户角色

扬帆起航：利用数据湖开发生产级 RAG 应用程序

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps