科技发展催生了各种人工智能，其中之一便是智能体人工智能（Agentic AI）。智能体人工智能不仅能够回答问题，还能采取行动。它们可以自主做出决策，制定计划并实现目标。这项技术的出现开启了生产力的新篇章，提供了自主助手，能够获取和整合数据，同时也带来了全新的安全漏洞。此前，关于智能体的讨论还停留在理论层面，如今已进入实践阶段。然而，由于攻击者可以利用智能体人工智能，因此需要制定既技术性强又符合实际的应对策略。 为什么智能体人工智能会改变安全方程式 传统人工智能模型的主要威胁在于其输出结果不当或不理想，这主要是由于其所接收的指令所致。然而，智能体系统则在此基础上，根据不断变化的环境反馈，赋予其自主性、目标导向行为、感知与推理、学习与适应以及交互能力。例如，智能体无需人工干预，即可完成一系列操作，包括登录控制面板、提取数据以及调用外部应用程序编程接口（API）。但是，配置错误的智能体能够以机器速度传播错误；被攻破的智能体则可能成为企业网络中隐蔽的攻击枢纽。 现代智能体人工智能安全实践支柱 为了有效保障智能人工智能的安全，组织的信息安全团队应采用三部分组成的务实框架，包括威胁建模、安全的运行时控制和可审计的治理。   1. 威胁建模 在向代理授予凭证或 API 密钥之前，对最坏情况进行建模至关重要。这是因为需要审查影响代理权限范围的问题，以及代理活动可能损害的服务，这些都可能导致灾难性后果。应对这种情况的有效方法是建立良好的威胁模型，该模型能够映射行动图，从而识别传递风险。近年来，许多研究人员和行业专家都提出了这种方法，他们还强调了威胁建模和运行时保护作为代理安全最佳实践的重要性。   2. 权限和人机交互 代理必须以最小权限原则和限时访问方式运行。启用这些工具对于确保将权限和访问权限授予与其角色相符的合适人员至关重要，并且允许代理直接请求凭证。虽然这些工具必须具备良好的安全性，但它们也能帮助代理在不泄露机密信息的情况下完成所有相关任务，例如安全自动填充或代理访问。   3. 审计 为了进一步保障智能体人工智能的安全，系统中的日志和跟踪记录必须由智能体按多步骤顺序执行。这将使智能体人工智能不仅能够记录 API 调用，还能实现其高级目标并执行内部生成的计划。所有这些对于事件后的取证以及典型组织合规团队执行的控制流程都至关重要。这也进一步证明了 OWASP 安全指南为何要针对智能体威胁提供指导，并强调在审计过程中针对不合规问题做出可追溯的决策和采取缓解措施的必要性。 现实世界中行之有效的模式 许多模式已被确定为保障智能体人工智能安全的实用且可实施的步骤，以下重点介绍其中一些。其中一种模式是能力门控，它允许限制智能体人工智能的操作范围，并为路径升级提供审批。此外，还可以监控异常的目标偏差，并自动暂停偏离目标的智能体。最后，对智能体工作流程的探测方式与安全红队测试微服务以进行对抗性测试的方式相同。因此，组织的信息安全团队必须停止将智能体视为黑盒，并且不要仅仅因为这样做更容易就授予广泛且持久的凭证。 伦理和人性的一面 智能体人工智能在行动方式上的优势对人工智能的发展产生了积极影响。然而，由于它们可能因以非预期的方式追求目标、忽视伦理价值观以及一旦部署后难以逆转其行为而失去人类控制，因此，智能体技术需要进行增强，以确保人类监督到位。如果不能正确看待这个问题，诸如“谁来批准智能体的行为？”以及“如何在不扼杀创新的前提下确保人类承担责任？”之类的问题将始终无法得到解答。因此，为了确保智能体人工智能的伦理和人文方面都得到充分考虑，必须检查以下几点： 绘制代理的行为图并识别高影响力接触点。 将所有凭证存储在保险库中，并通过代理提供临时令牌。 强制执行最小权限原则和较短的令牌生命周期。 运行对抗性测试，模拟代理人被胁迫的情况。 对于任何改变生产或转移资金的操作，都应增加人工审批环节。 结论 智能体人工智能正在以前所未有的速度重塑工作方式。尽管恶意攻击者已经制造了一些挑战，但正确的做法并非阻止智能体人工智能的创新，而是构建切实可行的安全保障机制，确保智能体发挥价值并保障安全。我们理想的未来是：智能体能够自动化日常任务，安全团队可以高枕无忧，而人类仍然是最终的决策者——这正是智能体人工智能所能提供的。因此，尽管人工智能负责执行，但人类仍然必须监督战略决策，以确保交易行为符合道德规范，并防止出现意想不到的后果。

This story contains new, firsthand information uncovered by the writer.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Read My Stories

該音頻是用故事的原始語言製作的！

阻止失控人工智能代理的实用策略

About Author

註釋

標籤

这篇文章刊登在

Related Stories

释放人工智能的力量。前沿技术的系统评价：摘要与介绍

加密货币增长：创建有效的用户角色

点击赚钱：Telegram 可能会在 Solana 之前吸引下一个 100 亿加密用户

架构师指南：构建 AI/ML 数据湖参考架构

释放人工智能的力量。前沿技术的系统评价：摘要与介绍

加密货币增长：创建有效的用户角色

点击赚钱：Telegram 可能会在 Solana 之前吸引下一个 100 亿加密用户

架构师指南：构建 AI/ML 数据湖参考架构

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps