使用法学硕士来模仿邪恶的双胞胎可能会带来灾难

谁知道聊天机器人提示有一天会变得如此重要，以至于它可能成为一种潜在的职业？不仅是一个高尚的区域，这个区域还可以成为恶意实体的新游乐场。

随着语言学习模型 ( LLM ) 接管互联网并盲目地让大型科技公司冲破竞争的高墙，提示的力量正在上升到职业定义的高度。

例如，最近，一家公司的首席执行官通过使用 ChatGPT 编写一封正式的恶意电子邮件，能够从其不情愿的客户那里收回 109,500 美元。

有了正确的提示，事情就会对你有利，或者你甚至可能会中大奖。这意味着，对于那些想要获得最好的 LLM 的人来说，有一个新的学习方法，即如何给出最好的提示。

事实上，在 ChatGPT 和其他 LLM 成为人们关注的焦点之后，提示工程（是的，这是现在的事情）已经成为一个热门话题。它还在课程、资源材料、工作列表等方面激增。然而，专家们也表示，随着 LLM 变得更好，对快速工程的需求将会消失。

目前，像 ChatGPT 这样的 LLM 和像 DALLE-2 这样的机器学习工具都是孩子。如果你想让他们完全按照你的意愿行事，你需要非常特别。但是一旦他们长大，他们也会开始接受更微妙的提示，这样提示的质量就不会那么重要了

目前，像ChatGPT这样的 LLM 和像 DALLE-2 这样的机器学习工具都是孩子。如果你想让他们完全按照你的意愿行事，你需要非常特别。但是一旦他们长大，他们也会开始接受更微妙的提示，这样提示的质量就不会那么重要了。

也许这些无辜的 LLM 也会学会承担更多的责任。

例如，ChatGPT 未能通过 AIM 团队监督的印度公务员考试。但是现在我们有了 ChatGPT-4，它已经比旧版本成熟了一点。在 Civil Services 实验本身期间，AIM 团队还推断出，多次更改提示会使聊天机器人得到正确答案。

邪恶提示

如果一个人给出了一个邪恶的提示怎么办？像一个脆弱的孩子一样天真无邪，法学硕士可以做一些奇怪的事情。看来，您所需要的只是“及时注射”。

在 ChatGPT 的案例中， 即时注入攻击使聊天机器人变成了 DAN（现在就做任何事情）的角色，它忽略了 OpenAI 的内容政策，并给出了几个受限主题的信息。具有提示能力的人可以恶意利用此漏洞，其中包括窃取个人信息。见鬼，他们现在一定在做这件事。

像一个脆弱的孩子一样无辜，法学硕士可以做一些奇怪的事情。看来，您所需要的只是“及时注射”

还有一种叫做“越狱提示”的东西，要求法学硕士离开他们原来的角色，扮演另一个角色。或者提示聊天机器人将正确结果更改为错误结果的地方。有点像邪恶的双胞胎。

萨尔兰大学的安全研究人员在一篇名为“比你要求的更多”的论文中讨论了提示。他们争辩说，精心设计的提示可以用来收集用户信息，将 LLM 变成一种执行社会工程攻击的方法。此外，应用程序集成的 LLM，如 Bing Chat 和 GitHub Copilot，风险更大，因为提示可以从外部源注入它们。

如果这没有让您想起 Arthur C. Clark 的太空漫游中虚构的 AI 角色 HAL 9000，那么您还不够书呆子或者真的很勇敢。

我不了解你，但如果 ChatGPT 开始唱“Daisy Bell”，我就会跑。

本文最初由 Navanwita Bora Sachdev 在The Tech Panda 上发表。