如何检测人工智能生成的文本

图灵测试的图灵测试

TL;DR：一种检测 AI 生成文本的新工具。

文本生成器和文本检测器就像 😾cat and mouse🐁 的游戏。

🤖人工智能工具，尤其是 GPT 模型正在取代人类的工作。

👨‍💻即使是糟糕的程序员也会很快被替换。

那里有几种人工智能剽窃工具。

现在，来自open.ai的流行ChatGPT模型发布了自己的模型。

完整的博客文章在这里：

https://openai.com/blog/new-ai-classifier-for-indicating-ai-written-text/

让我们试试看：

1.检查我原来的解释

（我根据自己的经验写的，没有看ChatGPT的解释）

如何检测生成的 AI 文本。

人工智能可以使用预先训练的模型生成文本。

这些模型基于公共领域的文本，可以通过预测概念之间的关系来创造知识。

人工智能生成的合成文本在不引用来源的情况下提供事实。有时除非我们需要细化，否则它们的解释不是很深入。

检测生成文本的一种简单方法是比较几个已知的生成器并要求它们编写所需的文本。

另一个提示是添加一些语法错误以查看该工具是否理解其数据集，因为只有人类才会犯错误。

如果你读过许多由人工智能生成的文本，你会注意到它们使用相同的语法模式。

您可以指示生成器以其他受众为目标，使用主动语态等。

然后，您可以测量单词的距离、常用单词等。

将其与预测阈值进行比较后，您可以检查我们对文本不是由人类生成的信心有多大。

以上文字是我一个人写的，在使用了HemingwayApp或者Grammarly等几个写作辅助工具后，我把它放到了全新的工具里。

结果：分类器认为文本不太可能是 AI 生成的。 ☺

我通过了图灵测试。 ☺🧠

作为规模：

“非常不可能由 AI 生成”对应于 <0.1 的分类器阈值。在我们的挑战集中，大约 5% 的人工书写文本和 2% 的人工智能生成的文本带有此标签。

“不太可能是 AI 生成的”对应于 0.1 到 0.45 之间的分类器阈值。在我们的挑战集中，大约 15% 的人工编写文本和 10% 的人工智能生成的文本带有此标签。

“不清楚是不是AI写的”对应的分类器阈值在0.45到0.9之间。在我们的挑战集中，大约 50% 的人工编写的文本和 34% 的人工智能生成的文本都有这个标签。

“可能是 AI 生成的”对应于 0.9 到 0.98 之间的分类器阈值。在我们的挑战集中，大约 21% 的人工编写的文本和 28% 的人工智能生成的文本都有这个标签。

“可能由 AI 生成”对应于 >0.98 的分类器阈值。在我们的挑战集中，大约 9% 的人工编写的文本和 26% 的人工智能生成的文本都有这个标签。

2.查看ChatGPT的说明

ME：解释如何检测生成的 AI 文本

ChatGPT：检测 AI 生成的文本可能具有挑战性，但可以使用以下几种方法：

模式识别：人工智能生成的文本通常在句子结构、语言使用和用词选择方面表现出与人类书写的文本截然不同的模式。

统计分析：可以分析人工智能生成的文本的某些统计特征，例如字符和词频，以及不同于人类书写文本的 n-gram 分布。

人工评估：在某些情况下，人类专家可以审查文本并根据他们的经验和专业知识确定它是人类编写的还是由人工智能生成的。

AI 模型的使用：可以训练 AI 模型使用人工编写和 AI 生成文本的标记数据集来识别 AI 生成的文本。然后，该模型可用于识别新的、看不见的文本中 AI 生成的文本。

值得注意的是，人工智能技术在不断发展，新的文本生成方法正在开发中，因此这些方法可能并不总是万无一失的。

很好的解释。让我们再次使用该工具。

结果：分类器认为文本可能是 AI 生成的。😂

该模型具有人工智能生成的 > 0.9 的准确度。

这是预料之中的。

3.查看维基百科的解释

让我们剪切并粘贴这篇文章。

“自然语言生成 (NLG) 是一种产生自然语言输出的软件过程。一项被广泛引用的 NLG 方法调查将 NLG 描述为“人工智能和计算语言学的一个子领域，它与计算机系统的构建有关，可以从一些潜在的非语言信息表示中生成可理解的英语或其他人类语言文本” .

虽然人们普遍认为任何 NLG 过程的输出都是文本，但对于 NLG 系统的输入是否需要是非语言的，存在一些分歧。 NLG 方法的常见应用包括生成各种报告，例如天气和患者报告；图片说明；和聊天机器人。

自动化 NLG 可以比作人类将想法转化为文字或演讲时使用的过程。心理语言学家更喜欢用语言生成一词来形容这个过程，这个过程也可以用数学术语来描述，或者在计算机中建模以进行心理学研究。

NLG 系统也可以比作人工计算机语言的翻译器，例如反编译器或转译器，它们也可以生成从中间表示生成的人类可读代码。

与编程语言相比，人类语言往往要复杂得多，并且允许表达更多的歧义和多样性，这使得 NLG 更具挑战性。”

结果：如果文本是 AI 生成的，则分类器认为文本不清楚。 📚

置信度介于 0.45 和 0.9 之间。

查看页面的历史记录，我们看到几个人而不是那么多机器人。

我的结论是，ChatGPT 部分输入了文本，因此它正在测量过度拟合。

4. 使用人工编辑检查 ChatGPT

我获取了 ChatGPT 生成的文本，并使用我的编辑器工具自行编辑了它。

检测 AI 生成的文本可能具有挑战性，但您可以使用多种方法。

您还可以通过训练使用 AI 模型，使用人工编写和 AI 生成文本的标记数据集来识别 AI 生成的文本。

您可以使用模式识别，因为 AI 生成的文本通常在句子结构、语言使用和用词选择方面表现出与人类书写的文本相比截然不同的模式。

此外，还有人工评估，在某些情况下，人类专家可以审查文本并根据他们的经验和专业知识确定它是否由人类编写。

您还可以使用一种称为统计分析的工具来检查 AI 生成的文本的某些统计特征，例如字符和词频，以及与人类编写的文本不同的 n-gram 分布。

您可以使用该模型在新的和未见过的文本中识别 AI 生成的文本。

最后，人工智能技术正在快速发展，并且有新的文本生成方法可能并不总是万无一失的。

结果：分类器认为文本可能是 AI 生成的。 👿

我无法欺骗系统。

5.查看我之前的文章

我使用该工具检查了我的许多文章：

ChatGPT：一位 25 岁以上的高级程序员的令人惊讶的老师

结果：分类器认为文本不太可能是 AI 生成的。 😃

分 5 个难度级别进行解释：ChatGPT

结果：如果文本是 AI 生成的，则分类器认为文本不清楚。

它是准确的。我与 ChatGPT“交谈”以获取一些想法。 😳

为什么 GitHub Copilot 不会对您的工作构成威胁

结果：分类器认为文本不太可能是 AI 生成的。 😃

☝️ 你可以尝试自己的文章！

最后的想法

这是Open.ai的又一个神奇工具。

官方页面有一些关于准确性、确定性和评估的非常有趣的细节。