ChatGPT可以在几秒钟内写出高效的Python代码和编写复杂的SQL查询,如果您允许,它将引导整个营销活动。 作为一个在亚马逊和微软等公司拥有十多年的经验的商业智能分析师,我很好奇,我看到这项技术从玩具转变为许多人声称愿意取代我的工具。 结果揭示了真正发生的事情:一个主要的设计选择,一个成本与性能的交易,它运行整个系统,这是一个透明度问题,这是一个足够大的差距,使任何数据专业人士怀疑。 最可怕的部分是错误的。 揭示了技巧的数学问题 我的測試是一個簡單的列表,包括從 -3000 到 3000 (在 100 間隔) 的所有數字,總共達到 61 個數字,該列表是特別設計的,因此最終的正確答案將是一個簡單的「零」。 当我给它以上升或下降顺序排列的列表时,它每次都会进行测试,它正确地识别了简单的模式: -3000 取消 3000, -2900 取消 2900 等等。 但是当你删除模式时会发生什么?我将这些准确相同的数字放入随机顺序,这打破了简单的捷径,迫使AI实际计算。 它失败了,而不是一个小额度。 失败的“表现” AI没有计算,它放置在一个 的计算。 表演 就像在看诺亚·威尔。 或 :他是一个有说服力的医生,但你绝不应该信任他对你进行实际的医疗手术.同样,AI通过计算的动作。 皮特 是 当我挑战它时,它“双检查”并获得了 错误的答案 不同 这个过程涉及广泛的握手,比如要求它把列表分成10个数字的小组,它仍然对每一个简单的10个整数进行数学错误,即使在我给它每个组的正确答案之后,它仍然无法正确地添加六个组子总数。 总的来说,我从这个回归和回归中获得了12个不同的错误答案,所有这些都来自同一个提示。 这不是处理一个“复杂”列表的失败,这是执行基本加算的完全失败,最终,它为其“心理计算错误”道歉,这是一个无价的承认,它模拟计算而不是做它。 这种快速的设计是人工智能历史上忽略了其他简单的任务的同一个原因,例如在一个单词中计算字母,其主要目标是找到最便宜的快捷,而不一定是正确的答案。 然后我发现了隐藏的计算器 那么,ChatGPT在数学上真的很差吗?不太准确。我回到第一个错误的答案,而不是回答,我点击了“思考更久”选项。 不一会儿,发生了这样的事情: # Define the list of numbers 
numbers = [ 2100, 800, -1800, 2400, 1000, -2400, 1200, ... ] 
# Calculate the sum 
total_sum = sum(numbers) 
total_sum 
# Result 0
 它在一秒钟内得到正确的答案(零)。这是“gotcha”。它一直有计算器。 这里实际上发生了什么? 这不是一个错误,我们正在看到的是设计的交易,ChatGPT在默认模式下优化速度第一,精度第二。 默认的快速路径仅限于文本。它试图通过依靠其庞大的训练数据来解决问题,其中包括学习的算法模式。对于简单的总数(如2+2)来说,这是可靠的。但是对于需要在许多步骤上真正准确的任务,如我们的61号列表,它失败了。它就像一个试图在头脑中倍增大数字的人:他们理解数学的概念,但很快失去了中间步骤的追踪和“运行”。 思考路径(使用Python计算机)是完全准确的,但运行它很昂贵,不要误会我,这个“慢”路径仍然在一秒钟内返回了答案,但对于OpenAI来说,系统成本是巨大的。 这是行动中的成本效益对比,这是我们刚刚看到的一切背后的原因。 这里是它变得个人的地方 看,这里是数据专业人士的真正风险,我们假定人工智能正在分析,而不是。 看起来像。 应该 现在,我知道答案会是什么:这都是新的“动态”系统的一部分。OpenAI自己的新闻稿称赞这一点,称之为“实时路由器”,它“快速决定”是否快速响应或“思考更长时间”对困难的问题。 当我以随机顺序给它一个61个数字的数学问题时,它的内部逻辑错误地判断了难度。它似乎认为这是一个简单的任务,它可以打碎。这告诉我路由器的振动不是调整到捕捉这种“欺骗性简单”的问题。它可能只是看查询长度或是否有数学符号。所以,而不是正确地识别这个作为一个“硬问题”,并自动参与它的思维模式,它选择了快速的,仅限于文本的路径,并继续失败。 想象一下,请人工智能“检查这个支出报告的子总数”。它用自信的单词回答“看起来正确!”你将该报告传递给一名高管,他很快做了一些心理数学并意识到你的计算是错误的。 在那一刻,你已经损害了你的信誉,因为你依靠一个工具来完成一个任务,它没有被设计来可靠地处理。 当AI数学实际上起作用时 因此,重要的是知道人工智能何时可靠执行这些任务。我的测试旨在击中特定的漏洞。 
 
 
 
 当它明确使用其代码解释器(如“思考更久”路径)。 对于简单的背景算法(例如,“我有3个苹果,再买2个苹果,我有多少?”)。 对于象征数学和解释概念(例如,“解释毕达哥伦理定理”) 正如我的测试所表明的,风险在于不知道AI处于哪种模式。 你实际上应该怎么做这个问题 这并不意味着“不要使用AI”,这意味着我们需要像专业人士一样使用它,而不是初学者。 看,如果你不记得别的什么:如果它向你显示代码,你可以信任结果;如果它只是对你说话,请怀疑。 对于任何“正确或错误”的答案,请使用“思考更长时间”,不要等待它先失败。 使用正确的工具来完成任务. 为了简单的算法,使用Excel。 它是为此而建造的,而且更可靠。 为什么要让一个“创意写作”引擎做计算机的工作? 然而,在计算前生成分析工作流程或清理数据时,使用人工智能和其代码执行是完成工作的一种强大而真正有用的方法。 这一切都归结为透明度. 人工智能不是缺陷的,因为它失败了数学;它是缺陷的,因为它隐藏了信任的面具背后的失败。 它在后口袋里有一个完美的计算机,但默认到快速,不可靠的方法,而不告诉你它正在使用哪一种方法。

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

This story contains new, firsthand information uncovered by the writer.

Data Portfolio

Read My Stories

該音頻是用故事的原始語言製作的！

ChatGPT正在用数学激光你

About Author

註釋

標籤

这篇文章刊登在

Related Stories

想赢得 HackerNoon 写作比赛吗？以下是 #crypto-api 比赛获奖者的推荐

架构师指南：构建 AI/ML 数据湖参考架构

扬帆起航：利用数据湖开发生产级 RAG 应用程序

看不见的层面：为什么用户访谈是不可替代的资产

想赢得 HackerNoon 写作比赛吗？以下是 #crypto-api 比赛获奖者的推荐

架构师指南：构建 AI/ML 数据湖参考架构

扬帆起航：利用数据湖开发生产级 RAG 应用程序

看不见的层面：为什么用户访谈是不可替代的资产

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps