人工智能的冬天及其对未来意味着什么

今天，从我们关于法学硕士历史的系列中延伸出来，我们想向您讲述“人工智能冬天”的迷人故事——人工智能研究的资金和兴趣减少的时期。你会看到兴奋和失望不断交替，但重要的研究总是坚持下去。加入我们，在这个最全面的人工智能寒冬时间轴上探索人工智能不断发展的本质。 （如果您现在没有时间，请务必保存这篇文章供以后使用！值得一读，其中有一些值得学习的课程）。 很高兴现在是夏天，因为我们正在潜入： Winter#1, 1966：机器翻译失败 Winter#2, 1969：联结主义者和神经网络研究的衰落 Winter#3, 1974：人工智能研究人员与其资助者之间的沟通差距 Winter#4, 1987：LISP 机器市场崩溃 Winter#5, 1988：没有高级机器智能 – 没有钱 Winter#1, 1966：机器翻译 正如本系列 中所讨论的，NLP 研究起源于 20 世纪 30 年代初，并始于机器翻译 (MT) 工作。然而，在 1949 年 Warren Weaver 具有影响力的 发表后，重大进步和应用开始出现。 第一版 备忘录 在接下来的几年里，发生了一些值得注意的事件：IBM 开始开发第一台机器，麻省理工学院任命了第一位机器翻译全职教授，并召开了几次专门针对 MT 的会议。随着 IBM-Georgetown 机器的公开演示，这一活动达到了顶峰，该机器于 1954 年引起了知名报纸的广泛关注。 该备忘录在研究界引起了极大的兴奋。 推动机械翻译领域发展的另一个因素是 。在此期间，中央情报局坚信发展机器翻译能力的重要性并支持此类举措。他们还认识到，该计划的影响超出了中央情报局和情报界的利益。 中央情报局（CIA）表现出的兴趣 怀疑论者 有关 IBM 乔治敦实验的头条新闻宣称诸如“ ”、“双语机器”、“机器人大脑将俄语翻译成国王英语”和“ ”等短语。然而，实际演示涉及将一组精选的仅 49 个俄语句子翻译成英语，而 。从长远来看，这项 发现人类需要大约 8,000 到 9,000 个词族的词汇才能以 98% 的准确率理解书面文本。 就像所有人工智能繁荣之后都会出现令人绝望的人工智能寒冬一样，媒体往往会夸大这些发展的重要性。 电子大脑翻译俄语 多语言天才 机器的词汇量仅限于 250 个单词 研究 这次示威活动引起了不小的轰动。然而，也有人持怀疑态度，例如诺伯特·维纳教授，他被认为是为人工智能研究奠定理论基础的早期先驱之一。甚至在韦弗的备忘录发表之前，当然，在示威之前，维纳就在 1947 年给韦弗的 中表达了他的怀疑，他说： 一封信 坦白说，我担心不同语言的词语界限太模糊，情感和国际内涵太广泛，任何准机械翻译方案都没有希望。 [...]目前来看，语言的机械化，超越为盲人设计光电阅读机会这样的阶段，似乎还为时过早。 MT的支持者和资助 然而，怀疑者似乎只是少数，因为梦想家掩盖了他们的担忧并成功获得了必要的资金。五个政府机构在资助研究方面发挥了作用：美国国家科学基金会 (NSF) 是主要捐助者，另外还有中央情报局 (CIA)、陆军、海军和空军。 到 1960 年，这些组织总共投资了近 500 万美元用于与机械翻译相关的项目。 到 1954 年，机械翻译研究已经引起了足够的兴趣，得到了美国国家科学基金会 (NSF) 的认可，该基金会向麻省理工学院 (MIT) 提供了资助。中央情报局和国家科学基金会进行了谈判，两位主任于 1956 年初进行了通信。国家科学基金会同意管理所有相关方都同意的任何理想的机器翻译研究项目。根据美国国家科学基金会1960年的证词，美国有11个团体参与了联邦政府支持的机械翻译研究的各个方面。空军、美国陆军和美国海军也表现出了极大的兴趣。 人工智能诞生 在 IBM-Georgetown 机器公开演示的第二年，麦卡锡在 1955 年发表的达特茅斯夏季会议 中创造了“人工智能”一词 提案 。这一事件引发了新一波的梦想和希望，进一步巩固了现有的技术热情。 新的研究中心应运而生，配备了增强的计算机能力和更大的内存容量。与此同时，高级编程语言也得到了发展。这些进步在一定程度上得益于 NLP 研究的主要支持者国防部的大量投资。 语言学的进展，特别是乔姆斯基提出的形式语法模型领域的进展，启发了多个翻译项目。这些发展似乎有望显着提高翻译能力。 正如约翰·哈钦斯 (John Hutchins) 在《 中所写，有许多关于即将到来的“突破”的预测。 机器翻译简史》 然而，研究人员很快就遇到了“语义障碍”，这些障碍带来了复杂的挑战，却没有直接的解决方案，导致人们越来越感到幻灭。 幻灭 在《 》一书中，约翰·哈钦斯引用了一个老生常谈的例子， 其中提到。虽然这个轶事的准确性值得怀疑，伊西多尔·平丘克甚至说这个故事可能是杜撰的，但伊莱恩·里奇用它来表明早期机器翻译系统无法处理习语。总的来说，这个例子说明了机器翻译系统与单词语义相关的问题。 威士忌是看不见的 机器翻译系统将圣经中的名言“精神愿意，但肉体软弱”转换成俄语，然后翻译回为“威士忌很烈，但肉已经腐烂了”， 圣经说“心灵固然愿意，肉体却软弱了” MT系统翻译回“威士忌很烈，但是肉已经烂了” 主要的打击来自 ALPAC 小组的 ，该小组受美国政府委托，由国家科学基金会主任 Leland Haworth 博士领导，该小组支持所阐述的基本观点。在他们的报告中，机器翻译与物理和地球科学领域各种文本的人工翻译进行了比较。 研究结果 结论：在所有审阅的示例中，机器翻译输出的准确度较低、速度较慢、成本较高且不及人工翻译全面。 在英国成功使用计算机解密德国密码后，科学家们错误地认为在语言之间翻译书面文本并不比解码密码更具挑战性。然而，事实证明，处理“自然语言”的复杂性远远超出预期。自动字典查找和应用语法规则的尝试产生了荒谬的结果。在投入了二十年和两千万美元之后，仍然看不到解决方案，促使国家研究委员会终止了这项研究工作。 1966年，国家研究委员会突然停止了对美国机器翻译研究的所有支持。 尽管语言学缺乏足够的理论基础，但由于对该领域的实际应用抱有很高的期望，因此产生了幻灭。研究人员更关注理论方面而不是实际实施。此外，有限的硬件可用性和技术解决方案的不成熟也带来了额外的挑战。 Winter#2, 1969：联结主义者和神经网络研究的衰落 第一波失望之后，第二波失望很快到来，为人工智能研究人员敲响了关于夸大声明的危险的警示。然而，在深入研究随之而来的麻烦之前，有必要了解一些背景信息。 20 世纪 40 年代，McCulloch 和 Walter Pitts 从生物神经网络的结构中汲取灵感，开始了解思维的基本原理，并 早期版本的人工神经网络。 开发了 大约十年后，即 20 世纪 50 年代，认知科学作为一门独特的学科出现，被称为“认知革命”。许多早期的人工智能模型都受到人脑运作的影响。一个著名的例子是马文·明斯基 (Marvin Minsky) 的 SNARC 系统，这是第一个模拟老鼠在迷宫中行走的计算机化人工神经网络。 (1956) 等程序的成功被认为是第一个人工智能程序， (1957) 是由艾伦·纽厄尔、赫伯特·A·西蒙和兰德公司的克利夫·肖设计的通用问题解决机器公司在这一转变中发挥了作用。 然而，在 20 世纪 50 年代末，随着研究人员将注意力转向作为智力关键的符号推理，这些方法基本上被放弃了。 逻辑理论家 通用问题解决器 一种类型的联结主义工作仍在继续：由弗兰克·罗森布拉特以坚定不移的热情倡导的感知器研究持续存在。 Rosenblatt 最初于 1957 年在康奈尔航空实验室的 IBM 704 计算机上模拟感知器。然而，随着 Marvin Minsky 和 Seymour Papert 出版的 》一书在 1969 年突然停止，该书描述了感知器的感知局限性。 《感知器 正如丹尼尔·克雷维尔 ： 所写 感知器出现后不久，一场悲惨事件进一步减缓了该领域的研究：据传言，当时弗兰克·罗森布拉特 (Frank Rosenblatt) 在一次划船事故中溺水身亡。失去了最有说服力的推动者后，神经网络研究进入了长达十五年的衰落期。 在此期间，联结主义研究仍在取得重大进展，尽管规模较小。 Paul Werbos 在 1974 年引入了 ，这是一种训练神经网络的关键算法，尽管资源有限，但该算法仍在不断取得进展。 反向传播 为联结主义项目获得主要资金仍然具有挑战性，导致他们的追求有所下降。 当约翰·霍普菲尔德（John Hopfield）、大卫·鲁梅尔哈特（David Rumelhart）等著名研究人员重新燃起了对神经网络的广泛兴趣时，冬天结束了。他们的工作重新点燃了人们对联结主义方法的热情，并为神经网络领域大规模研究和开发的复兴铺平了道路。 直到20世纪80年代中期，转折点才出现。 Winter#3, 1974：人工智能研究人员与其资助者之间的沟通差距 在 20 世纪 60 年代末和 70 年代初，明斯基和派珀特领导了麻省理工学院的 ，他们开发了称为微观世界的简化模型。他们将这项工作的总体主旨定义为： 高期望和雄心勃勃的主张往往会直接导致失望。 微观世界项目 我们认为[微观世界]非常重要，因此我们将大部分精力用于开发这些微观世界的集合，并寻找如何使用模型的暗示和预测能力，而不被它们与现实世界的不兼容所克服。字面的真理。 很快，微观世界的支持者意识到，如果不考虑人类文化的更广泛背景，即使是人类使用的最具体方面也无法定义。例如，SHRDLU 中使用的技术仅限于特定的专业领域。 明斯基、帕普特和他们的学生无法逐步将一个微观世界推广到一个更大的宇宙，或者简单地将几个微观世界组合成一个更大的集合。 微观世界的方法并没有为通用智能带来渐进的解决方案。 例如，斯坦福大学的 Shakey 机器人项目未能满足成为自动间谍设备的期望。研究人员发现自己陷入了一个越来越夸张的循环，他们在提案中承诺的超出了他们所能实现的。最终的结果往往达不到最初的承诺。 全国其他人工智能实验室也面临着类似的难以达到预期的困难。 美国国防部高级研究计划局 (DARPA) 是资助许多此类项目的国防部机构，它开始重新评估他们的方法，并要求研究人员提出更现实的期望。 1971–75：DARPA 的削减 20 世纪 70 年代初，DARPA 的语音理解研究 (SUR) 计划旨在开发能够理解口头命令和数据的计算机系统，以便在战斗场景中实现无需干预的交互。 斯坦福大学、麻省理工学院和卡内基梅隆大学等著名机构的数百万美元合同几乎变得微不足道。 经过五年时间和 1500 万美元的支出后，DARPA 突然终止了该项目，但具体原因尚不清楚。 Daniel Crevier 在他的 谈到了 DARPA 当时的资助理念： 书中 DARPA 当时的理念是“资助人，而不是项目！”明斯基是利克莱德在哈佛大学的学生，并且很了解他。正如明斯基告诉我的那样，“利克莱德给了我们一大笔钱”，并且并不特别关心细节。 包括 Bolt、Beranek、Newman, Inc. (BBN) 和卡内基梅隆大学在内的几家知名承包商在这五年中生产了著名的系统。这些系统包括 SPEECHLESS、HIM、HEARSAY-I、DRAGON、HARPY 和 HEARSAY-II，它们 在理解互联语音和处理来自多个说话者的千字词汇的句子方面取得了重大进展。 ，由于受约束的语法，用户只能猜测哪些命令适用于他们。 例如，HEARSAY-II 因使用“黑板”设备整合多种知识来源而闻名，被誉为有史以来最有影响力的人工智能程序之一。 这些系统在理解不受约束的输入方面存在局限性 尽管在这方面令人失望，但人工智能研究人员对这些项目感到自豪。 但此时，人工智能研究人员与其资助者之间关于期望的沟通差距变得太大。 1973 年：响应 Lighthill 报告，英国人工智能研究大幅减少 人工智能研究的退潮并非美国研究人员所独有。在英国，流体动力学领域的杰出人物、剑桥大学卢卡斯应用数学教授前任主席詹姆斯·莱特希尔爵士 (Sir James Lighthill) 的一份 莱特希尔将他的研究分为三个部分，称为“主题的ABC”。 报告 对人工智能研究现状造成了毁灭性打击。 “A”代表高级自动化，旨在用专用机器取代人类。 “C”表示基于计算机的中枢神经系统（CNS）研究。最后，“B”象征人工智能本身，充当A类和C类之间的桥梁。 虽然 A 类和 C 类经历了成功和失败的交替时期，但 Lighthill 强调了围绕 B 类预期桥梁活动的广泛而深刻的沮丧感。 正如他所说：“ ” 这引发了人们对人工智能作为一个综合领域的整个概念是否存在的怀疑。的研究是有效的。 该报告引发了一场 ，并在 1973 年 BBC“争议”系列节目中播出。这场题为“通用机器人是海市蜃楼”的辩论在皇家研究所举行，詹姆斯·莱特希尔爵士 (Sir James Lighthill) 与唐纳德·米奇 (Donald Michie)、约翰·麦卡锡和理查德·格雷戈里。 激烈的辩论 不幸的是，该报告的影响非常严重，导致英国人工智能研究彻底瓦解。只有爱丁堡大学、埃塞克斯大学和苏塞克斯大学等少数大学继续开展人工智能研究工作。直到1983年，人工智能研究才出现更大规模的复兴。这种复兴是由英国政府名为 Alvey 的资助计划推动的，该计划 ，以响应日本第五代项目。 拨款 3.5 亿英镑用于人工智能研究 Winter#4, 1987：LISP 机器市场崩溃 在被称为联结主义冬天的时期，逻辑理论家（1956）和一般问题解决者（1957）等符号系统在面临硬件限制的同时继续进步。由于当时计算机能力有限，这些系统只能处理玩具示例。赫伯特·西蒙 (Herbert Simon) 对于 20 世纪 50 年代至 1960 年代的情况是这样说的： 人们正在远离以知识为中心的任务，因为我们无法用当时拥有的计算机构建大型数据库。我们的第一个国际象棋程序和逻辑理论家是在一台计算机上完成的，该计算机有 64 到 100 个单词的核心和一个带有 10,000 个单词可用空间的刮鼓。所以语义并不是游戏的名称。我记得我有一个学生想要写一篇关于如何从大商店提取信息的论文。我告诉他：“不可能！你只能在一个玩具示例上完成这篇论文，我们不会有任何证据证明它是如何扩展的。你最好找点别的事做。”因此，人们确实回避了以知识为核心的问题。 1960 年左右，麻省理工学院的麦卡锡和明斯基开发了 ，一种植根于递归函数的编程语言。 LISP 因其符号处理能力和管理复杂任务的灵活性而变得如此重要，这对于早期人工智能开发至关重要。它是人工智能研究中最早使用的语言之一。然而，直到 20 世纪 70 年代初，随着拥有强大内存容量的计算机的出现，程序员才可以实现知识密集型应用程序。 LISP 这些系统构成了“专家系统”的基础，旨在整合人类的专业知识并在某些任务中取代人类。 根据计算机程序员、Y Combinator 和 Hacker News 联合创始人 Paul Graham 的 ，LISP“与现有语言截然不同”，并引入了九个创新想法。 20 世纪 80 年代标志着专家系统的兴起，将人工智能从学术领域转变为实际应用，LISP 成为首选的编程语言。 文章 专家系统的发展代表了人工智能领域的一个重要里程碑，弥合了学术研究和实际应用之间的差距。卡内基梅隆大学的 John McDermott 于 1980 年 1 月提出了第一个名为 XCON (eXpert CONfigurer) 的专家系统。数字设备公司 (DEC) 使用 XCON 来简化其 VAX 计算机的配置过程。到 1987 年，XCON 处理了大量订单，证明了其影响力和有效性。 1981 年，CMU 开始开发名为 Xsel 的新系统。开发工作后来由 DEC 接管，并于 1982 年 10 月开始现场测试。虽然 Xcon 和 Xsel 获得了广泛的宣传，但它们仍处于原型阶段。时任 Xsel 项目经理的布鲁斯·麦克唐纳 (Bruce Macdonald) 开始抗议，认为宣传远远超过了所取得的成就，但负责销售的副总裁并不打算停止。事实上，麦克唐纳记得在与高级管理人员的会议上，负责销售的副总裁看着他说： “你已经在这件事上工作了三年了。还没准备好吗？” 20 世纪 80 年代初出现了大量专家系统的成功案例，导致许多大公司成立了人工智能团队。个人电脑的兴起、星球大战电影的流行以及《发现》和《高科技》等杂志促使公众对人工智能产生了浓厚的兴趣。 ： 20 世纪 70 年代末价值数十亿美元的生物技术热潮激发了对高科技的投资兴趣，促使领先的人工智能专家开始新的冒险 经常被称为“专家系统之父”的爱德华·费根鲍姆 (Edward Feigenbaum) 与他的一些斯坦福大学同事创立了 Teknowledge, Inc.。 卡内基梅隆大学的研究人员成立了卡内基集团。 麻省理工学院的衍生品足够多，可以在马萨诸塞州剑桥市创建一条名为“AI Alley”的地带。这些初创公司包括 Symbolics、Lisp Machines, Inc. 和 Thinking Machines Corporation。 研究员拉里·哈里斯离开达特茅斯成立人工智能公司。 耶鲁大学的罗杰·尚克 (Roger Schank) 负责监督认知系统公司 (Cognitive Systems, Inc.) 的成立。 当时出现的公司可以分为三大领域，从销售额最大的到销售额较小的： 与 AI 相关的硬件和软件，特别是称为 LISP 机器的微型计算机，专用于以接近大型机速度运行 LISP 程序 大公司使用称为“专家系统开发工具”或“外壳”的软件来开发其内部专家系统。 实际专家系统应用 。 1986年，美国人工智能相关软硬件销售额达到4.25亿美元，新成立公司40家，总投资3亿美元。 到 1985 年，150 家公司在内部人工智能团队上总共花费了 10 亿美元 爆炸性增长带来了挑战，学术界因记者、风险投资家、行业猎头和企业家的涌入而感到拥挤。 1980年，美国人工智能协会首次会议吸引了大约 ，而到1985年，AAAI和IJCAI的联合会议吸引了 与会者。气氛从休闲装转变为正式装。 1000名研究人员 近6000名 1984 年，在 AAAI 年会上，Roger Schank 和 Marvin Minsky 警告即将到来 。 的“人工智能冬天”，预测人工智能泡沫即将破裂（三年后确实发生了），以及基于 LISP 的专门人工智能市场硬件崩溃了 Sun Microsystems 和 Lucid 等公司提供了功能强大的工作站和 LISP 环境作为替代方案。通用工作站给 LISP Machines 带来了挑战，促使 Lucid 和 Franz LISP 等公司为 UNIX 系统开发 和可移植的 LISP 版本。后来，Apple 和 IBM 的台式计算机出现了，具有更简单的架构来运行 LISP 应用程序。到 1987 年，这些替代方案的性能已与昂贵的 LISP 机器相匹配，从而使专用机器变得过时。 越来越强大 这个价值 5 亿美元的行业在一年之内就被迅速取代。 20 世纪 90 年代：抵制新的专家系统部署和维护 LISP 机器市场崩溃后，更先进的机器取代了它们，但最终也遭遇了同样的命运。到 20 世纪 90 年代初，大多数商业 LISP 公司，包括 Symbolics 和 Lucid Inc.，都失败了。德州仪器和施乐也退出了该领域。一些客户公司继续维护基于 LISP 构建的系统，但这需要支持工作。 在 20 世纪 90 年代及以后，“专家系统”一词和独立人工智能系统的概念基本上从 IT 词典中消失了。对此有两种解释。一种观点认为“专家系统失败了”，因为它们无法兑现其夸大的承诺，无法引领 IT 世界继续前进。另一种观点认为，专家系统是其成功的受害者。随着 IT 专业人员接受规则引擎等概念，这些工具从用于开发专业专家系统的独立工具转变为许多工具中的标准工具。 Winter#5, 1988：没有高级机器智能 – 没有钱 1981年，日本公布了他们雄心勃勃的第五代计算机项目计划，引起了全世界的关注。美国历来为人工智能研究和技术专业知识提供国防部资助，因此于 1983 年启动了战略计算计划 (SCI)。 SCI 旨在在十年内开发先进的计算机硬件和人工智能。 作者描述了“SCI 设想的机器”： 《战略 计算：DARPA 和机器智能的探索，1983-1993》的 它每秒可以运行 100 亿条指令，像人类一样看、听、说和思考。所需的整合程度将与人脑（人类已知的最复杂的工具）所达到的程度相媲美。 战略计算计划 (SCI) 下的一个著名项目是“智能卡车”或 项目。它获得了 SCI 年度预算的很大一部分，旨在开发用于各种任务的多功能机器人。这些任务包括武器投送、侦察、弹药处理和后方补给。目标是创造一种能够穿越崎岖地形、克服障碍并利用伪装的车辆。最初，轮式原型仅限于道路和平坦的地面，但最终产品预计可以通过机械腿穿越任何地形。 自动陆地车辆 (ALV) 到 20 世纪 80 年代末，人们发现该项目距离达到理想的机器智能水平还差得很远。主要挑战源于缺乏有效且稳定的管理结构来协调该计划的不同方面并共同推动它们实现机器智能的目标。人们曾多次尝试对 SCI 实施管理方案，但都没有成功。此外，SCI的雄心勃勃的目标，例如ALV项目的自动驾驶能力，超出了当时可实现的目标，类似于当代多模态人工智能系统和难以捉摸的AGI（通用人工智能）概念。 。在 中，帕梅拉·麦考达克描述了施瓦茨对战略计算计划和人工智能的作用的态度： 1987 年，杰克·施瓦茨 (Jack Schwarz) 接管了信息处理技术办公室 (IPTO)，在他的领导下，DARPA 内部对人工智能研究的资助有所减少 《思考的机器：对人工智能的历史和前景的个人探究》 施瓦茨认为，DARPA 使用的是游泳模型——设定一个目标，然后不管水流或风暴如何划向目标。相反，DARPA 应该使用冲浪者模型——等待大浪，这将使其相对有限的资金能够优雅地、成功地实现同一目标。从长远来看，人工智能是可能的、有前途的，但它的浪潮尚未兴起。 尽管未能实现高水平的机器智能，SCI 确实实现了特定的技术里程碑。例如，到1987年，ALV已经展示了双车道道路上的自动驾驶能力、避障能力以及不同条件下的越野驾驶能力。 SCI ALV 计划首创的摄像机、激光扫描仪和惯性导航装置的使用为当今商用无人驾驶汽车的发展奠定了基础。 正如 中所述，1983 年至 1993 年间， 。该项目最终被 20 世纪 90 年代的加速战略计算计划以及后来的高级模拟和计算计划所继承。 战略计算：DARPA 和机器智能探索，1983-1993 国防部在 SCI 上投资了 1,000,417,775.68 美元 结论 寒冷！人工智能的冬天肯定不好玩。但最近在大型语言模型（LLM）方面取得突破的部分研究就是在那个时期完成的。在符号专家系统的鼎盛时期，联结主义研究人员继续研究神经网络，尽管规模较小。 Paul Werbos 发现的反向传播是训练神经网络的关键算法，对于进一步的进展至关重要。 20 世纪 80 年代中期，随着 Hopfield、Rumelhart、Williams、Hinton 等研究人员证明了神经网络中反向传播的有效性及其表示复杂分布的能力，“联结主义冬天”结束了。这种复兴与符号专家系统的衰落同时发生。 此后，神经网络的研究蓬勃发展，不再受任何挫折，导致了众多新模型的发展，最终为现代法学硕士的出现铺平了道路。在下一版中，我们将深入探讨神经网络研究的这一硕果累累的时期。敬请关注！ 图灵邮报的法学硕士历史： 机械翻译时代及其崩溃的原因 人工智能的迷人诞生、第一个聊天机器人以及美国国防部的力量 人工智能寒冬的故事及其今天给我们的启示 待续… 这个故事 在《图灵邮报》上。如果您喜欢本期， 《法学硕士历史》第四集，直接发送到您的收件箱。 最初发表 请订阅