作者:
(1)Mohammad AL-Smad,卡塔尔大学,卡塔尔(电子邮箱:[email protected])。
人工智能在教育领域的应用历史可以追溯到 20 世纪 60 年代,当时出现了早期的智能辅导系统。这些系统旨在为学生提供个性化指导,根据他们的个人需求和学习风格量身定制。然而,在深入探讨生成式人工智能在教育领域的发展之前,我们需要了解生成式人工智能模型的历史和演变。
2.1 生成式人工智能模型的历史与演进
生成式人工智能 (AI) 模型,尤其是语言模型 (LLM),多年来取得了显著的进步,改变了自然语言处理和各种其他创造性任务的格局 (Susarla 等人,2023 年)。在本节中,我们将深入探讨这些模型的历史根源和演化轨迹,重点介绍影响其发展的关键里程碑。
• 语言建模的早期: LLM 的发展历史始于 20 世纪 50 年代和 60 年代,当时统计自然语言处理 (NLP) 应运而生。在语言模型的初期,它主要采用统计方法来估计给定单词或单词序列在语言环境中出现的可能性。N-gram 和 n 个单词的序列是这一时期的基本技术(Russell & Norvig,2010 年)。
• 从 N-gram 到词嵌入: 2000 年代中期,随着 (Mikolov et al., 2013) 于 2013 年引入“Word2Vec”算法,出现了从基于 n-gram 的模型到使用词嵌入的关键转变。这种创新方法依赖于利用向量表示来捕捉单词的语义。这一突破为语言建模的后续发展奠定了基础。
• 基于文本的深度学习模型(即序列到序列 NLP)的进步:将词嵌入集成到语言建模中开创了一个新时代。这些向量表示用作深度学习模型(如循环神经网络 (RNN))以及后来的编码器-解码器架构的输入。这一转变对 NLP 研究产生了深远影响,包括文本摘要和机器翻译,如 (Sutskever et al., 2014) 所示。通过向量表示捕获语义上下文的能力显著提高了生成内容的质量和深度。
• Transformer 架构革命: 2017 年 Vaswani 等人提出的 Transformer 架构被认为是 NLP 和计算机视觉研究进步的转折点,尤其是语言建模研究。Transformer 架构通过引入自注意力机制代表了 NLP 的范式转变。基于 Transformer 架构开发了多种深度学习模型,例如 BERT(Devlin 等人,2018)。这项创新使模型能够捕获序列内的长距离依赖关系,从而提高生成内容的连贯性和语境性。Transformer 架构为 LLM 的后续发展奠定了基础。
• LLM 的出现:近年来,人工智能领域见证了大型语言模型 (LLM) 的激增。这些模型也被称为“基础模型”,它们在庞大而多样的数据集上进行训练,包括书籍、新闻文章、网页和社交媒体帖子,并使用数十亿个超参数进行调整 (Bommasani 等人,2021)。这种前所未有的数据规模,加上模型架构和训练技术的进步,标志着一个重要的转折点。这些基础模型对各种任务表现出非凡的适应性,包括它们最初未接受过训练的任务。ChatGPT 是生成式人工智能模型的一个典型案例。这个非凡的人工智能系统于 2022 年 11 月推出,是从生成式预训练转换器 GPT-3.5 微调而来的,该转换器最初是在大量文本和代码源数据集上进行训练的 (Neelakantan 等人,2022)。 ChatGPT 利用了人类反馈强化学习 (RLHF) 的强大功能,该技术在将大型语言模型 (LLM) 与人类意图对齐方面显示出巨大的潜力 (Christiano 等人,2017)。ChatGPT 的惊人卓越性能凸显了生成式 AI 模型训练范式转变的潜力。这种转变涉及采用指令对齐技术,例如强化学习 (Christiano 等人,2017)、提示工程 (Brown 等人,2020) 和思路链 (CoT) 提示 (Wei 等人,2022),这是朝着实现基于生成式 AI 模型构建智能服务生态系统迈出的共同一步。
这些进步的顶峰导致了生成式人工智能模型的出现,这些模型具有非凡的能力,可以理解和生成富媒体的逼真且适当的内容(包括文本、图像、音频和视频)。这些能力使得这些模型能够被广泛用于教育等不同应用领域。尽管取得了这些进步,但生成式人工智能领域也出现了一些担忧和挑战(Susarla 等人,2023 年)。像 ChatGPT 这样的模型可以很容易地适应新任务,这引发了人们对它们理解深度的质疑。人工智能公平性专家警告说,这些模型可能会延续其训练数据中编码的社会偏见(Glaser,2023 年),并将它们称为“随机鹦鹉”(Bender 等人,2021 年)。
2.2. 生成式人工智能在教育领域的应用演变
在教育中使用人工智能并非新鲜事,最早在教育中使用人工智能的尝试可以追溯到 20 世纪 60 年代初,当时伊利诺伊大学香槟分校的研究人员开发了一种名为 PLATO(自动教学操作的程序逻辑)的智能辅导系统 (ITS)(Bitzer 等人,1961 年)。PLATO 是第一个允许学生使用图形用户界面与教育材料进行交互的计算机系统,这些教育材料是使用人工智能根据他们的需要开发和调整的。另一个早期在教育中使用人工智能的例子是“自动评分器”系统,该系统于 20 世纪 60 年代开发,用于自动评分编程课程(Hollingsworth,1960 年)。
20 世纪 70 年代,个人电脑的出现促进了 ITS 的发展,当时开发的系统的一个示例是 TICCIT(分时、交互式计算机控制教学电视)(Stetten,1971 年)。TICCIT 是另一个早期的 ITS,由匹兹堡大学于 20 世纪 70 年代初开发。TICCIT 是向家庭和学校用户大规模提供个性化多媒体内容的早期尝试。
20 世纪 60 年代和 70 年代 ITS 的发展得益于学习理论和原则,这些理论和原则重视课堂上对学生进行一对一个性化辅导(例如,参见 BF Skinner 关于“程序化教学运动”的开创性工作和 Benjamin Bloom 关于“精通学习”的工作)(Block & Burns,1976)。该时期开发的 ITS 主要是基于规则的系统。20 世纪 70 年代人工智能的进步和微型计算机的出现影响了 ITS 的训练和开发方式(Reiser,2001a)。自 20 世纪 80 年代以来,基于计算机的教学和基于人工智能的教育的使用已经发展到可以实现多项教学活动的自动化(Reiser,2001b)。
20 世纪 90 年代万维网 (WWW) 的出现,使智能教育服务的传递媒介发生了重大转变 Chen 等人 (2020)。ITS 已发展到提供以机器学习模型为基础的智能、自适应和个性化学习服务。尽管 ITS 的开发和交付方式取得了这些进步,但它们的功能仅限于提供个性化的指导和学习。WWW 演变为所谓的“Web 2.0”,以及协作和社交互动的附加功能为 ITS 发展的新时代铺平了道路。根据用户与 Web 2.0 服务的交互收集数据,以及使用不同的机器学习算法在这些数据上训练软件代理的能力,使得学习分析在适应和个性化学习方面的应用取得了更多进步 (Clow, 2013)。
21 世纪见证了人工智能在教育领域的多项突破。这些突破得益于以下方面的进步:(i)硬件能力和性能(Nickolls & Dally,2010 年)、(ii)大数据挖掘(Wu 等人,2013 年)和(iii)人工智能模型和架构(即深度学习模型的出现)(LeCun 等人,2015 年)。2017 年 Transformer 深度学习架构的问世(Vaswani 等人,2017 年)被认为是开发智能软件历史的转折点(参见第 2.1 节)。此后,许多智能模型(例如生成式预训练 Transformer(GPT))开始出现(Radford 等人,2018 年)。2022 年 11 月,OpenAI 发布了基于 GPT 3.5 架构的 ChatGPT,并在短短几个月内就覆盖了超过 1 亿用户。从那时起,今天基于生成式人工智能的教育工具得到了开发,为学生提供个性化指导、自适应学习和引人入胜的学习体验(见第 4.2 节)。