AI の冬とそれが将来に何を意味するか

LLM の歴史に関するシリーズから分岐して、今日は「AI の冬」、つまり AI 研究への資金と関心が減少した期間についての興味深い話をしたいと思います。興奮と失望が交互に繰り返される様子がわかりますが、重要な研究は常に継続します。 AI の冬の最も包括的なタイムラインで、人工知能の進化する性質を探求してみませんか。 (時間がない場合は、後で読むために必ず記事を保存してください。学ぶべき教訓がいくつか含まれているので、読む価値があります)。

夏なので良かったです。ダイビングをしているからです。

1. 1966 年冬 #1: 機械翻訳の失敗
2. Winter#2、1969 年: コネクショニストとニューラル ネットワーク研究の日食
3. 1974 年冬 #3: AI 研究者とそのスポンサーの間のコミュニケーション ギャップ
4. 1987 年冬 #4: LISP マシン市場の崩壊
5. 1988 年冬 #5: 高レベルのマシン インテリジェンスがない – お金がない

1966 年冬 #1: 機械翻訳

このシリーズの第 1 版で説明したように、NLP 研究のルーツは 1930 年代初頭にあり、その存在は機械翻訳 (MT) の研究から始まりました。しかし、1949 年にウォーレン ウィーバーの影響力のある覚書が出版されてから、重要な進歩と応用が現れ始めました。

この覚書は研究コミュニティ内で大きな興奮を引き起こしました。その後数年間で注目すべき出来事が起こりました。IBM が最初のマシンの開発に着手し、MIT が機械翻訳の初の常勤教授を任命し、MT に特化した会議がいくつか開催されました。その頂点は、1954 年に評判の高い新聞で広く注目を集めた IBM-Georgetown マシンの公開デモンストレーションで実現しました。

機械翻訳の分野を推進したもう 1 つの要因は、中央情報局 (CIA) が示した関心です。その間、CIA は機械翻訳機能の開発の重要性を強く信じており、そのような取り組みを支援しました。彼らはまた、この計画が CIA と諜報機関の利益を超えた影響を及ぼしていることも認識していた。

懐疑論者

AI ブームの後に絶望的な AI の冬が続いたように、メディアはこれらの発展の重要性を誇張する傾向がありました。 IBMとジョージタウンの実験に関する見出しでは、「電子脳がロシア語を翻訳する」、「バイリンガルマシン」、「ロボット脳がロシア語を英国王の英語に翻訳する」、「多言語の発案者」などのフレーズが宣伝された。ただし、実際のデモンストレーションでは、機械の語彙がわずか 250 語に制限され、厳選された 49 個のロシア語文のセットを英語に翻訳する必要がありました。物事を大局的に考えると、この研究では、人間が書かれた文章を 98% の精度で理解するには、約 8,000 ～ 9,000 単語群の語彙が必要であることがわかりました。

このデモンストレーションはかなりのセンセーションを巻き起こしました。しかし、AI研究の理論的基礎を築いた初期の先駆者の一人とみなされているノルベルト・ウィーナー教授のような懐疑論者もいた。ウィーバーの覚書が出版される前、そしてもちろんデモの前でさえ、ウィーナーは 1947 年にウィーバーに宛てた手紙の中で次のように疑念を表明していた。

率直に言って、さまざまな言語の単語の境界はあまりにも曖昧で、感情的および国際的な意味合いが広すぎるため、疑似機械的な翻訳スキームはあまり期待できません。 [...] 現時点では、言語の機械化は、視覚障害者のための光電式読書機会の設計などの段階を超えて、非常に時期尚早であるように思われる。

MT のサポーターと資金提供

しかし、夢想家たちが彼らの懸念を覆い隠し、必要な資金を確保することに成功したため、懐疑論者は少数派だったようです。研究の後援には 5 つの政府機関が役割を果たしました。米国科学財団 (NSF) が主な貢献者であり、中央情報局 (CIA)、陸軍、海軍、空軍も同様です。 1960 年までに、これらの組織は機械翻訳関連のプロジェクトに合わせて 500 万ドル近くを投資しました。

1954 年までに、機械翻訳の研究は、米国科学財団 (NSF) から認められるほどの関心を集め、マサチューセッツ工科大学 (MIT) に助成金を提供しました。 CIA と NSF は交渉を行い、その結果、1956 年初めに両長官の間で書簡が交わされました。NSF は、関係者全員が合意した機械翻訳に関する望ましい研究プログラムを管理することに同意しました。 1960 年の国立科学財団の証言によると、米国の 11 のグループが連邦政府の支援を受けた機械翻訳研究のさまざまな側面に関与していました。空軍、米陸軍、米海軍からも大きな関心が寄せられました。

AIの始まり

IBM-ジョージタウン マシンの公開デモンストレーションの翌年、1955 年に発表されたダートマス夏季会議の提案書の中でマッカーシーによって「AI」という用語が作られました。この出来事は夢と希望の新たな波を引き起こし、既存の概念をさらに強化しました。熱意。

強化されたコンピュータ能力と増加したメモリ容量を備えた新しい研究センターが出現しました。同時に、高級プログラミング言語の開発も行われました。これらの進歩は、部分的には、NLP 研究の主要な支援者である国防総省からの多額の投資によって可能になりました。

言語学の進歩、特にチョムスキーによって提案された形式文法モデルの分野における進歩は、いくつかの翻訳プロジェクトに影響を与えました。これらの開発により、翻訳機能が大幅に向上することが期待できるように見えました。

John Hutchins が「一言で表す機械翻訳の歴史 」で書いているように、差し迫った「ブレークスルー」についての予測は数多くありました。しかし、研究者たちはすぐに、単純な解決策のない複雑な課題を提示する「意味論的障壁」に遭遇し、幻滅感が増大しました。

幻滅

「 The Whisky Was Invisible 」では、ジョン・ハッチンズによって使い古された例が引用されています。MT システムが聖書の言葉「精神は意欲的だが、肉体は弱い」をロシア語に変換し、その後、次のように翻訳されたという話です。 「ウィスキーは強いが、肉は腐っている」と言われます。この逸話の正確さには疑問があり、イシドール・ピンチュークはこの話は偽りの可能性があるとさえ言っていますが、エレイン・リッチはこの逸話を使って、初期の MT システムがイディオムを処理できないことを示しました。一般に、この例は、単語の意味論に関連する MT システムの問題を示しています。

聖書の言葉「霊は意欲的だが肉体は弱い」

MT システムによって「ウィスキーは強いが、肉は腐っている」と翻訳されます。

主な打撃は、米国政府の委託を受け、国立科学財団理事のリーランド・ハワース博士が率いるALPACグループの調査結果によるものだった。このグループは、説明されている根本的な考え方を支持している。彼らの報告書では、物理学や地球科学のさまざまなテキストの機械翻訳と人間による翻訳が比較されています。結論: レビューされたすべての例において、機械翻訳の出力は人間の翻訳よりも精度が低く、遅く、コストがかかり、包括的ではありませんでした。

1966 年、米国研究評議会は米国における機械翻訳研究に対するすべての支援を突然停止しました。イギリスでコンピュータを使用してドイツの秘密暗号を解読することに成功した後、科学者たちは、書かれたテキストを言語間で翻訳するのは暗号を解読するのと同じくらい難しいことではない、と誤解しました。しかし、「自然言語」の処理の複雑さは予想よりもはるかに手強いことが判明しました。辞書検索を自動化し、文法規則を適用しようとすると、不合理な結果が生じました。 20年が経過し、2,000万ドルが投資された後も解決策は見当たらず、国家研究評議会委員会は研究活動を中止することになった。

言語学には十分な理論的基盤がなかったにもかかわらず、この分野での実用化に対する高い期待があったために幻滅が生じた。研究者たちは、実際の実装よりも理論的な側面に重点を置いていました。さらに、ハードウェアの可用性が限られていることと技術ソリューションが未熟であることが、さらなる課題を引き起こしました。

Winter#2、1969 年: コネクショニストとニューラル ネットワーク研究の日食

失望の第 2 波は、第 1 波の直後に到来し、誇張された主張の危険性について AI 研究者に警告する役割を果たしました。ただし、その後のトラブルについて詳しく説明する前に、いくつかの背景情報が必要です。

1940 年代、マカロックとウォルター ピッツは心の基本原理の理解に着手し、生物学的ニューラル ネットワークの構造からインスピレーションを得て人工ニューラル ネットワークの初期バージョンを開発しました。

それから約 10 年後の 1950 年代に、認知科学が「認知革命」と呼ばれる別個の学問として登場しました。初期の AI モデルの多くは人間の脳の働きに影響を受けました。注目に値する例の 1 つは、迷路を進むネズミをシミュレートした最初のコンピューター化された人工ニューラル ネットワークであるマービン ミンスキーの SNARC システムです。

しかし、1950 年代後半、研究者たちが知能の鍵としての象徴的推論に注目したため、これらのアプローチはほとんど放棄されました。最初の AI プログラムと考えられているLogic Theorist (1956 年) や、万能の問題解決マシンとして Allen Newell、Herbert A. Simon、ランドの Cliff Shaw によって設計されたGeneral Practice Solver (1957 年) などのプログラムの成功。 Corporation はこの変化に役割を果たしました。

コネクショニストの研究の 1 つである、フランク ローゼンブラットが揺るぎない熱意を持って支持したパーセプトロンの研究が継続されました。ローゼンブラットは、1957 年にコーネル航空研究所の IBM 704 コンピューターでパーセプトロンのシミュレーションを最初に行いました。しかし、この一連の研究は、マービン ミンスキーとシーモア パパートによるパーセプトロンの認識された限界を説明した書籍『パーセプトロン』の出版により 1969 年に突然中止されました。

ダニエル・クレヴィエは次のように書いています。

パーセプトロンの出現直後、悲劇的な出来事により、この分野の研究はさらに遅れました。噂によると、その時までに壊れた男だったフランク・ローゼンブラットは、ボートの事故で溺死しました。最も説得力のあるプロモーターを失ったニューラル ネットワーク研究は、15 年間続く衰退期に入りました。

この時期、規模は小さいとはいえ、コネクショニスト研究は依然として重要な進歩を遂げていました。 Paul Werbos が 1974 年に導入したバックプロパゲーションは、ニューラル ネットワークをトレーニングするための重要なアルゴリズムであり、リソースが限られていたにもかかわらず、進歩を続けました。コネクショニストプロジェクトへの大規模な資金を確保することは依然として困難であり、プロジェクトの推進は減少しました。

転機が訪れたのは 1980 年代半ばになってからでした。ジョン・ホップフィールド、デイビッド・ルメルハートなどの著名な研究者がニューラルネットワークに対する新たな広範な関心を復活させたとき、冬は終わりを迎えました。彼らの研究は、コネクショニストのアプローチに対する熱意を再燃させ、ニューラル ネットワークの分野における大規模な研究開発の復活への道を切り開きました。

1974 年冬 #3: AI 研究者とそのスポンサーの間のコミュニケーション ギャップ

高い期待や野心的な主張は、多くの場合失望に直結します。 1960 年代後半から 1970 年代前半にかけて、ミンスキーとパパートは MIT でマイクロ ワールド プロジェクトを主導し、そこでマイクロワールドと呼ばれる単純化されたモデルを開発しました。彼らは、取り組みの全体的な推進力を次のように定義しました。

私たちは[ミクロの世界]が非常に重要であると感じているため、これらのミクロの世界のコレクションを開発し、モデルとの非互換性によって克服されることなくモデルの示唆力と予測力を使用する方法を見つけることに努力の大部分を割り当てています。文字通りの真実。

ミクロワールドの支持者たちはすぐに、人間の使用の最も具体的な側面でさえ、人間文化のより広範な文脈を考慮せずには定義できないことに気づきました。たとえば、SHRDLU で使用される技術は、特定の専門分野に限定されていました。ミクロ世界のアプローチは、一般知性に対する段階的な解決にはつながりませんでした。ミンスキー、パパート、そして彼らの学生たちは、ミクロの世界をより大きな宇宙に徐々に一般化することも、いくつかのミクロの世界を単純に組み合わせてより大きなセットにすることもできませんでした。

期待に応えるという同様の困難は、全国の他の AI 研究所でも直面していました。たとえば、スタンフォード大学の Shakey ロボット プロジェクトは、自動スパイ装置になるという期待に応えることができませんでした。研究者たちは、自分たちが提案で実現できる以上のことを約束し、誇張が増大するサイクルに陥っていることに気づきました。最終結果はしばしば期待を下回り、当初の約束からは程遠いものでした。

これらのプロジェクトの多くに資金を提供している国防総省機関である DARPA は、そのアプローチを再評価し始め、研究者に対してより現実的な期待を要求しました。

1971 ～ 1975 年: DARPA の削減

1970 年代初頭、DARPA の音声理解研究 (SUR) プログラムは、戦闘シナリオでの手を使わずに対話するための口頭によるコマンドとデータを理解できるコンピューター システムを開発することを目的としていました。 5 年間と 1,500 万ドルの支出の後、DARPA はプロジェクトを突然終了しましたが、正確な理由は不明のままです。スタンフォード大学、マサチューセッツ工科大学、カーネギーメロン大学などの著名な教育機関は、数百万ドル規模の契約がほとんど取るに足らないものにまで減りました。

ダニエル・クレヴィエは著書の中で、当時の DARPA の資金提供哲学について次のように書いています。

当時の DARPA の理念は「プロジェクトではなく、人に資金を提供せよ！」でした。ミンスキーはハーバード大学でリックライダーの学生であり、彼のことをよく知っていた。ミンスキーが私に語ったところによると、「リックライダーは私たちに多額の資金をまとめて渡してくれた」とのことで、特に細かいことは気にしなかった。

ボルト、ベラネック、ニューマン社 (BBN) やカーネギー メロンなどの有名な請負業者数社が、この 5 年間に注目すべきシステムを製造しました。これらのシステムには、SPEECHLESS、HIM、HEARSAY-I、DRAGON、HARPY、および HEARSAY-II が含まれており、接続された音声の理解と、1,000 語の語彙を持つ複数の話者の文章の処理において大幅な進歩をもたらしました。

これらのシステムは、制約のない入力を理解することに限界があり、制約された文法のため、ユーザーはどのコマンドが適用されるかを推測するしかありませんでした。この点での失望にもかかわらず、AI 研究者たちはこれらのプロジェクトを誇りを持って評価しました。たとえば、「黒板」デバイスを使用して複数の知識源を統合することで知られる HEARSAY-II は、これまでに作成された中で最も影響力のある AI プログラムの 1 つとして高く評価されました。

しかしこの時点で、AI 研究者とそのスポンサーの間の期待に関するコミュニケーションのギャップが大きくなりすぎました。

1973年：ライトヒル報告書を受けて英国でのAI研究が大幅に減少

AI研究の引き潮はアメリカの研究者に限ったものではなかった。英国では、流体力学の著名な人物であり、ケンブリッジ大学ルーカシアン応用数学講座の元職でもあるジェームズ・ライトヒル卿の報告書が、 AI研究の現状に壊滅的な打撃を与えた。ライトヒルは自分の研究を「主題のABC」と呼ばれる3つの部分に分類しました。

「A」は高度な自動化を表し、人間を専用の機械に置き換えることを目指しています。 「C」はコンピュータベースの中枢神経系（CNS）研究を示します。最後に、「B」は人工知能そのものを象徴し、カテゴリー A とカテゴリー C の間の架け橋として機能します。

カテゴリ A と C は成功と失敗の時期を交互に経験しましたが、ライトヒル氏は、カテゴリ B の意図したブリッジ活動を取り巻く広範かつ深刻な落胆感を強調しました。彼は次のように述べています。「これは、AI の概念全体が統合された分野であるかどうかについて疑問を引き起こします」研究の内容は有効です。 」

この報告書は激しい議論を引き起こし、1973年にBBCの「論争」シリーズで放送された。「汎用ロボットは蜃気楼である」と題されたこの議論は王立研究所で行われ、サー・ジェームス・ライトヒルとドナルド・ミッチー、ジョンが対峙した。マッカーシーとリチャード・グレゴリー。

残念ながら、この報告書の影響は深刻で、イギリスにおける AI 研究は完全に解体されてしまいました。 AI 研究への取り組みを続けているのは、エディンバラ、エセックス、サセックスなどのほんの一握りの大学だけです。 AI 研究がより大規模に復活したのは 1983 年になってからでした。この復活は、日本の第 5 世代プロジェクトに応えてAI 研究に 3 億 5,000 万ポンドを割り当てた、Alvey と呼ばれる英国政府の資金提供イニシアチブによって促進されました。

1987 年冬 #4: LISP マシン市場の崩壊

コネクショニストの冬として知られる期間中、Logical theorist (1956 年) や General Practice Solver (1957 年) などのシンボリック システムは、ハードウェアの限界に直面しながらも進歩を続けました。これらのシステムは、当時のコンピューターの能力が限られていたため、おもちゃの例しか処理できませんでした。ハーバート・サイモンは1950年代から1960年代の状況について次のように述べています。

当時のコンピューターでは大規模なデータベースを構築できなかったため、人々は知識を中心とする仕事から遠ざかっていきました。私たちの最初のチェス プログラムと Logic Theorist は、64 ～ 100 ワードのコアと 10,000 ワードの使用可能なスペースを持つスクラッチ ドラムを備えたコンピューター上で実行されました。したがって、セマンティクスは重要な要素ではありませんでした。私が受けた学生の一人が、大きな店舗からどのように情報を抽出したかについて論文を書きたいと考えていたことを覚えています。私は彼にこう言いました。この理論はおもちゃの例でのみ実行でき、それがどのようにスケールアップするかについての証拠はありません。他にやることを見つけたほうがいいよ。」そのため、人々は知識が本質的な問題である問題からは距離を置きました。

1960 年頃、MIT のマッカーシーとミンスキーは、再帰関数に根ざしたプログラミング言語LISPを開発しました。 LISP が非常に重要になったのは、その記号処理能力と複雑なタスクを管理する柔軟性があり、これは初期の AI 開発に不可欠です。これは、AI 研究で使用された最初の言語の 1 つです。しかし、プログラマーが知識集約型アプリケーションを実装できるようになったのは、1970 年代初頭になってからであり、大容量のメモリを誇るコンピューターが登場しました。

これらのシステムは、人間の専門知識を組み込み、特定のタスクにおいて人間に取って代わることを目的とした「エキスパート システム」の基礎を形成しました。 1980 年代にはエキスパート システムが台頭し、AI が学術分野から実用的なアプリケーションに変わり、LISP がそのためのプログラミング言語として好まれるようになりました。コンピュータープログラマーであり、Y Combinator と Hacker News の共同創設者である Paul Graham 氏のエッセイによれば、LISP は「既存の言語から根本的に脱却し」、9 つの革新的なアイデアを導入しました。

エキスパート システムの開発は、学術研究と実用化の間のギャップを埋める、AI 分野における重要なマイルストーンとなりました。カーネギー メロン大学のジョン マクダーモットは、1980 年 1 月に XCON (eXpert CONfigur) と呼ばれる最初のエキスパート システムを提案しました。XCON は、Digital Equipment Corporation (DEC) によって、VAX コンピュータの構成プロセスを合理化するために採用されました。 1987 年までに、XCON はかなりの数の注文を処理し、その影響と有効性を実証しました。

1981 年、CMU は Xsel と呼ばれる新しいシステムの開発に取り組み始めました。その後、開発は DEC に引き継がれ、フィールド テストは 1982 年 10 月に開始されました。Xcon と Xsel は大きな注目を集めましたが、まだ試作段階にありました。当時Xselプログラムマネージャーだったブルース・マクドナルドは、知名度が成果をはるかに上回っていると抗議し始めたが、販売担当副社長は止めようとしなかった。実際、マクドナルド氏は上級幹部との会合で、営業担当副社長が彼に注目してこう言ったのを覚えている。準備はできていないんですか？」

1980 年代初頭、エキスパート システムの成功事例が流入し、多くの大企業で AI グループが結成されました。パーソナル コンピューターの台頭、スター ウォーズ映画の人気、Discover や High Technology などの雑誌が、AI に対する一般の関心を高めました。 1970 年代後半の数十億ドル規模のバイオテクノロジー ブームにより、ハイテクへの投資関心が高まり、主要な AI 専門家が新たな事業に乗り出すようになりました。

• 「エキスパート システムの父」とよく呼ばれるエドワード ファイゲンバウムは、スタンフォード大学の同僚数名とともに Teknowledge, Inc. を設立しました。
• カーネギーメロンの研究者はカーネギーグループを設立しました。
• MIT のスピンオフ作品は、マサチューセッツ州ケンブリッジに AI アレイとして知られるストリップを作成するのに十分な数がありました。これらのスタートアップには、Symbolics、Lisp Machines, Inc.、Thinking Machines Corporation が含まれます。
• 研究者のラリー・ハリスはダートマスを離れ、人工知能コーポレーションを設立しました。
• ロジャー・シャンクはイェール大学でコグニティブ・システムズ社の設立を監督しました。

当時登場した企業は、売上高の大きい企業から小さい企業まで、大きく 3 つの分野に分類できます。

1. AI 関連のハードウェアとソフトウェア、特にメインフレームに近い速度で LISP プログラムを実行する専用の LISP マシンと呼ばれるマイクロコンピュータ
2. 「エキスパート システム開発ツール」または「シェル」と呼ばれるソフトウェアは、大企業が社内のエキスパート システムを開発するために使用していました。
3. 実際のエキスパートシステムのアプリケーション

1985 年までに、150 社が社内 AI グループに合計 10 億ドルを費やしました。 1986 年、米国における AI 関連のハードウェアおよびソフトウェアの売上高は 4 億 2,500 万ドルに達し、40 社の新会社が設立され、総投資額は 3 億ドルに達しました。

爆発的な成長は、学術界が記者、ベンチャーキャピタリスト、業界のヘッドハンター、起業家の流入で混雑していると感じたため、課題をもたらしました。 1980 年の米国人工知能協会の設立総会には約1,000 人の研究者が集まり、1985 年までに AAAI と IJCAI の合同会議には 6,000 人近くの参加者が集まりました。カジュアルな服装からフォーマルな服装へと雰囲気が変わりました。

1984 年、AAAI の年次総会で、ロジャー シャンクとマービン ミンスキーは来たるべき「AI 冬」について警告し、AI バブルの差し迫った崩壊と、実際に 3 年後に起こった特殊な LISP ベースの AI 市場を予測しました。ハードウェアが潰れています。

Sun Microsystems や Lucid などの企業は、代替として強力なワークステーションと LISP 環境を提供しました。汎用ワークステーションは LISP マシンに課題をもたらしたため、Lucid や Franz LISP などの企業は、UNIX システム用のますます強力でポータブルなバージョンの LISP を開発するようになりました。その後、Apple と IBM のデスクトップ コンピュータが、LISP アプリケーションを実行するためのより単純なアーキテクチャを備えて登場しました。 1987 年までに、これらの代替手段は高価な LISP マシンのパフォーマンスと同等になり、専用マシンは時代遅れになってしまいました。 5 億ドル相当の業界は 1 年で急速に入れ替わりました。

1990 年代: 新しいエキスパート システムの導入とメンテナンスに対する抵抗

LISP マシン市場の崩壊後、より高度なマシンがそれに取って代わりましたが、最終的には同じ運命をたどりました。 1990 年代初頭までに、Symbolics や Lucid Inc. を含むほとんどの商用 LISP 企業は倒産しました。テキサス・インスツルメンツとゼロックスもこの分野から撤退した。一部の顧客企業は LISP 上に構築されたシステムの保守を継続していましたが、これにはサポート作業が必要でした。

1990 年代以降、「エキスパート システム」という用語とスタンドアロン AI システムの概念は IT 用語集からほとんど消えました。これには 2 つの解釈があります。ある見方では、「エキスパート システムは誇張された約束を果たせなかったため失敗し、IT の世界は前進することになった」というものです。もう 1 つの観点は、エキスパート システムがその成功の犠牲者だったということです。 IT プロフェッショナルがルール エンジンなどの概念を受け入れるにつれて、これらのツールは、専門のエキスパート システムを開発するためのスタンドアロン ツールから、多くのツールの標準ツールへと移行しました。

1988 年冬 #5: 高レベルのマシン インテリジェンスがない – お金がない

1981 年、日本は第 5 世代コンピュータ プロジェクトの野心的な計画を発表し、世界中で懸念を引き起こしました。 AI 研究と技術的専門知識に国防総省が資金提供してきた歴史を持つ米国は、1983 年に戦略的コンピューティング イニシアチブ (SCI) を立ち上げることで対応しました。SCI は、10 年の期限内に高度なコンピューター ハードウェアと AI を開発することを目指していました。 『Strate gic Computing: DARPA and the Quest for Machine Intelligence, 1983-1993』の著者は、「SCI が構想するマシン」について次のように説明しています。

1秒間に100億回の命令を実行し、人間のように見たり、聞いたり、話したり、考えたりすることになる。必要な統合の程度は、人類が知っている最も複雑な機器である人間の脳によって達成される統合の程度に匹敵します。

戦略的コンピューティング イニシアチブ (SCI) の注目すべきプロジェクトの 1 つは、「スマート トラック」、つまり自律走行車 (ALV)プロジェクトでした。 SCI の年間予算のかなりの部分が出資され、さまざまなミッションに対応する多用途ロボットの開発を目指していました。これらの任務には、武器の配達、偵察、弾薬の取り扱い、後方地域への補給が含まれていました。目標は、険しい地形を移動し、障害物を克服し、迷彩を利用できる車両を作成することでした。当初、車輪付きのプロトタイプは車道と平地に限定されていましたが、最終製品は機械の脚であらゆる地形を横断できるように構想されていました。

1980 年代後半までに、このプロジェクトが望ましいレベルの機械知能の達成には程遠いことが明らかになりました。主な課題は、プログラムのさまざまな側面を調整し、機械知能の目標に向かって集合的に推進できる効果的で安定した管理構造が欠如していることに起因していました。 SCI に管理スキームを課すためにさまざまな試みが行われましたが、どれも成功しませんでした。さらに、ALV プロジェクトの自動運転機能などの SCI の野心的な目標は、当時の達成可能レベルを超えており、現代のマルチモーダル AI システムや AGI (汎用人工知能) のとらえどころのない概念に似ていました。

1987 年に情報処理技術局 (IPTO) の管理者となったジャック シュワルツのリーダーシップの下で、DARPA 内の AI 研究への資金は削減されました。 Machines Who Think: A Personal Investigation into the History and Prospects of Artificial Intelligence の中で、Pamela McCorduck は、戦略的コンピューティング イニシアチブと AI の役割に対するシュワルツの態度について次のように説明しています。

シュワルツ氏は、DARPA が水泳モデルを使用している、つまり目標を設定し、流れや嵐に関係なくそれに向かってパドリングしていると信じていました。 DARPAは代わりにサーファーモデルを使用すべきであり、ビッグウェーブを待ちながら、比較的小規模な資金でも同じ目標に向かって優雅にサーフィンを成功させることができるだろう。長期的には、AI は可能であり有望ですが、その波はまだ高まっていませんでした。

SCI は、高レベルのマシン インテリジェンスの達成には至っていませんでしたが、特定の技術的マイルストーンを達成しました。たとえば、ALV は 1987 年までに、2 車線道路での自動運転機能、障害物回避機能、さまざまな条件でのオフロード走行機能を実証しました。 SCI ALV プログラムによって開拓されたビデオ カメラ、レーザー スキャナー、慣性ナビゲーション ユニットの使用は、今日の商用無人自動車開発の基礎を築きました。

『Strategic Computing: DARPA and the Quest for Machine Intelligence, 1983-1993』で述べられているように、国防総省は 1983 年から 1993 年の間に SCI に 1,000,417,775.68 ドルを投資しました。このプロジェクトは最終的に 1990 年代に Accelerated Strategic Computing Initiative に引き継がれ、その後は Advanced Simulation and Computing Program に引き継がれました。

結論

肌寒い！ AIの冬は確かに楽しいものではありませんでした。しかし、大規模言語モデル (LLM) による最近の進歩を可能にした研究の一部は、その時代に行われました。シンボリック エキスパート システムの全盛期に、コネクショニストの研究者は、小規模ではあったものの、ニューラル ネットワークに関する研究を続けました。 Paul Werbos によるバックプロパゲーションの発見は、ニューラル ネットワークをトレーニングするための重要なアルゴリズムであり、さらなる進歩にとって非常に重要でした。

1980 年代半ば、ホップフィールド、ルメルハート、ウィリアムズ、ヒントンなどの研究者がニューラル ネットワークにおけるバックプロパゲーションの有効性と、複雑な分布を表現する能力を実証したことで、「コネクショニストの冬」は終わりを迎えました。この復活は、シンボリック エキスパート システムの衰退と同時に起こりました。

この期間に続いて、ニューラル ネットワークの研究は挫折することなく繁栄し、多数の新しいモデルの開発につながり、最終的には現代の LLM の出現への道が開かれました。次回は、ニューラル ネットワーク研究のこの実り豊かな時期について詳しく掘り下げていきます。乞うご期待！

Turing Post による LLM の歴史:

1. 機械翻訳の時代とその崩壊
2. AI、最初のチャットボットの魅力的な誕生、そして米国国防総省の力
3. AI Winters の物語とそれが今日私たちに教えること

つづく…