AI Winters와 그것이 미래에 의미하는 바

LLM의 역사에 대한 시리즈를 시작으로, 오늘은 AI 연구에 대한 관심과 자금 감소 기간인 "AI 겨울"에 대한 흥미로운 이야기를 전해드리고자 합니다. 여러분은 얼마나 흥분과 실망이 계속 반복되는지 보게 될 것입니다. 그러나 중요한 연구는 항상 지속됩니다. AI 겨울의 가장 포괄적인 타임라인에서 인공 지능의 진화하는 특성을 탐구하는 데 참여하세요. (지금 시간이 없다면 나중을 위해 기사를 저장해 두십시오! 배울 수 있는 몇 가지 교훈이 포함되어 있어 읽어 볼 가치가 있습니다.)

여름이라니 다행이네요. 우리가 다이빙을 하고 있으니까요:

1. 1966년 겨울#1: 기계 번역 실패
2. 1969년 겨울#2: 연결론자들과 신경망 연구의 종말
3. 1974년 겨울#3: AI 연구자와 후원자 간의 의사소통 격차
4. 1987년 겨울#4: LISP 기계 시장의 붕괴
5. 1988년 겨울#5: 높은 수준의 기계 지능도 없고 돈도 없다

1966년 겨울#1: 기계 번역

이 시리즈의 첫 번째 판 에서 논의한 것처럼 NLP 연구는 1930년대 초반에 뿌리를 두고 있으며 기계 번역(MT) 작업으로 시작됩니다. 그러나 1949년 워렌 위버(Warren Weaver)의 영향력 있는 메모가 출판된 이후 상당한 발전과 적용이 나타나기 시작했습니다.

이 각서는 연구 커뮤니티 내에서 큰 흥분을 불러일으켰습니다. 그 후 몇 년 동안 주목할만한 사건이 전개되었습니다. IBM이 최초의 기계 개발에 착수했고, MIT가 최초의 기계 번역 전임 교수를 임명했으며, MT에 관한 여러 컨퍼런스가 열렸습니다. 1954년 IBM-Georgetown 기계의 공개 시연으로 정점에 이르렀고, 이는 1954년 유명 신문에서 광범위한 주목을 받았습니다.

기계 번역 분야를 추진한 또 다른 요인은 중앙정보국(CIA)의 관심 이었습니다. 그 기간 동안 CIA는 기계 번역 능력 개발의 중요성을 굳게 믿고 그러한 계획을 지원했습니다. 그들은 또한 이 프로그램이 CIA와 정보 커뮤니티의 이익을 넘어서는 영향을 미친다는 것을 인식했습니다.

회의론자

AI의 절박한 겨울이 뒤따른 모든 AI 붐과 마찬가지로 언론은 이러한 발전의 중요성을 과장하는 경향이 있었습니다. IBM-조지타운 실험에 대한 헤드라인에서는 " 전자 두뇌가 러시아어를 번역합니다 ", "이중 언어 기계", "로봇 두뇌가 러시아어를 킹스 영어로 번역합니다", " 다국어 두뇌의 두뇌 "와 같은 문구를 발표했습니다. 그러나 실제 시연에는 선별된 러시아어 문장 49개를 영어로 번역하는 작업이 포함되었으며, 기계의 어휘는 단 250개 단어로 제한되었습니다 . 사물을 더 넓은 시각으로 보기 위해, 이 연구는 인간이 98%의 정확도로 쓰여진 텍스트를 이해하기 위해서는 약 8,000~9,000개의 단어군으로 구성된 어휘가 필요하다는 것을 발견했습니다.

이 시연은 상당한 센세이션을 불러일으켰습니다. 그러나 AI 연구의 이론적 토대를 마련한 초기 선구자 중 한 명으로 꼽히는 노베르트 위너(Norbert Wiener) 교수 등 회의적인 시각도 있었다. 위버의 각서가 출판되기 전, 그리고 확실히 시위가 일어나기 전에도 위너는 1947년 위버에게 보낸 편지 에서 자신의 의심을 다음과 같이 표현했습니다.

솔직히 말해서 다른 언어의 단어 경계가 너무 모호하고 감정적, 국제적 의미가 너무 광범위해서 준기계적 번역 방식이 매우 희망적이지 않을까 걱정됩니다. [...] 현재로서는 시각 장애인을 위한 광전자 읽기 기회 설계와 같은 단계를 넘어서는 언어의 기계화는 매우 시기상조인 것 같습니다.

서포터즈와 MT의 펀딩

그러나 몽상가들이 그들의 우려를 무색하게 하고 필요한 자금을 성공적으로 확보했기 때문에 회의론자들은 소수에 있었던 것 같습니다. 5개 정부 기관이 연구 후원에 역할을 했습니다. 국립 과학 재단(NSF)이 중앙 정보국(CIA), 육군, 해군 및 공군과 함께 주요 기여자였습니다. 1960년까지 이들 조직은 기계 번역과 관련된 프로젝트에 총 500만 달러에 가까운 투자를 했습니다.

1954년까지 기계 번역 연구는 매사추세츠 공과대학(MIT)에 보조금을 제공한 국립 과학 재단(NSF)으로부터 인정을 받을 만큼 충분한 관심을 얻었습니다. CIA와 NSF는 협상에 참여하여 1956년 초에 두 이사 간의 서신을 교환했습니다. NSF는 관련된 모든 당사자가 동의한 기계 번역에 대한 바람직한 연구 프로그램을 관리하는 데 동의했습니다. 1960년 국립과학재단(National Science Foundation)의 증언에 따르면, 미국 내 11개 그룹이 연방정부가 지원하는 기계 번역 연구의 다양한 측면에 참여했습니다. 공군, 미 육군, 미 해군에서도 큰 관심을 보였습니다.

AI 개시

IBM-조지타운 기계가 공개적으로 시연된 다음 해인 1955년에 발표된 다트머스 하계 회의 제안 에서 McCarthy는 "AI"라는 용어를 사용했습니다 . 이 행사는 새로운 꿈과 희망의 물결을 촉발시켰으며 기존의 기술을 더욱 강화했습니다. 열광.

향상된 컴퓨터 성능과 향상된 메모리 용량을 갖춘 새로운 연구 센터가 등장했습니다. 동시에 고급 프로그래밍 언어의 개발도 이루어졌습니다. 이러한 발전은 부분적으로 NLP 연구의 주요 후원자인 국방부의 상당한 투자로 가능해졌습니다.

언어학, 특히 촘스키가 제안한 형식 문법 모델 분야의 발전은 여러 번역 프로젝트에 영감을 주었습니다. 이러한 발전으로 인해 번역 기능이 크게 향상될 가능성이 있는 것처럼 보였습니다.

John Hutchins가 " The History of Machine Translation in a Nutshell "에서 쓴 것처럼, 임박한 "돌파구"에 대한 수많은 예측이 있었습니다. 그러나 연구자들은 곧 직접적인 해결책 없이 복잡한 문제를 제시하는 "의미론적 장벽"에 직면하여 점점 더 큰 환멸감을 느끼게 되었습니다.

환멸

John Hutchins는 " The Whisky Was Invisible "에서 "영에는 원이로되 육신이 약하도다"라는 성서의 말씀을 러시아어로 변환한 MT 시스템의 이야기를 John Hutchins가 인용한 다음 다시 다음과 같이 번역했습니다. “위스키는 독하지만 고기는 썩는다” 고 한다. 이 일화의 정확성은 의심스럽고 Isidore Pinchuk은 이야기가 출처가 아닐 수 있다고까지 말하지만 Elaine Rich는 이를 사용하여 초기 MT 시스템이 관용구를 처리할 수 없음을 보여주었습니다. 일반적으로 이 예는 단어의 의미와 관련된 MT 시스템의 문제점을 보여줍니다.

성경말씀 "마음에는 원이로되 육신이 약하도다"

MT 시스템에서 다시 번역한 내용은 "위스키는 강하지만 고기는 썩습니다"입니다.

주요 히트작은 미국 정부가 의뢰하고 국립과학재단 이사인 Leland Haworth 박사가 이끄는 ALPAC 그룹의 연구 결과 에서 나왔습니다. 이는 설명된 기본 아이디어를 뒷받침합니다. 그들의 보고서에서는 기계 번역을 물리학 및 지구 과학 분야의 다양한 텍스트를 인간이 번역하는 것과 비교합니다. 결론: 기계 번역 결과는 검토된 모든 사례에서 인간 번역보다 정확도가 낮고, 느리고, 비용이 많이 들고, 포괄적이지 않았습니다.

1966년에 국립 연구 위원회(National Research Council)는 미국 내 기계 번역 연구에 대한 모든 지원을 갑자기 중단했습니다. 영국에서 독일의 비밀 코드를 해독하기 위해 컴퓨터를 성공적으로 사용한 후, 과학자들은 언어 간에 기록된 텍스트를 번역하는 것이 암호를 해독하는 것보다 더 어렵지 않을 것이라고 잘못 믿었습니다. 그러나 "자연어" 처리의 복잡성은 예상보다 훨씬 더 심각한 것으로 판명되었습니다. 사전 검색을 자동화하고 문법 규칙을 적용하려는 시도는 터무니없는 결과를 낳았습니다. 20년 2천만 달러를 투자했지만 아무런 해결책이 보이지 않아 국립연구위원회는 연구 활동을 중단했습니다.

언어학에 대한 이론적 기초가 충분하지 않음에도 불구하고 현장에서의 실제 적용에 대한 높은 기대로 인해 환멸이 생겼습니다. 연구자들은 실제 구현보다는 이론적인 측면에 더 중점을 두었습니다. 더욱이 제한된 하드웨어 가용성과 기술 솔루션의 미성숙으로 인해 추가적인 문제가 발생했습니다.

1969년 겨울#2: 연결론자들과 신경망 연구의 종말

실망의 두 번째 물결은 첫 번째 물결 이후 빠르게 도래하여 AI 연구자들에게 과장된 주장의 위험성에 대한 경고의 역할을 했습니다. 그러나 뒤따르는 문제를 조사하기 전에 몇 가지 배경 정보가 필요합니다.

1940년대에 McCulloch와 Walter Pitts는 마음의 기본 원리를 이해하기 시작했으며 생물학적 신경망의 구조에서 영감을 얻어 인공 신경망의 초기 버전을 개발했습니다 .

약 10년 후인 1950년대에 인지 과학은 "인지 혁명"이라고 불리는 독특한 학문으로 등장했습니다. 많은 초기 AI 모델은 인간 두뇌의 작동에 영향을 받았습니다. 주목할만한 예 중 하나는 미로를 탐색하는 쥐를 시뮬레이션한 최초의 컴퓨터 인공 신경망인 Marvin Minsky의 SNARC 시스템입니다.

그러나 1950년대 후반에 연구자들이 지능의 핵심인 상징적 추론에 관심을 돌리면서 이러한 접근 방식은 대부분 폐기되었습니다. 최초의 AI 프로그램으로 간주되는 Logic Theorist (1956)와 Rand의 Allen Newell, Herbert A. Simon 및 Cliff Shaw가 보편적인 문제 해결 기계로 설계한 General Problem Solver (1957)와 같은 프로그램의 성공 Corporation은 이러한 변화에 중요한 역할을 했습니다.

한 가지 유형의 연결주의 작업이 계속되었습니다. Frank Rosenblatt가 흔들리지 않는 열정으로 옹호한 퍼셉트론에 대한 연구가 지속되었습니다. Rosenblatt는 처음 에 1957년에 Cornell Aeronautical Laboratory의 IBM 704 컴퓨터에서 퍼셉트론을 시뮬레이션했습니다. 그러나 이러한 연구는 1969년에 퍼셉트론의 한계를 설명하는 Marvin Minsky와 Seymour Papert의 Perceptrons 라는 책이 출판되면서 갑자기 중단되었습니다.

Daniel Crevier는 다음과 같이 썼습니다 .

퍼셉트론이 등장한 직후 비극적인 사건으로 인해 해당 분야의 연구가 더욱 둔화되었습니다. 소문에 따르면 당시 망가진 사람이었던 Frank Rosenblatt가 보트 사고로 익사했습니다. 가장 설득력 있는 촉진자를 잃은 신경망 연구는 15년 동안 지속된 침체에 빠졌습니다.

이 기간 동안 비록 규모는 작지만 연결주의 연구에서는 상당한 발전이 이루어지고 있었습니다. 1974년에 Paul Werbos가 도입한 역전파는 신경망 훈련을 위한 중요한 알고리즘으로 제한된 리소스에도 불구하고 계속해서 발전했습니다. 연결주의 프로젝트에 대한 주요 자금을 확보하는 것이 여전히 어려워서 추구가 감소했습니다.

1980년대 중반이 되어서야 전환점이 찾아왔다. John Hopfield, David Rumelhart 등과 같은 저명한 연구자들이 신경망에 대한 새롭고 광범위한 관심을 되살리면서 겨울이 끝났습니다. 그들의 작업은 연결주의적 접근 방식에 대한 열정을 다시 불러일으켰고 신경망 분야에서 대규모 연구 개발이 부활할 수 있는 길을 열었습니다.

1974년 겨울#3: AI 연구자와 후원자 간의 의사소통 격차

높은 기대와 야심찬 주장은 종종 실망으로 이어지는 직접적인 길입니다. 1960년대 후반과 1970년대 초반에 민스키와 페퍼트는 MIT에서 마이크로 월드 프로젝트를 이끌었고, 그곳에서 마이크로 월드라고 불리는 단순화된 모델을 개발했습니다. 그들은 노력의 일반적인 추진력을 다음과 같이 정의했습니다.

우리는 [미시 세계]가 매우 중요하다고 생각하여 이러한 미시 세계의 컬렉션을 개발하고 모델과의 비호환성으로 인해 극복되지 않고 모델의 암시 및 예측 능력을 사용하는 방법을 찾는 데 많은 노력을 기울이고 있습니다. 문자 그대로의 진실.

곧 미시 세계의 지지자들은 인간 문화의 더 넓은 맥락을 고려하지 않고는 인간 사용의 가장 구체적인 측면조차도 정의할 수 없다는 것을 깨달았습니다. 예를 들어, SHRDLU에 사용된 기술은 특정 전문 분야로 제한되었습니다. 미시 세계 접근 방식은 일반 지능에 대한 점진적인 솔루션으로 이어지지 않았습니다. Minsky, Papert 및 그들의 학생들은 미시 세계를 더 큰 우주로 점진적으로 일반화하거나 단순히 여러 미시 세계를 더 큰 세트로 결합할 수 없었습니다.

전국의 다른 AI 연구소에서도 기대치를 충족하는 데 비슷한 어려움이 있었습니다. 예를 들어, 스탠포드의 Shakey 로봇 프로젝트는 자동화된 스파이 장치가 되겠다는 기대를 충족시키지 못했습니다. 연구자들은 자신의 제안에서 전달할 수 있는 것보다 더 많은 것을 약속하는 점점 더 과장되는 악순환에 휩싸였습니다. 최종 결과는 종종 부족했고 초기 약속과는 거리가 멀었습니다.

이러한 많은 프로젝트에 자금을 지원하는 국방부 기관인 DARPA는 접근 방식을 재평가하고 연구자들에게 보다 현실적인 기대치를 요구하기 시작했습니다.

1971~75: DARPA의 예산 삭감

1970년대 초, DARPA의 SUR(음성 이해 연구) 프로그램은 전투 시나리오에서 직접 상호 작용을 위한 언어 명령과 데이터를 이해할 수 있는 컴퓨터 시스템을 개발하는 것을 목표로 했습니다. 5년 동안 1,500만 달러를 지출한 후 DARPA는 프로젝트를 갑자기 종료했지만 정확한 이유는 아직 불분명합니다. Stanford, MIT, Carnegie Mellon과 같은 유명 기관에서는 수백만 달러 규모의 계약이 거의 미미한 수준으로 감소했습니다.

Daniel Crevier는 당시 DARPA의 자금 조달 철학에 대해 그의 책 에서 다음과 같이 썼습니다.

당시 DARPA의 철학은 "프로젝트가 아닌 사람에게 자금을 지원하라!"였습니다. 민스키는 하버드에서 Licklider의 학생이었고 그를 잘 알고 있었습니다. Minsky가 나에게 말했듯이, “Licklider는 우리에게 큰 덩어리로 돈을 주었습니다.” 그리고 세부 사항에는 특별히 신경 쓰지 않았습니다.

Bolt, Beranek, Newman, Inc.(BBN) 및 Carnegie Mellon을 포함한 몇몇 유명 계약업체는 이 5년 동안 주목할만한 시스템을 생산했습니다. 이러한 시스템에는 SPEECHLESS, HIM, HEARSAY-I, DRAGON, HARPY 및 HEARSAY-II가 포함되어 있어 연결된 음성을 이해하고 천 단어 어휘를 사용하는 여러 화자의 문장을 처리하는 데 상당한 발전을 이루었습니다.

이러한 시스템은 제한되지 않은 입력을 이해하는 데 한계가 있었고 사용자는 제한된 문법으로 인해 어떤 명령이 적용되는지 추측해야 했습니다. 이러한 측면에 대한 실망감에도 불구하고 AI 연구자들은 이러한 프로젝트를 자부심으로 여겼습니다. 예를 들어, "칠판" 장치를 사용하여 다양한 지식 소스를 통합하는 것으로 알려진 HEARSAY-II는 지금까지 작성된 가장 영향력 있는 AI 프로그램 중 하나로 찬사를 받았습니다.

그러나 이 시점에서 AI 연구자와 후원자 간의 기대치에 대한 의사소통 격차가 너무 커졌습니다.

1973년: Lighthill 보고서에 대응하여 영국에서 AI 연구가 크게 감소했습니다.

AI 연구의 썰물은 미국 연구자들에게만 국한되지 않았습니다. 영국에서는 유체 역학 분야의 저명한 인물이자 케임브리지 대학의 응용수학 루카스 석좌교수였던 제임스 라이트힐(James Lighthill) 경의 보고서 가 AI 연구에 엄청난 타격을 입혔습니다. Lighthill은 자신의 연구를 "주제의 ABC"라고 하는 세 부분으로 분류했습니다.

"A"는 인간을 특수 제작된 기계로 대체하는 것을 목표로 하는 고급 자동화를 나타냅니다. "C"는 컴퓨터 기반 중추신경계(CNS) 연구를 나타냅니다. 마지막으로 "B"는 인공지능 자체를 상징하며 카테고리 A와 C를 연결하는 가교 역할을 합니다.

카테고리 A와 C가 성공과 실패의 기간을 번갈아 경험하는 동안 Lighthill은 카테고리 B의 의도된 브리지 활동을 둘러싼 광범위하고 심오한 낙담감을 강조했습니다. 그는 다음 과 같이 말했습니다. 연구 결과는 타당한 것입니다. ”

이 보고서는 1973년 BBC "논쟁(Controversy)" 시리즈에서 방송된 열띤 논쟁을 촉발시켰습니다. "범용 로봇은 신기루다"라는 제목의 이 토론은 왕립연구소에서 제임스 라이트힐(James Lighthill) 경이 도널드 미치(Donald Michie), 존(John)과 대결하면서 열렸습니다. 매카시, 리처드 그레고리.

불행하게도 이 보고서의 반향은 심각하여 영국의 AI 연구는 완전히 해체되었습니다. Edinburgh, Essex, Sussex 등 소수의 대학만이 AI 연구 노력을 계속했습니다. 1983년이 되어서야 AI 연구가 대규모로 부활했습니다. 이러한 부활은 일본의 5세대 프로젝트에 대응하여 AI 연구에 3억 5천만 파운드를 할당한 Alvey라는 영국 정부의 자금 지원 계획에 의해 촉발되었습니다.

1987년 겨울#4: LISP 기계 시장의 붕괴

연결주의 겨울로 알려진 기간 동안 논리 이론가(1956)와 일반 문제 해결사(1957)와 같은 상징 체계는 하드웨어의 한계에 직면하면서도 계속해서 발전했습니다. 이러한 시스템은 당시 제한된 컴퓨터 성능으로 인해 장난감 예제만 처리할 수 있었습니다. 허버트 사이먼(Herbert Simon)은 1950년대~1960년대 상황에 대해 다음과 같이 말했습니다.

당시 가지고 있던 컴퓨터로는 대규모 데이터베이스를 구축할 수 없었기 때문에 사람들은 지식을 사물의 중심으로 삼는 작업에서 멀어졌습니다. 우리의 첫 번째 체스 프로그램과 Logic Theorist는 64~100 단어 코어와 10,000 단어의 사용 가능한 공간이 있는 스크래치 드럼이 있는 컴퓨터에서 수행되었습니다. 그래서 의미론은 게임의 이름이 아니었습니다. 대형 매장에서 정보를 추출하는 방법에 대한 논문을 작성하고 싶어했던 학생이 기억납니다. 나는 그에게 “말도 안돼! 당신은 장난감 예제에 대해서만 그 논문을 할 수 있으며 그것이 어떻게 확장되는지에 대한 증거는 없습니다. 다른 일을 찾아보는 게 좋을 것 같아요.” 그래서 사람들은 지식이 본질적인 문제인 문제를 피했습니다.

1960년경 MIT의 McCarthy와 Minsky는 재귀 함수에 뿌리를 둔 프로그래밍 언어인 LISP를 개발했습니다. LISP는 초기 AI 개발에 중요한 복잡한 작업을 관리하는 기호 처리 능력과 유연성으로 인해 매우 중요해졌습니다. AI 연구에 사용된 최초의 언어 중 하나였습니다. 그러나 상당한 메모리 용량을 자랑하는 컴퓨터가 등장한 1970년대 초반이 되어서야 프로그래머는 지식 집약적인 응용 프로그램을 구현할 수 있었습니다.

이러한 시스템은 인간의 전문 지식을 통합하고 특정 작업에서 인간을 대체하는 것을 목표로 하는 "전문가 시스템"의 기반을 형성했습니다. 1980년대에는 전문가 시스템이 등장하여 AI를 학술 분야에서 실용적인 응용 프로그램으로 전환했으며, LISP는 이를 위해 선호되는 프로그래밍 언어가 되었습니다. 컴퓨터 프로그래머이자 Y Combinator 및 Hacker News의 공동 창립자인 Paul Graham의 에세이 에 따르면 LISP는 "기존 언어에서 급진적으로 벗어났으며" 9가지 혁신적인 아이디어를 도입했습니다.

전문가 시스템의 개발은 AI 분야에서 학술 연구와 실제 적용 간의 격차를 해소하는 중요한 이정표를 나타냈습니다. Carnegie Mellon University의 John McDermott는 1980년 1월 XCON(eXpert CONfigurer)이라는 최초의 전문가 시스템을 제안했습니다. XCON은 DEC(Digital Equipment Corporation)에서 VAX 컴퓨터의 구성 프로세스를 간소화하기 위해 사용되었습니다. 1987년까지 XCON은 상당한 수의 주문을 처리하여 그 영향력과 효율성을 입증했습니다.

1981년에 CMU는 Xsel이라는 새로운 시스템 작업을 시작했습니다. 개발은 나중에 DEC에 의해 인수되었으며 1982년 10월에 현장 테스트가 시작되었습니다. Xcon과 Xsel은 상당한 주목을 받았지만 여전히 프로토타입 단계에 있었습니다. 당시 Xsel 프로그램 관리자였던 Bruce Macdonald는 성과보다 홍보가 훨씬 중요하다고 항의하기 시작했지만 영업 부사장은 멈추지 않았습니다. 실제로 Macdonald는 고위 경영진과의 만남에서 영업 담당 부사장이 그를 눈여겨보며 이렇게 말했던 것을 기억합니다. “당신은 이 일을 3년째 해오고 있습니다. 준비 안 됐어요?”

1980년대 초반에는 전문가 시스템의 성공 사례가 유입되면서 많은 대기업에서 AI 그룹이 형성되었습니다. 개인용 컴퓨터의 등장, 스타워즈 영화의 인기, Discover 및 High Technology와 같은 잡지는 AI에 대한 대중의 관심을 불러일으켰습니다. 1970년대 후반 수십억 달러 규모의 생명공학 붐은 첨단 기술에 대한 투자 관심을 불러일으켰고, 선도적인 AI 전문가들이 새로운 벤처에 착수하도록 촉발했습니다 .

• 종종 "전문가 시스템의 아버지"라고 불리는 Edward Feigenbaum은 스탠포드 동료들과 함께 Teknowledge, Inc.를 설립했습니다.
• Carnegie Mellon의 연구원들이 Carnegie Group을 통합했습니다.
• 매사추세츠 주 케임브리지에는 AI Alley로 알려진 스트립을 만들기에 충분한 MIT 스핀오프가 있었습니다. 이러한 신생 기업에는 Symbolics, Lisp Machines, Inc. 및 Thinking Machines Corporation이 포함되었습니다.
• 연구원 Larry Harris는 Dartmouth를 떠나 Artificial Intelligence Corporation을 설립했습니다.
• Yale의 Roger Schank는 Cognitive Systems, Inc.의 설립을 감독했습니다.

당시 등장한 기업은 매출액이 가장 큰 기업부터 매출액이 적은 기업까지 세 가지 주요 영역으로 나눌 수 있습니다.

1. AI 관련 하드웨어 및 소프트웨어, 특히 메인프레임 속도에 가까운 LISP 프로그램 실행 전용인 LISP 머신이라고 하는 마이크로컴퓨터
2. "전문가 시스템 개발 도구" 또는 "셸"이라고 불리는 소프트웨어는 대기업에서 사내 전문가 시스템을 개발하는 데 사용되었습니다.
3. 실제 전문가 시스템 애플리케이션

1985년에는 150개 기업이 내부 AI 그룹에 총 10억 달러를 지출했습니다 . 1986년 미국의 AI 관련 하드웨어 및 소프트웨어 매출은 4억 2,500만 달러에 달했으며, 40개의 새로운 회사가 설립되고 총 투자액이 3억 달러에 달했습니다.

폭발적인 성장으로 인해 학계는 기자, 벤처 자본가, 업계 헤드헌터, 기업가의 유입으로 붐비면서 어려움을 겪었습니다. 1980년 미국 인공 지능 협회의 창립 회의에는 약 1000명의 연구자가 참여했으며, 1985년에는 AAAI와 IJCAI의 공동 회의에 참석한 사람이 6000명에 이르렀습니다 . 캐주얼한 복장에서 포멀한 복장으로 분위기가 바뀌었습니다.

1984년 AAAI 연례회의에서 로저 샹크(Roger Schank)와 마빈 민스키(Marvin Minsky)는 다가올 'AI 겨울'을 경고하며 3년 뒤 AI 버블 붕괴가 임박하고 전문화된 LISP 기반 AI 시장이 열릴 것이라고 예측했다. 하드웨어가 무너졌습니다 .

Sun Microsystems와 Lucid와 같은 회사는 강력한 워크스테이션과 LISP 환경을 대안으로 제공했습니다. 범용 워크스테이션은 LISP Machines에 대한 과제를 제기했으며 Lucid 및 Franz LISP와 같은 회사는 점점 더 강력 하고 이식 가능한 UNIX 시스템용 LISP 버전을 개발하게 되었습니다. 나중에 Apple과 IBM의 데스크탑 컴퓨터는 LISP 애플리케이션을 실행하기 위한 더 간단한 아키텍처로 등장했습니다. 1987년까지 이러한 대안은 값비싼 LISP 기계의 성능과 일치하여 특수 기계를 쓸모없게 만들었습니다. 5억 달러 가치의 산업이 1년 만에 빠르게 교체되었습니다.

1990년대: 새로운 전문가 시스템 배포 및 유지 관리에 대한 저항

LISP 기계 시장이 붕괴된 후 더 발전된 기계가 그 자리를 대신했지만 결국 같은 운명을 맞이했습니다. 1990년대 초까지 Symbolics와 Lucid Inc.를 포함한 대부분의 상업용 LISP 회사는 실패했습니다. Texas Instruments와 Xerox도 이 분야에서 철수했습니다. 일부 고객 회사는 LISP 기반 시스템을 계속 유지 관리했지만 이를 위해서는 지원 작업이 필요했습니다.

1990년대 이후에는 "전문가 시스템"이라는 용어와 독립형 AI 시스템 개념이 IT 용어집에서 대부분 사라졌습니다. 이에 대해서는 두 가지 해석이 있습니다. 한 가지 견해는 "전문가 시스템이 실패했다"는 것인데, 이는 과대포장된 약속을 이행할 수 없어 IT 세계가 계속 발전할 수 있기 때문입니다. 또 다른 관점은 전문가 시스템이 성공의 희생자라는 것입니다. IT 전문가가 규칙 엔진과 같은 개념을 수용함에 따라 이러한 도구는 전문화된 전문가 시스템을 개발하기 위한 독립형 도구에서 많은 표준 도구로 전환되었습니다.

1988년 겨울#5: 높은 수준의 기계 지능도 없고 돈도 없다

​​1981년 일본은 5세대 컴퓨터 프로젝트에 대한 야심찬 계획을 공개하여 전 세계적으로 우려를 불러일으켰습니다. AI 연구 및 기술 전문 지식에 대한 국방부 자금 지원을 받은 미국은 1983년에 SCI(Strategic Computing Initiative)를 시작하여 이에 대응했습니다. SCI는 10년 이내에 고급 컴퓨터 하드웨어와 AI를 개발하는 것을 목표로 했습니다. Strat gic Computing: DARPA and the Quest for Machine Intelligence, 1983-1993의 저자는 "SCI가 구상한 기계"를 다음과 같이 설명합니다.

인간처럼 보고, 듣고, 말하고, 생각하려면 초당 100억 개의 명령을 실행해야 합니다. 필요한 통합 수준은 인간에게 알려진 가장 복잡한 도구인 인간 두뇌가 달성하는 수준에 필적할 것입니다.

SCI(Strategic Computing Initiative)의 주목할만한 프로젝트 중 하나는 "스마트 트럭" 또는 ALV(자율 육상 차량) 프로젝트였습니다. SCI의 연간 예산 중 상당 부분을 받았으며 다양한 임무를 수행할 수 있는 다재다능한 로봇을 개발하는 것을 목표로 삼았습니다. 이러한 임무에는 무기 배달, 정찰, 탄약 처리 및 후방 지역 재보급이 포함되었습니다. 목표는 거친 지형을 탐색하고, 장애물을 극복하고, 위장을 활용할 수 있는 차량을 만드는 것이었습니다. 처음에 바퀴 달린 프로토타입은 도로와 평지로 제한되었지만 최종 제품은 기계식 다리를 이용해 모든 지형을 횡단할 수 있도록 구상되었습니다.

1980년대 후반이 되자 이 프로젝트는 원하는 수준의 기계 지능을 달성하는 데 전혀 근접하지 못했다는 것이 분명해졌습니다. 주요 과제는 프로그램의 다양한 측면을 조정하고 기계 지능 목표를 향해 집단적으로 발전시킬 수 있는 효과적이고 안정적인 관리 구조가 부족하다는 점에서 비롯되었습니다. SCI에 관리 계획을 적용하려는 다양한 시도가 있었지만 어느 것도 성공하지 못했습니다. 또한 ALV 프로젝트의 자율주행 능력과 같은 SCI의 야심찬 목표는 당시 달성 가능한 수준을 넘어 현대의 다중 모드 AI 시스템 및 AGI(Artificial General Intelligence)의 이해하기 어려운 개념과 유사했습니다.

1987년 IPTO(정보 처리 기술 사무국)를 맡은 Jack Schwarz의 리더십 아래 DARPA 내 AI 연구 자금이 삭감되었습니다 . 생각하는 기계: 인공 지능의 역사와 전망에 대한 개인적 탐구에서 Pamela McCorduck은 전략적 컴퓨팅 이니셔티브(Strategic Computing Initiative)와 AI의 역할에 대한 Schwarz의 태도를 설명합니다.

Schwartz는 DARPA가 수영 모델을 사용하고 있다고 믿었습니다. 즉, 목표를 설정하고 해류나 폭풍에 관계없이 목표를 향해 노를 저어가는 것입니다. 대신 DARPA는 큰 파도를 기다리는 서퍼 모델을 사용해야 합니다. 이를 통해 상대적으로 적은 자금이 동일한 목표를 향해 우아하고 성공적으로 서핑할 수 있습니다. 장기적으로 AI는 가능하고 유망했지만 그 물결은 아직 커지지 않았습니다.

높은 수준의 기계 지능을 달성하는 데는 부족함에도 불구하고 SCI는 특정 기술 이정표를 달성했습니다. 예를 들어, 1987년까지 ALV는 2차선 도로에서의 자율 주행 기능, 장애물 회피 기능, 다양한 조건에서의 오프로드 주행 기능을 시연했습니다. SCI ALV 프로그램에 의해 개척된 비디오 카메라, 레이저 스캐너 및 관성 내비게이션 장치의 사용은 오늘날 상업용 무인 자동차 개발의 토대를 마련했습니다.

Strategic Computing: DARPA and the Quest for Machine Intelligence, 1983-1993 에 명시된 바와 같이 국방부는 1983년부터 1993년까지 SCI에 1,000,417,775.68달러를 투자했습니다 . 이 프로젝트는 결국 1990년대 가속 전략 컴퓨팅 이니셔티브(Accelerated Strategic Computing Initiative)에 의해 계승되었고 이후에는 고급 시뮬레이션 및 컴퓨팅 프로그램(Advanced Simulation and Computing Program)에 의해 계승되었습니다.

결론

냉담한! AI의 겨울은 확실히 재미가 없었습니다. 그러나 LLM(대형 언어 모델)을 통해 최근 획기적인 발전을 가능하게 한 연구의 일부는 그 당시에 이루어졌습니다. 상징적 전문가 시스템의 전성기 동안 연결주의 연구자들은 규모는 작지만 신경망에 대한 연구를 계속했습니다. 신경망 훈련을 위한 중요한 알고리즘인 역전파(backpropagation)에 대한 Paul Werbos의 발견은 추가적인 발전을 위해 매우 중요했습니다.

1980년대 중반, Hopfield, Rumelhart, Williams, Hinton 등과 같은 연구자들이 신경망에서 역전파의 효율성과 복잡한 분포를 표현하는 능력을 입증하면서 "연결주의의 겨울"이 끝났습니다. 이러한 부활은 상징적 전문가 시스템의 쇠퇴와 동시에 일어났습니다.

이 기간 이후 신경망에 대한 연구가 더 이상 차질 없이 번성하여 수많은 새로운 모델이 개발되었고 결국 현대 LLM이 출현할 수 있는 기반이 마련되었습니다. 다음 판에서는 신경망 연구의 결실을 맺은 시기를 자세히 살펴보겠습니다. 계속 지켜봐 주시기 바랍니다!

Turing Post의 LLM 역사:

1. 기계 번역의 시대와 그것이 어떻게 무너졌는가
2. AI의 놀라운 탄생, 최초의 챗봇, 그리고 미 국방부의 저력
3. AI Winters의 이야기와 그것이 오늘날 우리에게 가르치는 것

계속…