Về mùa đông AI và ý nghĩa của nó đối với tương lai

Ngoài loạt bài về lịch sử của các LLM, hôm nay, chúng tôi muốn kể cho bạn câu chuyện hấp dẫn về "mùa đông AI" - thời kỳ giảm tài trợ và quan tâm đến nghiên cứu AI. Bạn sẽ thấy sự phấn khích và thất vọng thay phiên nhau như thế nào, nhưng nghiên cứu quan trọng luôn kiên trì. Hãy tham gia cùng chúng tôi khi chúng tôi khám phá bản chất phát triển của trí tuệ nhân tạo trên dòng thời gian toàn diện nhất về mùa đông AI này. (Nếu bây giờ bạn không có thời gian, hãy nhớ lưu lại bài viết để đọc sau! Nó rất đáng để đọc và rút ra được một số bài học).

Thật tốt khi đó là mùa hè vì chúng tôi đang lặn trong:

1. Mùa đông # 1, 1966: Máy dịch thất bại
2. Mùa đông # 2, 1969: Các nhà kết nối và nhật thực của nghiên cứu mạng nơ-ron
3. Mùa đông # 3, 1974: Khoảng cách giao tiếp giữa các nhà nghiên cứu AI và nhà tài trợ của họ
4. Mùa đông #4, 1987: Sự sụp đổ của thị trường máy LISP
5. Mùa đông # 5, 1988: Không có trí thông minh máy móc cấp cao – Không có tiền

Mùa đông #1, 1966: Dịch máy

Như đã thảo luận trong ấn bản đầu tiên của loạt bài này, nghiên cứu NLP bắt nguồn từ đầu những năm 1930 và bắt đầu tồn tại với công việc dịch máy (MT). Tuy nhiên, những tiến bộ và ứng dụng quan trọng bắt đầu xuất hiện sau khi xuất bản bản ghi nhớ có ảnh hưởng của Warren Weaver vào năm 1949.

Bản ghi nhớ đã tạo ra sự phấn khích lớn trong cộng đồng nghiên cứu. Trong những năm tiếp theo, các sự kiện đáng chú ý đã diễn ra: IBM bắt tay vào phát triển chiếc máy đầu tiên, MIT bổ nhiệm giáo sư toàn thời gian đầu tiên về dịch máy và một số hội nghị dành riêng cho MT đã diễn ra. Đỉnh điểm là cuộc trình diễn công khai máy IBM-Georgetown, đã thu hút sự chú ý rộng rãi trên các tờ báo có uy tín vào năm 1954.

Một yếu tố khác thúc đẩy lĩnh vực dịch thuật máy móc là sự quan tâm của Cơ quan Tình báo Trung ương (CIA) . Trong thời kỳ đó, CIA tin tưởng chắc chắn vào tầm quan trọng của việc phát triển khả năng dịch máy và ủng hộ những sáng kiến ​​như vậy. Họ cũng nhận ra rằng chương trình này có những tác động vượt ra ngoài lợi ích của CIA và cộng đồng tình báo.

hoài nghi

Cũng giống như tất cả các đợt bùng nổ AI kéo theo những mùa đông AI tuyệt vọng, các phương tiện truyền thông có xu hướng phóng đại tầm quan trọng của những bước phát triển này. Các tiêu đề về thí nghiệm IBM-Georgetown tuyên bố các cụm từ như " Bộ não điện tử dịch tiếng Nga ", "Máy song ngữ", "Bộ não robot dịch tiếng Nga sang tiếng Anh của King" và " đứa con tinh thần Polyglot ." Tuy nhiên, cuộc trình diễn thực tế liên quan đến việc dịch một bộ chỉ 49 câu tiếng Nga sang tiếng Anh, với vốn từ vựng của máy chỉ giới hạn ở 250 từ . Để hiểu rõ hơn, nghiên cứu này phát hiện ra rằng con người cần có vốn từ vựng khoảng 8.000 đến 9.000 họ từ để hiểu văn bản viết với độ chính xác 98%.

Cuộc biểu tình này đã tạo ra một cảm giác khá thú vị. Tuy nhiên, cũng có những người hoài nghi, chẳng hạn như Giáo sư Norbert Wiener, người được coi là một trong những người tiên phong đầu tiên trong việc đặt nền tảng lý thuyết cho nghiên cứu AI. Ngay cả trước khi bản ghi nhớ của Weaver được xuất bản và chắc chắn là trước cuộc biểu tình, Wiener đã bày tỏ sự nghi ngờ của mình trong một bức thư gửi cho Weaver vào năm 1947, nêu rõ:

Thành thật mà nói, tôi e rằng ranh giới của các từ trong các ngôn ngữ khác nhau quá mơ hồ và các hàm ý cảm xúc và quốc tế quá rộng để khiến cho bất kỳ kế hoạch dịch giả cơ học nào trở nên rất đáng hy vọng. [...] Ở giai đoạn hiện tại, việc cơ giới hóa ngôn ngữ, ngoài giai đoạn như thiết kế cơ hội đọc quang điện cho người mù, dường như còn rất sớm.

Những người ủng hộ và tài trợ của MT

Tuy nhiên, có vẻ như những người hoài nghi chỉ chiếm thiểu số, vì những người mơ mộng đã làm lu mờ mối quan tâm của họ và đảm bảo thành công nguồn tài trợ cần thiết. Năm cơ quan chính phủ đóng vai trò tài trợ cho nghiên cứu: Quỹ Khoa học Quốc gia (NSF) là cơ quan đóng góp chính, cùng với Cơ quan Tình báo Trung ương (CIA), Lục quân, Hải quân và Không quân. Đến năm 1960, các tổ chức này đã cùng nhau đầu tư gần 5 triệu đô la vào các dự án liên quan đến dịch thuật máy móc.

Đến năm 1954, nghiên cứu dịch thuật cơ học đã thu hút đủ sự quan tâm để nhận được sự công nhận từ Quỹ Khoa học Quốc gia (NSF), tổ chức đã tài trợ cho Viện Công nghệ Massachusetts (MIT). CIA và NSF đã tham gia đàm phán, dẫn đến trao đổi thư từ giữa hai Giám đốc vào đầu năm 1956. NSF đồng ý quản lý bất kỳ chương trình nghiên cứu mong muốn nào về dịch máy đã được tất cả các bên liên quan đồng ý. Theo lời khai của Quỹ Khoa học Quốc gia vào năm 1960, 11 nhóm ở Hoa Kỳ đã tham gia vào các khía cạnh khác nhau của nghiên cứu dịch cơ học do Chính phủ Liên bang hỗ trợ. Ngoài ra còn có sự quan tâm rất lớn từ Lực lượng Không quân, Quân đội Hoa Kỳ và Hải quân Hoa Kỳ.

sự ra đời của AI

Một năm sau cuộc trình diễn công khai máy IBM-Georgetown, thuật ngữ "AI" được McCarthy đặt ra trong đề xuất cho Hội nghị mùa hè Dartmouth, được xuất bản vào năm 1955. Sự kiện này đã khơi dậy một làn sóng ước mơ và hy vọng mới, củng cố thêm những ước mơ và hy vọng hiện có. sự nhiệt tình.

Các trung tâm nghiên cứu mới xuất hiện, được trang bị sức mạnh máy tính nâng cao và tăng dung lượng bộ nhớ. Đồng thời, sự phát triển của các ngôn ngữ lập trình bậc cao diễn ra. Những tiến bộ này đã được thực hiện, một phần, nhờ các khoản đầu tư đáng kể từ Bộ Quốc phòng, một cơ quan hỗ trợ chính cho nghiên cứu NLP.

Tiến bộ trong ngôn ngữ học, đặc biệt là trong lĩnh vực mô hình ngữ pháp chính thức do Chomsky đề xuất, đã truyền cảm hứng cho một số dự án dịch thuật. Những phát triển này dường như hứa hẹn khả năng dịch thuật được cải thiện đáng kể.

Như John Hutchins viết trong " Tóm tắt lịch sử dịch máy ", đã có rất nhiều dự đoán về những "đột phá" sắp xảy ra. Tuy nhiên, các nhà nghiên cứu đã sớm gặp phải "rào cản ngữ nghĩa" đưa ra những thách thức phức tạp mà không có giải pháp đơn giản, dẫn đến cảm giác vỡ mộng ngày càng tăng.

vỡ mộng

Trong " The Whiskey Was Invisible ", John Hutchins đã trích dẫn một ví dụ quen thuộc, câu chuyện về một hệ thống MT chuyển đổi câu nói trong Kinh thánh "Tinh thần sẵn sàng, nhưng xác thịt thì yếu đuối" sang tiếng Nga, sau đó được dịch ngược lại thành "Rượu whisky mạnh, nhưng thịt thối," được đề cập. Mặc dù độ chính xác của giai thoại này còn đáng nghi ngờ và Isidore Pinchuk thậm chí còn nói rằng câu chuyện có thể là ngụy tạo, nhưng Elaine Rich đã sử dụng nó để chỉ ra sự bất lực của các hệ thống MT ban đầu trong việc xử lý các thành ngữ. Nói chung, ví dụ này minh họa các vấn đề của hệ thống MT liên quan đến ngữ nghĩa của từ.

Kinh thánh nói "Tinh thần sẵn sàng, nhưng xác thịt thì yếu đuối"

Hệ thống MT dịch ngược lại là "Rượu whisky thì mạnh nhưng thịt thì thối"

Thành công chính đến từ những phát hiện của nhóm ALPAC, do chính phủ Hoa Kỳ ủy quyền và đứng đầu là Tiến sĩ Leland Haworth, Giám đốc Quỹ Khoa học Quốc gia, hỗ trợ cho ý tưởng cơ bản được minh họa. Trong báo cáo của họ, bản dịch máy được so sánh với bản dịch của con người đối với các văn bản khác nhau về vật lý và khoa học trái đất. Kết luận: đầu ra của bản dịch máy kém chính xác hơn, chậm hơn, tốn kém hơn và kém toàn diện hơn so với bản dịch của con người trên tất cả các ví dụ được đánh giá.

Năm 1966, Hội đồng Nghiên cứu Quốc gia đột ngột ngừng mọi hỗ trợ cho nghiên cứu dịch máy ở Hoa Kỳ. Sau khi sử dụng thành công máy tính để giải mã bí mật của Đức ở Anh, các nhà khoa học đã lầm tưởng rằng việc dịch văn bản giữa các ngôn ngữ sẽ không khó hơn giải mã mật mã. Tuy nhiên, sự phức tạp của việc xử lý "ngôn ngữ tự nhiên" tỏ ra ghê gớm hơn nhiều so với dự kiến. Nỗ lực tự động tra cứu từ điển và áp dụng các quy tắc ngữ pháp mang lại kết quả vô lý. Sau hai thập kỷ và hai mươi triệu đô la đầu tư, không có giải pháp nào được đưa ra, khiến ủy ban Hội đồng Nghiên cứu Quốc gia phải chấm dứt nỗ lực nghiên cứu.

Sự vỡ mộng nảy sinh do kỳ vọng quá cao vào các ứng dụng thực tế trong lĩnh vực này, mặc dù thiếu cơ sở lý thuyết đầy đủ về ngôn ngữ học. Các nhà nghiên cứu đã tập trung nhiều hơn vào các khía cạnh lý thuyết hơn là triển khai thực tế. Hơn nữa, tính khả dụng của phần cứng hạn chế và sự non nớt của các giải pháp công nghệ đã đặt ra những thách thức bổ sung.

Mùa đông # 2, 1969: Các nhà kết nối và nhật thực của nghiên cứu mạng nơ-ron

Làn sóng thất vọng thứ hai đến nhanh chóng sau làn sóng đầu tiên, đóng vai trò như một câu chuyện cảnh báo cho các nhà nghiên cứu AI về sự nguy hiểm của những tuyên bố phóng đại. Tuy nhiên, trước khi đi sâu vào những rắc rối xảy ra sau đó, một số thông tin cơ bản là cần thiết.

Vào những năm 1940, McCulloch và Walter Pitts bắt tay vào việc tìm hiểu các nguyên tắc cơ bản của tâm trí và phát triển các phiên bản đầu tiên của mạng lưới thần kinh nhân tạo, lấy cảm hứng từ cấu trúc của mạng lưới thần kinh sinh học.

Khoảng một thập kỷ sau, vào những năm 1950, khoa học nhận thức nổi lên như một ngành riêng biệt, được gọi là "cuộc cách mạng nhận thức". Nhiều mô hình AI ban đầu bị ảnh hưởng bởi hoạt động của bộ não con người. Một ví dụ đáng chú ý là hệ thống SNARC của Marvin Minsky, mạng lưới thần kinh nhân tạo được vi tính hóa đầu tiên mô phỏng một con chuột đang điều hướng một mê cung.

Tuy nhiên, vào cuối những năm 1950, những cách tiếp cận này phần lớn đã bị bỏ rơi khi các nhà nghiên cứu chuyển sự chú ý sang lập luận biểu tượng như là chìa khóa của trí thông minh. Thành công của các chương trình như Logic Theorist (1956), được coi là chương trình AI đầu tiên và General Problem Solver (1957), được thiết kế như một cỗ máy giải quyết vấn đề phổ quát của Allen Newell, Herbert A. Simon và Cliff Shaw của Rand Corporation, đã đóng một vai trò trong sự thay đổi này.

Một loại công việc của người theo chủ nghĩa kết nối vẫn tiếp tục: nghiên cứu về perceptron, được Frank Rosenblatt ủng hộ với sự nhiệt tình không ngừng, vẫn tiếp tục. Rosenblatt ban đầu mô phỏng perceptron trên máy tính IBM 704 tại Phòng thí nghiệm Hàng không Cornell vào năm 1957. Tuy nhiên, dòng nghiên cứu này đột ngột dừng lại vào năm 1969 với việc xuất bản cuốn sách Perceptron của Marvin Minsky và Seymour Papert, trong đó mô tả những hạn chế nhận thức được của perceptron.

Như Daniel Crevier đã viết :

Ngay sau khi Perceptron xuất hiện, một sự kiện bi thảm đã làm chậm quá trình nghiên cứu trong lĩnh vực này hơn nữa: Frank Rosenblatt, lúc đó là một người đàn ông tàn tật theo tin đồn, chết đuối trong một tai nạn chèo thuyền. Mất đi người quảng bá thuyết phục nhất, nghiên cứu mạng thần kinh bước vào thời kỳ nhật thực kéo dài mười lăm năm.

Trong thời gian này, những tiến bộ đáng kể trong nghiên cứu về chủ nghĩa kết nối vẫn đang được thực hiện, mặc dù ở quy mô nhỏ hơn. Việc giới thiệu backpropagation của Paul Werbos vào năm 1974, một thuật toán quan trọng để đào tạo mạng lưới thần kinh, tiếp tục phát triển, mặc dù với nguồn lực hạn chế. Việc đảm bảo tài trợ lớn cho các dự án kết nối vẫn còn nhiều thách thức, dẫn đến sự suy giảm trong việc theo đuổi chúng.

Mãi đến giữa những năm 1980, một bước ngoặt mới xảy ra. Mùa đông đã kết thúc khi các nhà nghiên cứu đáng chú ý như John Hopfield, David Rumelhart và những người khác làm sống lại mối quan tâm mới và phổ biến đối với mạng lưới thần kinh. Công việc của họ đã khơi dậy sự nhiệt tình đối với các phương pháp tiếp cận theo chủ nghĩa kết nối và mở đường cho sự trỗi dậy của nghiên cứu và phát triển quy mô lớn trong lĩnh vực mạng lưới thần kinh.

Mùa đông # 3, 1974: Khoảng cách giao tiếp giữa các nhà nghiên cứu AI và nhà tài trợ của họ

Những kỳ vọng cao và những tuyên bố đầy tham vọng thường là con đường trực tiếp dẫn đến sự thất vọng. Vào cuối những năm 1960 và đầu những năm 1970, Minsky và Papert đã lãnh đạo dự án Thế giới vi mô tại MIT, nơi họ đã phát triển các mô hình đơn giản hóa được gọi là thế giới vi mô. Họ đã định nghĩa lực đẩy chung của nỗ lực là:

Chúng tôi cảm thấy rằng [thế giới vi mô] quan trọng đến mức chúng tôi đang dành một phần lớn nỗ lực của mình để phát triển một bộ sưu tập các thế giới vi mô này và tìm cách sử dụng sức mạnh gợi ý và dự đoán của các mô hình mà không bị khuất phục bởi sự không tương thích của chúng với sự thật theo nghĩa đen.

Những người ủng hộ thế giới vi mô đã sớm nhận ra rằng ngay cả những khía cạnh cụ thể nhất trong cách sử dụng của con người cũng không thể được xác định nếu không xem xét bối cảnh rộng lớn hơn của văn hóa loài người. Ví dụ, các kỹ thuật được sử dụng trong SHRDLU được giới hạn trong các lĩnh vực chuyên môn cụ thể. Cách tiếp cận thế giới vi mô không dẫn đến giải pháp dần dần cho trí thông minh chung. Minsky, Papert và các sinh viên của họ không thể khái quát hóa dần dần một thế giới vi mô thành một vũ trụ lớn hơn hoặc đơn giản là kết hợp nhiều thế giới vi mô thành một tập hợp lớn hơn.

Những khó khăn tương tự trong việc đáp ứng kỳ vọng cũng gặp phải ở các phòng thí nghiệm AI khác trên toàn quốc. Ví dụ, dự án robot Shakey tại Stanford đã không đáp ứng được kỳ vọng trở thành một thiết bị gián điệp tự động. Các nhà nghiên cứu thấy mình bị cuốn vào vòng luẩn quẩn ngày càng phóng đại, nơi họ hứa hẹn nhiều hơn những gì họ có thể thực hiện trong các đề xuất của mình. Kết quả cuối cùng thường không đạt được và khác xa so với những hứa hẹn ban đầu.

DARPA, cơ quan của Bộ Quốc phòng tài trợ cho nhiều dự án này, bắt đầu đánh giá lại cách tiếp cận của họ và đặt ra những kỳ vọng thực tế hơn từ các nhà nghiên cứu.

1971–75: DARPA cắt giảm

Vào đầu những năm 1970, chương trình Nghiên cứu hiểu lời nói (SUR) của DARPA nhằm phát triển các hệ thống máy tính có khả năng hiểu các lệnh và dữ liệu bằng lời nói để tương tác trực tiếp trong các tình huống chiến đấu. Sau 5 năm và tiêu tốn 15 triệu đô la, DARPA đột ngột kết thúc dự án, mặc dù lý do chính xác vẫn chưa rõ ràng. Các tổ chức nổi tiếng như Stanford, MIT và Carnegie Mellon đã thấy các hợp đồng trị giá hàng triệu đô la của họ giảm xuống gần như không đáng kể.

Daniel Crevier viết trong cuốn sách của mình về triết lý tài trợ của DARPA vào thời điểm đó:

Triết lý của DARPA khi đó là “Tài trợ cho mọi người, không phải cho các dự án!” Minsky từng là sinh viên của Licklider tại Harvard và biết rõ về anh ta. Như Minsky đã nói với tôi, “Licklider đưa tiền cho chúng tôi thành một cục lớn,” và không đặc biệt quan tâm đến các chi tiết.

Một số nhà thầu nổi tiếng, bao gồm Bolt, Beranek, và Newman, Inc. (BBN) và Carnegie Mellon, đã sản xuất các hệ thống đáng chú ý trong 5 năm đó. Các hệ thống này bao gồm SPEECHLESS, HIM, HEARSAY-I, DRAGON, HARPY và HEARSAY-II, đã tạo ra những tiến bộ đáng kể trong việc hiểu lời nói được kết nối và xử lý các câu từ nhiều người nói với vốn từ vựng hàng nghìn từ.

Các hệ thống này có những hạn chế trong việc hiểu đầu vào không bị hạn chế , khiến người dùng phải đoán lệnh nào được áp dụng cho họ do ngữ pháp bị hạn chế. Bất chấp sự thất vọng về khía cạnh này, các nhà nghiên cứu AI vẫn tự hào về những dự án này. Chẳng hạn, HEARSAY-II, được biết đến với việc tích hợp nhiều nguồn kiến ​​thức bằng thiết bị "bảng đen", được ca ngợi là một trong những chương trình AI có ảnh hưởng nhất từng được viết.

Nhưng tại thời điểm này, khoảng cách giao tiếp giữa các nhà nghiên cứu AI và các nhà tài trợ của họ về kỳ vọng trở nên quá lớn.

1973: nghiên cứu AI ở Anh giảm mạnh do báo cáo của Lighthill

Làn sóng nghiên cứu về AI không chỉ dành riêng cho các nhà nghiên cứu Mỹ. Ở Anh, một báo cáo của Sir James Lighthill, một nhân vật nổi tiếng trong lĩnh vực động lực học chất lỏng và là cựu Chủ tịch Lucasian về Toán học Ứng dụng của Đại học Cambridge, đã giáng một đòn mạnh vào tình trạng nghiên cứu AI. Lighthill đã phân loại nghiên cứu của mình thành ba phần, được gọi là "ABC của chủ đề."

"A" đại diện cho Tự động hóa nâng cao, nhằm mục đích thay thế con người bằng máy móc được chế tạo có mục đích. "C" biểu thị Nghiên cứu hệ thống thần kinh trung ương (CNS) dựa trên máy tính. Cuối cùng, "B" tượng trưng cho chính trí tuệ nhân tạo, đóng vai trò là cầu nối giữa các loại A và C.

Trong khi hạng mục A và C trải qua các giai đoạn thành công và thất bại xen kẽ, Lighthill nhấn mạnh cảm giác chán nản lan rộng và sâu sắc xung quanh Hoạt động Cầu nối dự định của hạng mục B. Như ông nói: “ Điều này làm dấy lên nghi ngờ về việc liệu toàn bộ khái niệm AI có phải là một lĩnh vực tích hợp hay không. nghiên cứu là hợp lệ. ”

Báo cáo đã gây ra một cuộc tranh luận sôi nổi được phát sóng trong sê-ri "Tranh cãi" của BBC vào năm 1973. Với tiêu đề "Robot có mục đích chung là ảo ảnh", cuộc tranh luận diễn ra tại Viện Hoàng gia, với Ngài James Lighthill đối đầu với Donald Michie, John McCarthy và Richard Gregory.

Thật không may, hậu quả của báo cáo rất nghiêm trọng, dẫn đến việc nghiên cứu AI ở Anh bị hủy bỏ hoàn toàn. Chỉ một số ít trường đại học, cụ thể là Edinburgh, Essex và Sussex, tiếp tục nỗ lực nghiên cứu AI của họ. Mãi cho đến năm 1983, nghiên cứu AI mới được hồi sinh trên quy mô lớn hơn. Sự hồi sinh này được thúc đẩy bởi sáng kiến ​​tài trợ của chính phủ Anh có tên là Alvey, đã phân bổ 350 triệu bảng Anh cho nghiên cứu AI để đáp lại Dự án thế hệ thứ năm của Nhật Bản.

Mùa đông #4, 1987: Sự sụp đổ của thị trường máy LISP

Trong thời kỳ được gọi là mùa đông của chủ nghĩa kết nối, các hệ thống tượng trưng như Nhà lý thuyết logic (1956) và Bộ giải quyết vấn đề chung (1957) tiếp tục phát triển trong khi gặp phải những hạn chế về phần cứng. Các hệ thống này chỉ có thể xử lý các mẫu đồ chơi do khả năng máy tính hạn chế vào thời điểm đó. Đây là những gì Herbert Simon đã nói về tình hình trong những năm 1950-1960:

Mọi người đang tránh xa những nhiệm vụ lấy kiến ​​thức làm trung tâm của mọi thứ bởi vì chúng tôi không thể xây dựng cơ sở dữ liệu lớn bằng những chiếc máy tính mà chúng tôi có lúc đó. Chương trình cờ vua đầu tiên của chúng tôi và Logic Theorist được thực hiện trên một máy tính có lõi từ 64 đến 100 từ và một trống cào có 10.000 từ trống trên đó. Vì vậy, ngữ nghĩa không phải là tên của trò chơi. Tôi nhớ có một sinh viên muốn làm luận án về cách bạn trích xuất thông tin từ một cửa hàng lớn. Tôi nói với anh ấy “Không đời nào! Bạn chỉ có thể thực hiện luận điểm đó trên một ví dụ về đồ chơi và chúng tôi sẽ không có bất kỳ bằng chứng nào về cách nó mở rộng quy mô. Tốt hơn là bạn nên tìm một cái gì đó khác để làm. Vì vậy, mọi người đã tránh xa những vấn đề mà kiến ​​​​thức là vấn đề thiết yếu.

Khoảng năm 1960, McCarthy và Minsky tại MIT đã phát triển LISP , một ngôn ngữ lập trình bắt nguồn từ các hàm đệ quy. LISP trở nên rất quan trọng nhờ khả năng xử lý biểu tượng và tính linh hoạt trong việc quản lý các tác vụ phức tạp, điều này rất quan trọng đối với sự phát triển AI ban đầu. Đó là một trong những ngôn ngữ đầu tiên được sử dụng trong nghiên cứu AI. Tuy nhiên, phải đến đầu những năm 1970, với sự ra đời của máy tính có dung lượng bộ nhớ đáng kể, các lập trình viên mới có thể triển khai các ứng dụng tri thức sâu rộng.

Các hệ thống này đã hình thành nền tảng cho "các hệ thống chuyên gia", nhằm mục đích kết hợp chuyên môn của con người và thay thế con người trong một số nhiệm vụ nhất định. Những năm 1980 đánh dấu sự trỗi dậy của các hệ thống chuyên gia, biến AI từ một lĩnh vực học thuật sang các ứng dụng thực tế và LISP trở thành ngôn ngữ lập trình ưa thích cho điều đó. Theo bài viết của Paul Graham, lập trình viên máy tính và đồng sáng lập Y Combinator và Hacker News, LISP “là một sự khác biệt hoàn toàn so với các ngôn ngữ hiện có” và đưa ra chín ý tưởng sáng tạo.

Sự phát triển của các hệ chuyên gia là một cột mốc quan trọng trong lĩnh vực AI, thu hẹp khoảng cách giữa nghiên cứu học thuật và ứng dụng thực tế. John McDermott của Đại học Carnegie Mellon đã đề xuất hệ thống chuyên gia đầu tiên có tên là XCON (eXpert CONfigurer) vào tháng 1 năm 1980. XCON được Digital Equipment Corporation (DEC) sử dụng để hợp lý hóa quy trình cấu hình cho các máy tính VAX của họ. Đến năm 1987, XCON đã xử lý một số lượng đáng kể các đơn đặt hàng, chứng minh tác động và hiệu quả của nó.

Năm 1981, CMU bắt đầu làm việc trên một hệ thống mới gọi là Xsel. Quá trình phát triển sau đó được DEC tiếp quản và quá trình thử nghiệm thực địa bắt đầu vào tháng 10 năm 1982. Mặc dù Xcon và Xsel đã nhận được sự công khai đáng kể, nhưng chúng vẫn đang ở giai đoạn nguyên mẫu. Bruce Macdonald, khi đó là giám đốc chương trình Xsel, bắt đầu phản đối rằng danh tiếng vượt xa thành tích đạt được, nhưng phó chủ tịch phụ trách bán hàng vẫn chưa dừng lại. Thật vậy, Macdonald nhớ cuộc họp với các giám đốc điều hành cấp cao, trong đó phó chủ tịch phụ trách bán hàng đã nhìn anh và nói: “Anh đã làm việc này được ba năm rồi. Nó chưa sẵn sàng sao?”

Đầu những năm 1980 chứng kiến ​​một loạt các câu chuyện thành công về hệ thống chuyên gia, dẫn đến việc hình thành các nhóm AI ở nhiều công ty lớn. Sự trỗi dậy của máy tính cá nhân, sự phổ biến của các bộ phim Chiến tranh giữa các vì sao và các tạp chí như Discover và Công nghệ cao đã góp phần khiến công chúng say mê AI. Sự bùng nổ công nghệ sinh học trị giá hàng tỷ đô la vào cuối những năm 1970 đã thúc đẩy sự quan tâm đầu tư vào công nghệ cao, thúc đẩy các chuyên gia AI hàng đầu bắt tay vào các dự án kinh doanh mới :

• Edward Feigenbaum, người thường được gọi là "cha đẻ của các hệ chuyên gia," cùng với một số đồng nghiệp ở Stanford, thành lập Teknowledge, Inc.
• Các nhà nghiên cứu từ Carnegie Mellon đã thành lập Tập đoàn Carnegie.
• Đã có đủ các sản phẩm phụ của MIT để tạo ra một dải ở Cambridge, Massachusetts, được gọi là AI Alley. Những công ty khởi nghiệp này bao gồm Symbolics, Lisp Machines, Inc. và Thinking Machines Corporation.
• Nhà nghiên cứu Larry Harris rời Dartmouth để thành lập Tập đoàn trí tuệ nhân tạo.
• Roger Schank, tại Yale, giám sát sự hình thành của Cognitive Systems, Inc.

Các công ty xuất hiện vào thời điểm đó có thể được chia thành ba khu vực chính được liệt kê từ khu vực có doanh số bán hàng lớn nhất đến khu vực có doanh số bán hàng nhỏ hơn:

1. Phần cứng và phần mềm liên quan đến AI, cụ thể là máy vi tính được gọi là máy LISP, dành riêng để chạy các chương trình LISP với tốc độ gần bằng máy tính lớn
2. Phần mềm được gọi là “công cụ phát triển hệ thống chuyên gia” hay “vỏ bọc” đã được các tập đoàn lớn sử dụng để phát triển hệ thống chuyên gia nội bộ của họ.
3. Các ứng dụng hệ chuyên gia thực tế

Đến năm 1985, 150 công ty đã cùng nhau chi 1 tỷ đô la cho các nhóm AI nội bộ . Năm 1986, doanh số bán phần cứng và phần mềm liên quan đến AI của Hoa Kỳ đạt 425 triệu USD, với việc thành lập 40 công ty mới và tổng đầu tư là 300 triệu USD.

Sự tăng trưởng bùng nổ mang đến những thách thức khi giới học thuật trở nên đông đúc với dòng phóng viên, nhà đầu tư mạo hiểm, công ty săn đầu người trong ngành và doanh nhân. Cuộc họp khai mạc của Hiệp hội Trí tuệ Nhân tạo Hoa Kỳ năm 1980 đã thu hút khoảng một nghìn nhà nghiên cứu , trong khi đến năm 1985, một cuộc họp chung của AAAI và IJCAI đã thu hút gần sáu nghìn người tham dự. Bầu không khí chuyển từ trang phục giản dị sang trang phục chính thức.

Năm 1984, tại cuộc họp thường niên của AAAI, Roger Schank và Marvin Minsky đã cảnh báo về “Mùa đông AI” sắp tới, dự đoán bong bóng AI sắp bùng nổ, xảy ra ba năm sau đó và thị trường dành cho AI dựa trên LISP chuyên biệt. sập phần cứng .

Sun Microsystems và các công ty như Lucid đã cung cấp các máy trạm mạnh mẽ và môi trường LISP như những giải pháp thay thế. Các máy trạm đa năng đặt ra những thách thức cho LISP Machines, thúc đẩy các công ty như Lucid và Franz LISP phát triển các phiên bản LISP ngày càng mạnh mẽ và di động cho các hệ thống UNIX. Sau đó, máy tính để bàn của Apple và IBM nổi lên với kiến ​​trúc đơn giản hơn để chạy các ứng dụng LISP. Đến năm 1987, các giải pháp thay thế này phù hợp với hiệu suất của các máy LISP đắt tiền, khiến các máy chuyên dụng trở nên lỗi thời. Ngành công nghiệp trị giá nửa tỷ đô la nhanh chóng bị thay thế chỉ trong một năm.

Những năm 1990: Chống lại việc triển khai và bảo trì hệ thống chuyên gia mới

Sau sự sụp đổ của thị trường máy LISP, các máy tiên tiến hơn đã thế chỗ nhưng cuối cùng cũng chịu chung số phận. Vào đầu những năm 1990, hầu hết các công ty LISP thương mại, bao gồm cả Symbolics và Lucid Inc., đều thất bại. Texas Instruments và Xerox cũng rút khỏi lĩnh vực này. Một số công ty khách hàng tiếp tục duy trì các hệ thống được xây dựng trên LISP, nhưng công việc hỗ trợ này đòi hỏi phải có.

Trong những năm 1990 trở về sau, thuật ngữ "hệ thống chuyên gia" và khái niệm về các hệ thống AI độc lập phần lớn đã biến mất khỏi từ điển CNTT. Có hai cách giải thích về điều này. Một quan điểm cho rằng "các hệ thống chuyên gia đã thất bại" vì chúng không thể thực hiện lời hứa được thổi phồng quá mức của mình, dẫn dắt thế giới CNTT tiếp tục phát triển. Quan điểm khác là các hệ thống chuyên gia là nạn nhân của sự thành công của họ. Khi các chuyên gia CNTT chấp nhận các khái niệm như công cụ quy tắc, các công cụ này đã chuyển đổi từ các công cụ độc lập để phát triển các hệ thống chuyên gia chuyên biệt thành các công cụ tiêu chuẩn trong số nhiều công cụ.

Mùa đông # 5, 1988: Không có trí thông minh máy móc cấp cao – Không có tiền

Năm 1981, người Nhật tiết lộ kế hoạch đầy tham vọng của họ cho dự án máy tính thế hệ thứ năm, khiến cả thế giới lo ngại. Hoa Kỳ, với lịch sử tài trợ của Bộ Quốc phòng cho nghiên cứu AI và chuyên môn kỹ thuật, đã đáp lại bằng cách khởi động Sáng kiến ​​​​Điện toán Chiến lược (SCI) vào năm 1983. SCI nhằm mục đích phát triển phần cứng máy tính và AI tiên tiến trong khung thời gian mười năm. Các tác giả của Strate gic Computing: DARPA and the Quest for Machine Intelligence, 1983-1993 mô tả “cỗ máy do SCI hình dung”:

Nó sẽ chạy mười tỷ lệnh mỗi giây để nhìn, nghe, nói và suy nghĩ như con người. Mức độ tích hợp cần thiết sẽ sánh ngang với mức độ đạt được của bộ não con người, công cụ phức tạp nhất mà con người biết đến.

Một dự án đáng chú ý trong Sáng kiến ​​Điện toán Chiến lược (SCI) là dự án "Xe tải thông minh" hoặc Xe tự hành trên đất liền (ALV) . Nó đã nhận được một phần đáng kể trong ngân sách hàng năm của SCI và nhằm mục đích phát triển một robot đa năng cho các nhiệm vụ khác nhau. Các nhiệm vụ này bao gồm vận chuyển vũ khí, trinh sát, xử lý đạn dược và tiếp tế khu vực phía sau. Mục tiêu là tạo ra một phương tiện có thể điều hướng địa hình gồ ghề, vượt qua các chướng ngại vật và sử dụng khả năng ngụy trang. Ban đầu, các nguyên mẫu có bánh xe chỉ giới hạn ở đường và mặt đất bằng phẳng, nhưng sản phẩm cuối cùng được hình dung là có thể vượt qua mọi địa hình trên các chân cơ khí.

Vào cuối những năm 1980, rõ ràng là dự án vẫn chưa đạt được mức độ thông minh máy móc mong muốn. Thách thức chính bắt nguồn từ việc thiếu một cấu trúc quản lý hiệu quả và ổn định có thể điều phối các khía cạnh khác nhau của chương trình và cùng nhau thúc đẩy chúng hướng tới mục tiêu trí tuệ máy móc. Nhiều nỗ lực đã được thực hiện để áp đặt các kế hoạch quản lý đối với SCI, nhưng không có nỗ lực nào tỏ ra thành công. Ngoài ra, các mục tiêu đầy tham vọng của SCI, chẳng hạn như khả năng tự lái của dự án ALV, đã vượt quá những gì có thể đạt được vào thời điểm đó và giống với các hệ thống AI đa phương thức đương thời và khái niệm khó nắm bắt về AGI (Trí tuệ tổng hợp nhân tạo).

Dưới sự lãnh đạo của Jack Schwarz, người đảm nhận quyền kiểm soát Văn phòng Công nghệ Xử lý Thông tin (IPTO) vào năm 1987, kinh phí dành cho nghiên cứu AI trong DARPA đã bị cắt giảm . Trong Machines Who Think: A Personal Inquiry into the History and Prospects of Artificial Intelligence , Pamela McCorduck mô tả thái độ của Schwarz đối với Sáng kiến ​​Điện toán Chiến lược và vai trò của AI:

Schwartz tin rằng DARPA đang sử dụng một mô hình bơi lội - đặt mục tiêu và chèo về phía mục tiêu đó bất kể dòng chảy hay bão tố. Thay vào đó, DARPA nên sử dụng mô hình người lướt sóng – chờ đợi con sóng lớn, điều này sẽ cho phép các quỹ tương đối khiêm tốn của họ lướt sóng một cách uyển chuyển và thành công để hướng tới cùng mục tiêu đó. Về lâu dài, AI là khả thi và đầy hứa hẹn, nhưng làn sóng của nó vẫn chưa tăng lên.

Mặc dù không đạt được trí thông minh máy móc cấp cao, SCI đã đạt được các mốc kỹ thuật cụ thể. Ví dụ, vào năm 1987, ALV đã thể hiện khả năng tự lái trên đường hai làn, tránh chướng ngại vật và lái xe địa hình trong các điều kiện khác nhau. Việc sử dụng máy quay video, máy quét laser và thiết bị điều hướng quán tính do chương trình SCI ALV đi tiên phong đã đặt nền móng cho sự phát triển ô tô không người lái thương mại ngày nay.

Bộ Quốc phòng đã đầu tư 1.000.417.775,68 đô la vào SCI từ năm 1983 đến 1993, như đã nói trong Máy tính chiến lược: DARPA và Cuộc tìm kiếm Trí thông minh Máy móc, 1983-1993 . Dự án cuối cùng đã thành công nhờ Sáng kiến ​​Máy tính Chiến lược Tăng tốc vào những năm 1990 và sau đó là Chương trình Máy tính và Mô phỏng Nâng cao.

Phần kết luận

Se se lạnh! Mùa đông AI chắc chắn không có gì thú vị. Nhưng một phần của nghiên cứu tạo ra những đột phá gần đây với các mô hình ngôn ngữ lớn (LLM) đã được thực hiện trong thời gian đó. Trong thời kỳ đỉnh cao của các hệ thống chuyên gia biểu tượng, các nhà nghiên cứu theo chủ nghĩa kết nối vẫn tiếp tục công việc của họ trên các mạng lưới thần kinh, mặc dù ở quy mô nhỏ hơn. Phát hiện của Paul Werbos về backpropagation, một thuật toán quan trọng để đào tạo mạng lưới thần kinh, là rất quan trọng cho sự tiến bộ hơn nữa.

Vào giữa những năm 1980, "mùa đông của những người theo chủ nghĩa kết nối" đã kết thúc khi các nhà nghiên cứu như Hopfield, Rumelhart, Williams, Hinton và những người khác đã chứng minh tính hiệu quả của lan truyền ngược trong mạng lưới thần kinh và khả năng biểu diễn các phân phối phức tạp của chúng. Sự hồi sinh này xảy ra đồng thời với sự suy giảm của các hệ thống chuyên gia tượng trưng.

Sau giai đoạn này, nghiên cứu về mạng thần kinh phát triển mạnh mẽ mà không gặp trở ngại nào nữa, dẫn đến sự phát triển của nhiều mô hình mới, cuối cùng mở đường cho sự xuất hiện của LLM hiện đại. Trong ấn bản tiếp theo, chúng tôi sẽ đi sâu vào giai đoạn nghiên cứu mạng lưới thần kinh hiệu quả này. Giữ nguyên!

Lịch sử LLM của Turing Post:

1. Kỷ nguyên dịch cơ học và nó sụp đổ như thế nào
2. Sự ra đời đầy ấn tượng của AI, những chatbot đầu tiên và sức mạnh của Bộ Quốc phòng Hoa Kỳ
3. Câu chuyện về AI Winters và những gì nó dạy chúng ta ngày nay

Còn tiếp…