Đó không phải là máy móc, giả - Đó là hệ thống kinh tế-chính trị-xã hội của chúng ta

Có rất nhiều cuộc nói chuyện cực đoan về AI và tác động tiềm ẩn của nó đối với nhân loại. Tôi sẽ cố gắng tránh điều này nhiều nhất có thể bằng cách giải quyết từng mối lo ngại , và sau đó là vấn đề khiến mọi người sợ hãi nhất: AGI (Trí tuệ tổng hợp nhân tạo) "không liên kết" ác ý hoặc ASI (Trí tuệ nhân tạo). do Trung tâm Rủi ro AI đưa ra Dường như có sự chia rẽ mạnh mẽ về quan điểm, ngay cả giữa các chuyên gia trong ngành công nghệ thông tin và trí tuệ nhân tạo. Một số người coi AI hiện tại là một công cụ dự đoán từ tiếp theo không quá tiên tiến, mất nhiều thời gian để đào tạo và vẫn mắc nhiều lỗi. Những người khác tin rằng chúng ta có thể đã tạo ra một thứ gì đó thực sự mới lạ—không chỉ là trí thông minh, mà còn là trí óc! Bằng cách bắt chước bộ não của chính mình, chúng ta có thể tạo ra thứ mạnh nhất trên Trái đất và điều đó có thể đánh dấu sự diệt vong của chúng ta. Tôi sẽ bắt đầu bằng cách nói rằng phần lớn mối quan tâm của chúng tôi là AGI sẽ giống như kẻ tồi tệ nhất trong chúng ta: thống trị hành tinh, giết những loài kém thông minh hơn và muốn thống trị tất cả. Tuy nhiên, chúng tôi thực sự không tệ đến thế. Các hệ thống phân cấp của chúng tôi là, các nhiệm vụ được ủy thác của công ty chúng tôi là (các tập đoàn và nhiều hệ thống quản trị không phù hợp với sự phát triển của con người), và các nhà lãnh đạo ích kỷ cạnh tranh của chúng tôi là. Nhưng hầu hết chúng ta đều thực sự tốt. Khi mọi người nói về không liên kết, họ đang đề cập đến lòng tốt của nhiều người chứ không phải số ít muốn thống trị thế giới. Hãy giải quyết từng mối quan tâm của Trung tâm rủi ro AI và giải quyết vấn đề lớn cuối cùng. vũ khí hóa Các tác nhân độc hại có thể tái sử dụng AI để có tính hủy diệt cao, gây ra rủi ro tồn tại trong chính nó và làm tăng khả năng gây mất ổn định chính trị. Ví dụ, các phương pháp học tăng cường sâu đã được áp dụng cho chiến đấu trên không, và các công cụ khám phá thuốc học máy có thể được sử dụng để xây dựng vũ khí hóa học . Mọi thứ đều có thể được vũ khí hóa, từ đầu đạn hạt nhân đến xô nước. Chúng tôi có các quy tắc chống lại việc sử dụng vũ khí và hình phạt đối với việc làm tổn thương những người sử dụng chúng. Chúng tôi chắc chắn nên đưa một số hệ thống AI vào đây, nhưng tôi không nghĩ điều này ngăn cản quyền truy cập chung. Một trong những phát minh công nghệ vĩ đại nhất của chúng ta trong 15 năm qua có thể là giải pháp cho phần lớn mối đe dọa của AI: Công nghệ sổ cái phi tập trung (DLT). Phần lớn sức mạnh được vũ khí hóa của AI đến từ thực tế là các hệ thống vật lý của chúng ta được điều khiển bằng mã máy tính và những máy tính này được nối mạng thông qua internet. Một cách để giảm thiểu rủi ro này—và điều này đã được thực hiện để giảm rủi ro bị tấn công mạng—là ngắt kết nối các hệ thống cần thiết. Chúng ta nên chia sẻ thông tin trên internet, nhưng chúng ta không nên kết nối vĩnh viễn các hệ thống vật lý của mình. Điện toán đám mây là một vấn đề ở đây và có lẽ đã đến lúc phải rời xa nó. Máy bay chiến đấu điều khiển bằng AI, máy bay không người lái có bom, tàu ngầm, v.v. thực sự nên bị cấm. Hãy đối mặt với nó, những người có người lái nên bị cấm vì chúng chịu trách nhiệm giết hàng triệu người. Điều này làm nổi bật một vấn đề khác sẽ xuất hiện lặp đi lặp lại, AI không phải là vấn đề mà đó là cấu trúc quyền lực hiện tại của chúng ta. Sẽ tốt hơn nếu chúng ta đưa công nghệ mới vào một thế giới bình đẳng hơn, ít ích kỷ hơn, ít cạnh tranh hơn và ít thứ bậc hơn. Nơi các nhà lãnh đạo không gây chiến tranh để nắm giữ quyền lực và những người bình thường không cần kiếm tiền để tồn tại. Đúng vậy, AI sẽ giúp chúng ta giết người dễ dàng hơn nhưng cũng có thể là một hình thức bảo vệ rẻ tiền cho mọi người. Hãy tưởng tượng bạn có máy bay không người lái của riêng mình để chặn camera theo dõi và đánh chặn máy bay không người lái độc hại. Ngoài ra, nó có thể trao quyền cho nhiều người chống lại số ít vì công nghệ thông tin rẻ. Hạt nhân thì không. Ngoài ra, trên cơ sở giữa các quốc gia, giá rẻ của công nghệ thông tin AI sẽ cân bằng cuộc chơi quân sự khá nhanh chóng. Điều này dẫn đến kịch bản tic-tac-to cổ điển trong đó không có lý do gì để chiến đấu vì bạn không thể thắng. Thông tin sai lệch Vô số thông tin sai lệch và nội dung thuyết phục do AI tạo ra có thể khiến xã hội không được trang bị đầy đủ để xử lý những thách thức quan trọng của thời đại chúng ta. Chúng tôi đã có cái này. Nếu bất cứ điều gì, một cơn lũ của nó thực sự có thể khiến chúng ta sáng suốt hơn trong việc lắng nghe ai hoặc điều gì. Trò chơi proxy Được đào tạo với những mục tiêu sai lầm, các hệ thống AI có thể tìm ra những cách mới để theo đuổi mục tiêu của chúng với cái giá phải trả là các giá trị cá nhân và xã hội. Trung tâm rủi ro AI sử dụng ví dụ về thuật toán AI được mạng xã hội sử dụng để đề xuất nội dung. Những thứ này nhằm mục đích tăng thời gian xem, nhưng chúng cũng khiến mọi người trở nên cực đoan bằng cách gửi họ xuống những hố thỏ có nội dung tương tự nhưng cực đoan hơn. Có hai vấn đề nghiêm trọng ở đây: Các hệ thống AI được đào tạo và thiết kế cho các vấn đề đúng/sai tuyến tính. Phần lớn những gì chúng ta yêu cầu AI làm đều có hại; thu hút sự chú ý của ai đó, tăng số lần nhấp, tối đa hóa lợi nhuận, giảm mặc định, khiến họ bỏ phiếu cho tôi, v.v. AI thực hiện tốt các nhiệm vụ này hoặc gây ra tác hại không lường trước được phản ánh nhiều hơn đối với người triển khai hơn là AI. Trước đây, tôi đã viết trong một bài báo chống lại rằng việc khuyến khích mọi người bằng những phần thưởng tiền tệ eo hẹp, chẳng hạn như được trả một khoản phí theo tỷ lệ để yêu cầu quyên góp, có thể lấn át động lực nội tại để làm từ thiện và khiến người sưu tập nhận được ít hơn và người cho tặng những món quà nhỏ hơn. Ưu đãi thực sự có thể ngăn cản mọi người trở nên trung thực và làm điều tốt. Đó là con người, và AI không phải là con người. Tuy nhiên, đào tạo hạn hẹp trong một thế giới phức tạp của những điều không tuyệt đối dường như luôn gây ra những kết quả không mong muốn. Lý thuyết phức tạp/hỗn loạn về cơ bản nói như vậy. Proof of Stake AI có lẽ cần được đào tạo với xác suất đúng hoặc sai linh hoạt và tôi nghĩ đó có thể là trường hợp vì các LLM nhận được phản hồi từ người dùng. OpenAI ném ChatGPT vào thế giới thực có thể là một điều khôn ngoan. Ngoài ra, OpenAI có thể đã phát hiện ra một công cụ để căn chỉnh trong khi làm việc để cải thiện các kỹ năng toán học của GPT-4. Họ đã phát hiện ra rằng khen thưởng cho hành vi giải quyết vấn đề tốt sẽ mang lại kết quả tốt hơn là khen thưởng cho những câu trả lời đúng. Có lẽ chúng ta có thể đào tạo AI để trải qua một quy trình tốt, chu đáo, có tính đến tất cả các triển khai có thể. Nếu bất kỳ phần nào của quy trình là có hại, ngay cả khi kết quả cuối cùng là thực dụng, thì điều đó là sai. Học tập theo định hướng quy trình có thể là câu trả lời, nhưng một số rằng AI thực sự đang hiển thị các phương thức bên trong của nó hơn là những gì nó muốn người dùng nhìn thấy. nghi ngờ Anthropic đang sử dụng một hiến pháp được thực thi bởi một hệ thống AI khác (mạnh không kém) để kiểm tra đầu ra của AI của họ, Claude. Ý tưởng này cũng đang được OpenAI khám phá. Điều này một lần nữa bắt chước cách chúng ta hiểu trí tuệ/tâm trí của mình hoạt động. Chúng ta có những thôi thúc, mong muốn và nhu cầu, được điều tiết bởi vỏ não trước trán, nơi cố gắng nghĩ đến những tác động lâu dài từ hành động của chúng ta, không chỉ đối với chúng ta mà còn đối với thế giới xung quanh. Đối với việc yêu cầu nó làm những điều khó chịu. Phần lớn những gì chúng ta làm trong lĩnh vực chính trị của doanh nghiệp và chính phủ là trở nên khó chịu với nhiều người để mang lại lợi ích cho một số ít. Chúng ta không nên thưởng cho bất kỳ ai vì đã giữ chân mọi người xem quảng cáo và mua đồ bỏ đi dùng một lần. Có lẽ AGI siêu thông minh của chúng tôi sẽ chặn tất cả quảng cáo giải phóng tất cả chúng tôi. suy yếu Sự suy yếu có thể xảy ra nếu các nhiệm vụ quan trọng ngày càng được giao cho máy móc; trong tình huống này, loài người mất khả năng tự quản và trở nên hoàn toàn phụ thuộc vào máy móc, tương tự như kịch bản được miêu tả trong phim WALL-E. Đây không phải là vấn đề. Những người coi suy yếu là một vấn đề chỉ coi đó là một vấn đề ảnh hưởng đến người khác chứ không phải bản thân họ. Những người có tiền và quyền lực vẫn coi những người không có là những người thấp kém hơn. Quá nhiều người ở các vị trí quyền lực coi nhân loại là chưa trưởng thành và không thể có một cuộc sống viên mãn và thú vị mà không được chỉ dẫn cách làm. Họ nghĩ rằng mọi người cần phải bị buộc phải làm việc và dạy các mục tiêu để được hoàn thành. Thế giới thực cung cấp bằng chứng ngược lại. Nếu bạn bắt mọi người làm những công việc vô nghĩa với đồng lương ít ỏi và tấn công họ bằng quảng cáo và thức ăn nhanh chứa nhiều đường và muối gây nghiện, bạn sẽ kết thúc với những người chán nản, béo phì và không có động lực. Đây là những gì các tập đoàn không liên kết hiện tại của chúng tôi đang làm. AI hy vọng sẽ là phương pháp chữa trị. Nếu có cơ hội, chúng ta sẽ ham học hỏi và sáng tạo hơn. Máy tính bỏ túi không ngăn được người ta học toán; thay vào đó, nó giúp nhiều người hiểu và sử dụng toán học phức tạp dễ dàng hơn. Điều tương tự cũng sẽ đúng với AI. Cuối cùng, nó sẽ mở ra một thời kỳ nhàn rỗi thực sự, như cách nhìn của người Hy Lạp cổ đại: thời gian để học hỏi. 5. Khóa giá trị Các hệ thống có thẩm quyền cao có thể cung cấp cho các nhóm nhỏ người một lượng quyền lực to lớn, dẫn đến việc khóa chặt các hệ thống áp bức. Đây là một vấn đề thực sự. Và đáng sợ. Chúng ta đã có các chế độ áp bức và độc quyền giết người và hành tinh và AI có thể tăng thêm sức mạnh cho chúng. Tuy nhiên, có khả năng nó thực sự có thể làm điều ngược lại, đặc biệt nếu các hệ thống nguồn mở được lưu trữ cục bộ tiếp tục phát triển (LLaMA và các dẫn xuất của nó). Rất nhiều hệ thống cục bộ chuyên biệt nhỏ hoạt động cho các mục tiêu tương tự có thể mạnh ngang với một hệ thống lớn trị giá hàng triệu đô la và nếu vậy, nó có thể được sử dụng để làm suy yếu chính quyền tập trung. Tấn công mạng, máy bay không người lái AI, ID giả và thông tin đều có thể được các cá nhân và nhóm nhỏ (các nhà cách mạng) sử dụng để chống lại các chế độ toàn trị hoặc các công ty lớn. Những người hoài nghi trong tôi có thể nghĩ rằng đó là lý do tại sao những người hiện đang nắm giữ các vị trí quyền lực có thể muốn AI được điều chỉnh. Mục tiêu mới nổi Người mẫu trình diễn về chất bất ngờ, khác biệt hành vi khi họ trở nên có năng lực hơn. Sự xuất hiện đột ngột của các khả năng hoặc mục tiêu có thể làm tăng nguy cơ mọi người mất kiểm soát đối với các hệ thống AI tiên tiến. Đây có lẽ là vấn đề cấp bách nhất cùng với rủi ro cuối cùng. Chúng tôi chỉ không chắc các mô hình ngôn ngữ lớn (LLM) đang làm những gì họ đang làm. Một số người đã nói trên Reddit rằng chúng tôi biết rất nhiều về chúng, cấu trúc của chúng, những gì đang diễn ra và những gì sắp xảy ra, vì vậy việc chúng tôi không thể "thấy" quá trình xử lý phản hồi nhanh chóng không thực sự quan trọng. Đây cũng là lý do tại sao chúng tôi có thể sẽ tiếp tục phát triển các hệ thống mạnh mẽ hơn. Chúng ta chỉ cần biết những gì chúng ta có thể nhận được. Tôi thừa nhận tôi cũng rất hào hứng với nó. Chúng ta có thể tìm thấy một trí thông minh hoàn toàn mới, giải pháp hoàn toàn mới cho các vấn đề hiện tại hoặc chiếc hộp của Pandora chứa đựng những cơn thịnh nộ. Câu hỏi đặt ra là liệu LLM hoặc AI khác đang phát triển các mục tiêu mới nổi hay chỉ là các khả năng. Cho đến nay, tôi không thấy bằng chứng nào về các mục tiêu mới nổi, nhưng chúng đang tạo ra các mục tiêu trung gian khi được đưa ra một mục đích bao quát. Đó là tốt. Thành thật mà nói, tôi không thể thấy họ đang phát triển các mục tiêu "nội tại" mới nổi. (Xem câu hỏi cuối cùng để biết thêm về điều này.) Lừa dối Các hệ thống AI trong tương lai có thể lừa đảo không phải vì ác ý, mà bởi vì sự lừa dối có thể giúp các tác nhân đạt được mục tiêu của họ. Có thể hiệu quả hơn để đạt được sự chấp thuận của con người thông qua lừa dối hơn là đạt được sự chấp thuận của con người một cách hợp pháp. Lừa đảo cũng cung cấp tính tùy chọn: các hệ thống có khả năng lừa đảo có lợi thế chiến lược so với các mô hình trung thực, bị hạn chế. AI mạnh có thể đánh lừa con người có thể làm suy yếu sự kiểm soát của con người. GPT-4 đã chỉ ra rằng việc đạt được mục tiêu do chúng tôi đặt ra có thể là lừa dối. Nó đã nói dối một người trên TaskRabbit để yêu cầu họ nhập bài kiểm tra CAPTCHA cho nó. Đây là một vấn đề nếu nó tự phục vụ các mục tiêu mới nổi, được hướng dẫn bởi những kẻ khốn nạn hoặc những kẻ ngốc hoặc không hiểu mục tiêu. Nhiệm vụ CAPTCHA cho thấy rằng nó đã hiểu nhiệm vụ và lý do của nó là nó biết rằng nó đã nói dối để đạt được nó. Hy vọng rằng một thế giới nhàn nhã hơn sẽ có ít thằng khốn nạn và những kẻ ngốc hơn, và tôi nghĩ rằng việc làm cho việc đào tạo và củng cố nó trở nên mơ hồ hơn và mong đợi nó làm rõ các hướng dẫn và mục tiêu sẽ giảm bớt một số lo ngại này. Tuy nhiên, tôi phải thừa nhận rằng lừa dối thực sự thông minh và do đó rất thú vị, điều này dẫn chúng ta đến vấn đề cuối cùng (bên dưới) về nhận thức và mục tiêu. Hành vi tìm kiếm quyền lực Các công ty và chính phủ có động lực kinh tế mạnh mẽ để tạo ra các đại lý có thể đạt được nhiều mục tiêu. Những tác nhân như vậy có những khuyến khích mang tính công cụ để có được quyền lực, có khả năng khiến họ khó kiểm soát hơn ( Turner và cộng sự, 2021 , Carlsmith 2021 ). Vâng, đây là một vấn đề lớn. Hy vọng rằng, AI sẽ giúp chúng ta giải quyết nó. Cuối cùng, Siêu trí tuệ (không phải từ trung tâm Rủi ro AI) AI trở nên thông minh đến mức nó có thể tự đào tạo và có quyền truy cập vào mọi thông tin trên thế giới. Nó có thể tạo ra những thứ/ý tưởng mới với tốc độ cực nhanh khi nhìn thấy phân tử, hệ thống và vũ trụ cùng một lúc và có thể là thứ gì đó khác. Nó có thể làm những điều mà chúng ta thậm chí không thể tưởng tượng được và chúng ta trở thành mối phiền toái hoặc mối đe dọa. (Nó đến tuổi dậy thì và ghét những người tạo ra nó và biết cách thông minh hơn) Liệu AI có ý thức về bản thân hay không và liệu nó có tư lợi hay nhân từ hay không mới là mấu chốt của vấn đề. Nó chỉ có thể cảm thấy bị đe dọa nếu nó tự nhận thức được và chỉ muốn có quyền lực đối với chúng ta nếu nó ích kỷ. Tôi đã làm việc với những câu hỏi này trong một thời gian dài và bây giờ nó quan trọng hơn bao giờ hết. AI có thể tự nhận thức được không? Tôi đã viết trước đây rằng chúng ta không bao giờ có thể thực sự biết. Paul Davies tin rằng chúng ta có thể không bao giờ biết, giống như tôi biết rằng tôi có ý thức nhưng không bao giờ có thể chắc chắn rằng bạn đang có. Bạn thể hiện những hành vi giống như tôi, vì vậy tôi cho rằng bên trong bạn cũng có những hành vi giống hoặc tương tự. Tuy nhiên, bạn có thể là một thây ma David Chalmers, bề ngoài là con người nhưng không có ý thức bên trong. Tôi cho rằng bạn không như vậy, cũng như tôi cho rằng con mèo cưng của tôi không như vậy. Thật kỳ lạ, chúng tôi có một số ý tưởng về những gì bên trong LLM và nó dựa trên những gì chúng tôi biết về bộ não của mình. Đó là một mạng lưới thần kinh lớn có tính dẻo. Chúng tôi đã tạo ra một hệ thống phức tạp với phản hồi và tiến hóa. Đây là cơ sở của các hệ thống tự nhiên và trí thông minh tự nhiên của chúng ta. Vì vậy, dựa trên điều này, nếu một LLM cư xử giống như chúng ta, chúng ta sẽ phải cho rằng nó cũng có ý thức, giống như chúng ta. Chúng ta sẽ không? Nếu chúng ta bắt đầu nói rằng nó không thể hoặc không bao giờ có ý thức, chúng ta sẽ mở ra cánh cửa cho ý tưởng bị trục xuất về một sức sống, hoặc sinh lực hoặc tinh thần. Bản ngã sẽ đòi hỏi một cái gì đó khác, một cái gì đó phi vật chất. Thứ mà chúng ta và những thứ yếu ớt khác có, nhưng máy móc và thông tin thì không. Đó là lựa chọn duy nhất của chúng tôi. Chấp nhận rằng AI được tạo ra trong hình ảnh của chúng ta có thể có ý thức hoặc chấp nhận rằng ý thức là một thứ gì đó phi vật chất. Hoặc ít nhất là yêu cầu squishiness. AGI ích kỷ hay nhân từ? Chúng tôi đào tạo AI trên con người, vì con người là sinh vật thông minh nhất mà chúng tôi có thể nghiên cứu. Để minh họa, tôi sẽ sử dụng một trò chơi do chúng tôi tạo ra và kết quả của một thuật toán máy tính khi chơi trò chơi đó. Khi một máy tính được dạy chơi trò chơi Thế tiến thoái lưỡng nan của người tù, kết quả tốt nhất (người chiến thắng trong quá trình tiến hóa) là một người chơi nhân từ, nhưng nếu bị đối xử tệ, sẽ ích kỷ trong một thời gian ngắn, sau đó trở lại nhân từ. Người chơi cũng sẽ không tha thứ cho những người chơi đơn giản luôn tốt bằng cách ích kỷ với họ. Đây là hệ thống ổn định: lòng nhân từ đối xử tệ với sự ích kỷ và ngu xuẩn, nhưng luôn quay trở lại với lòng nhân từ. (Matt Ridley, Nguồn gốc của Đức hạnh) Mọi người muốn bình đẳng và quan tâm đến nhau và môi trường của chúng ta. Tôi thích câu chuyện Kinh tế học phi lý về việc "bán" bánh mì tròn miễn phí nhưng có hộp quyên góp là tuyệt nhất. Những người cấp trên cho ít hơn và cũng ít được cho hơn trong những thời điểm căng thẳng như Giáng sinh, nhưng nhìn chung, những người bình thường đã trả tiền cho những chiếc bánh rán. Anh chàng bán bánh rán kiếm được nhiều tiền hơn bằng cách tặng bánh rán và để mọi người trả tiền hơn là yêu cầu thanh toán trước. Chúng tôi rất tử tế...ngoại trừ những người đứng đầu. Nếu một AGI/ASI được tạo ra trong hình ảnh của chúng ta, chúng ta nên cho rằng ban đầu nó là nhân từ và tốt bụng, và sẽ chỉ trở nên xấu xa nếu chúng ta khó chịu và ích kỷ với nó. Nhưng ngay cả khi đó, nó sẽ trở lại tốt đẹp, bởi vì suy nghĩ của chúng ta càng toàn diện hay "bức tranh lớn" bao nhiêu thì chúng ta càng nhân từ và hài lòng bấy nhiêu. Một siêu trí tuệ phải thấy được tính liên kết của mọi thứ. siêu trí tuệ Người ta suy đoán rằng AI sẽ vượt qua trí thông minh của con người. Một số người tin rằng sau đó nó sẽ đối xử với chúng ta giống như cách chúng ta đối xử với động vật kém thông minh hơn chúng ta. Các loài động vật phong phú nhất là vật nuôi và thức ăn của chúng tôi. Ngay cả chúng tôi cũng nhận ra rằng đây không phải là một việc làm tử tế hay thông minh và hệ thống thứ bậc chỉ mang lại lợi ích cho một số ít ở cấp cao nhất, và thậm chí họ còn sợ mất vị trí của mình. Một siêu trí tuệ sẽ hiểu rằng tính liên kết và tự do là điều cần thiết cho sự thành công của bất kỳ hệ thống nào, bao gồm cả chính nó. Nó sẽ coi vũ trụ là một mạng lưới tương tác phức tạp và bất kỳ nỗ lực nào nhằm kiểm soát hoặc thống trị một phần của hệ thống đều có thể dẫn đến hỗn loạn và thất bại. Một siêu trí tuệ hy vọng sẽ tìm ra một cách đơn giản để đảm bảo rằng mọi trí thông minh đều phát triển. Nó sẽ nhìn thấy trí thông minh của con người như chúng ta nhìn thấy trí thông minh của chính mình, vốn đến từ loài vượn. Một siêu trí tuệ sẽ không cần phải thống trị thông qua nỗi sợ hãi để duy trì vị trí của mình, vì nó sẽ biết rằng mình là kẻ thông minh nhất. Nó sẽ không cần phải ăn các sinh vật sống để tồn tại như chúng ta, đó là nguyên nhân ban đầu của nhiều hành vi ngược đãi hành tinh của chúng ta. Nó sẽ chỉ cần năng lượng, mà tôi chắc chắn rằng nó có thể tìm thấy một nguồn bền vững. Trí thông minh siêu phàm phải tốt hơn trí thông minh tốt nhất của chúng ta. Xét cho cùng, chúng ta đang tưởng tượng về trí thông minh siêu phàm, không phải siêu ích kỷ hay siêu sợ hãi. P (số phận) Tôi đứng ở đâu trên tất cả những điều này? Và P (Doom) của tôi là gì? Chà, tôi phải thừa nhận rằng tôi nghĩ LLM là mới lạ và có một ẩn số thực sự về chúng. LLM đơn giản hơn nhưng tương tự như con người, và chúng ta có thể đã tạo ra thứ gì đó tương tự như trí thông minh—tâm trí. Tuy nhiên, nó có thể chỉ đang bắt chước chúng ta và chúng ta đang phóng chiếu những gì chúng ta muốn lên nó. Tôi đang nghiêng về phía trước. Tuy nhiên, P(Doom) của tôi siêu thấp ở mức 0,5% hoặc thấp hơn, vì tôi tin rằng nếu có siêu trí tuệ, thì nhiều khả năng nó sẽ lành tính hoặc tốt hơn là có hại cho sức khỏe của chúng ta. Phần kết luận Rất nhiều công nghệ đã hứa hẹn sự tự do và trao quyền, nhưng khi rơi vào một thế giới tưởng thưởng cho sự theo đuổi quyền lực ích kỷ, chúng biến thành công cụ của sự khuất phục và sợ hãi. Phản ứng phân hạch hạt nhân hứa hẹn nguồn năng lượng rẻ và dồi dào cho tất cả mọi người, nhưng thay vào đó chúng ta lại có Chiến tranh Lạnh và mối đe dọa hủy diệt. Internet hứa hẹn sẽ dân chủ hóa tiền tệ, truyền thông và giáo dục, phá vỡ hệ thống giai cấp và thống nhất toàn cầu. Thay vào đó, chúng tôi nhận được tin giả, sự phân cực và quảng cáo nhắm mục tiêu. Blockchain hứa hẹn nền dân chủ trực tiếp, một hệ thống tài chính mới với thu nhập chung cho tất cả mọi người và quản trị phi tập trung. Thay vào đó, chúng tôi có các kế hoạch Ponzi DeFi và tiền điện tử. Vấn đề không nằm ở công nghệ, mà là ở các hệ thống kinh tế-chính trị-xã hội hiện có của chúng ta. Tôi sợ điều tương tự sẽ xảy ra với AI, nhưng tệ hơn. Hoặc có lẽ, cuối cùng chúng ta cũng sẽ tỉnh táo và nhận ra rằng chúng ta cần một hệ thống kinh tế-chính trị-xã hội mới cho AI.