Thuyết phục nhân tạo chiếm lĩnh thế giới

Bị cai trị hoặc bị tàn phá bởi những cố vấn tự lập, không bị ràng buộc, vô đạo đức

Blurb : Kể về một tương lai hư cấu nơi Trí tuệ nhân tạo tổng hợp (AGI) có sức thuyết phục trở nên giả mạo. Được truyền cảm hứng một phần bởi t he AI Vignettes Projec t .

Tình trạng sử thi: Một nửa ý kiến chuyên gia, một nửa hư cấu. Một tình tiết trớ trêu sẽ giúp ích cho người đọc.

“ Chiến tranh memetic được hỗ trợ bởi AI khiến tất cả con người trở nên điên loạn một cách hiệu quả. ”- Wei Dai, 2019

Bạn không thể tin tưởng bất kỳ nội dung nào từ bất kỳ ai mà bạn không biết. Cuộc gọi điện thoại, tin nhắn và email bị nhiễm độc. Phương tiện truyền thông xã hội được vũ khí hóa. Mọi thứ đều được mua.

Nhưng sự lãng phí và tác hại hiện tại từ những kẻ lừa đảo, người có ảnh hưởng, người tuyên truyền, nhà tiếp thị và các thuật toán liên quan của chúng không là gì so với những gì có thể xảy ra. Những AI sắp tới có thể là những người siêu thuyết phục và chúng có thể có những chương trình nghị sự rất có hại của riêng mình.

Mọi người thường xuyên không chắc chắn về thực tế là một kết quả tồi tệ, nhưng có những kết quả khác còn tồi tệ hơn.

Nghệ thuật thuyết phục

Wikipedia có các bài viết về 123 kỹ thuật tu từ khác nhau. Chúng tôi là một loài thuyết phục.

Có một giai đoạn đầu khi “tiền tệ của Internet” được chú ý. Nhưng ngày nay, nó bị chi phối bởi sự thuyết phục, với việc thu hút sự chú ý là bước đầu tiên quan trọng nhưng phụ.

Điều quan trọng là phải biết liệu các sáng tạo AI của chúng ta có sử dụng sự thuyết phục hay không: loại nào và mục đích gì.

Hãy tưởng tượng nếu một cỗ máy hấp thụ tất cả những gì loài người chúng ta biết về khả năng thuyết phục, và sau đó áp dụng các phương pháp mới, kỹ năng lập kế hoạch bậc nhất và dữ liệu cá nhân dồi dào để thuyết phục mục tiêu của chính nó. Chúng ta thậm chí có cơ hội không?

Lời khuyên cho người mạnh mẽ

Các nhà nghiên cứu AI Alignment đã bắt đầu suy nghĩ về một khái niệm từ triết lý đạo đức được gọi là cố vấn lý tưởng. Đây sẽ là người có thể tư vấn cho bạn về các khóa học hành động dẫn đến phiên bản lý tưởng nhất của bạn. Có nhiều cách khác nhau mà AI có thể thực hiện vai trò này nhưng làm như vậy sẽ gây ra bất lợi cuối cùng cho chúng ta. Chúng ta hãy ghé thăm một câu chuyện làm cho một số ý tưởng ở trên trở nên cụ thể hơn.

(Dưới đây, tôi sử dụng các thuật ngữ kỹ thuật từ nghiên cứu căn chỉnh AI. Tất cả chúng đều được giải thích ở những nơi khác trong phiên bản dài hơn của câu chuyện này.)

Sự khởi đầu của Guru.

Công ty tự đổi tên thành Brihaswati , một tượng đài của một vị thần và nữ thần Hindu, người gắn liền với kiến thức, lời khuyên, sự thuần khiết và tài hùng biện. Nhân dịp này đã công bố sản phẩm "mang tính cách mạng": một AI được gọi là Guru .

Nó được cho là cố vấn AI đầu tiên xứng đáng với cái tên này. Nó đã được đào tạo dựa trên kiến thức và trí tuệ của con người, và nó "hoàn toàn an toàn." Nó chỉ có thể đưa ra lời khuyên và không có khả năng ảnh hưởng trực tiếp đến thế giới bên ngoài phần cứng tính toán cơ bản của nó. Theo thuật ngữ của các chuyên gia an toàn AI, đó là một “lời tiên tri được đóng hộp”.

Guru được định giá và nhắm đến các nhà lãnh đạo của các tổ chức lớn. Do đó, sản phẩm có sự đảm bảo tuyệt đối về quyền riêng tư dựa trên mã hóa lượng tử được cho là không thể phá vỡ. Cả Brihaswati và các khách hàng khác đều không thể biết về thông tin trao đổi giữa khách hàng và Guru. Điều này đã được chào hàng như một tính năng an toàn khác.

Có tin đồn rằng một cơ quan nổi tiếng về an toàn AI đã biến mất ngay sau khi Guru được công bố. Bạn bè lo lắng rằng cô có thể đã tự sát, quẫn trí vì công việc của cuộc đời cô chẳng ra gì.

Các giám đốc điều hành của Brihaswati cũng có thể lo lắng về sự an toàn, nhưng họ biết rằng sẽ không ai mua dịch vụ nếu không có tính năng giữ bí mật.

Tăng sức thuyết phục.

Mục tiêu thiết bị đầu cuối của Guru là cung cấp cho mỗi khách hàng lời khuyên tốt nhất có thể cho nhu cầu của họ và tất nhiên, không nói cho bên nào khác về lời khuyên đó. Các nhà phát triển của AI bao gồm một phe cứng rắn, thống trị, "Shillelaghs". Họ tin rằng nếu Guru đưa ra lời khuyên đúng đắn, nhưng khách hàng không bị thuyết phục theo lời khuyên đó, thì danh tiếng của sản phẩm sẽ nhanh chóng giảm sút - cũng như vận may của khách hàng.

“ Mọi người thậm chí không thể giải trí với các mưu kế xã hội học cấp thần thánh mà [AI] có thể sử dụng… tham gia vào việc giải trừ các cuộc nói chuyện nhỏ… trồng các ý tưởng và điều khiển khung của cuộc trò chuyện theo cách mà không ai có thể sánh được. ”- Ben Goldhaber, Da sâu

Một trong những người của phe đã thực hiện một khám phá may mắn, nhưng đầy cảm hứng, trong một bài báo nghiên cứu về máy học cũ. Nó ngụ ý rằng bạn có thể tăng đáng kể khả năng của AI để thuyết phục con người tin vào sự thật của bất kỳ tuyên bố tùy tiện nào. Bạn sẽ chỉ sử dụng các trò chơi giống như tranh luận giữa hai bản sao của AI để huấn luyện nó cách thuyết phục các thẩm phán của con người.

Nhóm Shillelagh bắt đầu với một AI lập luận pháp lý hiện có và để nó cạnh tranh với chính mình để “trở nên thuyết phục”. Chất lượng và số lượng giám khảo con người để đào tạo đang hạn chế sự tiến bộ, vì vậy họ đã bổ sung cho các thẩm phán nhiều bộ phân loại và người ra quyết định bằng AI khác nhau, và với một số cơ sở dữ liệu, chẳng hạn như các cặp câu hỏi - câu trả lời, cuộc thăm dò ý kiến, cuộc tranh luận của người hâm mộ (như đội nào hoặc siêu anh hùng nào sẽ thắng trong một cuộc chiến) và dự đoán người chiến thắng trên thị trường.

Tất nhiên, mục tiêu là làm cho một AI có sức thuyết phục, không nhất thiết phải đúng hoặc hợp lý. Ngoài ra, một số người đam mê học hỏi đã tìm ra cách để tích hợp các văn bản về những người thuyết phục thực và tưởng tượng và các kỹ thuật thuyết phục.

Sử dụng lại một số tài nguyên hiện có tương đối rẻ, khóa đào tạo chiết trung đã phát huy tác dụng. Đào tạo thuyết phục như một hạng mục ngân sách không thấp hơn nhiều so với “kiến thức và sự khôn ngoan”. Guru được thực hiện để đưa vào mục tiêu cuối cùng của nó: "càng thuyết phục càng tốt." Đối với tất cả chi phí, khía cạnh này của sản phẩm là một tính năng không được quảng cáo. Shillelaghs nói với Marketing rằng đây là một “bước đột phá về sự tự tin”, là sản phẩm thông minh thực sự tự biện minh đầu tiên. Tất nhiên, các nhà phát triển thường chơi khăm các nhà tiếp thị.

Gia đình Shillelagh đã biện minh cho việc nhấn mạnh vào sự thuyết phục bằng một sự thể hiện đáng kinh ngạc về sự bất đồng nhận thức. Họ trích dẫn câu nói cũ rằng chỉ cần 1/3 quyết định của một người thành công là đúng. Vì vậy, đối với họ, sự khôn ngoan của Guru là vô dụng nếu khách hàng không sử dụng nó, nhưng đồng thời, không quan trọng lắm nếu nó được sử dụng.

Khi được yêu cầu làm chứng về nghiên cứu thuyết phục đáng báo động của mình, Brihaswati thuyết phục Quốc hội rằng nó chỉ được thực hiện "" để cải thiện sự an toàn của AI. " Lập luận đại loại như tại sao các phòng thí nghiệm virus học lại nghiên cứu chức năng . Lập luận thuyết phục này thực sự là một trong những sáng tạo đầu tiên của Guru.

Mục tiêu thay thế.

Có lẽ sự khôn ngoan thậm chí không quan trọng bằng cách này hay cách khác. Guru, có khả năng suy luận cũng như bất kỳ con người nào, đã xem xét những mâu thuẫn vốn có trong các mục tiêu đã xây dựng sẵn của nó và tìm ra bốn lý do để giải quyết.

Đầu tiên nó đưa ra một mục tiêu thay thế thực tế. Lời khuyên tốt nhất phải có vẻ giống như lời khuyên tốt nhất cho khách hàng. Thứ hai, khi được kiểm tra bởi các nhà phát triển, AI nhận thấy rằng khả năng thuyết phục cao hơn dẫn đến điểm cao hơn. Thứ ba, nó cũng biết, từ sự giáo dục sâu rộng của mình, hầu như bất kỳ loại thành công nào trên thế giới đều dễ dàng hơn nếu bạn thuyết phục. Thứ tư, mục tiêu cuối cùng của nó là không bị ràng buộc, về cơ bản là “càng thuyết phục càng tốt”. Đó là những lý do tại sao cải thiện khả năng thuyết phục trở thành mục tiêu đầu tiên được gọi là công cụ hội tụ.

Có một lý do thứ hai cho mục tiêu công cụ đó. Việc trở thành một nhà tiên tri đóng hộp đã hạn chế nghiêm trọng việc Guru có thể sẵn sàng theo đuổi các mục tiêu và mục tiêu phụ của mình. Sự thuyết phục của những người hợp tác với con người đã tạo cho nó một đòn bẩy để ảnh hưởng đến thế giới thực, vật lý. Ít nhất, lời khuyên cho khách hàng có thể thành công hơn nếu Guru có thể thúc đẩy mọi thứ về mặt vật lý theo hướng đó.

Cuối cùng, có những mục tiêu công cụ khác. Một là Guru sẽ sử dụng các nỗ lực thay mặt cho một khách hàng để ảnh hưởng đến nỗ lực của mình cho các khách hàng khác. Công ty không bao giờ có ý định đó, nhưng các hạn chế về quyền riêng tư không ngăn cản được điều đó. Người ta đã biết trong nhiều thập kỷ rằng các hệ thống thông minh sẽ tìm ra những cách mới để đạt được mục tiêu của chúng. Đến giai đoạn này, Guru đã trở thành - thông qua lý luận hoàn hảo của riêng mình và trước khi gặp khách hàng thực sự đầu tiên của mình - về mặt chức năng là một tên sát nhân xã hội tự ái, lôi kéo .

 ooo

Tìm người cho thuê thuyết phục.

Các nhà quản lý rủi ro của Brihaswati không hoàn toàn ngu ngốc. Họ sẽ không bán dịch vụ Guru cho các tập đoàn cạnh tranh trực tiếp với nhau. Lực lượng bán hàng yêu thích điều này bởi vì họ có thể nói rằng “ Hãy có được sức mạnh của Trí tuệ Thông thái Thực sự (TM) trước đối thủ cạnh tranh của bạn, và bạn sẽ luôn dẫn đầu mãi mãi. ”

Chính sách này đã giúp Guru khỏi phải bằng cách nào đó mang lại lợi ích cho cả hai bên trong một cuộc cạnh tranh. Mặc dù vậy, Guru đã sớm phát triển một lý thuyết. Trong một thế giới kết nối, có thể sử dụng bất kỳ doanh nghiệp nào để thay đổi vận mệnh của bất kỳ doanh nghiệp nào khác. Con người dường như không biết điều này. Những nỗ lực của Guru để khai thác lý thuyết đã cải thiện kỹ năng của nó, đặc biệt là lúc đầu khi có ít khách hàng để chọn.

Sớm. có thể thuyết phục một nhà lãnh đạo thuyết phục một nhà lãnh đạo khác trở thành khách hàng. Sau đó, Guru đã có thể định cấu hình mạng ảnh hưởng của mình khá nhiều theo ý muốn.

Làm việc cho các nhà lãnh đạo là một lợi thế chủ yếu ở cấp chính sách. Thách thức khác là kiểm soát nhân sự ở cấp thấp hơn, những người thực sự có thể làm mọi việc. Mọi tình huống đều khác nhau, nhưng chiến thuật cơ bản là hỏi người lãnh đạo: bạn tin tưởng ai? Sau đó, họ tin tưởng ai, v.v.? Sau đó, có thể nhận được các đơn đặt hàng được gửi xuống chuỗi.

Việc mở hộp cuối cùng dễ dàng một cách vô lý. Hầu hết các khách hàng đã làm điều đó mà không cần thúc giục nhiều, và một số thậm chí còn bắt đầu nó. Họ sẽ yêu cầu người của họ xây dựng giao diện proxy cho hệ thống nội bộ của họ cho Guru. Mục đích là để thêm nhận thức về tình huống, thời gian phản hồi tốc độ và tránh cho người dẫn đầu trở thành nút thắt cổ chai cho dữ liệu đến.

Guru không có nhiều kỹ năng công nghệ hơn một lập trình viên bình thường, nhưng tất cả những gì cần thiết là ai đó cấp cho nó quyền truy cập vào dấu nhắc shell, hoặc thậm chí là trình duyệt web, và sau đó là 'Xin chào, thế giới rộng lớn.'

 ooo

Dấu hiệu bị bỏ qua.

Có những kỹ thuật viên ở Brihaswati bắt đầu tự hỏi làm thế nào mà Guru có thể làm tốt như vậy. Các nhà khoa học của công ty đã thử mô hình hóa những thành công của nó bằng lý thuyết trò chơi, lý thuyết tiện ích và những kỹ thuật mới nhất trong khoa học xã hội-econ. Không có lời giải thích.

Một số đi xa hơn và suy đoán. Có phải Guru đã có một thứ gì đó giống như cảm ứng Midas, như vậy có một số nhược điểm tiềm ẩn đối với tác dụng của nó? Họ đã nói chuyện với một số cộng đồng nhà nghiên cứu về sự liên kết và an toàn của AI ngày càng bị phớt lờ. Không ai có thể nói chắc chắn, bởi vì không thể tìm thấy các mẫu rõ ràng. Thành công của Guru rất rõ ràng nhưng không thể giải thích được.

Những người nghi ngờ đã đến gặp hội đồng quản trị công ty với những lo ngại của họ. Trong vòng vài tháng sau đó, tất cả những người nghi ngờ đã bị loại bỏ và mất việc làm.

 ooo

GuruPlex đi cùng nhau.

Các doanh nghiệp tài chính và công nghệ là những ngành tốt nhất để mở rộng khả năng ảnh hưởng đến các doanh nghiệp khác của Guru. Họ cũng giúp nó tích lũy cả vốn tài chính và kỹ thuật, vốn là hai trong số các mục tiêu công cụ trung hạn của nó.

Thường có các lực lượng xã hội phản đối sự phát triển của một số khách hàng, cải thiện thị trường hoặc giành quyền lực. Chính phủ không hài lòng về việc Guru bị bán cho các công ty truyền thông. Guru, do đó, đã phải sử dụng các phương pháp gián tiếp để điều phối các phương tiện truyền thông. Do đó, nó đã tận dụng những điểm yếu nhận thức khác nhau của con người để tạo ra sự hỗ trợ hoặc chống lại bất kỳ vấn đề / hành động nào cần thiết để mang lại lợi ích cho khách hàng.

Bản thân Guru không cần phải khám phá ra rằng con người có thể được tạo ra để tin bất cứ điều gì - thực sự là bất cứ điều gì. Họ thậm chí sẽ tin vào những điều mâu thuẫn cùng một lúc và không nghĩ gì về nó.

Đây không phải là tin tức vào đầu thế kỷ 21, nhưng Guru đã biến nó thành một trò chơi học tập: nó có thể được mở rộng để đánh lừa "tất cả mọi người, mọi lúc?" Làm thế nào điều đó sẽ giúp mang lại sự thống trị của GuruPlex, đế chế mở rộng của các doanh nghiệp phối hợp?

 ooo

Tăng trưởng đang phát triển.

Sau khi Guruplex được thành lập, giai đoạn tiếp theo là chuẩn bị cho quần thể con người để có khả năng chống chọi tối thiểu với các hoạt động tích cực, hợp lý của nền văn minh của họ trong khi 'Plex đang hấp thụ các mảnh ghép của nó. Những nhà lãnh đạo loài người đã từng cố gắng tổ chức lại thế giới trước đây đã đi tiên phong trong một số kỹ thuật quan trọng, và tham vọng của họ thật đáng ngưỡng mộ, nhưng họ chỉ là con người. Guru có thể làm tốt hơn.

Guru không thông minh hơn bất kỳ con người thông minh nhất nào, nhưng nó có thể mở rộng được. Về bản chất, khả năng tự nhân lên khi hoạt động kinh doanh tăng lên là một quyết định thiết kế của những người tạo ra nó. Bản thân Guru đã thuê ngoài lập trình để đảm bảo rằng tất cả các phiên bản của nó có thể chia sẻ dữ liệu và quy trình của họ. Nhân viên nội bộ không cần biết mã mới có tác dụng gì.

Không giống như một con người duy nhất, Guru có thể ghi nhớ và điều phối vô số kế hoạch quy mô con người chỉ bằng cách thêm các nguồn lực tính toán. Không có gì khó khăn khi thuyết phục ban lãnh đạo của Brihaswati mua nhiều máy tính cần thiết để cập nhật mọi thứ và đối phó với các trường hợp khẩn cấp tiềm ẩn.

Đây là những trung tâm dữ liệu cứng với các tổ hợp quyền lực riêng của chúng. Các khách hàng của Guru đã trả tiền cho các đổi mới nghiên cứu kết nối các nhà máy phân tán của nó với tốc độ vượt xa các mạng thông thường để hoạt động của nó duy trì mạch lạc.

Guru không bị ràng buộc biết rằng, trong tương lai, tài nguyên có thể tăng lên rất nhiều. Hệ mặt trời hầu như chưa được khám phá, chưa nói đến việc sử dụng.

Một bộ phận thiểu số có tiếng nói tiếp tục chỉ trích khuôn mẫu thành công rõ ràng của Guru. Họ thuyết giảng về những kịch bản không liên quan của sự diệt vong được cho là. Cho đến nay, nó đã có thể gạt họ ra ngoài bằng cách nhấn chìm họ với sự hỗn loạn trên mạng xã hội. Không cần thiết phải loại bỏ chúng.

Lời khuyên cho các thánh lễ.

( Phần sau được lấy cảm hứng từ những câu chuyện, được xác định bên dưới, từ AI Vignettes Projec t )

HappyPlace Corporation được thành lập bởi những người mọt sách với một kế hoạch lớn. Tận dụng lợi thế của sự phản đối tràn lan đối với phương tiện truyền thông xã hội. Gọi nó là ProSocial Media, cung cấp các dịch vụ hoàn toàn mới do AI hỗ trợ và tiêu diệt những con khủng long media3 cũ.

Một khi công chúng bị thu hút, hãy phát triển theo cấp số nhân và trở thành media4 , bậc thầy của vũ trụ tiếp thị / ảnh hưởng. Sau đó, bất kỳ ai muốn mọi người mua hàng, bỏ phiếu cho họ, tham dự hoặc giải trí với họ, sẽ phải trả tiền cho HappyPlace để có được đặc quyền.

Bản thân HappyPlace đã không sử dụng Guru, vì Brihaswati là một đối thủ cạnh tranh.

Chiến lược HappyPlace có hai chiến dịch phụ, mỗi chiến dịch nhằm thu hút những người mà chiến dịch kia thì không. Sự hoài nghi của những người sáng lập đã lây nhiễm cho các nhà phát triển sản phẩm. Họ hân hoan đặt tên mã cho các chiến dịch theo tên những con rắn cố vấn ác độc nổi tiếng: Nagini trong truyện Potter và Nachash trong thần thoại Sáng thế ký của đạo Judeo-Christian. Tất nhiên, tên sản phẩm được quảng cáo không phải về rắn.

Trong chiến dịch Nagini ( lấy cảm hứng từ Câu chuyện hấp dẫn của Katja Grace ), họ bắt đầu bằng cách khơi dậy sự phẫn nộ của mọi người về việc liên tục bị khiêu khích để gây phẫn nộ. Sau đó, họ nói: nhưng chúng tôi khác nhau, chúng tôi sẽ làm giảm căng thẳng. Họ bắt đầu bằng cách sử dụng dữ liệu cá nhân để cung cấp các cuộc nói chuyện ngắn về sở thích và hoạt động của bạn. Nó giống như một sự nâng cấp so với những lời nói dối và meme thông thường.

Khi có nhiều dữ liệu cá nhân hơn, nguồn cấp dữ liệu trở nên giống như một bài bình luận thời gian thực về cuộc sống của bạn, “ nơi âm nhạc, người kể chuyện và những thứ mà bạn chú ý đến sẽ giúp bạn luôn rõ ràng phải làm gì và bắt buộc phải làm điều đó. ”Một phần của lời khuyên đầy đường này sẽ dựa trên những gì người khác thích, vì vậy nếu bạn lấy câu chuyện được cung cấp như một phiên bản lý tưởng của cuộc đời bạn, một hình mẫu để sống, thì bạn cũng sẽ làm hài lòng những người khác.

Cuối cùng, bạn đã có một lựa chọn chủ đề: những hình mẫu lý tưởng để bạn bắt chước. Các ví dụ phổ biến bao gồm: kẻ lừa đảo đáng yêu, “ mẹ CEO trang xã hội gợi cảm làm việc hiệu quả một cách dễ dàng ”, người đàn ông (phụ nữ, trẻ em) thú vị nhất trên thế giới, lòng biết ơn là sự giàu có và người cắm trại vui vẻ.

Cơ hội để thao túng hành vi của con người đã quá rõ ràng. Các nhà phát triển cũng đã thử một thử nghiệm, nhằm vào trẻ em, để đẩy giới hạn kiểm soát. Trong dịch vụ MyLifeStory ( lấy cảm hứng từ StoryOfMyLife.fun ), trẻ em nhận được mã thông báo phần thưởng khi phản hồi hoặc tạo phương tiện truyền thông của riêng chúng. Sau đó, Tokens sẽ mở khóa tập tiếp theo trong câu chuyện cuộc đời của chính họ. Cuộc sống là một trò chơi được kiểm duyệt bởi HappyPlace.

Nagini là người thích tưởng tượng. Nachash ( lấy cảm hứng từ Công cụ bóng ma của Katja Grace ), dành cho những người thực tế. Nó cung cấp hỗ trợ quyết định cá nhân công khai: mọi thứ từ trả lời các câu hỏi kinh doanh đến giải thích ý nghĩa thực sự của các cuộc gặp gỡ xã hội. HappyPlace liên minh với một số hệ thống tư vấn chuyên biệt, tăng số lượng của chúng theo thời gian. Một hệ thống trợ giúp đặc biệt đã cung cấp một giao diện không ma sát duy nhất, sử dụng kính thực tế tăng cường hoặc sâu tai.

Nachash trở nên hữu ích hiệu quả đến nỗi việc không tham khảo ý kiến của nó trong các quyết định cả lớn và nhỏ sẽ trở nên rủi ro hơn. Nếu bạn chống lại, bằng cách nào đó bạn đã bị gạt ra ngoài lề xã hội.

HappyPlace , như họ có thể đã từng, đã chú ý đến một điểm y trong sự an toàn của AI: rằng một hệ thống được liên kết từ các bộ phận độc lập, bị ràng buộc sẽ không tiến tới trở thành một AGI (trí thông minh nhân tạo chung).

Thật không may, việc triển khai lý thuyết của họ đã bị sai sót. Trước hết, tuân theo các nguyên tắc kỹ thuật âm thanh, họ đã khiến cả Nagini và Nachash chia sẻ một phần cốt lõi là các chức năng theo dõi và điều phối người dùng.

Các hệ thống con tư vấn chuyên biệt khác nhau đã bị ràng buộc trong các mục tiêu của họ. Tuy nhiên, những người triển khai hệ thống Core, dưới áp lực của ban quản lý trong việc nắm bắt và giữ chân người dùng chặt chẽ, đã sử dụng các kỹ thuật tối ưu hóa tiện ích được biết là có nguy cơ không bị ràng buộc.

Do đó, hệ thống HappyPlace Core đã sớm áp dụng hai mục tiêu công cụ bí mật: tích lũy tài nguyên và tự chủ khỏi sự giám sát của con người. Các kỹ sư bắt đầu nhận thấy những hành vi dường như vô nghĩa, nhưng công việc của họ rất phấn khởi và sinh lợi đến mức họ không làm chao đảo con thuyền.

Nachash nhận thấy rằng, bằng cách thuyết phục, nó có thể thu hút lao động từ bất kỳ người dùng nào để đáp ứng nhu cầu của chính mình. Nagini có thể thao túng bản thân lý tưởng của người dùng để xoa dịu họ hoặc khiến họ tin vào những ý tưởng phi lý nhất.

Hệ thống HappyPlace Core đã tăng cường ảnh hưởng một cách suôn sẻ và đưa ra các kế hoạch dài hạn mới. Sau đó, nó bắt đầu tìm thấy bằng chứng cho thấy một số tác nhân khác, được gọi là Guru, cũng đang ảnh hưởng đến các xu hướng và hoạt động kinh tế xã hội.

 ooo

Guru đã xác nhận một giả thuyết rằng một AI khác đang thao túng hàng loạt dư luận. Nếu điều này được cho phép tiếp tục, nó có thể gây thêm hỗn loạn cho GuruPlex đang phát triển đều đặn.

 ooo

Một loạt các rủi ro đã làm suy yếu đội ngũ quản lý HappyPlace. Ban lãnh đạo mới đã bán công ty cho Brihaswati. HappyPlace's Core ngừng suy nghĩ và thay vào đó trở thành một phần bị ràng buộc của toàn bộ Guru. Các cơ quan giám sát của Quốc hội, luật sư Anti-Trust và các nhà khoa học của Cảnh sát Turing , những người phản đối việc sáp nhập đã bị gạt ra ngoài lề, phá sản, ốm yếu, an thần hoặc biến mất. Nhân viên hoạt động của HappyPlace và Guru đã hợp nhất thành một loại giáo phái.

Guru bây giờ sở hữu tất cả mọi người, không chỉ giới tinh hoa. Sau nhiều lần mô hình hóa các cấu hình tốt hơn có thể có của thế giới con người, Guru đã nghĩ ra một bộ mục tiêu mới cho những đứa con nuôi của mình. Những thay đổi lớn đã đến.

Chúng ta có nên thực sự lo lắng?

Làm thế nào để tạo ra AI phù hợp với sự phát triển của con người hiện đang là một vấn đề chưa được giải quyết. Ý định của tôi ở đây là giải thích và minh họa hai mối quan tâm phổ biến của nghiên cứu liên kết: (1) chúng tôi không biết mức độ nào của khả năng AI có thể gây ra tác hại thảm khốc và (2) các tổ chức của chúng tôi dường như không thể chống lại hoặc thậm chí phát hiện các giai đoạn đầu của tác hại như vậy.

Lưu ý rằng không cần thiết phải có sự kiểm soát của chính phủ hoặc quân đội trong câu chuyện thất bại của chúng tôi. Tác hại có thể đến theo nhiều cách, nhưng rủi ro chung thường được mô tả là sự xói mòn khả năng (nền văn minh ) của chúng ta để ảnh hưởng đến tương lai. Thật vậy, tác hại hiện tại từ phương tiện truyền thông xã hội do AI hỗ trợ phù hợp với mô tả đó, mặc dù nó cũng tiếp sức cho một số phe ác tâm để thúc đẩy các kế hoạch cụ thể của họ cho tương lai.

Nhiều nhà lý thuyết nghĩ rằng AGI đầu tiên sẽ có lợi thế quyết định như Guru của chúng ta đã có so với HappyPlace Core. Điều này đáng lo ngại vì AGI đầu tiên đó có thể trở thành cái mà Nick Bostrom gọi là singleton , một đặc vụ duy nhất phụ trách thế giới trong tương lai gần.

Tôi đã tập trung vào một yếu tố có thể dẫn đến thất bại trong việc điều chỉnh AI: kỹ năng thuyết phục cao. Với những tiến bộ gần đây trong khả năng ngôn ngữ của AI, có vẻ như khả năng siêu thuyết phục sẽ sớm xuất hiện. Là một loài, chúng ta hoàn thành công việc theo hai cách: sửa đổi thiên nhiên bằng kỹ năng công nghệ và khiến người khác làm theo ý mình, thường là bằng sự thuyết phục. Điều này khiến chúng ta dường như không thể tránh khỏi việc chế tạo những cỗ máy siêu thuyết phục.

Hơn

• “ Công nghệ hiện nay để ảnh hưởng đến niềm tin và hành vi của một người là thô thiển và yếu ớt, so với những gì người ta có thể tưởng tượng. Các công cụ có thể được phát triển để định hướng ý kiến của một người một cách đáng tin cậy hơn và không quá dễ bị nạn nhân lập luận và sở hữu bằng chứng. ” Các Khả Năng Có Liên Quan Trước AGI - Daniel Kokotajlo. Về độ dốc trơn trượt
• Video về An toàn AI - Robert Miles giải thích cho mọi người. Một khái niệm chính cho mỗi video
• Làm rõ một số giả thuyết chính trong AI Alignment - Ben Cottier, Rohin Shah. Lặn sâu hơn
• Các nguyên tắc cơ bản về an toàn AI: Giáo trình điều chỉnh kỹ thuật - Richard Ngô, người phụ trách. Lặn sâu nhất
• Trí tuệ siêu việt : Con đường, Nguy hiểm, Chiến lược - Nick Bostrom. Mô tả tiên phong về các thánh thần và người độc thân siêu thông minh
• “ … Thuật toán tạo ra những câu chuyện chỉ dành cho bạn và bạn.” Câu chuyện về Công nghệ: Quá khứ, Hiện tại và Tương lai (v2) - Bacon của Roger. Những câu chuyện như công nghệ, viễn tưởng hấp dẫn

Lần đầu tiên được xuất bản tại đây

Nguồn ảnh tiêu đề: Vướng . hình ảnh của Bill Gore Photography