Đây là lý do tại sao các mô hình GPT nghe giống như con người

'Sự chú ý' không phải là tất cả những gì bạn cần.

Vì vậy, không ai biết tại sao AI hoạt động, phải không?

Có và không.

Vấn đề Cơ bản là chúng ta chưa tìm hiểu nhiều về điều bí ẩn là bộ não con người .

Tuy nhiên, Transformers và Humans chia sẻ những phản ứng giống nhau một cách kỳ lạ đối với ngôn ngữ tự nhiên.

Hãy giải thích tại sao.

Lưu trữ biểu diễn thông tin trong Transformers

Chúng tôi sử dụng một vectơ được tạo từ đầu vào gồm nhiều từ hoặc mã thông báo để tạo phần nhúng cho máy biến áp.

Do đó, thông tin - được lưu trữ dưới dạng vectơ.

Hãy để chúng tôi xem xét đại diện. Sự nhúng đại diện này đóng một vai trò cơ bản hơn nhiều so với sự chú ý. Trước tiên phải đạt được sự thể hiện ở dạng có thể giải mã hoặc khả thi!

Bạn có thể đang nghĩ, điều này liên quan như thế nào đến tất cả những gì một máy biến áp như GPT-4 có thể làm khi được đào tạo trên toàn bộ Internet?

Thông tin được mã hóa bằng các sản phẩm chấm chú ý và quá trình xử lý toán học kết hợp với ý nghĩa theo ngữ cảnh và biểu diễn của dữ liệu gốc.

Vì vậy, chúng tôi có một đại diện của dữ liệu này được lưu trữ trong Transformer.

nước sốt bí mật

Tất cả các mạng thần kinh đều giải quyết các vấn đề theo định lý xấp xỉ phổ quát.

Đối với những bạn chưa biết Phép xấp xỉ phổ quát là gì, chúng ta có thể định nghĩa Công cụ xấp xỉ phổ quát là bất kỳ quy trình nào chuyển đổi đầu vào được chỉ định thành đầu ra được chỉ định với độ chính xác cao - nó xấp xỉ một hàm giữa tập hợp đầu vào và tập hợp đầu ra . Chức năng đó có một hình thức. Nhưng chúng ta không cần biết biểu mẫu vì được cung cấp đủ dữ liệu, mạng thần kinh có thể ước tính bất kỳ chức năng nào cho chúng ta.

Chức năng là gì? Đó là vấn đề chúng tôi đang cố gắng giải quyết.

Mạng thần kinh có thể xấp xỉ bất kỳ chức năng nào thông qua thuật toán xử lý của nó. Bất kỳ chức năng nào - Vì vậy, phổ quát.

Kiến trúc khác nhau - thuật toán khác nhau - mô hình khác nhau - nhưng nguyên tắc cơ bản là giống nhau.

Và đây là lý do tại sao các mạng thần kinh hoạt động khi chúng có đủ dữ liệu, được giao một nhiệm vụ phù hợp và được điều chỉnh theo đúng cách, một nghệ thuật mà bạn ngày càng giỏi hơn theo thời gian.

Đại diện cơ bản của một con chó trong LLM này là gì?

Chắc chắn là có một và trên thực tế là rất nhiều.

Có thể x vectơ, y giá trị ngữ cảnh và z đối số vị trí cho một con chó, cùng với đường dẫn chính xác của kiến trúc luồng dữ liệu thô.

Chúng tôi chưa đi sâu vào vấn đề đó bởi vì nó không cần thiết cho mục đích của chúng tôi.

Hệ thống hoạt động.

Thế là đủ cho chúng tôi.

Hệ thống, do đó, là một hộp đen.

Nhưng, Bộ não lưu trữ dữ liệu như thế nào?

Giống như trước đây - chúng tôi không biết chi tiết chính xác.

Khi bộ não của chúng ta được tạo ra, chúng tạo ra các biểu diễn bên trong của các đối tượng, khái niệm và thực thể bên ngoài. Kiểu như một đứa trẻ đang lớn vậy.

Ví dụ: khái niệm về một con chó có thể liên quan đến x nơ-ron, y khớp thần kinh và kiến trúc z cùng với một tập hợp các đường truyền dữ liệu thô liên tục phát triển năng động giữa các nơ-ron.

Định lý xấp xỉ rõ ràng áp dụng cho bộ não của chúng ta.

Các nguyên tắc tương tự đang được áp dụng.

Chỉ là những phần nhúng này được tạo ra một cách tự nhiên .

Họ tế bào thần kinh, sợi trục và sợi nhánh có năng lượng điện cực thấp.

các hình thức khác nhau. chức năng khác nhau. Nhưng cùng một kết quả cuối cùng.

Hệ thống hoạt động.

Thế là đủ cho chúng tôi.

Chúng ta có thể nói gì hơn chúng ta biết?

Chỉ những gì chúng ta có thể quan sát theo kinh nghiệm.

Một lần nữa, một hộp đen.

Vậy, tại sao chúng lại giống nhau trong ngôn ngữ tự nhiên?

Chúng tôi đã cố gắng lập mô hình AGI tốt nhất có thể với quy trình xử lý rất phức tạp đối với tất cả dữ liệu được thu thập ở dạng kỹ thuật số trên Internet. Tất cả dữ liệu trên thế giới.

Đối với các mô hình trình tự-trình tự và các nhiệm vụ ngôn ngữ tự nhiên, tôi có thể nói rằng chúng tôi đã thành công.

Chúng tôi đã mô hình hóa cách bộ não của chúng tôi hoạt động trong việc hiểu và xử lý thông tin thông qua rất nhiều công việc cực kỳ tốn kém và có hệ thống.

Tôi không hài lòng.

Tôi thực sự sợ hãi.

Nếu đây là những gì ChatGPT có thể làm -

Sau đó, GPT-4 sẽ đạt được điều gì?

Các kỹ sư phần mềm tại Microsoft đã xác định được một số khoảnh khắc có tri giác trong mô hình GPT-4.

Họ thậm chí đã phát hành một bài báo về phát hiện này -

Trang tin tức:

https://www.microsoft.com/en-us/research/publication/sparks-of-artificial-general-intelligence-early-experiments-with-gpt-4/

Tài liệu nghiên cứu:

Chúng tôi đang chấp nhận rủi ro sâu sắc ở đây.

Khi Geoffrey Hinton rời khỏi vị trí nghiên cứu của mình, tôi nhận ra rằng mọi thứ đang trở nên rất rắc rối.

Tiền thúc đẩy mọi thứ.

Không có biện pháp kiểm soát nào có thể ngăn cản các công ty lấy lợi nhuận làm trung tâm ở Trung Quốc và Hoa Kỳ.

Chúng tôi hy vọng tương lai hoạt động tốt.

Những người ra quyết định về AI phải đặt đạo đức lên trên lợi nhuận.

Nhưng có bao giờ các doanh nhân làm điều đó?

Phần kết luận

Hinton đã nói một điều không thể tin được.

“Tôi đột nhiên thay đổi quan điểm của mình về việc liệu những thứ này có thông minh hơn chúng ta hay không. Tôi nghĩ bây giờ họ đã gần đạt được điều đó và họ sẽ thông minh hơn chúng ta rất nhiều trong tương lai. Làm thế nào để chúng ta sống sót qua điều đó?”

Nhưng bây giờ, không có ngăn chặn nó.

Để kết thúc mọi thứ, hãy dành cho ChatGPT một câu hỏi thú vị.

Tôi:

Bạn sẽ làm thế nào để đạt được AGI?

Trò chuyệnGPT:

Đạt được Trí tuệ tổng hợp nhân tạo (AGI) là một thách thức lớn đòi hỏi những tiến bộ đáng kể trong nhiều ngành khoa học và kỹ thuật. Mặc dù đường dẫn chính xác đến AGI vẫn là một chủ đề tranh luận và khám phá, tôi có thể cung cấp cho bạn giải thích chi tiết hơn về một số lĩnh vực chính mà các nhà nghiên cứu đang điều tra:

1. Kiến trúc nhận thức: Phát triển một kiến trúc nhận thức có thể bắt chước trí thông minh của con người là một khía cạnh cơ bản của AGI. Điều này liên quan đến việc hiểu cấu trúc và chức năng của bộ não con người và thiết kế các mô hình tính toán để nắm bắt các quá trình này. Các nhà nghiên cứu lấy cảm hứng từ khoa học thần kinh, tâm lý học nhận thức và khoa học nhận thức để xây dựng các cấu trúc có thể hỗ trợ lý luận, nhận thức, trí nhớ, học tập và ra quyết định cấp cao.

   
   

2. Học máy và Mạng lưới thần kinh sâu: Học máy, đặc biệt là học sâu, đã đóng một vai trò quan trọng trong những tiến bộ AI gần đây. Mạng lưới thần kinh sâu đã đạt được thành công đáng kể trong các nhiệm vụ nhận thức như nhận dạng hình ảnh và xử lý ngôn ngữ tự nhiên. Để tiến tới AGI, các nhà nghiên cứu đang khám phá các cách để nâng cao khả năng học sâu bằng cách cải thiện khả năng khái quát hóa, khả năng diễn giải và khả năng xử lý dữ liệu hạn chế cũng như lý luận phức tạp của nó.

   
   

3. Học tăng cường và Học tích cực: Học tăng cường là một lĩnh vực trọng tâm khác của AGI. Nó liên quan đến việc đào tạo các tác nhân để tương tác với môi trường của họ và học hỏi từ quá trình thử và sai. Các kỹ thuật học tăng cường, kết hợp với học tích cực, bao gồm tích cực lựa chọn các mẫu đào tạo cung cấp thông tin, có thể giúp các tác nhân khám phá và học hỏi từ môi trường của họ hiệu quả hơn. Việc phát triển các thuật toán có thể học hỏi từ các nguồn dữ liệu đa dạng và khái quát hóa kiến thức cho các tình huống mới là rất quan trọng để đạt được AGI.

   
   

4. Robot nhận thức và trí thông minh thể hiện: AGI thực sự sẽ yêu cầu nhiều hơn là chỉ xử lý thông tin; nó sẽ đòi hỏi phải tương tác với thế giới vật chất. Rô-bốt nhận thức nhằm mục đích tích hợp nhận thức, nhận thức và hành động trong rô-bốt để cho phép chúng học hỏi và suy luận về thế giới theo cách tương tự như con người. Nghiên cứu về trí thông minh thể hiện khám phá cách các đặc vụ có thể phát triển trí thông minh thông qua các tương tác với môi trường của họ, tận dụng các kỹ năng vận động cảm biến và trải nghiệm thể chất.

   
   

5. Suy luận tượng trưng và biểu diễn tri thức: Các hệ thống AGI sẽ có thể suy luận một cách tượng trưng và vận dụng các biểu diễn tri thức phức tạp. Lý luận tượng trưng liên quan đến việc sử dụng các quy tắc logic, cơ chế suy luận và biểu diễn kiến thức có cấu trúc để thực hiện các nhiệm vụ giải quyết vấn đề và lý luận trừu tượng. Kết hợp lý luận tượng trưng với các phương pháp thống kê, chẳng hạn như mạng thần kinh, là một lĩnh vực nghiên cứu tích cực để kích hoạt các khả năng lập luận mạnh mẽ và linh hoạt hơn.

   
   

6. Transfer Learning và Meta-Learning: Các hệ thống AGI phải có khả năng chuyển kiến thức và kỹ năng đã học được trong một miền sang các miền mới và không quen thuộc. Các kỹ thuật học chuyển giao nhằm mục đích tận dụng kiến thức hiện có để tăng tốc việc học trong các nhiệm vụ hoặc lĩnh vực liên quan. Siêu học, hay học để học, tập trung vào việc phát triển các mô hình có thể học cách học hiệu quả, thích ứng nhanh với các tình huống và nhiệm vụ mới với dữ liệu hạn chế.

   
   

7. Dữ liệu và tài nguyên tính toán: Quá trình phát triển AGI yêu cầu một lượng lớn dữ liệu chất lượng cao cho các mô hình đào tạo. Truy cập vào các bộ dữ liệu đa dạng trên nhiều lĩnh vực là điều cần thiết để nắm bắt được chiều rộng và chiều sâu của kiến thức nhân loại. Hơn nữa, phát triển AGI đòi hỏi tài nguyên tính toán đáng kể để đào tạo và chạy các mô hình phức tạp. Những tiến bộ về phần cứng, chẳng hạn như chip AI chuyên dụng và hệ thống máy tính phân tán, có thể đẩy nhanh đáng kể nghiên cứu AGI.

   
   

8. Đạo đức, An toàn và Khả năng giải thích: Khi AGI phát triển, điều quan trọng là phải giải quyết các mối quan tâm về đạo đức, phát triển các biện pháp an toàn mạnh mẽ và đảm bảo tính minh bạch và khả năng diễn giải của các hệ thống AGI. Các nhà nghiên cứu đang khám phá các cách để làm cho hệ thống AI minh bạch hơn, dễ giải thích và chịu trách nhiệm hơn để giảm thiểu rủi ro và cho phép người dùng hiểu và tin tưởng vào hành vi của họ.

   
   

9. Hợp tác và nghiên cứu liên ngành: Để đạt được AGI cần có sự hợp tác giữa các chuyên gia từ nhiều lĩnh vực khác nhau, bao gồm AI, khoa học thần kinh, tâm lý học, triết học, v.v. Khuyến khích nghiên cứu liên ngành và chia sẻ kiến thức có thể dẫn đến những hiểu biết mới và cách tiếp cận sáng tạo trong việc phát triển AGI.

   
   

Điều quan trọng cần lưu ý là mặc dù tiến độ đang được thực hiện trong từng lĩnh vực này, nhưng việc đạt được AGI vẫn là một vấn đề còn bỏ ngỏ và không có mốc thời gian hoàn thành rõ ràng. Đó là một mục tiêu phức tạp và dài hạn, đòi hỏi phải nghiên cứu, khám phá và lặp đi lặp lại liên tục.

Chúa thương xót tất cả chúng ta!