Bàn trái Abstract and 1 - Giới thiệu 1.1 Syllogisms thành phần 1.2 Độ cứng của các tác phẩm dài 1.3 Độ cứng của lý luận toàn cầu 1.4 Những đóng góp của chúng tôi Results on the local reasoning barrier 2.1 Defining locality and auto-regressive locality 2.2 Transformers require low locality: formal results 2.3 Agnostic scratchpads cannot break the locality Scratchpads to break the locality 3.1 Educated scratchpad 3.2 Inductive Scratchpads Conclusion, Acknowledgments, and References A. Văn học liên quan khác B. Thí nghiệm bổ sung C. Thí nghiệm và chi tiết thực hiện D. Bằng chứng về lý thuyết 1 E. Bình luận về Lemma 1 F. Thảo luận về kết nối độ phức tạp mạch G. Thêm thử nghiệm với ChatGPT F Cuộc thảo luận về kết nối độ phức tạp mạch Mặt khác, với thiết lập thích hợp, lưới thần kinh sâu, lưới thần kinh lặp đi lặp lại, và Transformers với scratchpads là Turing hoàn chỉnh. Hơn nữa, họ có thể mô phỏng một máy Turing sử dụng các tài nguyên đa nguyên trong số các bước mà máy Turing chạy cho và chiều dài đầu vào. Vì vậy, với các thông số thích hợp, chúng có thể hiệu quả giải quyết bất kỳ vấn đề mà nó có thể được giải quyết hiệu quả. Một chút chính xác hơn, với một lưới thần kinh nơi các bit đầu vào là 0 hoặc 1, nó cũng có thể được thực hiện bằng cách đặt một neuron để tính toán một AND, OR, hoặc KHÔNG của một hoặc nhiều giá trị trước đó, do đó bất kỳ mạch nào có thể được chuyển đổi thành một lưới thần kinh ở kích thước bằng nhau nhất. Bất kỳ tính toán hiệu quả có thể được thực hiện G Thêm thử nghiệm với ChatGPT Đối với n ≥ 1, chúng tôi xem xét 3n + 2 người có chiều cao khác nhau. Chúng tôi đưa ra mô hình 3n + 1 mối quan hệ song song giữa những người liên tiếp (theo thứ tự chiều cao) theo thứ tự ngẫu nhiên. Sử dụng thông tin này, người ta có thể hiểu thứ tự chiều cao cho tất cả mọi người bằng cách kết hợp thông tin được cung cấp. Chúng tôi hỏi mô hình về mối quan hệ giữa người n + 1 và 2n + 2. Height comparison “Omar cao hơn Sara, Vlad cao hơn David, Farah cao hơn Omar, Sara cao hơn Vlad, Omar cao hơn Vlad?” nơi câu trả lời là đúng. Lưu ý rằng để trả lời câu hỏi này một cách chính xác, một người phải kết hợp ít nhất n + 1 mối quan hệ. Do đó, địa điểm của nhiệm vụ luôn lớn hơn n. (Địa điểm chính xác sẽ phụ thuộc vào tokenization.) Chúng tôi phát hiện ra rằng ChatGPT (GPT3.5) thất bại trong nhiệm vụ này ngay cả đối với n = 1 (khu vực đơn giản nhất). Lưu ý rằng khi làm việc với mô hình GPT3.5 chúng tôi đã sử dụng lời nhắc sau để mô hình có thể sử dụng lý luận chuỗi suy nghĩ: "Bạn có thể lý luận nếu bạn muốn nhưng hãy chắc chắn để bao gồm có/không trong câu trả lời của bạn." Thật thú vị, GPT4 hoạt động tốt hơn nhiều so với GPT3.5. Chúng tôi cũng quan sát thấy rằng nó thường là trường hợp khi GPT4 trả lời Tác giả : (1) Emmanuel Abbe, Apple và EPFL; (2) Samy Bengio, Apple (3) Aryo Lotf, EPFL; (4) Colin Sandon, EPFL; (5) Omid Saremi, Apple. Authors: (1) Emmanuel Abbe, Apple và EPFL; (2) Samy Bengio, Apple (3) Aryo Lotf, EPFL; (4) Colin Sandon, EPFL; (5) Omid Saremi, Apple. Tài liệu này có sẵn trên archiv dưới giấy phép CC BY 4.0. Bài báo này là theo giấy phép CC BY 4.0. Có sẵn trong Archive Có sẵn trong Archive
