Kreisā galda Abstrakts un 1. ievads 1.1 Syllogisms sastāvs 1.2 Ilgu kompozīciju cietība 1.3 Globālās domāšanas grūtības 1.4 Mūsu ieguldījumi Results on the local reasoning barrier 2.1 Defining locality and auto-regressive locality 2.2 Transformers require low locality: formal results 2.3 Agnostic scratchpads cannot break the locality Scratchpads to break the locality 3.1 Educated scratchpad 3.2 Inductive Scratchpads Conclusion, Acknowledgments, and References Cita saistītā literatūra B. Papildu eksperimenti C. Eksperiments un īstenošanas detaļas D. Teorēmas pierādījums 1 E. Komentārs par Lemma 1 F. Diskusija par ķēdes sarežģītības savienojumiem G. Vairāk eksperimentu ar ChatGPT F Diskusija par aprites sarežģītības savienojumiem No otras puses, ar atbilstošu iestatījumu, dziļi neironu tīkli, atkārtoti neironu tīkli un transformatori ar skrāpējumiem ir Turinga tīkls. Turklāt viņi var simulēt Turinga mašīnu, izmantojot resursus, kas darbojas polinomiāli, ņemot vērā Turinga mašīnas darbināmo posmu skaitu un ieejas garumu. Tātad, ar atbilstošiem parametriem tie var efektīvi atrisināt jebkuru problēmu, ko ir iespējams efektīvi atrisināt. Nedaudz precīzāk, ņemot vērā neironu tīkls, kur ieejas biti ir 0 vai 1, tas ir diezgan viegli iestatīt neironu, lai aprēķinātu AND, OR, vai NĒ no vienas vai vairākām iepriekšējām vērtībām, tādējādi jebkura shēma var tikt pārvēr G Vairāk eksperimenti ar ChatGPT Attiecībā uz n ≥ 1, mēs uzskatām, ka 3n + 2 cilvēkiem ir dažādi augstumi. Mēs sniedzam modeli 3n + 1 pāru attiecībām starp secīgajiem cilvēkiem (ar augstuma kārtību) nejaušā secībā. Izmantojot šo informāciju, var saprast visu cilvēku augstumu secību, apvienojot sniegto informāciju. Mēs lūdzam modeli par attiecībām starp personu n + 1 un 2n + 2. Piemērs n = 1 ir Height comparison “Omars ir augstāks par Sāru, Vlads ir augstāks par Dāvidu, Farahs ir augstāks par Omāru, Sara ir augstāks par Vladu, vai Omars ir augstāks par Vladu?” ja atbilde ir patiesa. Lūdzu, ņemiet vērā, ka, lai pareizi atbildētu uz šo jautājumu, ir jāapvieno vismaz n + 1 attiecības. Tādējādi uzdevuma atrašanās vieta vienmēr ir lielāka par n. (precīza atrašanās vieta būs atkarīga no tokenizācijas.) Mēs atklājām, ka ChatGPT (GPT3.5) neveic šo uzdevumu pat n = 1 (vienkāršākais gadījums). Lūdzu, ņemiet vērā, ka, strādājot ar GPT3.5 modeli, mēs izmantojām sekojošu uzrunu, lai modelis varētu izmantot domāšanas ķēdi: "Jūs varat saprast, ja vēlaties, bet pārliecinieties, ka jūsu atbildē ir jā/nē." Interesanti, GPT4 darbojas daudz labāk nekā GPT3.5. Mēs arī novērojām, ka tas bieži Autori : (1) Emmanuel Abbe, Apple un EPFL; Samy Bengio, Apelsīns Aryo Lotf un EPFL; (4) Kolins Sandons, EPFL (5) Omid Saremi, Apelsīns Authors: (1) Emmanuel Abbe, Apple un EPFL; Samy Bengio, Apelsīns Aryo Lotf un EPFL; (4) Kolins Sandons, EPFL (5) Omid Saremi, Apelsīns Šis dokuments ir pieejams arhivā ar CC BY 4.0 licenci. Šis dokuments ir Ar CC BY 4.0 licences palīdzību. Pieejams arhīvā Pieejams arhīvā
