
 
 
 
 
 
 
 
 
 
 
 
 Autorii : (1) Winnie Street, Google Research; (2) John Oliver Siy, Google Research; (3) Geoff Keeling, Google Research; (4) Adrien Baranes, Google DeepMind; (5) Benjamin Barnett, Google Research; (6) Michael Mckibben, Laboratorul de Fizică Aplicată, Universitatea Johns Hopkins; (7) Tatenda Kanyere, Lucrări realizate la Google Research prin Harvey Nash; (8) Alison Lentz, Google Research; (9) Blaise Aguera y Arcas, Google Research; (10) Robin I. M. Dunbar, Departamentul de Psihologie Experimentală, Universitatea din Oxford istreet@google.com. Authors: (1) Winnie Street, Google Research; (2) John Oliver Siy, Google Research; (3) Geoff Keeling, Google Research; (4) Adrien Baranes, Google DeepMind; (5) Benjamin Barnett, Google Research; (6) Michael Mckibben, Laboratorul de Fizică Aplicată, Universitatea Johns Hopkins; (7) Tatenda Kanyere, Lucrări realizate la Google Research prin Harvey Nash; (8) Alison Lentz, Google Research; (9) Blaise Aguera y Arcas, Google Research; (10) Robin I. M. Dunbar, Departamentul de Psihologie Experimentală, Universitatea din Oxford istreet@google.com. Tabelul din stânga Abstract și 1. introducere 
 
 
 Lucrări conexe Materiale și metodă 3.1 Proceduri 3.2 Crearea unui set de date 4 Rezultatele 4.1 Efectuarea sarcinilor 4.2 Efectuarea efectivă a sarcinilor 4.3 Compararea performanțelor pe ToM și a sarcinilor de fapt și 4.4 Efectul de ancorare 5.  Discuție 6.  Concluzii, recunoașteri și dezvăluiri privind finanțarea și referințe Anexa abstractă Această lucrare examinează măsura în care modelele lingvistice mari (LLM) au dezvoltat teoria minții de ordine superioară (ToM); capacitatea umană de a raționa despre mai multe stări mentale și emoționale într-un mod recursiv (de exemplu, cred că crezi că știe). Această lucrare se bazează pe munca anterioară prin introducerea unui set de teste scrise manual – Teoria minții de mai multe ordine Q&A – și utilizarea acesteia pentru a compara performanța a cinci LLM cu o referință umană pentru adulți nou colectată. Am constatat că GPT-4 și Flan-PaLM ating performanța la nivel de adult și aproape de performanța la nivel de adult pe sarcinile ToM în ansamblu și că GPT-4 depășește performanța adultă pe concluziile 1 Introducere Teoria Minții (ToM) este abilitatea de a deduce și de a raționa despre stările mentale ale sinelui și ale altora [Premack și Woodruff, 1978, Wimmer și Perner, 1983, Wellman et al., 2001]. Majoritatea literaturii despre LLM ToM sa concentrat pe 2nd-ordine ToM [Sap et al., 2022, Kosinski, 2023, Gandhi et al., 2024, Shapira et al., 2023], în cazul în care "ordinea de intenție" (în continuare, "ordinea") este numărul de stări mentale implicate într-un proces de raționament ToM (adică o declarație de a treia ordine este "Cred că crezi că știe"). În acest articol, examinăm LLM ToM din ordine 2-6. Introducem un nou criteriu de referință: Teoria multi-ordinară a întrebărilor și răspunsurilor minții (MoToMQA). MoToMQA se bazează pe un test ToM conceput pentru adulții umani [Kinderman et al., 1998], și implică răspunsul la întrebări adevărate / false despre personaje în povestiri de scurtă formă. Evaluăm modul în care ordinea ToM afectează performanța LLM, modul în care performanța LLM se compară cu performanța umană și modul în care performanța LLM pe sarcinile ToM se compară cu performanța pe sarcinile de fapt de complexitate sintactică echivalentă. Arătăm că GPT-4 și Flan-PaLM ating performanța umană sau aproape uman 2 Lucrări conexe 2.1 Ordinul superior ToM Adulții umani sunt, în general, capabili să facă inferențe ToM până la 5 ordine de intenționalitate (de exemplu, cred că credeți că îmi imaginezi că vrei să cred) [Kinderman et al., 1998, Stiller și Dunbar, 2007, Oesch și Dunbar, 2017].[1] Competența ToM de rang superior variază în cadrul populației, inclusiv în funcție de gen [Hyde și Linn, 1988, Stiller și Dunbar, 2007], și nu este implementată în mod fiabil în toate contextele sociale [Keysar et al., 2003]. ToM la ordine mai mari este, de asemenea, corelată pozitiv cu complexitatea socială. 2.2 LLM în TOM Kostirinski Tokinski [2023] a argumentat pentru apariția spontană a datelor ToM în LLM-uri pe baza succesului GPT-4 pe o serie de sarcini inspirate de sarcina clasică Sally-Anne.[2] Ullman [2023] a contestat această afirmație, demonstrând o scădere a performanței cu perturbări minore ale sarcinii. Experimente suplimentare care implică suitele de referință, cum ar fi BigToM [Gandhi et al., 2024] și SocialIQa [Sap et al., 2022] arată rezultate mixte în capacitățile LLM ToM. De exemplu, Shapira et al. [2023] au găsit succesul în unele sarcini, dar eșecul în altele, sugerând că capacitățile ToM existente în studiul actual al LLM-urilor nu sunt robuste În cele din urmă, calibrăm rezultatele LLM față de un criteriu de referință uman mare nou colectat pentru adulți. Credem că compararea performanței LLM cu cea a adulților, mai degrabă decât a copiilor, este cea mai relevantă măsură pentru inteligența socială a LLM, având în vedere că partenerii de interacțiune principali ai LLM vor fi adulții și este un punct de comparație mai concret, deoarece capacitățile ToM de ordin superior ale oamenilor continuă să se dezvolte până la vârsta adultă timpurie [Valle et al., 2015]. Cu toate acestea, nu presupunem că aceleași procese cognitive sprijină performanța umană și LLM pe testele psihologice. 
 
 Acest document este disponibil în arhivă sub licența CC BY 4.0. Acest document este disponibil în arhivă sub licența CC BY 4.0. Disponibil în arhivă [1] Urmăm convenția de numire a ordinelor dezvoltate pentru IMT, unde „primul ordin” este starea mentală a subiectului a cărui abilitate ToM este evaluată, „al doilea ordin” este inferența subiectului cu privire la ceea ce gândește sau simte altcineva și așa mai departe. [2] „Sally Ann task”, conceput inițial de Baron-Cohen et al. [1985] măsoară înțelegerea falsă a credinței și urmează un scenariu în care un personaj, Sally, plasează un obiect într-o locație și părăsește scena. [3] Pre-formarea seturilor de date contaminate cu materiale pe care LLM-urile sunt testate mai târziu este o problemă reală în cercetarea LLM, care are implicații semnificative pentru rezultatele LLM-urilor pe criterii de referință. De exemplu, OpenAI a raportat că au găsit părți ale setului de date BigBench care contamină corpul de pre-formare GPT-4 într-o verificare a contaminării setului de date utilizat pentru a pre-formarea GPT-4 [Achiam et al., 2023]

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

EScholar Technologies

EScholar

Acest audio este produs în limba originală a poveștii!

Poate el să gândească?

About Author

COMENTARII

Etichete suspendate

ACEST ARTICOL A FOST PREZENTAT IN

Related Stories

The Data Behind Colorado's First-ever Rural Venture Capital Pitch Event

The #bitcoin Writing Contest by Rootstock and HackerNoon: Round 2 Results 🎉

Design Shifts at HackerNoon: Streamlined Top Nav, Quick Search and Settings Dashboard 🚀

The #bitcoin Writing Contest by Rootstock and HackerNoon: Round 1 Results 🎉

The Data Behind Colorado's First-ever Rural Venture Capital Pitch Event

The #bitcoin Writing Contest by Rootstock and HackerNoon: Round 2 Results 🎉

Design Shifts at HackerNoon: Streamlined Top Nav, Quick Search and Settings Dashboard 🚀

The #bitcoin Writing Contest by Rootstock and HackerNoon: Round 1 Results 🎉

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps