
 
 
 
 
 
 
 
 
 
 
 
 Os autores: (1) Winnie Street, investigación de Google; John Oliver Siy, investigador de Google. Geoff Keeling, investigador de Google. (4) Adrien Baranes, Google DeepMind; Benjamin Barnett, investigador de Google. Michael Mckibben, Laboratorio de Física Aplicada, Universidade Johns Hopkins (7) Tatenda Kanyere, Traballo realizado en Google Research a través de Harvey Nash; Alison Lentz, investigadora de Google. Blaise Aguera y Arcas, investigadora de Google. (10) Robin I. M. Dunbar, Departamento de Psicoloxía Experimental, Universidade de Oxford istreet@google.com. Authors: (1) Winnie Street, investigación de Google; John Oliver Siy, investigador de Google. Geoff Keeling, investigador de Google. (4) Adrien Baranes, Google DeepMind; Benjamin Barnett, investigador de Google. Michael Mckibben, Laboratorio de Física Aplicada, Universidade Johns Hopkins (7) Tatenda Kanyere, Traballo realizado en Google Research a través de Harvey Nash; Alison Lentz, investigadora de Google. Blaise Aguera y Arcas, investigadora de Google. (10) Robin I. M. Dunbar, Departamento de Psicoloxía Experimental, Universidade de Oxford istreet@google.com. Mesa da esquerda Abstracto e 1a introdución 
 
 
 Traballo relacionado Materiais e método 3.1 Procedementos 3.2 Creación de datasets 4 Resultados 4.1 Desempeño das tarefas 4.2 Desempeño real das tarefas 4.3 Comparación do rendemento en ToM e tarefas factuais e 4.4 Efecto de anclaxe 5.  Discusións 6.  Limitacións 7. Investigación futura 8.Conclusión, recoñecemento e divulgación do financiamento e referencias Apéndice Abstraccións Este artigo examina o grao en que os grandes modelos de linguaxe (LLM) desenvolveron a teoría da mente de orde superior (ToM); a capacidade humana de razoar sobre varios estados mentais e emocionais de forma recursiva (por exemplo, creo que crees que ela sabe). Este traballo baséase no traballo previo introducindo un conxunto de probas escritas a man - Teoría de Q&A de orde múltiple - e usándoo para comparar o rendemento de cinco LLM a un benchmark humano adulto recén reunido. Descubrimos que o GPT-4 e o Flan-PaLM alcanzan o rendemento de nivel adulto e próximo ao nivel adulto nas tarefas de ToM en xeral, e que o GPT-4 supera o rendemento adulto nas inferencias de 6a orde. Os nosos resultados suxiren que hai unha interacción entre 1 Introdución A teoría da mente (ToM) é a capacidade de inferir e razoar sobre os estados mentais de si mesmo e dos demais [Premack e Woodruff, 1978, Wimmer e Perner, 1983, Wellman et al., 2001]. Grandes modelos de linguaxe (LLMs) exhiben algunha competencia ToM [Kosinski, 2023, Bubeck et al., 2023, Shapira et al., 2023]. A maioría da literatura sobre LLM ToM centrou-se na segunda orde ToM [Sap et al., 2022, Kosinski, 2023, Gandhi et al., 2024, Shapira et al., 2023], onde a "orde de intención" (en adiante, "orde") é o número de estados mentais implicados nun proceso de razoamento ToM (é dicir, unha declaración de terceira orde é "Penso que ela sabe"). Neste artigo, examinamos o LLM ToM a partir das ordes 2-6. Introducimos un novo benchmark: Teoría Multi-Order de Preguntas e Respostas da Mente (MoToMQA). MoToMQA baséase nunha proba ToM deseñada para adultos humanos [Kinderman et al., 1998], e implica responder preguntas verdadeiras / falsas sobre personaxes en historias curtas. Avaliamos como a orde ToM afecta o rendemento do LLM, como o rendemento do LLM se compara co rendemento humano, e como o rendemento do LLM en tarefas ToM se compara co rendemento en tarefas factuais de complexidade sintáctica equivalente. Mostramos que o GPT-4 e o Flan-PaLM alcanzan o rendemento humano ou case humano nas tarefas ToM respectivamente. 2 Traballos relacionados 2.1 Orde superior ToM Os adultos humanos son xeralmente capaces de facer inferencias ToM ata 5 ordes de intencionalidade (por exemplo, creo que pensas que eu quero que creas) [Kinderman et al., 1998, Stiller e Dunbar, 2007, Oesch e Dunbar, 2017].[1] A competencia ToM de maior orde varía dentro da poboación, incluíndo por xénero [Hyde e Linn, 1988, Stiller e Dunbar, 2007], e non se implementa de forma fiable en todos os contextos sociais [Keysar et al., 2003]. ToM en ordes superiores tamén está positivamente correlacionado coa complexidade social. 2.2 LLM ToM Kostirinski [2023] argumentou para a aparición espontánea de datos ToM en LLMs baseado no éxito de GPT-4 sobre un conxunto de tarefas inspiradas na tarefa clásica de Sally-Anne.[2] Ullman [2023] desafiou esta afirmación, demostrando un desempeño diminuído con pequenas perturbacións de tarefas. Experimentos adicionais que involucran suites de referencia como BigToM [Gandhi et al., 2024] e SocialIQa [Sap et al., 2022] mostran resultados mixtos nas capacidades de LLM ToM. Por exemplo, Shapira et al. [2023] atoparon éxito nalgunhas tarefas pero fracasos noutras, suxerindo que as capacidades de ToM existentes nos LLMs actuais non son robustos. Para o noso coñecemento, Finalmente, calibramos os resultados do LLM fronte a un gran benchmark humano adulto recentemente recollido. Cremos que comparar o rendemento do LLM ao de adultos, en vez de nenos, é a medida máis relevante para a intelixencia social do LLM dado que os socios de interacción primarios do LLM serán adultos, e é un punto de comparación máis concreto porque as capacidades do ToM humano de maior orde continúan desenvolvéndose ata a primeira idade adulta [Valle et al., 2015]. Non obstante, non asumimos que os mesmos procesos cognitivos sustentan o rendemento humano e do LLM en probas psicolóxicas. 
 
 Este artigo está dispoñible en arquivo baixo a licenza CC BY 4.0. Este artigo está dispoñible en arquivo baixo a licenza CC BY 4.0. Dispoñible en arquivo [1] Seguimos a convención de nomeación para as ordes desenvolvidas para o IMT onde a "primeira orde" é o estado mental do suxeito cuxa capacidade ToM está a ser avaliada, a "segunda orde" é a inferencia do suxeito sobre o que alguén pensa ou sente, e así por diante. A tarefa de Sally Ann, orixinalmente deseñada por Baron-Cohen et al. [1985] mide a comprensión de crenzas falsas e segue un escenario onde un personaxe, Sally, coloca un obxecto nun lugar e deixa a escena. [3] Os conxuntos de datos de pre-adestramento están contaminados con materiais nos que os LLM son posteriormente probados é un problema en directo na investigación de LLM que ten implicacións significativas para os resultados dos LLM sobre os índices de referencia. Por exemplo, OpenAI informou de que atoparon partes do conxunto de datos de BigBench contaminando o corpo de pre-adestramento GPT-4 nunha comprobación de contaminación do conxunto de datos usado para pretrain GPT-4 [Achiam et al., 2023]

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

EScholar Technologies

EScholar

Este audio está producido na lingua orixinal da historia!

Pódese pensar en pensar?

About Author

COMENTARIOS

Etiquetas colgantes

ESTE ARTIGO FOI PRESENTADO EN

Related Stories

Coñece R Systems: HackerNoon empresa da semana

HackerNoon Decoded 2024: Celebrating Our Gaming Community!

HackerNoon Decoded 2024: Celebrating Our Management Community!

HackerNoon Decoded 2024: Celebrating Our Tech Companies Community!

Coñece R Systems: HackerNoon empresa da semana

HackerNoon Decoded 2024: Celebrating Our Gaming Community!

HackerNoon Decoded 2024: Celebrating Our Management Community!

HackerNoon Decoded 2024: Celebrating Our Tech Companies Community!

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps