
 
 
 
 
 
 
 
 
 
 
 
 Авторы : Улица Винни, Google Research Джон Оливер Си, Google Research Geoff Keeling, Google Research Адриен Баранес, Google DeepMind Бенджамин Барнетт, Google Research (6) Майкл Маккиббен, Лаборатория прикладной физики, Университет Джона Хопкинса; (7) Татенда Каньере, Работа, выполненная в Google Research через Харви Наша; (8) Алисон Лентц, Google Research; Блез Агуэра и Аркас, Google Research (10) Робин М. Данбар, Департамент экспериментальной психологии, Оксфордский университет istreet@google.com. Authors: Улица Винни, Google Research Джон Оливер Си, Google Research Geoff Keeling, Google Research Адриен Баранес, Google DeepMind Бенджамин Барнетт, Google Research (6) Майкл Маккиббен, Лаборатория прикладной физики, Университет Джона Хопкинса; (7) Татенда Каньере, Работа, выполненная в Google Research через Харви Наша; (8) Алисон Лентц, Google Research; Блез Агуэра и Аркас, Google Research (10) Робин М. Данбар, Департамент экспериментальной психологии, Оксфордский университет istreet@google.com. Стол слева Абстракт и 1.Введение 
 
 
 Связанная работа Материалы и метод 3.1 Процедуры 3.2 Создание данных 4 Результаты 4.1 Результаты выполнения задач 4.2 Фактическое выполнение задач 4.3 Сравнение результативности на ТоМ и фактических задачах и 4.4 Эффект закрепления 5.  Дискуссия 6.  Ограничения 7 Будущие исследования 8 Заключение, признание и раскрытие финансирования и ссылки Приложение абстрактный Эта статья исследует степень, в которой большие языковые модели (LLM) разработали теорию ума высшего порядка (ToM); человеческую способность рассуждать о нескольких психических и эмоциональных состояниях рекурсивным образом (например, я думаю, что вы думаете, что она знает). Эта статья основывается на предыдущей работе, вводя ручной тест-сборник – Multi-Order Theory of Mind Q&A – и используя его, чтобы сравнить производительность пяти LLM с недавно собранным взрослой человеческой базой. Мы обнаруживаем, что GPT-4 и Flan-PaLM достигают взрослого уровня и близко к взрослому уровню производительности на задачах ToM в целом, и что GPT-4 превышает производительность взрослых по 6-му порядку 1 Введение Теория ума (ToM) - это способность выводить выводы и рассуждать о психических состояниях себя и других [Premack and Woodruff, 1978, Wimmer and Perner, 1983, Wellman et al., 2001].ToM является центральным для человеческого социального интеллекта: он позволяет людям предсказывать и влиять на поведение [Humphrey, 1976, Wellman and Bartsch, 1988, Hooker et al., 2008]. Большая часть литературы о LLM ToM была сосредоточена на 2-го порядка ToM [Sap et al., 2022, Kosinski, 2023, Gandhi et al., 2024, Shapira et al., 2023], где «порядок намерения» (далее, «порядок») является количество психических состояний, участвующих в процессе рассуждения ToM (т.е. третьего порядка заявление является «Я думаю, что она знает»). В этой статье мы изучаем LLM ToM от 2-го порядка до 6-го. Мы вводим новый критерий: Многозадачная теория мысли и ответа (MoToMQA). MoToMQA основывается на тесте ToM, предназначенном для взрослых людей [Kinderman et al., 1998], и включает в себя ответы на истинные / ложные вопросы о персонажах в коротких историях. Мы оцениваем, как порядок ToM влияет на производительность LLM, как производительность LLM сравнивается с человеческой производительностью, и как производительность LLM на задачах ToM сравнивается с производительностью на фактических задачах эквивалентной синтаксической сложности. Мы показываем, что GPT-4 и Flan-PaLM достигают человеческой или почти человеческой производительности на задачах ToM соответственно 2 Связанная работа 2.1 Высший орден Том Взрослые люди, как правило, способны делать выводы ToM до 5 порядков преднамеренности (например, я считаю, что вы думаете, что я представляю, что вы хотите, чтобы я поверил) [Kinderman et al., 1998, Stiller and Dunbar, 2007, Oesch and Dunbar, 2017].[1] Компетенция ToM более высокого порядка варьируется в популяции, в том числе по полу [Hyde and Linn, 1988, Stiller and Dunbar, 2007], и не надежно развернута во всех социальных контекстах [Keysar et al., 2003]. ToM в более высоких порядках также положительно коррелирует с социальной сложностью. 2.2 LLM Том Костирский [2023] выдвинул аргумент за спонтанное появление данных ToM в LLM на основе успеха GPT-4 на комплекте задач, вдохновленных классической задачей Sally-Anne.[2] Ульман [2023] опроверг это утверждение, продемонстрировав снижение производительности с незначительными нарушениями задач. Дальнейшие эксперименты с участием бенчмарков, таких как BigToM [Gandhi et al., 2024] и SocialIQa [Sap et al., 2022] показывают смешанные результаты в возможностях LLM ToM. Например, Shapira et al. [2023] нашли успех в некоторых задачах, но неудачи на других, предполагая, что существующие возможности ToM в современных исследованиях LLM [Gandhi et al., 2024] не Наконец, мы калибрируем результаты LLM против большого недавно собранного взрослого человеческого эталона. Мы считаем, что сравнение показателей LLM с показателями взрослых, а не детей, является наиболее актуальной мерой для социального интеллекта LLM, учитывая, что основными партнерами взаимодействия LLM будут взрослые, и является более конкретной точкой сравнения, потому что способности человека высшего порядка ToM продолжают развиваться в раннем зрелом возрасте [Valle et al., 2015]. Однако мы не предполагаем, что одни и те же когнитивные процессы лежат в основе показателей человека и LLM на психологических тестах. 
 
 Данная статья доступна в архиве под лицензией CC BY 4.0. Эта бумага является Под лицензией CC BY 4.0. available on arxiv Доступно в архиве [1] Мы следуем конвенции о наименовании заказов, разработанной для IMT, где «первый порядок» - это психическое состояние субъекта, чья способность к ТоМ оценивается, «второй порядок» - это вывод субъекта о том, что думает или чувствует кто-то другой, и так далее. [2] «Задача Салли Энн», изначально разработанная Бароном-Коэном и др. [1985] измеряет ложное понимание убеждений и следует сценарию, в котором персонаж, Салли, помещает объект в место и покидает сцену. [3] Предподготовка наборов данных, загрязненных материалами, над которыми LLM позже тестируются, является живым выходом в исследованиях LLM, что имеет значительные последствия для результатов LLM по бенчмаркам. Например, OpenAI сообщила, что они обнаружили части набора данных BigBench, загрязняющие предподготовка корпуса GPT-4 в проверке загрязнения набора данных, используемых для предподготовки GPT-4 [Achiam et al., 2023]

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

EScholar Technologies

EScholar

Этот звук создан на языке оригинала истории!

Может ли человек думать о мышлении?

About Author

КОММЕНТАРИИ

БИРКИ

ЭТА СТАТЬЯ БЫЛА ПРЕДСТАВЛЕНА В

Related Stories

Невидимые слои: почему интервью с пользователями являются незаменимым активом

Создание криптопродуктов, ориентированных на пользователя: важность отзывов клиентов

От форумов до лент новостей: как алгоритмы социальных сетей формируют цифровое взаимодействие

Утечка информации о системе Claude Sonnet 3.5: судебно-медицинский анализ

Невидимые слои: почему интервью с пользователями являются незаменимым активом

Создание криптопродуктов, ориентированных на пользователя: важность отзывов клиентов

От форумов до лент новостей: как алгоритмы социальных сетей формируют цифровое взаимодействие

Утечка информации о системе Claude Sonnet 3.5: судебно-медицинский анализ

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps