
 
 
 
 
 
 
 
 
 
 
 
 Penulis : (1) Winnie Street, Penelitian Google; John Oliver Siy, Peneliti Google (3) Geoff Keeling, Penelitian Google (4) Adrien Baranes, Google DeepMind; Benjamin Barnett, Penelitian Google (6) Michael Mckibben, Laboratorium Fisika Terapan, Universitas Johns Hopkins; (7) Tatenda Kanyere, Kerja yang dilakukan di Google Research melalui Harvey Nash; (8) Alison Lentz, Penelitian Google; (9) Blaise Aguera y Arcas, Penelitian Google (10) Robin I. M. Dunbar, Departemen Psikologi Eksperimental, Universitas Oxford istreet@google.com. Authors: (1) Winnie Street, Penelitian Google; John Oliver Siy, Peneliti Google (3) Geoff Keeling, Penelitian Google (4) Adrien Baranes, Google DeepMind; Benjamin Barnett, Penelitian Google (6) Michael Mckibben, Laboratorium Fisika Terapan, Universitas Johns Hopkins; (7) Tatenda Kanyere, Kerja yang dilakukan di Google Research melalui Harvey Nash; (8) Alison Lentz, Penelitian Google; (9) Blaise Aguera y Arcas, Penelitian Google (10) Robin I. M. Dunbar, Departemen Psikologi Eksperimental, Universitas Oxford istreet@google.com. Tabel dari kiri Abstrak dan Introduksi 1. 
 
 
 Kerja terkait Materi dan Metode 3.1 Prosedur 3.2 Pembuatan Dataset 4. hasil 4.1 Prestasi Tugas 4.2 Kinerja Faktis 4.3 Membandingkan kinerja pada ToM dan tugas-tugas faktis dan 4.4 Efek Anchoring 5.  Diskusi 6.  Keterbatasan 7. penelitian masa depan 8. kesimpulan, pengakuan dan pengungkapan pendanaan, dan referensi Tambahan abstrak Dokumen ini mengeksplorasi sejauh mana model bahasa besar (LLM) telah mengembangkan teori pikiran yang lebih tinggi (ToM); kemampuan manusia untuk berpendapat tentang beberapa keadaan mental dan emosional dengan cara yang berulang (misalnya, saya pikir Anda percaya dia tahu). Dokumen ini dibangun pada pekerjaan sebelumnya dengan memperkenalkan suite tes tertulis tangan – Teori Multi-Order Mind Q&A – dan menggunakannya untuk membandingkan kinerja lima LLM dengan referensi manusia dewasa yang baru dikumpulkan. Kami menemukan bahwa GPT-4 dan Flan-PaLM mencapai kinerja tingkat dewasa dan dekat dengan kinerja tingkat orang dewasa pada tugas ToM secara keseluruhan, dan bahwa GPT-4 melebihi kinerja orang dewasa pada kesimpulan urutan keenam. Hasil kami menunjukkan bahwa ada interaksi antara ukuran model dan finetuning untuk realisasi kemampuan ToM, dan bahwa LLM terbaik telah mengembangkan kapasitas 1 Pengantar Teori Pikiran (ToM) adalah kemampuan untuk menyimpulkan dan alasan tentang keadaan mental diri sendiri dan orang lain [Premack dan Woodruff, 1978, Wimmer dan Perner, 1983, Wellman et al., 2001]. ToM adalah inti dari kecerdasan sosial manusia: ia memungkinkan manusia untuk memprediksi dan mempengaruhi perilaku [Humphrey, 1976, Wellman dan Bartsch, 1988, Hooker et al., 2008]. Model Bahasa Besar (LLM) menunjukkan beberapa kompetensi ToM [Kosinski, 2023, Bubeck et al., 2023, Shapira et al., 2023]. Sebagian besar literatur tentang LLM ToM telah berfokus pada ToM peringkat kedua [Sap et al., 2022, Kosinski, 2023, Gandhi et al., 2024, Shapira et al., 2023], di mana 'perintah niat' (selanjutnya, 'perintah') adalah jumlah keadaan mental yang terlibat dalam proses pemikiran ToM (yaitu pernyataan peringkat ketiga adalah "Saya pikir Anda percaya dia tahu"). Namun LLM semakin dimanfaatkan untuk konteks interaksi sosial multi-pihak yang mengharuskan LLM untuk terlibat dalam pertimbangan ToM yang lebih tinggi [Wang et al., 2023, Park et al., 2023]. Dalam makalah ini, kami memeriksa LLM ToM dari urutan 2-6. Kami memperkenalkan benchmark baru: Multi-Order Theory of Mind Question & Answer (MoToMQA). MoToMQA didasarkan pada tes ToM yang dirancang untuk orang dewasa manusia [Kinderman et al., 1998], dan melibatkan menjawab pertanyaan benar / palsu tentang karakter dalam cerita-cerita pendek. Kami menilai bagaimana urutan ToM mempengaruhi kinerja LLM, bagaimana kinerja LLM dibandingkan dengan kinerja manusia, dan bagaimana kinerja LLM pada tugas ToM dibandingkan dengan kinerja pada tugas-tugas faktanya dari kompleksitas sintaks yang setara. Kami menunjukkan bahwa GPT-4 dan Flan-PaLM mencapai kinerja manusia atau hampir manusia pada tugas ToM masing-masing. 2 Pekerjaan terkait 2.1 Peraturan Tinggi ToM Orang dewasa manusia umumnya mampu membuat inferensi ToM hingga 5 urutan intentionality (misalnya, saya percaya bahwa Anda berpikir saya ingin Anda percaya) [Kinderman et al., 1998, Stiller and Dunbar, 2007, Oesch and Dunbar, 2017].[1] Kompetensi ToM urutan tinggi bervariasi dalam populasi, termasuk menurut jenis kelamin [Hyde and Linn, 1988, Stiller and Dunbar, 2007], dan tidak diimplementasikan secara dapat diandalkan di semua konteks sosial [Keysar et al., 2003]. ToM pada urutan yang lebih tinggi juga berkorelasi positif dengan kompleksitas sosial. 2.2 LLM dari ToM Kostirinski Tokinski [2023] berargumen untuk munculnya data ToM spontan dalam LLM berdasarkan kesuksesan GPT-4 pada suite tugas yang terinspirasi oleh tugas klasik Sally-Anne.[2] Ullman [2023] menantang klaim ini, menunjukkan penurunan kinerja dengan gangguan tugas kecil. Eksperimen lebih lanjut yang melibatkan suite referensi seperti BigToM [Gandhi et al., 2024] dan SocialIQa [Sap et al., 2022] menunjukkan hasil campuran dalam kemampuan LLM ToM. Misalnya, Shapira et al. [2023] menemukan keberhasilan pada beberapa tugas tetapi kegagalan pada yang lain, menunjukkan bahwa kemampuan ToM yang ada dalam studi saat ini-of-the-art LLM tidak kuat. Karena kita tahu hanya dua studi lain yang telah mengeksplorasi jawaban LLM ToM pada pesanan yang lebih tinggi. He et al. [ Akhirnya, kami mengkalibrasi hasil LLM terhadap benchmark manusia dewasa yang baru dikumpulkan. Kami percaya bahwa membandingkan kinerja LLM dengan kinerja orang dewasa, bukan anak-anak, adalah metrik yang paling relevan untuk kecerdasan sosial LLM mengingat bahwa mitra interaksi utama LLM akan menjadi orang dewasa, dan merupakan titik perbandingan yang lebih konkret karena kemampuan ToM manusia yang lebih tinggi terus berkembang hingga usia dewasa awal [Valle et al., 2015]. Namun, kami tidak mengasumsikan bahwa proses kognitif yang sama mendasari kinerja manusia dan LLM pada tes psikologis. 
 
 Dokumen ini tersedia di archiv di bawah lisensi CC BY 4.0. Dokumen ini tersedia di archiv di bawah lisensi CC BY 4.0. Tersedia di Arsip [1] Kami mengikuti konvensi penamaan untuk perintah yang dikembangkan untuk IMT di mana ‘order pertama’ adalah kondisi mental subjek yang kemampuan ToMnya sedang dievaluasi, ‘order kedua’ adalah kesimpulan subjek tentang apa yang dipikirkan atau dirasakan orang lain, dan sebagainya. [2] “Tugas Sally Ann”, awalnya dirancang oleh Baron-Cohen et al. [1985] mengukur pemahaman keyakinan palsu dan mengikuti skenario di mana karakter, Sally, menempatkan objek di lokasi dan meninggalkan adegan. [3] Pretraining dataset yang terkontaminasi dengan bahan yang LLM kemudian diuji pada adalah masalah langsung dalam penelitian LLM yang memiliki implikasi signifikan untuk hasil LLM pada benchmarks. misalnya, OpenAI melaporkan bahwa mereka menemukan bagian dari BigBench dataset yang terkontaminasi GPT-4 pra-latihan corpora dalam pemeriksaan kontaminasi dataset yang digunakan untuk pretrain GPT-4 [Achiam et al., 2023]

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

EScholar Technologies

EScholar

Audio ini diproduksi dalam bahasa asli cerita!

Dapatkah seseorang berpikir tentang berpikir?

About Author

KOMENTAR

HANG TAG

ARTIKEL INI DISAJIKAN PADA

Related Stories

A Beginner’s Guide to Blockchain Programming

The Crypto Trading Writing Contest: Submission Deadline Extended!

NIGHT (continued)

Invest With Purpose: Interview with Arian Adeli, CEO at Rivo Trading

A Beginner’s Guide to Blockchain Programming

The Crypto Trading Writing Contest: Submission Deadline Extended!

NIGHT (continued)

Invest With Purpose: Interview with Arian Adeli, CEO at Rivo Trading

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps