Ҳалли мушкилоти галлюцинатсияи AI бо барномаҳои табиии худтафтишкунанда

Ҷадвали пайвандҳо

Реферат ва муқаддима

Корҳои марбут

Ҳавасмандкунӣ ва таҳияи мушкилот

Мулоҳизакунии занҷираи фикрронии ба таври дедуктивӣ тасдиқшаванда

Тачрибахо

Маҳдудиятҳо

Хулоса, миннатдорӣ ва истинодҳо

Санҷиши дедуктивӣ бо моделҳои Vicuna

B Муҳокимаи бештар дар бораи такмили дақиқии санҷиши дедуктивӣ дар муқоиса бо такмили дурустии ҷавоби ниҳоӣ

C Тафсилоти бештар дар бораи истихроҷи ҷавоб

D

E Намунаҳои бештари тафтиши дедуктивӣ

2 Корҳои марбут

Мулоҳиза бо моделҳои забони калон. Моделҳои охирини забони калон (LLMs) [3, 8, 57, 47, 38, 18, 9, 37] дар ҳалли вазифаҳои мураккаби мулоҳиза қобилияти бебаҳо нишон доданд. Ба ҷои он ки ба LLM иҷозат диҳад, ки ҷавобҳои ниҳоиро ҳамчун натиҷа тавлид кунанд, кори қаблӣ нишон дод, ки тавассути ташвиқ кардани мулоҳизаҳои зина ба зина тавассути ташвиқи дуруст, аз қабили занҷири андеша (CoT) [50] ва бисёр дигарон [21, 59, 58, 44, 48, 60, 25, 54], LLMҳо дар вазифаҳои мухталифи тафаккур кори ба таври назаррас беҳтар нишон медиҳанд. Барои такмили минбаъдаи раванди зина ба зина мулоҳиза, баъзе таҳқиқоти охирин истифода бурдани ҳалкунандаҳои беруна, аз қабили тарҷумонҳои барнома [39, 5, 27], омӯзиш ва даъвати модулҳои тафаккури беруна [11] ё анҷом додани ҷустуҷӯи возеҳ барои тавлиди қадамҳои дедуктивиро таҳқиқ кардаанд. [2, 46]. Дар баробари ин корҳо, мо ба модулҳо ва алгоритмҳои беруна такя намекунем ва мо бевосита қобилияти омӯзиши дар контексти LLM-ро барои тавлиди далелҳои дақиқ ва дақиқи дедуктивӣ истифода мебарем.

Моделҳои забони калон ҳамчун тасдиқкунанда. Истифодаи моделҳои забонӣ барои арзёбии наслҳои моделӣ як идеяи дерина буд [22, 36, 40, 4]. Азбаски LLMҳо дар вазифаҳои гуногун қобилиятҳои таъсирбахш нишон медиҳанд, истифодаи LLMҳо ҳамчун абзорҳои арзёбӣ ва санҷиш идеяи табиӣ мегардад. Масалан, [10, 11, 33] LLM-ро барои санҷиши қарорҳо ва қадамҳои мобайнӣ танзим кунед. LLMs, ки бо RLHF мувофиқанд [32, 31, 48] инчунин барои муқоисаи наслҳои гуногуни модел истифода шудаанд. Илова бар ин, корҳои охирин ба монанди [43, 52, 28, 6] тарҳҳои фаврӣ истифода мебаранд, то ба LLM имкон медиҳанд, ки бидуни зарурати дақиқсозӣ худтанзимкунӣ, худтаъминкунӣ ва худсабзӣ кунанд. Аммо, ин корҳо на дар ҳар як қадами мулоҳиза ба сахтӣ ва эътимоднокии равандҳои тафаккури дедуктивӣ таваҷҷӯҳ зоҳир мекунанд. Дар ин кор, мо формати табиии тафаккури дедуктивиро дар асоси забон пешниҳод менамоем, ки ба LLM имкон медиҳад, ки ҳар як қадами мобайнии раванди тафаккури дедуктивиро мустақилона тафтиш кунанд ва ба ин васила сахтӣ ва эътимоднокии мулоҳизаҳоро беҳтар созанд.

Илова бар ин, дар ҳоле ки баъзе корҳои охирин [12, 53, 15, 34] усулҳои санҷиши қадамҳои инфиродӣ дар раванди мулоҳизаро пешниҳод кардаанд, равиши мо аз ин корҳо дар дурнамои зерин фарқ мекунад: (1) Муносибати мо аз омӯзиши дар контекст барои ноил шудан ба ҳадаф истифода мебарад. тафтиши далелҳо, бидуни ниёз ба танзими дақиқи модели забон. (2) Равиши санҷиши LLM дар асоси Барномаи табиии мо на танҳо қадамҳои беэътибор будани далелҳоро муайян мекунад, балки инчунин тавзеҳоти возеҳро дар бораи он ки чаро онҳо беэътибор мебошанд, бо тафсилоти хатогиҳои мушаххаси мулоҳизаҳо таъмин мекунад. (3) Равиши мулохиза ва тафтиши бар асоси Барномаи табиии мо бо вазифаҳои абстрактӣ дар контекст мувофиқ аст, ки дар он қадамҳои мулоҳиза сохторҳои ба исбот монанд надоранд. Масалан, равиши мо бо вазифаи "Ҳарфҳои охирин" мувофиқ аст, ки дар он ба LLM дастур дода мешавад, ки пайвастагии ҳарфҳои охирини ҳама калимаҳоро дар пайдарпай ҳамчун ҷавоби ниҳоӣ барорад. (4) Равиши Барномаи табиии мо имкон медиҳад, ки донишҳои солимро истифода баранд, ки дар бино ба таври возеҳ номбар нашудаанд. Масалан, ин масъаларо дида мебароем: «Марин дар як руз 4 дона себ мехурад. Дар моҳи ноябр чанд себ мехӯрад?». Гарчанде ки "ноябр 30 рӯз дорад" дар бино ба таври возеҳ номбар нашудааст, Барномаи табиӣ истифодаи чунин донишҳои умумиро дар як қадами мулоҳиза иҷозат медиҳад. Раванди тафтиши дар контексти мо инчунин қодир аст, ки ин биноҳои номуайянро идора кунад (масалан, агар LLM дар як қадами асосноккунӣ "Ноябр 29 рӯз дорад" баромад кунад, он ҳамчун беэътибор қайд карда мешавад).