Kosilisa Problème ya Hallucination ya AI na ba Programmes Naturels oyo ezo vérifier yango moko

Tableau ya ba Liens

Abstract mpe Maloba ya ebandeli

Mosala oyo etali yango

Motivation na Formulation ya Problème

Raisonnement en chaîne de pensée vérifiablement déductivement

Ba expériences

Bandelo oyo ekoki kozala

Bosukisi, Matondo mpe Ba références

Vérification Déductive moko na ba Modèles ya Vicuna

B Masolo mingi na oyo etali bobongisi ya bosikisiki ya vérification déductive contre bobongisi na bosikisiki ya eyano ya suka

C Makambo mosusu na ntina ya kobimisa biyano

D Masenginya

E Bandakisa mingi ya vérification déductive

2 Mosala oyo etali yango

Raisonnement na ba modèles ya minoko ya minene. Ba modèles ya minoko ya minene (LLM) oyo euti kosalema kala mingi te [3, 8, 57, 47, 38, 18, 9, 37] elakisaki makoki ya kokamwa na kosilisa misala ya raisonnement ya mindondo. Na esika ya kotika ba LLM ebimisa mbala moko biyano ya suka lokola mbano, misala ya liboso elakisaki ete na kolendisaka makanisi ya litambe na litambe na nzela ya botindiki ya malamu, lokola botindiki ya Monyololo ya makanisi (CoT) [50] mpe misusu mingi [21, 59, 2019]. 58, 44, 48, 60, 25, 54], ba LLM elakisaka bosali malamu mingi na misala ndenge na ndenge ya kokanisa. Mpo na kobongisa lisusu processus ya raisonnement étape par étape, ba études mosusu oyo euti kosalema kala mingi te esali enquête ya ko leverage ba solveurs ya libanda lokola ba interprètes ya programme [39, 5, 27], formation mpe kobenga ba modules ya raisonnement ya libanda [11], to kosala recherche explicite mpo na kobimisa ba étapes déductives [2, 46] . Parallèlement na ba oeuvres wana, tozali ko se fier te na ba modules na ba algorithmes ya libanda, mpe to leverage directement makoki ya apprentissage in-contexte ya ba LLM pona ko produire ba raisonnement déductifs plus précis et rigoureux.

Ba modèles ya minoko ya minene lokola ba vérifiers. Kosalela ba modèles ya minoko pona kotala ba génération ya modèle ezalaki likanisi ya kala [22, 36, 40, 4]. Lokola ba LLM elakisaka makoki ya kokamwa na misala ndenge na ndenge, ekomi likanisi ya bomoto kosalela ba LLM lokola bisaleli ya botali pe botalisi. Ndakisa, [10, 11, 33] ba finetuner ba LLM pona ko vérifier ba solutions pe ba étapes intermédiaires. Ba LLM oyo esalemi na boyokani na RLHF [32, 31, 48] esalelami pe pona kokokanisa ba génération ya modèle ndenge na ndenge. En plus, misala ya sika lokola [43, 52, 28, 6] leverage prompt designs pona ko permettre ba LLMs ba se vérifier, ba se refiner, pe ba se déboguer sans besoin ya finetuning. Kasi, misala yango etali mingi te rigor mpe confiance ya ba processus ya raisonnement déductive na étape nionso ya raisonnement. Na mosala oyo, tozali ko proposer format ya raisonnement déductif basé na langue naturelle oyo epesaka ba LLM nzela ya ko auto-vérifier étape nionso ya kati ya processus ya raisonnement déductif, na ndenge wana kobongisa rigor pe confiance ya raisonnement.

En plus, atako misala misusu ya sika [12, 53, 15, 34] e proposer ba méthodes pona ko vérifier ba étapes individuelles na processus ya raisonnement, approche na biso ekeseni na misala oyo na ba perspectives oyo : (1) Approche na biso e leverages in-context learning pona kozua vérification ya raisonnement, sans besoin ya finetuning ya modèle ya langue. (2) Ndenge na biso ya botalisi LLM oyo esalemi na Programme Naturel emonisaka kaka te matambe ya kokanisa oyo ezali na ntina te, kasi epesaka mpe bandimbola ya polele mpo na nini ezali na ntina te, koyebisa na bozindo mabunga ya sikisiki ya kokanisa oyo etali yango. (3) Approche na biso ya raisonnement mpe vérification oyo esalemi na Programme Naturel ekokani na misala ya raisonnement abstrait na contexte esika ba étapes ya raisonnement ezali na ba structures ya entailment oyo ezali lokola preuve te. Ndakisa, lolenge na biso ya kosala ezali na boyokani na mosala ya Balɛtrɛ ya Nsuka, epai wapi LLM epesami malako mpo na kobimisa bosangisi ya balɛtrɛ ya nsuka ya maloba nyonso na molɔngɔ lokola eyano ya nsuka. (4) Ndenge na biso ya Programme Naturel epesi nzela ya kosalela boyebi ya mayele oyo etangami polele te na bisika. Na ndakisa, tótalela mokakatano oyo: “Marin alyaka bapɔme 4 na mokolo. Aliaka bapɔme boni na sanza ya Novɛmbɛ?” Atako “Novembre ezali na mikolo 30” ekomami polele te na esika yango, Programme naturel epesi nzela ya kosalela boyebi ya bato nyonso ya ndenge wana na kati ya litambe moko ya kokanisa. Processus na biso ya vérification na contexte ezali pe na makoki ya kosimba ba prémisses implicites oyo (ndakisa, soki LLM ebimisi « Novembre ezali na mikolo 29 » na étape ya raisonnement, ekozala marqué lokola invalide).