die die die die die die die Die skrywers: (1) Aman Madaan, Language Technologies Institute, Carnegie Mellon Universiteit, VSA (amadaan@cs.cmu.edu); (2) Shuyan Zhou, Language Technologies Institute, Carnegie Mellon Universiteit, VSA (shuyanzh@cs.cmu.edu); (3) Uri Alon, Language Technologies Institute, Carnegie Mellon Universiteit, VSA (ualong@cs.cmu.edu); (4) Yiming Yang, Language Technologies Institute, Carnegie Mellon Universiteit, VSA (yiming@cs.cmu.edu); (5) Graham Neubig, Language Technologies Institute, Carnegie Mellon Universiteit, VSA (gneubig@cs.cmu.edu). Authors: (1) Aman Madaan, Language Technologies Institute, Carnegie Mellon Universiteit, VSA (amadaan@cs.cmu.edu); (2) Shuyan Zhou, Language Technologies Institute, Carnegie Mellon Universiteit, VSA (shuyanzh@cs.cmu.edu); (3) Uri Alon, Language Technologies Institute, Carnegie Mellon Universiteit, VSA (ualong@cs.cmu.edu); (4) Yiming Yang, Language Technologies Institute, Carnegie Mellon Universiteit, VSA (yiming@cs.cmu.edu); (5) Graham Neubig, Language Technologies Institute, Carnegie Mellon Universiteit, VSA (gneubig@cs.cmu.edu). Tabel van links Abstract en 1 Inleiding 2 COCOGEN: Verteenwoordig Commonsense strukture met kode en 2.1 Omskep (T,G) in Python kode 2.2 Vele-skot prompting vir die genereer van G 3 Beoordeling en 3.1 Eksperimentele instelling 3.2 Script generasie: PROSCRIPT 3.3 Entity state tracking: PROPARA 3.4 Argument graf generasie: verduidelikings 4 Analiseer 5 Gerelateerde werk 6 Conclusie, erkennings, beperkings en verwysings A Few-shot modelle grootte ramings B Dynamiese spoed skep C Menslike evaluering D Statistiese data Sample uitkomste F spoed G Ontwerp Python-klas vir 'n gestruktureerde taak H Impact van die model grootte Variasies in die spoed abstrakte Ons spreek die algemene taak van gestruktureerde algemene rede: Gegewe 'n natuurlike taal invoer, is die doel om 'n graaf soos 'n gebeurtenis of 'n rede-graaf te genereer. Om groot taalmodelle (LM's) vir hierdie taak te gebruik, sal bestaande benaderings die uitvoergraaf as 'n plat lys van nodes en rande "serialiseer". Alhoewel dit haalbaar is, verskil hierdie geserialiseerde grafieke sterk van die natuurlike taalkorpora waarop LM's vooroplei is, wat LM's belemmer om hulle korrek te genereer. In hierdie artikel toon ons dat wanneer ons in plaas daarvan gestruktureerde gemeenskaplike rede-takke as kode-generasie-takke raam, vooropleide LM's van kode beter gestrukture Die HTTPS://github.com/madaan/CoCoGen in die Verenigde State 1 Inleiding Die groeiende vermoëns van groot vooraf opgeleide taalmodelle (LLM's) vir die genereer van teks het hulle suksesvol toegepas in 'n verskeidenheid take, insluitend samestelling, vertaling en vraag-answering (Wang et al., 2019; Raffel et al., 2019; Brown et al., 2020; Chowdhery et al., 2022). Tog, terwyl die gebruik van LLM's vir natuurlike taal (NL) take is eenvoudig, is 'n groot oorblywende uitdaging is hoe om LLM's te benut vir gestruktureerde gemeenskaplike redevoering, insluitend take soos die genereer van gebeurtenis grafieke (Tandon et al., 2019), redevoering grafieke (Madaan et al., 2021a), skripte (Sakaguchi et al., 2021), en argument verduideliking grafieke (Saha et al., 2021). In teenstelling met tradisionele gemeenskaplike redevoering take soos lees begrip of vrae antwoord, gestruktureerde gemeenskaplike bedoel om gestruktureerde output te genereer gegee 'n natuurlike taal invoer. Hierdie familie van take is afhanklik van die natuurlike taal kennis geleer deur die LLM, maar dit vereis ook komplekse Om LLM's te benut, verander bestaande gestruktureerde gemeenskaplike generasie modelle die uitvoerformaat van 'n probleem. Spesifiek, die struktuur wat gegenereer moet word (bv, 'n grafiek of 'n tabel) word omskep, of "serialiseer", in teks. Sulke omskepings sluit in die "flattening" van die grafiek in 'n lys van knooppare (Figuur 1d), of in 'n spesifikasie taal soos DOT (Figuur 1c; Gansner et al., 2006). Terwyl die omskeping van die gestruktureerde output in teks veelbelovende resultate getoon het (Rajagopal et al., 2021; Madaan en Yang, 2021), streef LLMs om hierdie "onnatuurlike" outputs te genereer: LMs word hoofsaaklik vooroplei op vrye vormtekst, en hierdie seriale gestruktureerde outputs verskil sterk van die meerderheid van die vooropleiding data. As gevolg hiervan vereis die gebruik van LLM's vir grafiese generasie tipies 'n groot hoeveelheid taak-spesifieke opleiding data, en hul gegenereerde uitkomste toon strukturele foute en semantiese inkonsistensies, wat verder gefixeer moet word, óf handmatig of deur gebruik te maak van 'n sekondêre downstream model (Madaan et al., 2021b). Ten spyte van hierdie stryd, die onlangse sukses van groot-taal modelle van kode (Code-LLMs; Chen et al., 2021b; Xu et al., 2022) vir take soos kode generasie uit natuurlike taal (Austin et al., 2021; Nijkamp et al., 2022), kode voltooiing (Fried et al., 2022), en kode vertaling (Wang et al., 2021), toon dat Code-LLMs in staat is om komplekse redewerk op gestruktureerde data soos programme uit te voer. So, ons primêre insig is dat groot taal modelle van kode is goeie gestruktureerde gesamentlike redevoerder. Verder, ons wys dat Code-LLMs kan selfs beter gestruktureerde redevoerder as NL-LLMs, wanneer die gewenste output grafiek omskep in 'n formaat soortgelyk aan wat waargeneem word in die kode voor-opleiding data. Ons noem ons metode COCOGEN: modelle van van die Monsoon vervaardiging, en dit word in Figuur 1 getoon. Co Co Gen Ons bydraes is die volgende: die die die die die Ons beklemtoon die insig dat Code-LLM's beter gestruktureerde gemeenskaplike redevaarders as NL-LLM's is, wanneer die gewenste grafieksvoorspelling as kode verteenwoordig word. Ons voorstel COCOGEN: 'n metode vir die benutting van LLMs van kode vir gestruktureerde gesamentlike generasie. Ons voer 'n omvattende evaluering uit oor drie gestruktureerde gesinsgenererende take en wys dat COCOGEN aansienlik die NL-LLM's oorskry, of dit goed aangepas of min-skot getesteer is, terwyl die aantal downstream taakvoorbeelde beheer word. Ons voer 'n gedetailleerde ablasie studie uit, wat die rol van data-formatering, modelgrootte en die aantal paar-shoot voorbeelde toon. die die Hierdie artikel is beskikbaar op archiv onder CC BY 4.0 DEED lisensie. Hierdie artikel is beskikbaar op archiv onder CC BY 4.0 DEED lisensie.

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

FEW SHOT .tech

Hierdie oudio word in die oorspronklike taal van die storie vervaardig!

AI verstaan Commonsense rede beter wanneer dit dink soos 'n programmeerder

About Author

KOMMENTAAR

HANG TAGS

HIERDIE ARTIKEL IS AANGEBIED IN

Related Stories

Top Actionable Tips to Grow a Community: More Tips to Monetize

The #decentralize-ai Writing Contest by ICP and HackerNoon: Results Announcement 🎉

Thrilled to be Recognized as Startup of the Year in New York City

"Walk Down the Road of Life Without Fearing Anything" Max Azarov, CEO and Co-Founder, Novakid

Top Actionable Tips to Grow a Community: More Tips to Monetize

The #decentralize-ai Writing Contest by ICP and HackerNoon: Results Announcement 🎉

Thrilled to be Recognized as Startup of the Year in New York City

"Walk Down the Road of Life Without Fearing Anything" Max Azarov, CEO and Co-Founder, Novakid

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps