stolovi lijeve strane Abstrakt i 1 Uvod 2 COCOGEN: Predstavljanje Commonsense struktura kodom i 2.1 Pretvaranje (T, G) u Python kod 2.2 Nekoliko promptinga za generiranje G 3 Procjena i 3.1 Eksperimentalna postavka 3.2 Generacija scenarija: Proscript 3.3 Slijedi stanje entiteta: PROPARA 3.4 Generacija grafika argumenta: EXPLAGRAPHS 4 Analiza 5 Povezani radovi 6 Zaključak, priznanja, ograničenja i reference Procjenjuje se veličina nekoliko modela B Dynamic prompt stvaranje C – ljudska procjena D. Statistički podaci Uzorci izlaza F Prijelaz G Dizajn Python klase za strukturirani zadatak H Utjecaj veličine modela Variacije u promptama 2 COCOGEN: Predstavljanje Commonsense struktura kodom Koncentriramo se na zadatke strukturirane generacije općeg razuma. Svaki primjer obuke za takve zadatke nalazi se u obliku (T, G), gdje je T uvodni tekst, a G je struktura koja se generira (obično graf). Ključna ideja COCOGEN-a je transformacija izlaznog grafika G u semantički ekvivalentni program Gc napisan u programskom jeziku opće namjene. U ovom smo radu odabrali Python zbog njegove popularnosti u podacima o obuci suvremenih CodeLLM-a (Xu et al., 2022), ali naš je pristup agnostičan prema programskom jeziku. Kodični transformirani grafiti u svom su formatu slični podacima iz predtreninga Code-MLL-a i tako služe kao lakše generalizirati obuke ili nekoliko primjeraka Koristimo zadatak stvaranja skripta (PROSCRIPT, Slika 1) kao primjer za motiviranje naše metode: stvaranje skripta ima za cilj stvaranje skripta (G) kako bi se postigao određeni cilj visoke razine (T). 2.1 Pretvaranje (T, G) u Python kod Opći postupak uključuje dodavanje ulaznog teksta T na početku koda kao atributa klase ili opisnog komentara i kodiranje strukture G koristeći standardne konstrukte za predstavljanje strukture u kodu (npr. hashmaps, atributi objekta) ili funkcije poziva. Na primjer, za zadatak stvaranja skripta, pretvaramo par (T, G) u klasu Tree (slika 1b). Cilj T se dodaje kao atribut klase (cilj), a skripto G se dodaje tako da se pojedinačno popisuju čvorovi i rubovi. Najprije instantiziramo popis čvorova kao objekte klase Node. Zatim se rubovi dodaju kao atribut djeca za svaki čvor (slika 1b). Na primjer, instantiziramo čvor "Izvaditi nekoliko ploča" kao take_out_several_plates = Node(), a zatim ga dodamo kao dijete čvorova take_pies_out_to_cool. Iako postoji nekoliko načina za predstavljanje primjera obuke kao klase Pythona, empirički smo otkrili da je ovaj relativno jednostavan format najučinkovitiji, posebno s većim modelima. 2.2 Nekoliko promptinga za generiranje G U našim eksperimentima, koristili smo CODEX (Chen et al., 2021a) i otkrili da gotovo uvijek generira sintaktički valjan Python. Tako se generirani kod može lako pretvoriti natrag u grafikon i ocijeniti pomoću standardne, izvorne, metrike skupova podataka. Svijet Svijet Ovaj dokument je dostupan na arhivu pod licencom CC BY 4.0 DEED. Ovaj papir je Pod licencom CC BY 4.0 DEED. Dostupno u Arhivu Svijet Svijet Svijet Svijet Svijet Svijet Svijet Autori : (1) Aman Madaan, Institut za jezične tehnologije, Sveučilište Carnegie Mellon, SAD (amadaan@cs.cmu.edu); (2) Shuyan Zhou, Institut za jezične tehnologije, Carnegie Mellon University, SAD (shuyanzh@cs.cmu.edu); (3) Uri Alon, Institut za jezične tehnologije, Sveučilište Carnegie Mellon, SAD (ualong@cs.cmu.edu); (4) Yiming Yang, Institut za jezične tehnologije, Sveučilište Carnegie Mellon, SAD (yiming@cs.cmu.edu); (5) Graham Neubig, Institut za jezične tehnologije, Sveučilište Carnegie Mellon, SAD (gneubig@cs.cmu.edu). Authors: (1) Aman Madaan, Institut za jezične tehnologije, Sveučilište Carnegie Mellon, SAD (amadaan@cs.cmu.edu); (2) Shuyan Zhou, Institut za jezične tehnologije, Carnegie Mellon University, SAD (shuyanzh@cs.cmu.edu); (3) Uri Alon, Institut za jezične tehnologije, Sveučilište Carnegie Mellon, SAD (ualong@cs.cmu.edu); (4) Yiming Yang, Institut za jezične tehnologije, Sveučilište Carnegie Mellon, SAD (yiming@cs.cmu.edu); (5) Graham Neubig, Institut za jezične tehnologije, Sveučilište Carnegie Mellon, SAD (gneubig@cs.cmu.edu).

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

FEW SHOT .tech

Ovaj zvuk je proizveden na izvornom jeziku priče!

Predugo; Čitati

Make resilience your competitive advantage

Zašto pretvaranje grafova u Python kod poboljšava AI razmatranje

About Author

KOMENTARI

VIJESI OZNAKE

OVAJ ČLANAK JE PREDSTAVLJEN U

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps