Taula de l'esquerra Abstract i 1.Introducció i treball relacionat 
 
 
 
 
 
 
 
 
 
 
 Methodology 2.1 LLM-Sim Task 2.2 Data 2.3 Evaluation 
 
 Experiments 
 
 Results 
 
 Conclusion 
 
 Limitations and Ethical Concerns, Acknowledgements, and References A. Detalls del model Exemples de transició de jocs Generació de regles del joc D. Pròpies E. Resultats de GPT-3.5 F. Histogrames Detall del model Per al model GPT-3.5, utilitzem el model gpt-3.5-turbo-0125. Per al model GPT-4, utilitzem el model de previsió gpt-4-0125. Per a tots dos models, la temperatura s'estableix a 0 per obtenir resultats deterministes. També activem el mode JSON de tots dos models, que assegura que el model dóna una resposta JSON vàlida. Els nostres experiments costen aproximadament $ 5.000 per a l'ús de l'API OpenAI. B Exemples de jocs de transició Seleccionem manualment el joc de rentat de roba en BYTESIZED32 com a joc d'exemple, ja que conté les transicions d'estat impulsades per accions i la dinàmica subjacent del joc. En les tasques en què el model prediu la transició d'acció, les transicions orientades per l'entorn o el progrés del joc sol, proporcionem un exemple corresponent en context. En la tasca que requereix que el model prediqui tot, oferim dos exemples en context en el prompt. Els dos exemples es seleccionen manualment de manera que en un exemple l'estat del joc es modifica directament per l'acció presa mentre que en l'altre exemple l'estat del joc es modifica per la dinàmica subjacent del joc. Generació de regles del joc C C.1 LLM generated rules Per a les regles generades per LLM, les comprovem totes de forma manual per evitar la desinformació i el contingut ofensiu. Demanem a GPT-4 (gpt-4-0125-preview) amb el codi de cada classe d'objecte per adquirir les regles de cada objecte. També proporcionem un exemple en context. Demanem a GPT-4 per descriure el significat de cada propietat crítica (és a dir, les propietats que no hereten de la parenta) de l'objecte i la funció de tick de l'objecte (és a dir, una funció que defineix com les propietats de l'objecte poden canviar en cada pas, independentment de l'acció presa). A continuació es mostra un exemple del nostre prompt de generació de regles d'objecte: Per a la generació de regles d'acció, demanem GPT-4 (gpt-4-0125-preview) amb el codi de tot el joc, però a diferència de les regles d'objecte, no oferim cap exemple en context. Igual que les regles d'acció, generem regles de puntuació demanant GPT-4 (gpt-4-0125-preview) amb el codi del joc i demanant a GPT-4 descriure com es pot guanyar o perdre el joc i com es poden guanyar les recompenses. C.2 Human-Written Action Rules Les regles d'acció descriuen com cada acció pot canviar els estats del joc. L'anotador expert llegeix la descripció del joc i el codi font per a cada joc. Van anar a través de la llista d'accions disponibles en el joc i les seves funcions corresponents en el joc. Cada regla d'acció té tres parts principals: Acció, Descripció i Regles. L'Acció especifica el nom de l'acció (per exemple, acció). La Descripció explica el propòsit general de l'acció (per exemple, connectar dos objectes amb terminals d'entrada). Les Regles són una llista no ordenada de descripcions de regles que descriuen les restriccions de l'acció quan interactua amb diferents objectes (per exemple, almenys un dels objectes ha de ser un cable o un multimèter) o C.3 Human-Written Object Rules Les regles d'objecte descriuen el significat de cada propietat d'objecte (per exemple, temperatura, mida, pes, etc.) i com es canviaran en cada pas de temps. Els anotadors experts llegeixen la descripció del joc i el codi font per a cada joc. Van anar a través de les classes d'objecte en el guió de codi i van escriure les regles d'objecte. Cada regla d'objecte té tres parts principals: Objecte, Descripció i Propietats. L'Objecte especifica el nom de l'objecte. La Descripció explica l'objectiu general de l'objecte (per exemple, GarbageCan és un contenidor que pot contenir escombraries). En la Descripció, s'ha notat l'herència de la classe d'objecte. Per a objectes amb tick, C.4 Human-Written Score Rules Les regles de puntuació descriuen les condicions per guanyar o perdre el joc i com es poden guanyar les recompenses. Un anotador expert (un dels autors del joc BYTESIZED32) crea les regles llegint la descripció del joc i el codi de la funció de puntuació. 
 
 
 
 
 
 
 
 
 Els autors: (1) Ruoyao Wang, Universitat d'Arizona (ruoyaowang@arizona.edu) (2) Graham Todd, Universitat de Nova York (gdrtodd@nyu.edu); (3) Ziang Xiao, Universitat Johns Hopkins (ziang.xiao@jhu.edu); (4) Xingdi Yuan, de Microsoft Research Montréal (eric.yuan@microsoft.com); (5) Marc-Alexandre Côté, Microsoft Research Montréal (macote@microsoft.com) (6) Peter Clark, Institut Allen per a la IA (PeterC@allenai.org). (7) Peter Jansen, Universitat d'Arizona i Allen Institute for AI (pajansen@arizona.edu). Authors: (1) Ruoyao Wang, Universitat d'Arizona (ruoyaowang@arizona.edu) (2) Graham Todd, Universitat de Nova York ( a) El Tàrrega@nyu.edu (3) Ziang Xiao, Universitat Johns Hopkins (ziang.xiao@jhu.edu); (4) Xingdi Yuan, de Microsoft Research Montréal (eric.yuan@microsoft.com); (5) Marc-Alexandre Côté, Microsoft Research Montréal ( a) El A càrrec de macote@microsoft.com (6) Peter Clark, Institut Allen per a la IA (PeterC@allenai.org). (7) Peter Jansen, Universitat d'Arizona i Allen Institute for AI (pajansen@arizona.edu). 
 
 Aquest document està disponible en arxiu sota la llicència CC BY 4.0. Aquest paper és sota la llicència CC BY 4.0. Disponible a l'Arxiu Disponible a l'Arxiu

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

AI Models on HackerNoon

Aquest àudio és produït a l'idioma original de la història!

Test de GPT-4 sobre prediccions de l'estat del joc

About Author

COMENTARIS

Etiquetes penjant

AQUEST ARTICLE VA SER PRESENTAT A

Related Stories

Meet Catchpoint: HackerNoon Company of the Week

Generar líders de qualitat ASAP: HackerNoon's Content-Relevant Niche Ads FTW

On Taxes

Startups of The Year: Meet the Business Industry

Meet Catchpoint: HackerNoon Company of the Week

Generar líders de qualitat ASAP: HackerNoon's Content-Relevant Niche Ads FTW

On Taxes

Startups of The Year: Meet the Business Industry

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps