Mesa da Esquerda Abstract e 1.Introdução e trabalho relacionado 
 
 
 
 
 
 
 
 
 
 
 Methodology 2.1 LLM-Sim Task 2.2 Data 2.3 Evaluation 
 
 Experiments 
 
 Results 
 
 Conclusion 
 
 Limitations and Ethical Concerns, Acknowledgements, and References A. Detalhes do modelo B. Exemplos de transição de jogo A geração das regras do jogo D. Prospecção E. Resultados do GPT-3.5 F. Histogramas Um modelo detalhado Para o modelo GPT-3.5, usamos o modelo gpt-3.5-turbo-0125. Para o modelo GPT-4, usamos o modelo de pré-visualização gpt-4-0125. Para ambos os modelos, a temperatura é definida em 0 para obter resultados deterministas. Também ligamos o modo JSON de ambos os modelos, o que garante que o modelo dá uma resposta JSON válida. Nossos experimentos custam cerca de US $ 5.000 para o uso da API OpenAI. Exemplos de transição de jogo B Selecionamos manualmente o jogo de lavagem de roupas em BYTESIZED32 como o jogo de exemplo, pois contém as transições de estado impulsionadas por ações e a dinâmica subjacente do jogo. Em tarefas em que o modelo prevê a transição de ação, as transições orientadas pelo ambiente ou o progresso do jogo sozinho, fornecemos um exemplo de contexto correspondente. Na tarefa que exige que o modelo preveja tudo, oferecemos dois exemplos de contexto no prompt. Os dois exemplos são escolhidos manualmente de modo que em um exemplo o estado do jogo é alterado diretamente pela ação tomada, enquanto no outro exemplo o estado do jogo é alterado pela dinâmica subjacente do jogo. A geração de regras do jogo C.1 LLM generated rules Para regras geradas pelo LLM, verificamos manualmente todas elas para evitar a desinformação e conteúdo ofensivo. Nós pedimos GPT-4 (gpt-4-0125-preview) com o código de cada classe de objeto para adquirir as regras de cada objeto. Nós também fornecemos um exemplo no contexto. Nós pedimos GPT-4 para descrever o significado de cada propriedade crítica (ou seja, propriedades que não herdam do pai) do objeto e a função de marcação do objeto (ou seja, uma função que define como as propriedades do objeto podem mudar a cada passo, independentemente da ação tomada). Para a geração de regras de ação, pedimos GPT-4 (gpt-4-0125-preview) com o código de todo o jogo, mas ao contrário das regras de objeto, não oferecemos nenhum exemplo no contexto. Pedimos a GPT-4 para descrever cada uma das ações no jogo. Semelhante às regras de ação, geramos regras de pontuação solicitando o GPT-4 (gpt-4-0125-preview) com o código do jogo e solicitando que o GPT-4 descreva como o jogo pode ser ganho ou perdido e como recompensas podem ser ganhas. C.2 Human-Written Action Rules As regras de ação descrevem como cada ação pode mudar os estados do jogo. O anotador especializado lê a descrição do jogo e o código de origem para cada jogo. Eles passaram pela lista de ações disponíveis no jogo e suas funções correspondentes no jogo. Cada regra de ação tem três partes principais: Ação, Descrição e Regras. A ação especifica o nome da ação (por exemplo, ação). A descrição explica o propósito geral da ação (por exemplo, conectar dois objetos com terminais de entrada). As Regras são uma lista não ordenada de descrições de regras que descrevem as restrições da ação ao interagir com objetos diferentes (por exemplo, pelo menos um dos objetos deve ser um fio ou um multimetro) ou como a regra pode funcionar em condições diferentes (por exemplo, desconectar se o terminal já está conect C.3 Human-Written Object Rules As regras do objeto descrevem o significado de cada propriedade do objeto (por exemplo, temperatura, tamanho, peso, etc.) e como elas serão alteradas em cada passo do tempo. Os anotadores especialistas lêem a descrição do jogo e o código-fonte para cada jogo. Eles passaram pelas classes do objeto no script de código e escreveram as regras do objeto. Cada regra do objeto tem três partes principais: Objeto, Descrição e Propriedades. O Objeto especifica o nome do objeto. A Descrição explica o propósito geral do objeto (por exemplo, GarbageCan é um recipiente que pode conter lixo). Na Descrição, a herança da classe do objeto foi notada. As Propriedades são uma lista de descrições de propriedades não especificadas que descrevem cada propriedade desse objeto (por C.4 Human-Written Score Rules As regras de pontuação descrevem as condições para ganhar ou perder o jogo e como as recompensas podem ser ganhas. Um anotador especializado (um dos autores do jogo BYTESIZED32) cria as regras lendo a descrição do jogo e o código da função de pontuação. 
 
 
 
 
 
 
 
 
 Os autores: (1) Ruoyao Wang, Universidade do Arizona (ruoyaowang@arizona.edu); (2) Graham Todd, Universidade de Nova York (gdrtodd@nyu.edu); (3) Ziang Xiao, Universidade Johns Hopkins (ziang.xiao@jhu.edu); (4) Xingdi Yuan, da Microsoft Research Montréal (eric.yuan@microsoft.com); (5) Marc-Alexandre Côté, da Microsoft Research Montréal (macote@microsoft.com); (6) Peter Clark, Allen Institute for AI (PeterC@allenai.org). (7) Peter Jansen, Universidade do Arizona e Allen Institute for AI (pajansen@arizona.edu). Authors: (1) Ruoyao Wang, Universidade do Arizona ( e) O Página oficial@arizona.edu (2) Graham Todd, Universidade de Nova York (gdrtodd@nyu.edu); (Diretor da Universidade Johns Hopkins) e) O Avaliações: jhu.edu (4) Xingdi Yuan, da Microsoft Research Montréal (eric.yuan@microsoft.com); (5) Marc-Alexandre Côté, da Microsoft Research Montréal (macote@microsoft.com); (6) Peter Clark, Allen Institute for AI (PeterC@allenai.org). (7) Peter Jansen, Universidade do Arizona e Allen Institute for AI ( e) o Pessoal@arizona.edu 
 
 Este artigo está disponível em arquivo sob a licença CC BY 4.0. Este documento é sob a licença CC BY 4.0. Disponível em Arquivo Disponível em Arquivo

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

AI Models on HackerNoon

Este áudio é produzido no idioma original da história!

Testando o GPT-4 em previsões do estado do jogo

About Author

COMENTARIOS

Rótulos

ESTE ARTIGO FOI APRESENTADO EM

Related Stories

Aumente sua produtividade com estas 18 ferramentas para desenvolvedores 🚀🔥

Vazamento do prompt do sistema Claude Sonnet 3.5: uma análise forense

Toque para ganhar: Telegram pode integrar os próximos 10 bilhões de usuários criptográficos antes de Solana

Quer ganhar um concurso de redação do HackerNoon? Aqui está o que os vencedores do concurso #crypto-api recomendam

Aumente sua produtividade com estas 18 ferramentas para desenvolvedores 🚀🔥

Vazamento do prompt do sistema Claude Sonnet 3.5: uma análise forense

Toque para ganhar: Telegram pode integrar os próximos 10 bilhões de usuários criptográficos antes de Solana

Quer ganhar um concurso de redação do HackerNoon? Aqui está o que os vencedores do concurso #crypto-api recomendam

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps