"Kurosawa": um assistente de roteirista: experimentos e avaliação

por Teleplay Technology 2m2024/05/23

Muito longo; Para ler

Neste artigo, os pesquisadores apresentam o KUROSAWA, uma bancada de escrita de roteiros de IA para geração de enredos e roteiros, abordando a automação em mídia de entretenimento.

featured image - "Kurosawa": um assistente de roteirista: experimentos e avaliação

Autores:

(1) Prerak Gandhi, Departamento de Ciência da Computação e Engenharia, Instituto Indiano de Tecnologia de Bombaim, Mumbai, [email protected], e esses autores contribuíram igualmente para este trabalho;

(2) Vishal Pramanik, Departamento de Ciência da Computação e Engenharia, Instituto Indiano de Tecnologia de Bombaim, Mumbai, vishalpramanik,[email protected], e esses autores contribuíram igualmente para este trabalho;

(3) Pushpak Bhattacharyya, Departamento de Ciência da Computação e Engenharia, Instituto Indiano de Tecnologia de Bombaim, Mumbai.

Tabela de Links

5. Experimentos e Avaliação

Ajustamos o GPT3 com nossos conjuntos de dados (consulte o apêndice A.6 ).

5.1. Geração de plotagem

Criamos 5 modelos ajustando o GPT-3 com nosso conjunto de dados de enredo de filme da seguinte maneira, (i) original (sem anotação) ( O ): enredos curtos de entrada, enredos de saída sem quaisquer anotações, (ii) anotação e entrada curta (AS) : entrada - enredos curtos, enredos de saída anotados com estrutura de 4 atos, (iii) anotação e entrada longa ( AL ): entrada de enredos longos e mais descritivos, enredos de saída anotados com estrutura de 4 atos, (iv) anotação e entrada curta com gêneros incluídos ( ASG ): entrada de enredos curtos e gênero, saída - enredos anotados com estrutura de 4 atos, (v) anotação e entrada longa com gêneros incluídos ( ALG ): entrada - longa e mais descritiva enredos junto com o gênero, enredos de saída anotados com estrutura de 4 atos.

Para avaliação automática utilizamos BLEU (Papineni et al., 2002), Perplexity (Jelinek et al., 1977), ROUGE (Lin, 2004). Também utilizamos a avaliação humana na forma de uma escala Likert de cinco pontos (Likert, 1932). O sistema de classificação tem 1-> Discordo totalmente, 2-> Discordo, 3-> Neutro, 4-> Concordo, 5-> Concordo totalmente. Presume-se que as histórias escritas por humanos tenham uma classificação de 5 para cada uma das 5 características a seguir: (1) Fluência : correção gramatical; (2) Coerência : ordenação lógica de frases e parágrafos; (3) Relevância : se os pontos-chave do prompt foram destacados na saída; (4) Simpatia : A medida do quanto a história é agradável; (5) Criatividade : se o resultado introduziu novos eventos, perfis de personagens ou relacionamentos.

Para geração de gráficos, geramos 50 gráficos a partir de 50 prompts de teste. Dividimos as histórias em cinco grupos de 10 e designamos três avaliadores para cada grupo.

Para geração de cena, geramos dez cenas a partir de 10 prompts de teste. Designamos cinco avaliadores para avaliar essas dez histórias.