"Kurosawa": asistente de guionista: experimentos y evaluación

Tabla de enlaces

• Resumen e introducción
• Motivación
• Trabajo relacionado
• Conjunto de datos
• Experimentos y evaluación
• Resultados y análisis
• Conclusión y trabajo futuro
• Limitaciones y referencias
• A. Apéndice

5. Experimentos y evaluación

Ajustamos GPT3 con nuestros conjuntos de datos (consulte el apéndice A.6 ).

5.1. Generación de trama

Hemos creado 5 modelos ajustando GPT-3 con nuestro conjunto de datos de trama de película de la siguiente manera, (i) original (sin anotaciones) ( O ): entrada: historias cortas, salida: tramas sin anotaciones, (ii) anotación y entrada corta (AS) : entrada: historias cortas, salida: tramas anotadas con estructura de 4 actos, (iii) anotación y entrada larga ( AL ): entrada de historias largas y más descriptivas, salida: tramas anotadas con estructura de 4 actos, (iv) anotación y entrada breve con géneros incluidos ( ASG ): entrada de historias cortas y género, salida: tramas anotadas con estructura de 4 actos, (v) anotación y entrada larga con géneros incluidos ( ALG ): entrada larga y más descriptiva historias junto con el género, salida: tramas comentadas con estructura de 4 actos.

Para la evaluación automática utilizamos BLEU (Papineni et al., 2002), Perplexity (Jelinek et al., 1977), ROUGE (Lin, 2004). También utilizamos la evaluación humana en forma de una escala Likert de cinco puntos (Likert, 1932). El sistema de calificación tiene 1-> Totalmente en desacuerdo, 2-> En desacuerdo, 3-> Neutral, 4-> De acuerdo, 5-> Totalmente de acuerdo. Se supone que las historias escritas por humanos tienen una calificación de 5 para cada una de las siguientes 5 características: (1) Fluidez : corrección gramatical; (2) Coherencia : ordenamiento lógico de oraciones y párrafos; (3) Relevancia : si los puntos clave del mensaje se han resaltado en el resultado; (4) Simpatía : La medida de cuánto se disfruta la historia; (5) Creatividad : si el resultado introdujo nuevos eventos, perfiles de personajes o relaciones.

Para la generación de gráficos, generamos 50 gráficos a partir de 50 indicaciones de prueba. Dividimos las historias en cinco grupos de 10 y asignamos tres evaluadores a cada grupo.

Para la generación de escenas, generamos diez escenas a partir de 10 mensajes de prueba. Asignamos cinco evaluadores para calificar estas diez historias.