"Kurosawa": asistente de guionista: experimentos y evaluación

por Teleplay Technology 2m2024/05/23

Demasiado Largo; Para Leer

En este artículo, los investigadores presentan KUROSAWA, un banco de trabajo de escritura de guiones con IA para la generación de guiones y tramas, que aborda la automatización en los medios de entretenimiento.

featured image - "Kurosawa": asistente de guionista: experimentos y evaluación

Autores:

(1) Prerak Gandhi, Departamento de Ingeniería y Ciencias de la Computación, Instituto Indio de Tecnología de Bombay, Mumbai, [email protected], y estos autores contribuyeron igualmente a este trabajo;

(2) Vishal Pramanik, Departamento de Ingeniería y Ciencias de la Computación, Instituto Indio de Tecnología de Bombay, Mumbai, vishalpramanik,[email protected], y estos autores contribuyeron igualmente a este trabajo;

(3) Pushpak Bhattacharyya, Departamento de Ingeniería y Ciencias de la Computación, Instituto Indio de Tecnología de Bombay, Mumbai.

Tabla de enlaces

5. Experimentos y evaluación

Ajustamos GPT3 con nuestros conjuntos de datos (consulte el apéndice A.6 ).

5.1. Generación de trama

Hemos creado 5 modelos ajustando GPT-3 con nuestro conjunto de datos de trama de película de la siguiente manera, (i) original (sin anotaciones) ( O ): entrada: historias cortas, salida: tramas sin anotaciones, (ii) anotación y entrada corta (AS) : entrada: historias cortas, salida: tramas anotadas con estructura de 4 actos, (iii) anotación y entrada larga ( AL ): entrada de historias largas y más descriptivas, salida: tramas anotadas con estructura de 4 actos, (iv) anotación y entrada breve con géneros incluidos ( ASG ): entrada de historias cortas y género, salida: tramas anotadas con estructura de 4 actos, (v) anotación y entrada larga con géneros incluidos ( ALG ): entrada larga y más descriptiva historias junto con el género, salida: tramas comentadas con estructura de 4 actos.

Para la evaluación automática utilizamos BLEU (Papineni et al., 2002), Perplexity (Jelinek et al., 1977), ROUGE (Lin, 2004). También utilizamos la evaluación humana en forma de una escala Likert de cinco puntos (Likert, 1932). El sistema de calificación tiene 1-> Totalmente en desacuerdo, 2-> En desacuerdo, 3-> Neutral, 4-> De acuerdo, 5-> Totalmente de acuerdo. Se supone que las historias escritas por humanos tienen una calificación de 5 para cada una de las siguientes 5 características: (1) Fluidez : corrección gramatical; (2) Coherencia : ordenamiento lógico de oraciones y párrafos; (3) Relevancia : si los puntos clave del mensaje se han resaltado en el resultado; (4) Simpatía : La medida de cuánto se disfruta la historia; (5) Creatividad : si el resultado introdujo nuevos eventos, perfiles de personajes o relaciones.

Para la generación de gráficos, generamos 50 gráficos a partir de 50 indicaciones de prueba. Dividimos las historias en cinco grupos de 10 y asignamos tres evaluadores a cada grupo.

Para la generación de escenas, generamos diez escenas a partir de 10 mensajes de prueba. Asignamos cinco evaluadores para calificar estas diez historias.