"Kurosawa" : un assistant de scénariste : expérimentations et évaluation

Tableau des liens

• Résumé et introduction
• Motivation
• Travaux connexes
• Base de données
• Expériences et évaluation
• Résultats et analyse
• Conclusion et travaux futurs
• Limites et références
• A. Annexe

5. Expériences et évaluation

Nous affinons GPT3 avec nos ensembles de données (voir annexe A.6 ).

5.1. Génération de tracé

Nous avons créé 5 modèles en affinant GPT-3 avec notre ensemble de données d'intrigue de film de la manière suivante, (i) original (sans annotation) ( O ) : entrées - intrigues courtes, sorties - intrigues sans aucune annotation, (ii) annotation et entrée courte (AS) : entrée - intrigues courtes, intrigues de sortie annotées avec une structure en 4 actes, (iii) annotation et entrée longue ( AL ) : intrigues d'entrée longues et plus descriptives, intrigues de sortie annotées avec une structure en 4 actes, (iv) annotation et entrée courte avec genres inclus ( ASG ) : entrée de courts scénarios et genres, intrigues de sortie annotées avec une structure en 4 actes, (v) annotation et entrée longue avec genres inclus ( ALG ) : entrée longue et plus descriptive des intrigues avec le genre, des intrigues de sortie annotées avec une structure en 4 actes.

Pour l'évaluation automatique, nous utilisons BLEU (Papineni et al., 2002), Perplexity (Jelinek et al., 1977), ROUGE (Lin, 2004). Nous utilisons également l'évaluation humaine sous la forme d'une échelle de Likert en cinq points (Likert, 1932). Le système de notation comprend 1-> Fortement en désaccord, 2-> En désaccord, 3-> Neutre, 4-> D'accord, 5-> Tout à fait d'accord. Les histoires écrites par des humains sont supposées avoir une note de 5 pour chacune des 5 caractéristiques suivantes : (1) Maîtrise : exactitude grammaticale ; (2) Cohérence : ordre logique des phrases et des paragraphes ; (3) Pertinence : si les points clés de l'invite ont été mis en évidence dans le résultat ; (4) La sympathie : mesure à quel point l'histoire est agréable ; (5) Créativité : si la sortie introduit de nouveaux événements, profils de personnages ou relations.

Pour la génération de tracés, nous générons 50 tracés à partir de 50 invites de test. Nous divisons les histoires en cinq groupes de 10 et affectons trois évaluateurs à chaque groupe.

Pour la génération de scènes, nous générons dix scènes à partir de 10 invites de test. Nous assignons cinq évaluateurs pour évaluer ces dix histoires.