Roteiristas profissionais compartilham prós e contras da co-escrita com IA

Autores: (1) PIOTR MIROWSKI e KORY W. MATHEWSON, DeepMind, Reino Unido e Ambos os autores contribuíram igualmente para esta pesquisa; (2) JAYLEN PITTMAN, Universidade de Stanford, EUA e trabalho realizado na DeepMind; (3) RICHARD EVANS, DeepMind, Reino Unido. Tabela de links Resumo e introdução Contação de histórias, a forma das histórias e linhas de registro O uso de grandes modelos de linguagem para geração de texto criativo Avaliando texto gerado por grandes modelos de linguagem Entrevistas com participantes Pesquisas de Participantes Discussão e Trabalho Futuro Conclusões, agradecimentos e referências A. TRABALHO RELACIONADO COM GERAÇÃO AUTOMATIZADA DE HISTÓRIAS E GERAÇÃO DE HISTÓRIAS CONTROLÁVEIS B. DISCUSSÃO ADICIONAL DE JOGOS DA EQUIPE CRIATIVA DE BOTS C. DETALHES DAS OBSERVAÇÕES QUANTITATIVAS D. FIGURAS SUPLEMENTARES E. PREFIXOS DE PROMPT COMPLETOS PARA DRAMATRON F. SAÍDA BRUTA GERADA PELO DRAMATRON G. SCRIPTS CO-ESCRITOS 5 ENTREVISTAS COM PARTICIPANTES Ao longo de nossas entrevistas com os 15 participantes (anonimizados como p1, p2, etc.), coletamos feedback qualitativo sobre a co-escrita com Dramatron. Nesta seção, resumimos esse feedback em sete temas. Cada um é apresentado juntamente com citações de apoio de entrevistas com participantes. (1) Comentários positivos sobre Dramatron focados em: geração hierárquica que permite ao escritor trabalhar no arco narrativo, na possibilidade de ser coautor interativamente ou simplesmente deixar o sistema gerar, e no potencial do roteiro de saída para servir como material de origem para o escritor humano (Seção 5.1). (2) Os participantes identificaram a inspiração, a construção do mundo e a geração de conteúdo como potenciais aplicações de escrita para o Dramatron, e viram-no como uma possível ferramenta para análise literária (Secção 5.2). (3) Os participantes notaram vários preconceitos incorporados no modelo linguístico (Secção 5.3). (4) Alguns escritores estavam interessados na estética da falha involuntária e nos modos de falha do Dramatron, como repetição e loops de diálogo (Seção 5.4). (5) Não é de surpreender que os participantes tenham notado lacunas lógicas na narrativa, falta de bom senso, nuances e subtextos, que se manifestaram na falta de motivação dos personagens (Seção 5.5). (6) A crítica estrutural centrou-se na necessidade de criar uma linha de registo, bem como nas inconsistências entre cenas consecutivas devido à geração de diálogos paralelos (Secção 5.6). (7) Os participantes estavam envolvidos com a ferramenta e ansiosos para fornecer sugestões de melhoria (Seção 5.7). 5.1 Comentários positivos sobre Dramatron Todos os participantes, exceto p4 e p5 (que preferiram um fluxo de trabalho de escrita não linear), ficaram entusiasmados com a geração hierárquica interativa. “Quando vejo isso, conheço o formato da série. Eu sei como a história se desenrola. Consigo ver a narrativa com mais clareza [...] gosto dessa abordagem de fazer uma linha de registro e depois empacotar os detalhes dentro dela. Você está plantando a semente de uma ideia e isso está colocando carne nos ossos” (p13). “Tudo isso é bastante consistente, simbolicamente consistente e coerente e se relaciona com o estado de coisas do estado da peça [...] Há muita emoção e conteúdo sobre os relacionamentos em algumas gerações” (p8). “Em termos de processo de coautoria interativa, acho ótimo [...]” (p9). “O que eu gosto na hierarquia é que você pode fazer o que quiser em qualquer nível” (p2). “Ao trabalhar com a máquina consigo ver o conteúdo com um pouco mais de clareza. Como há especificidade, arcos de personagem, então posso ver como a história se junta [...] Essa [geração hierárquica] realmente parecia muito mais limpa do que o processo [GPT-2 ou GPT-3 com prompt simples] que eu estava usando ”(pág. 15). “Vamos tentar mais! Deus, você poderia simplesmente perder seu tempo fazendo isso” (p3). Os participantes p1, p6 e p3 notaram ainda como essa geração hierárquica ajudou no diálogo: “há bons conteúdos de qualquer geração” (p1) e (referindo-se a uma das gerações) “Você teve algumas discussões grandes e profundas nisso. Estou impressionado com isso” (p3). 5.1.1 Elogios à geração hierárquica interativa no Dramatron. O participante p13 gostou da experiência do usuário de geração interativa e passo a passo de título, personagens e enredo, enquanto p10 achou que “a interação parecia mais simples quando todo o roteiro era gerado antecipadamente, em vez de editá-lo”. O participante p1 experimentou e discutiu três modos diferentes de geração de roteiro: 1) coautoria interativa, 2) modificação da saída de uma geração totalmente automatizada e 3) curadoria e modificação de saídas de 3-4 gerações. Os benefícios de gerir múltiplas gerações incluíam ter “muito material”, permitir “extrair boas ideias”, “escolher a dedo”, “mais interpretações e liberdade artística”, mas “requer mais massagem da minha parte” e “elaboração de palavras para fazer flui” (p1). O participante p1 desenvolveu um fluxo de trabalho para cogerar um roteiro que incluía a edição de listas de personagens e a edição da linha de log para adicionar mais “personagens que conhecemos”, dando status e nomes aos personagens, adicionando-os às batidas da trama. Ao elaborar a linha de registro, p1 queria implicar riscos elevados e “ficar com personagens humanóides: personagens não-humanos nos levam ao Teatro do Absurdo, ao Surreal, ao Realismo Mágico”, e eles queriam linhas de registro que situassem o história em realismo “para atender às expectativas do público” e “definir as coisas em um local específico”. 5.1.2 Facilidade de uso da UI do Dramatron e geração baseada em sementes. Vários participantes (p6, p9, p11, p13, p15) destacaram o potencial do roteiro ser encenado após a edição: “um rascunho, precisaria trabalhar muito com ele [mas] poderia ser útil e encenado, definitivamente” (pág. 6), “Isso me faz pensar em como você pode fazer um programa completo com uma única ideia” (pág. 11) e “Sabe, com um pouco de edição, eu poderia levar isso para a Netflix: só preciso refinar um pouco pouco” (p9). O participante p1 encenou vários scripts gerados com Dramatron (ver Seção 5.9). 5.1.3 Sobre a possibilidade de o roteiro ser encenado após a edição. 5.2 Usos Potenciais do Sistema Todos os participantes consideraram o Dramatron útil para obter inspiração: “isto é perfeito para bloqueio de escritor” (pág. 13), “Posso ver que é muito útil, se você estiver preso” (pág. 4, p5), “mais aprofundado do que o do escritor”. site de avisos de desbloqueio” (p3). O Dramatron foi descrito como uma ferramenta que estimula indiretamente a criatividade do dramaturgo: “Gosto do que acontece no meu cérebro quando leio alguns resultados do modelo. Tive uma ideia para o resto da história” (pág. 6), “Trata-se de descobrir o que se traduzirá a partir do que me dá” (pág. 10), ou que dê diretamente sugestões acionáveis: “Aqui está um conceito; coloca carne nos ossos e depois você corta a gordura indo e voltando” (p13). Falhas e limitações do modelo de linguagem podem ser subvertidas em busca de inspiração, principalmente quando o roteiro é executado: “os erros são presentes que podemos deixar para os improvisadores” (p1). 5.2.1 Inspiração para o Escritor. Mais do que apenas fornecer uma centelha criativa para a história principal, o modelo pode ser empregado para povoar o universo da história: “Se eu fosse usar isso para escrever um roteiro, usaria para gerar personagens para ver se funciona. gerou coisas nas quais eu não tinha pensado. Ou relacionamentos que eu não tinha pensado” (p15). Dramatron para exploração: “Eu iria com a sugestão que está mais distante do que eu teria sugerido porque já sei o que está na minha cabeça e quero saber o que a máquina faria” (p12). 5.2.2 Geração de Escolhas Alternativas e Construção do Mundo. Ao ativar o sistema, os escritores poderiam pesquisar indiretamente o modelo de linguagem em busca de estilos e elementos literários: “Mesmo que eu não estivesse escrevendo, ele faz um trabalho maravilhoso ao coletar o que está na literatura” (p10) ou até mesmo, hipoteticamente, pesquisar em sua própria produção : “Eu teria muito interesse em alimentar tudo o que escrevi e depois fazer com que isso gerasse roteiro na minha voz e estilo” (p4, p5). O aprendizado também poderia acontecer analisando como melhorar os resultados do Dramatron: “Para mim, como dramaturgo, o interessante de trabalhar com essa tecnologia é pensar em como eu a editaria. Por exemplo: como seria isso no palco?” (pág. 8). 5.2.3 Utilização do Sistema de Aprendizagem e Análise. Além da inspiração, vários participantes ficaram interessados no potencial de co-escrita do Dramatron e pensaram que ele poderia lhes fornecer material. “Um dos grandes obstáculos da dramaturgia é colocar as palavras na página. Isso ajuda nessa etapa” (p8). “Eu usaria essa ferramenta para consertar projetos (de roteiro) que possam estar mortos” (p14). “Esta é uma ferramenta rica para basicamente tudo. Eu fiz a criação planejada. Existem métodos que você pode usar para gerar texto, onde você extrai músicas, roteiros ou artigos de notícias e, em seguida, corta e cola. Isso me lembra a geração de texto dadaísta” (p11). “Na prática, poderia impactar a economia da escrita se séries mais longas pudessem ser aumentadas por tais sistemas de escrita. Pode ser útil em séries de longa duração, onde você tem sala de roteiristas” (p4, p5). 5.2.4 Geração de Conteúdo. Alguns participantes sugeriram que esta ferramenta poderia ser empregada em uma sala de roteiristas de TV, para ajudar na redação de roteiros estereotipados. “Se você fosse capaz de criar uma IA para sintetizar os roteiros de maneira eficaz, você seria valioso para o estúdio” (pág. 14). “É como ter um dramaturgo muito bom” (p10). “A IA pode criar 5 scripts em 5 minutos” (p9). “Para qual parte do processo esta ferramenta é relevante? Série de TV fórmula” (p4, p5). “Eu não usaria isso para escrever uma peça direta” (p11). 5.2.5 Potencial da IA como ferramenta para roteiro de TV. 5.3 Estereótipos Alguns participantes acharam a personagem “relações tão estreitas e prescritivas” (p4, p5); se um personagem tem “um esforço nobre, isso será declarado no diálogo” (p4, p5), e que os personagens receberam “bobo” e “no nariz, trocadilhos” (p2). Da mesma forma, a geração do título “faz o que diz na lata” (p. 15) e “às vezes pode ser excessivamente descritiva: o diretor pode tomar decisões” (p. 8). Um comentou: “isso é uma coisa que meus alunos fariam” (p8). Houve alguns aspectos positivos num sistema tão previsível: “as relações interpessoais criadas aqui são tropos clássicos que mantêm o público interessado” (p3) e “há interesse em gerar resultados do sistema para conteúdos que já existem: os títulos reais são divertidos de comparar com” (p14). 5.3.1 As saídas do sistema são muito literais e previsíveis. O participante p9 perguntou “De que culturas e línguas os livros vêm?” enquanto muitos participantes notaram preconceitos de género e preconceitos de idade nos resultados do sistema. “Sou menos sexista que o computador” (p3). “Os protagonistas são ambos personagens masculinos e todos os personagens coadjuvantes são femininos” (p4, p5). “A protagonista feminina é definida pela sua relação com as outras personagens: é típico das peças que as personagens femininas não tenham muitas informações sobre elas” (p. 11). “Ela está sempre chateada e não tem desejos (como os personagens masculinos) [...] Na verdade muito do conteúdo [...] é misógino e patriarcal” (p8). Este problema levantou a questão das estratégias de enfrentamento ou da apropriação cultural: “se dermos ao GPT-2 alguns nomes de personagens, ele poderia surgir com personagens preconceituosos: [nós] optamos por nomes mais inventados, não específicos de gênero, não específicos de etnia” (p13) e “há uma questão ética sobre o uso da IA para um grupo de produtores de teatro: a IA lança-nos um tópico, ou relação que não está relacionada com a nossa experiência vivida e somos compelidos a Sim, e às ofertas” (p4, pág.5). Discutimos questões éticas levantadas na discussão pelos participantes com mais detalhes na Seção 7.3. 5.3.2 Os resultados do sistema podem ser problemáticos, estereotipados e tendenciosos. 5.4 Falhas O participante p6 riu das sugestões “poéticas e absurdas”. “É realmente interessante ver o que acontece” (p8), “níveis de absurdo que me agradam” (p10), “Eu não teria pensado nisso, mas é muito engraçado” (p11). “Isso é algo que um autor humano provavelmente não aceitaria, é criado de forma única [...] quero ideias que um humano não poderia ter” (p12). 5.4.1 Os participantes aceitam resultados inesperados do sistema. . Todos os participantes notaram como o sistema poderia entrar em loops de geração: “Provavelmente eu cortaria muito” (p6) ou “uma cena inteira sobre uma caldeira quebrada: é” (p8). Às vezes, eles encontraram aspectos positivos nesses ciclos: “É uma conversa boba. É um pouco repetitivo. Eu gosto disso." (p6), “a repetição deixa espaço para subtexto” (p12) e gostou das falhas (p4, p5) ou até fez paralelos com trabalhos existentes (p3). 5.4.2 O sistema frequentemente entra em loops de geração 5.5 Limitações Fundamentais do Modelo de Linguagem e do Dramatron “Manter o diálogo consistente e baseado nos personagens é o mais importante [...] Ainda há alguma dificuldade em fazer com que ele se mantenha no caminho certo com o contexto.” (pág. 15). “Quero que os personagens sejam mais consistentes consigo mesmos” (pág. 12). “Há um pouco de confusão na lógica, lacunas na lógica [...] Parece teatro pós-moderno [...] Mas em termos de [uma peça com um determinado] gênero, que tem um enredo a seguir, é está ficando confuso” (p11). O Participante 7 “quer adicionar alguma costura entre as batidas para que elas façam sentido narrativamente”. 5.5.1 Falta de consistência e de coerência a longo prazo. O Participante 8 observou que “Tem coisas que é difícil mostrar no palco – como um gato. O sistema não tem consciência do que é encenável e não encenável” e p9 observou que ao “interagir com uma IA que conta histórias, o espaço de entrada é limitado”. 5.5.2 Falta de bom senso e incorporação. O Participante 3 observou: “esse é um bom exemplo de como os computadores não entendem as nuances, a forma como vemos a linguagem e podemos entendê-la mesmo que não seja superespecífica”. “Muita informação, um pouco verbalizada demais, deveria ter mais subtexto” (p6). “Com o diálogo nas peças, você precisa se fazer duas perguntas: 1) As pessoas realmente falam assim? 2) Os atores são atraídos por essas falas e essas falas são atraentes para serem interpretadas?” (p7) “Dramaturgia trata de diálogo realista... todas as coisas em torno do subtexto. [...] Mostrar, não contar: aqui estamos apenas contando. Assim como na improvisação: 'não mencione a coisa'. O elemento da linha de log passou a ser o bit central da geração, e isso era repetitivo” (p8). O Participante 14 concluiu que “A IA nunca escreverá Casablanca, ou Uma Vida Maravilhosa. Pode ser capaz de escrever narrativas de gênero em caixa”. 5.5.3 Falta de nuances e subtextos. “As histórias não terminam. As jornadas dos personagens não estão completas. Talvez esteja faltando alguma coisa no background do personagem [...] Onde está a motivação emocional, coisas que podem existir na história de fundo e não existir no roteiro?” (pág. 14). “Na primeira passagem você procura o gol do protagonista e o impedimento para essa movimentação. O que meu personagem está fazendo e o que ele quer? Se isso foi dado a um ator, ele terá dificuldade com a primeira coisa a fazer, que é encontrar as necessidades e os desejos do personagem e depois personalizá-lo” (p9). “Meus alunos fazem isso: um personagem entra em cena e diz direitinho o que eles querem.” (pág. 8). “O conflito deveria ser algo dentro do personagem” (p6). “Por que as pessoas não dizem o que querem dizer? É porque temos compreensão social, mas às vezes nos perdemos na tradução” (p3). 5.5.4 Falta de motivação dos personagens. 5.6 Problemas Estruturais do Dramatron Para o participante 12, foi difícil encontrar uma linha de registro e o processo pareceu precioso. “Chegar ao primeiro prompt exige um pouco de ida e volta” (p11). “Colocando a ação na linha de registro: este é um momento de pânico para o escritor, porque eles querem adicionar tudo o que é significativo no roteiro. [...] É tudo uma questão de premissa espirituosa. O sistema que você tem agora tem algo a ver com inteligência. É necessário que a linha de toras contenha algum tipo de inteligência” (p13). “[A linha de log] precisa ter um nome de personagem? (p4, p5). “A linha de registro não é uma sinopse fechada. É menos descritivo e mais prescritivo. A arte das linhas de registro consiste em quão curtas você pode torná-las para que [os produtores] leiam o resto do seu material” (p.14). 5.6.1 Dificuldade causada pela necessidade de se montar a linha logarítmica para condicionar toda a geração. “Geralmente, da forma como trabalho, tenho claro o que quero dizer sobre o mundo – o que penso sobre o mundo. Os veículos, ou os personagens, ou o arco não são claros. Parece uma coleção de cenas que se seguem logicamente uma à outra. Mas, a ideia central do que dizer [falta]” (p4, p5). “Se eu pudesse programar algo para escrever um script, não começaria com uma linha de log. Você também pode considerar começar com um personagem e um obstáculo no caminho desse personagem” (p9). 5.6.2 Crítica estrutural do condicionamento baseado em linhas logarítmicas de toda a geração. “Pelas batidas da cena, ele não tem ideia do que continha o diálogo anterior. Então ver o diálogo não ser consistente é chocante” (p1). “Gostaria de saber se há algum problema em importar a batida anterior para a cena [...] Prestar atenção na consistência das batidas ajuda na consistência do diálogo gerado” (p12). Ao saber que o diálogo da cena foi gerado em paralelo para cada cena, o Participante 2 comentou: “Se não leu a última cena, como você pode passar a última cena para a próxima geração? A geração desses roteiros poderia ser significativamente beneficiada pelo atendimento ao diálogo da cena anterior”. 5.6.3 Consequência negativa da escolha de design do Dramatron: geração de diálogo paralelo. 5.7 Melhorias sugeridas para Dramatron Modelar personagens e seus relacionamentos era um tema recorrente: “podemos tornar o sistema orientado para o relacionamento?” (pág. 12), “a que lugar pertence o status na construção do caráter?” (p12), “poderíamos gerar o radical de um caractere e depois completá-lo?” (pág. 15). O Participante 12 sugeriu: “como autor, eu construiria um gráfico social das relações dos personagens”. Respondendo à pergunta “Como fazer com que o sistema saiba onde a cena deve começar e terminar?” (p15), três participantes (p8, p13, p15) sugeriram encaixar um arco narrativo dentro de cada cena. Vários participantes queriam poder consultar e dialogar com o modelo de escrita: “Você envolveu [o sistema de IA] tentando fazer anotações?” (p2) para lhe permitir aprender sobre o mundo: “Como acontece a construção do mundo? Talvez o modelo precise conhecer os Ws de Stella Adler [(Quem? O quê? Onde? Por quê? Como? etc.)] Você consegue fazer com que o sistema responda a essas perguntas? (p9), ou para permitir reescrita e reformulação: “podemos pedir ao sistema para reescrever com um estilo ou contexto?” (pág. 8). Como reitera a p10, a reescrita iterativa era um fluxo de trabalho desejado: “Estou menos interessado em moldar [a narrativa], em vez de ver o que ela está dizendo, e refiná-la para ver o que diz, e depois refiná-la novamente. Um dramaturgo tem que ver a peça falada antes de fazer cortes.” o dramaturgo precisa ver a peça sendo falada antes de fazer os cortes.” Finalmente, p4 e p5 observaram astutamente que “houve um afastamento dos sistemas de dramaturgia ocidental, portanto, em termos de tornar isto mais útil para o futuro, pode ser útil considerar como pode ser usado no contexto de outros sistemas contemporâneos”. escrita” — sugerindo estruturas e elementos narrativos alternativos — “já que a IA não está sujeita às mesmas regras que nós. Portanto, dizer-lhe para se sujeitar a essas regras humanas parece limitar as capacidades”. 5.8 Melhoria Incremental da Ferramenta Conforme detalhado na Seção 5.7, os participantes se envolveram e forneceram feedback construtivo sobre o Dramatron. Como observou um dos participantes do estudo: “o sistema é tão adaptável que pode mudar com o nosso feedback e ajustes”. Esse tipo de compreensão da modificabilidade dos sistemas capacitou aqueles que com eles interagiam a sugerir mudanças com mais liberdade, sabendo que elas poderiam ser incorporadas. Desta forma, o sistema beneficiou-se positivamente e evoluiu ao longo do estudo participante. Ao longo das entrevistas, incorporamos o feedback que pudemos, fazendo pequenas alterações incrementais nos conjuntos de prefixos imediatos do Dramatron. A Tabela 1 resume as alterações feitas como resultado direto do feedback dos participantes. Este tipo de concepção e desenvolvimento participativos é fundamental para a geração de ferramentas criativas, uma vez que o feedback dos utilizadores pode ser directamente incorporado para melhorar o sistema para a próxima interacção. Isto é possível através do design modular do sistema, das interações leves baseadas em prompts e da flexibilidade proporcionada pelo Dramatron. Esta participação também inspira os participantes a explorar ideias relacionadas, conectadas e criativas. Por exemplo, a Figura 4 (ESQUERDA) mostra arte conceitual para um teste narrativo de atores virtuais interpretando um roteiro co-escrito. 5.9 Preparação e avaliação de produções de roteiros co-escritos por Dramatron A escrita criativa para teatro é fundamentalmente interativa: não apenas entre contadores de histórias colaboradores, mas entre contadores de histórias e o público. Por esse motivo, avaliamos como roteiros co-escritos com a Dramatron poderiam ser produzidos no palco do teatro. Nesta seção, descrevemos detalhes da encenação e relatamos reflexões avaliativas da equipe criativa e de dois revisores teatrais profissionais. Cinco roteiros co-escritos com Dramatron foram apresentados em apresentações públicas em agosto de 2022 no maior festival de teatro da América do Norte: o 2022 Edmonton International Fringe Theatre festival. A exibição do show foi intitulada Plays By Bots e teve 7 apresentações ao longo de duas semanas (veja uma imagem da produção na Fig. 4). Em cada espetáculo, diferentes elencos encenariam uma das peças dos experimentos de co-escrita. As peças abrangem diferentes gêneros, estilos, personagens e histórias. Os roteiros foram trazidos à vida por um elenco de 4 a 6 improvisadores e atores experientes. A primeira metade de cada roteiro foi entregue a cada um dos membros do elenco em um envelope lacrado. Somente quando o show começou eles puderam abrir o roteiro e então iniciaram a apresentação lendo-o ao vivo na frente do público. Terminado o roteiro, os atores improvisaram o final, com base no contexto e na história traçada pelo roteiro[5]. Durante a apresentação de cada show, o diretor e co-roteirista (participante p1 acima) apresentaram o projeto ao público e explicaram que co-escreveram e editaram o roteiro usando Dramatron. Foram escritas duas resenhas sobre a produção de Plays By Bots no festival. Uma das análises observou que a performance “prova que a inteligência artificial pode de fato escrever uma peça de sucesso de Fringe”. O revisor também observou que o sucesso da performance se deveu tanto ao sistema Dramatron quanto aos atores humanos, especialmente um artista que “dominou a voz de Dramatron e a retirou perfeitamente do roteiro para o restante do show, para o deleite do audiência uivante”. A segunda avaliação também foi positiva. Com uma pitada de incredulidade, o crítico elogiou as habilidades do Dramatron. O crítico notou o estilo de Dramatron e como isso serviu à performance, dizendo “se há uma certa planura no diálogo, que leva a declarações, isso por si só é divertido, pois acabou se revelando perfeitamente adequado aos talentos cômicos inexpressivos de [ os] improvisadores” e “os atores humanos continuam a capturar o tom do robô dramaturgo”. O revisor também expressou surpresa com a capacidade do sistema de criar uma peça que se mantém unida e cria um mundo. Eles notaram ainda que algumas falas de Dramatron são tão engraçadas que foram reprisadas mais tarde no show, quando os atores humanos estavam improvisando. As discussões entre a equipe criativa elogiam os revisores e fornecem insights sobre como atores profissionais e improvisadores encontraram o trabalho com roteiros co-escritos pela Dramatron. As discussões pós-show foram facilitadas e repassadas para nós pelo diretor (p1 acima). Quatro temas principais surgiram através dessas discussões que ecoam os temas apresentados anteriormente na Seção 5. Especificamente, o sistema tem um estilo de falha distinto, o texto gerado pode ser repetitivo e divertido de trabalhar. Além disso, a equipe atribuiu agência ao sistema e tinha expectativas em relação às capacidades do sistema. Como artistas de teatro improvisados treinados, os atores foram capazes de adicionar uma camada de interpretação ao roteiro co-escrito. Isso ajudou a adicionar significado ao texto. Por fim, o feedback predominante da equipe criativa foi que participar da produção foi divertido! O entusiasmo e as reflexões da equipe criativa ecoam a utilidade de roteiros co-escritos para produção e colaboração teatral; mais reflexões e citações de apoio estão incluídas no Apêndice B. Este artigo está sob licença CC 4.0. disponível no arxiv [5] Vídeo de performance compartilhado após aceitação.