Estimar vetores de probabilidade de emoção: interrogando o LLM com um prompt de cauda que provoca emoção

Tabela de Links

• Resumo e introdução
• Interrogando o LLM com um prompt de cauda que provoca emoções
• Análise PCA das avaliações Emotion of Amazon
• Trabalho futuro
• Conclusões
• Agradecimentos e Referências

2. Interrogando o LLM com um prompt de cauda que provoca emoções

Neste trabalho, usamos o LLM de código aberto LlaMa2 de 7 bilhões de peso do Facebook como mecanismo principal [2]. Foi necessário usar um LLM que permitisse acesso às probabilidades brutas do token após um prompt. O modelo rodou em um Mac Studio com 32 gigabytes de RAM. Com esta combinação de hardware e modelo foram necessários 2 minutos para calcular as probabilidades dos descritores de emoções no dicionário de emoções fornecido abaixo.

2.1. O Dicionário de Emoções

A língua inglesa é abençoada com muitas palavras e uma extensa literatura que fornece exemplos do uso dessas palavras em contextos apropriados. Para efeitos de LLMs, é o contexto de uma palavra que transmite o seu significado. O leitor inferirá o significado de uma palavra desconhecida através do contexto em que encontra a palavra usada, desde que compreenda o contexto. Por exemplo, 'A espingarda confundiu o coelho'. mostra como o significado pode ser moderado pelo contexto. O contexto criado por um prompt final favorecerá uma classe de palavras associada. Para o experimento detalhado neste artigo, o seguinte aviso final foi usado para extrair descritores de emoção: 'Ler isso me faz sentir'. É provável que emoções específicas que provocam avisos de cauda favoreçam subclasses específicas de descritor, mas estudar isso está além do escopo deste artigo

As palavras a seguir foram escolhidas para fornecer uma ampla amostra de descritores de emoções.

aceitação, admiração, adoração, carinho, medo, agitação, agonia, agressivo, alarme, alarmado, alienação, espanto, ambivalência, diversão, raiva, angústia, irritado antecipando, ansioso, apatia, apreensão, arrogante, assertivo, atônito, atenção, atração , aversão, admiração, perplexo, desnorteado, amargo, doçura amarga, felicidade, entediado, descarado, taciturno, calmo, despreocupado, descuidado, carinhoso, caridade, atrevido, alegria, claustrofóbico, coercitivo, confortável, confiante, confusão, desprezo, conteúdo, coragem, covarde, crueldade, curiosidade, cinismo, atordoado, desânimo, encantado, desmoralizado, deprimido, desejo, desespero, determinado, decepção, descrença, desconcertado, desconforto, descontentamento, descontente, nojo, desanimado, antipatia, consternação, desorientado, desanimado, desprazer, distração, angústia, perturbado, dominante, dúvida, pavor, motivado, estupefato, ansiedade, êxtase, euforia, constrangimento, empatia, encantado, prazer, iluminado, tédio, entusiasmo, inveja, epifania, euforia, exasperado, excitação, expectativa, fascinação, medo, flakey, focado, carinho, simpatia, susto, frustrado, fúria, alegria, sombrio, melancolia, gratidão, ganância, tristeza, rabugice, mau humor, culpa, felicidade, ódio, ódio, desamparado, saudade de casa, esperança, sem esperança, horrorizado, hospitaleiro, humilhação, humildade, magoado, histeria, ociosidade, impaciente, indiferença, indignado, paixão, enfurecido, insegurança, perspicaz, insultado, interesse, intrigado, irritado, isolado, ciúme, jovialidade, alegria, júbilo, gentil, preguiçoso, gostar, aversão, solitário, saudade, louco, amor, luxúria, louco, melancólico, miserável, avareza, confuso, modéstia, temperamental, mortificado, mistificado, desagradável, enjoado, negativo, negligência, nervoso, nostálgico, entorpecido, obstinado, ofendido , otimista, indignação, oprimido, em pânico, paranóico, paixão, paciência, melancolia, perplexo, perseverante, pessimismo, piedade, satisfeito, prazer, polidez, positivo, possessivo, impotente, orgulho, intrigado, raiva, erupção cutânea, abalado, arrependimento, rejeitado , relaxado, aliviado, relutante, remorso, ressentimento, resignação, inquietação, repulsa, implacável, tristeza, satisfação, assustado, schadenfreude, desprezo, autocuidado, autocompassivo, autoconfiante, autoconsciente, autocrítico, auto -aversão, automotivação, autopiedade, respeito próprio, autocompreensão, sentimentalismo, serenidade, vergonha, desavergonhado, chocado, presunçoso, tristeza, despeito, estressado, forte, teimoso, preso, submisso, sofrimento, mau humor, surpresa , suspense, suspeito, simpatia, ternura, tensão, terror, gratidão, emocionado, cansado, tolerância, tormento, triunfante, perturbado, confiança, incerteza, minado, inquietação, infeliz, nervoso, inquieto, inseguro, chateado, vingativo, cruel, vigilância , vulnerável, fraco, ai, preocupado, digno, ira.

Este conjunto de palavras não pretende ser completo ou definitivo de forma alguma. Usar o prompt final sem restringir o retorno aos descritores de emoção provoca respostas gerais waffle que não são fáceis de extrair da forma de sentimento.

2.1.1. Estimando o vetor de probabilidade de emoção

LlaMa2 [2] foi lançado de forma a permitir que os desenvolvedores acessem os pesos estimados dos tokens retornados em resposta a um prompt. LlaMa2 tem um vocabulário interno de aproximadamente 30.000 tokens. Isso significa que quando o LlaMa 2 estima a probabilidade do próximo token em uma sequência, o vetor de probabilidade terá 30.000 elementos. Algumas das palavras na lista de descritores de emoções são compostas por mais de um token, caso em que são usadas probabilidades condicionais diretas.

A Figura 2.1.1 mostra a distribuição de probabilidade em escala sobre palavras do dicionário de emoções eliciadas pelo prompt final do texto de revisão da Amazon: 'Li muitas críticas negativas sobre o Fitbit inspire 2, arrisquei e esperei que aquele que encomendei seria um dos grandes que funcionou. Infelizmente, não foi esse o caso. Descompactei, carreguei e baixei o aplicativo. Dei uma caminhada com ele antes do sol se pôr. Tenho o aplicativo Google Fit no meu telefone que também monitora meus passos. O telefone estava no bolso da minha calça jeans. Quando cheguei em casa comparei os dois, o Google Fit disse 4.458 passos, o Fitbit disse 1.168. Aparentemente, o Fitbit funciona com movimentos do pulso que eu não tenho enquanto empurro um andador pela vizinhança. Baixei o manual e percebi que você pode colocá-lo em um clipe (que não estava incluído). Isso funcionaria para mim. Então comecei a percorrer os diferentes recursos, mas não consegui percorrer todos eles. Durante a rolagem, devo ter ligado o cronômetro. Eu não consegui desligar. Então não consegui rolar nada, exceto o recurso de bloqueio de água. Tive que abrir a fechadura da água para voltar ao cronômetro. Então os botões laterais pararam de funcionar. Eu tive um total de 5 horas. Arrumei tudo e comecei o retorno da Amazon. Recebi um reembolso total. Muito decepcionante.

O texto de 50 resenhas de um livro da Amazon foi emprestado de https://www.amazon.com/dp/B000WM9UK2. As críticas foram em sua maioria favoráveis. Exemplos de textos de revisão incluem: 'Os Filhos de H´urin é uma grande tragédia misturada com graça. Os registros genealógicos no início podem ser difíceis de ler, mas a história rapidamente ganha velocidade. Só dei quatro estrelas à história por causa da dificuldade dos primeiros capítulos, muito parecido com a genealogia de Cristo de Mateus no início de seu evangelho. Embora tais registros sejam importantes em ambos, eles são difíceis de obter. Definitivamente, eu ainda recomendaria este livro, pois ele retrata os efeitos horríveis dos poderes do mal sobre homens e mulheres bons e, ainda assim, devemos continuar a resistir ao mal, não importa o fim trágico. É muito revelador que no mundo de Tolkien, no final dos dias, quando Morgoth retorna, seja T´urin, um homem, quem acaba com ele de uma vez por todas. Aqueles a quem Satanás mais destrói nesta vida são aqueles que acabarão por desferir seu golpe mortal, como diz o Apocalipse: “Eles o venceram pelo sangue do Cordeiro e pela palavra de sua 'martyria', [testemunho, testemunho],” aqueles como T'urin, ou nas Escrituras, aqueles como Jó.'

A Figura 2.1.2 mostra os vetores de emoção para todas as 50 avaliações processadas. As 10 emoções mais prováveis vivenciadas ao adquirir o produto foram: deprimido, gentil, nostálgico, cansado, sem esperança, solitário, esperançoso, calmo, preguiçoso, confiante.