Estimar vectores de probabilidad de emociones: interrogar al LLM con un mensaje de cola que provoca emociones

Tabla de enlaces

• Resumen e introducción
• Interrogar al LLM con un mensaje de cola que provoca emociones
• Análisis PCA de las reseñas de Emotion of Amazon
• Trabajo futuro
• Conclusiones
• Agradecimientos y Referencias

2. Interrogar al LLM con una indicación de cola que provoca emociones

En este trabajo utilizamos el LLM de código abierto LlaMa2 de Facebook, de 7 mil millones de peso, como motor central [2]. Era necesario utilizar un LLM que permitiera el acceso a las probabilidades de los tokens sin procesar después de una solicitud. El modelo funcionaba con un Mac Studio con 32 gigabytes de RAM. Con esta combinación de hardware y modelo, se necesitaron 2 minutos para calcular las probabilidades de los descriptores de emociones en el diccionario de emociones que se proporciona a continuación.

2.1. El diccionario de emociones

El idioma inglés está bendecido con muchas palabras y una extensa literatura que proporciona ejemplos del uso de estas palabras en contextos apropiados. A los efectos de los LLM, es el contexto de una palabra lo que transmite su significado. Un lector inferirá el significado de una palabra desconocida a través del contexto en el que encuentre la palabra utilizada, siempre que comprenda el contexto. Por ejemplo, 'La escopeta desconcertó al conejo'. muestra cómo el significado puede ser moderado por el contexto. El contexto creado por un mensaje de cola favorecerá una clase de palabras asociada. Para el experimento que se detalla en este artículo, se utilizó la siguiente indicación de cola para provocar descriptores de emociones: "Leer esto me hace sentir". Es probable que una emoción específica que provoque indicaciones de cola favorezca subclases específicas de descriptores, pero estudiar esto está más allá del alcance de este artículo.

Se eligieron las siguientes palabras para proporcionar una muestra amplia de descriptores de emociones.

aceptación, admiración, adoración, cariño, asustado, agitación, agonía, agresivo, alarma, alarmado, alienación, asombro, ambivalencia, diversión, ira, angustia, molesto anticipando, ansioso, apatía, aprensión, arrogante, asertivo, asombrado, atención, atracción , aversión, temor, desconcertado, desconcertado, amargo, amargo dulzor, dicha, aburrido, descarado, melancólico, tranquilo, despreocupado, descuidado, solidario, caridad, descarado, alegría, claustrofóbico, coercitivo, cómodo, confiado, confusión, desprecio, contento, coraje, cobarde, crueldad, curiosidad, cinismo, aturdido, abatimiento, encantado, desmoralizado, deprimido, deseo, desesperación, decidido, decepción, incredulidad, desconcertado, malestar, descontento, descontento, asco, descorazonado, disgusto, consternación, desorientado, desanimado, desagrado, distracción, angustia, perturbado, dominante, duda, pavor, conducido, estupefacto, afán, éxtasis, júbilo, vergüenza, empatía, encantado, goce, iluminado, hastío, entusiasmo, envidia, epifanía, euforia, exasperado, excitación, expectación, fascinación, miedo, escamoso, concentrado, cariño, simpatía, susto, frustrado, furia, alegría, tristeza, tristeza, gratitud, avaricia, pena, mal humor, mal humor, culpa, felicidad, odio, odio, impotencia, nostalgia, esperanza, desesperanza, horrorizado, hospitalario, humillación, humildad, herido, histeria, ociosidad, impaciente, indiferencia, indignado, enamoramiento, enfurecido, inseguridad, perspicaz, insultado, interés, intrigado, irritado, aislado, celos, jovialidad, alegría, júbilo, bondadoso, perezoso, gusto, aborrecimiento, solitario, anhelo, descabellado, amor, lujuria, enojado, melancolía, miserable, avaricia, mezclado, modestia, temperamental, mortificado, desconcertado, asqueroso, nauseabundo, negativo, abandono, nervioso, nostálgico, entumecido, obstinado, ofendido , optimista, indignación, abrumado, aterrorizado, paranoico, pasión, paciencia, pensativo, perplejo, perseverante, pesimismo, lástima, complacido, placer, cortesía, positivo, posesivo, impotente, orgullo, perplejo, rabia, sarpullido, sacudido, arrepentimiento, rechazado , relajado, aliviado, reacio, remordimiento, resentimiento, resignación, inquietud, repulsión, despiadado, tristeza, satisfacción, asustado, schadenfreude, desprecio, autocuidado, autocompasivo, seguro de sí mismo, consciente de sí mismo, autocrítico, yo -desprecio, automotivación, autocompasión, respeto por sí mismo, autocomprensión, sentimentalismo, serenidad, vergüenza, descarado, conmocionado, presumido, tristeza, despecho, estresado, fuerte, terco, estancado, sumiso, sufrimiento, mal humor, sorpresa. , suspenso, suspicaz, simpatía, ternura, tensión, terror, agradecimiento, emocionado, cansado, tolerancia, tormento, triunfante, turbado, confianza, incertidumbre, minado, desasosiego, infeliz, enervado, inquieto, inseguro, trastornado, vengativo, vicioso, vigilancia , vulnerable, débil, ay, preocupado, digno, ira.

Este conjunto de palabras no pretende ser completo ni definitivo de ninguna manera. El uso de la indicación de cola sin restringir el retorno a los descriptores de emociones provoca respuestas generales que no son sencillas de extraer en forma de sentimiento.

2.1.1. Estimación del vector de probabilidad de emoción.

LlaMa2 [2] se lanzó de tal manera que permite a los desarrolladores acceder a los pesos estimados de los tokens devueltos en respuesta a un mensaje. LlaMa2 tiene un vocabulario interno de aproximadamente 30.000 tokens. Esto significa que cuando LlaMa 2 estima la probabilidad del siguiente token en una secuencia, el vector de probabilidad tendrá 30.000 elementos. Algunas de las palabras de la lista de descriptores de emociones se componen de más de un token, en cuyo caso se utilizan probabilidades condicionales directas.

La Figura 2.1.1 muestra la distribución de probabilidad escalada sobre palabras del diccionario de emociones provocadas por el mensaje final del texto de revisión de Amazon: "Leí muchas críticas negativas sobre el Fitbit inspire 2, me arriesgué y esperé que el que pedí Sería uno de los grandes que funcionó. Lamentablemente ese no fue el caso. Lo desempaqué, lo cargué y descargué la aplicación. Salí a caminar con él puesto antes de que se pusiera el sol. Tengo la aplicación Google Fit en mi teléfono que también sigue mis pasos. El teléfono estaba en el bolsillo de mis jeans. Cuando llegué a casa comparé los dos, Google Fit dijo 4.458 pasos, Fitbit dijo 1.168. Aparentemente, Fitbit funciona con el movimiento de la muñeca que yo no tengo mientras empujo un andador por el vecindario. Descargué el manual y noté que puedes ponerlo en un clip (que no estaba incluido). Eso funcionaría para mí. Entonces comencé a desplazarme por las diferentes funciones, excepto que no podía desplazarme por todas. Mientras me desplazaba debí haber encendido el cronómetro. No pude apagarlo. Entonces no pude desplazarme por nada excepto la función de bloqueo de agua. Tuve que abrir la esclusa de agua para volver al cronómetro. Luego los botones laterales dejaron de funcionar. Lo tuve un total de 5 horas. Lo empaqué y comencé la devolución de Amazon. Recibí un reembolso completo. Muy decepcionante.'

El texto de 50 reseñas de un libro en Amazon se tomó prestado de https://www.amazon.com/dp/B000WM9UK2. Las críticas fueron en su mayoría favorables. Los textos de revisión de ejemplo incluyen: 'Los hijos de H´urin es una gran tragedia mezclada con gracia. Los registros genealógicos al principio pueden ser difíciles de entender, pero la historia rápidamente gana velocidad. Sólo le di a la historia cuatro estrellas debido a la dificultad de los primeros capítulos, muy parecida a la genealogía de Cristo de Mateo al comienzo de su evangelio. Aunque estos registros son importantes en ambos casos, son difíciles de conseguir. Sin embargo, definitivamente recomendaría este libro, ya que describe los horribles efectos de los poderes del mal en hombres y mujeres buenos y, sin embargo, debemos continuar resistiendo el mal sin importar el trágico final. Es muy revelador que en el mundo de Tolkien, al final de los días, cuando Morgoth regresa, sea T´urin, un hombre, quien acabe con él de una vez por todas. Aquellos a quienes Satanás más destruye en esta vida son aquellos que finalmente darán su golpe mortal, como dice el Apocalipsis: “Lo vencieron con la sangre del Cordero y con la palabra de su 'martyria' [testimonio, testimonio]”. aquellos como T´urin, o en las Escrituras, aquellos como Job.'

La Figura 2.1.2 muestra los vectores de emociones de las 50 reseñas procesadas. Las 10 emociones más probables experimentadas al comprar el producto fueron: deprimido, amable, nostálgico, cansado, desesperado, solitario, esperanza, tranquilo, perezoso, confiado.