El modelado de temas es una técnica de aprendizaje automático no supervisada que identifica automáticamente diferentes temas presentes en un documento (datos textuales). Los datos se han convertido en un activo/herramienta clave para gestionar muchas empresas en todo el mundo. Con el modelado de temas, puede recopilar conjuntos de datos no estructurados, analizar los documentos y obtener la información relevante y deseada que puede ayudarlo a tomar una mejor decisión. Existen diferentes técnicas para realizar el modelado de tópicos (como LDA) pero, en este tutorial de PNL, aprenderás a usar la técnica BerTopic desarrollada por . Maarten Grootendorst Tabla de contenido: ¿Qué es BerTopic? Cómo instalar BerTopic Cargar datos de tweets de los Juegos Olímpicos de Tokio Crear modelo BerTopic Seleccionar temas principales Seleccione un tema Tema Modelado Visualización Reducción de temas Hacer predicción Guardar y cargar modelo ¿Qué es BerTopic? BerTopic es una técnica de modelado de temas que utiliza transformadores (incrustaciones BERT) y TF-IDF basado en clases para crear clústeres densos. También te permite interpretar y visualizar fácilmente los temas generados. El algoritmo BerTopic contiene 3 etapas: En este paso, el algoritmo extrae incrustaciones de documentos con BERT, o puede usar cualquier otra técnica de incrustación. 1.Incrustar los datos textuales (documentos) De forma predeterminada, utiliza los siguientes transformadores de oraciones " : este es un modelo basado en BERT en inglés entrenado específicamente para tareas de similitud semántica. paraphrase-MiniLM-L6-v2" " ": es similar al primero, con una diferencia importante: los modelos xlm funcionan en más de 50 idiomas. paraphrase-multilingual-MiniLM-L12-v2 Utiliza UMAP para reducir la dimensionalidad de las incrustaciones y la técnica HDBSCAN para agrupar incrustaciones reducidas y crear grupos de documentos semánticamente similares. 2. Documentos del clúster El último paso es extraer y reducir temas con y luego mejorar la coherencia de las palabras con Relevancia Marginal Máxima. 3.Crear una representación de tema TF-IDF basado en clases Cómo instalar BerTopic Puede instalar el paquete a través de pip: pip install bertopic Si está interesado en las opciones de visualización, debe instalarlas de la siguiente manera. pip install bertopic[visualization] BerTopic admite diferentes transformadores y backends de lenguaje que puede usar para crear un modelo. Puede instalar uno de acuerdo con las opciones disponibles a continuación. pip instalar bertopic[estilo] pip instalar bertopic[gensim] pip instalar bertopic [espacioso] pip instalar bertopic[uso] las bibliotecas Usaremos las siguientes bibliotecas que nos ayudarán a cargar datos y crear un modelo desde BerTopic. pandas pd numpy np bertopic BERTopic #import packages import as import as from import Paso 1. Cargar datos En este tutorial de PNL, utilizaremos con el objetivo de crear un modelo que pueda clasificar automáticamente los tweets por sus temas. los Tweets de los Juegos Olímpicos de Tokio 2020 Puede descargar los conjuntos de datos . aquí pandas pd df = pd.read_csv( , engine= ) df = df[ : ] #load data import as "/content/drive/MyDrive/Colab Notebooks/data/tokyo_2020_tweets.csv" 'python' # select only 6000 tweets 0 6000 Seleccionamos solo 6.000 tweets por razones de cálculo. NB: Paso 2. Crear modelo Para crear un modelo usando BERTopic, debe cargar los tweets como una lista y luego pasarlos al método fit_transform. Este método hará lo siguiente: Ajuste el modelo en la colección de tweets. Generar temas. Devuelve los tweets con los temas. model = BERTopic(verbose= ) docs = df.text.to_list() topics, probabilities = model.fit_transform(docs) # create model True #convert to list Paso 3. Seleccione los temas principales Después de entrenar el modelo, puede acceder al tamaño de los temas en orden descendente. model.get_topic_freq().head( ) 11 el tema -1 es el más grande y se refiere a tweets atípicos que no se asignan a ningún tema generado. En este caso, ignoraremos el Tema -1. Nota: Paso 4. Seleccione un tema Puede seleccionar un tema específico y obtener las n palabras principales para ese tema y sus puntajes c-TF-IDF. model.get_topic( ) 6 Para este tema seleccionado, las palabras comunes son Suecia, gol, rolfo, suecos, goles, fútbol. Es obvio que este tema se centra en " ". fútbol para el equipo de Suecia Paso 5: visualización de modelado de temas BerTopic te permite visualizar los temas que se generaron de una forma muy similar a LDAvis. Esto le permitirá obtener más información sobre la calidad del tema. En este artículo, veremos tres métodos para visualizar los temas. Visualizar temas El método visualiza_topics puede ayudarte a visualizar temas generados con sus tamaños y palabras correspondientes. La visualización está inspirada en LDavis. model.visualize_topics() Visualizar Términos El método visualize_barchart mostrará los términos seleccionados para algunos temas mediante la creación de gráficos de barras a partir de las puntuaciones de c-TF-IDF. A continuación, puede comparar las representaciones de temas entre sí y obtener más información del tema generado. model.visualize_barchart() En el gráfico anterior, puede ver que las palabras principales en el Tema 4 son orgulloso, gracias, cheer4india, animar y felicitaciones. Visualizar similitud de temas También puede visualizar qué tan similares son ciertos temas entre sí. Para visualizar el mapa de calor, simplemente llame. model.visualize_heatmap() En el gráfico anterior, puede ver que el tema es similar al tema con una puntuación de similitud de 93 102 0,933. Reducción de temas A veces puede terminar con demasiados temas o muy pocos temas generados, BerTopic le brinda la opción de controlar este comportamiento de diferentes maneras. (a) Puede establecer la cantidad de temas que desee configurando el argumento " " con la cantidad de temas que desee. El BerTopic encontrará temas similares y los fusionará. nr_topics model = BERTopic(nr_topics= ) 20 En el código anterior, la cantidad de temas que se generarán es 20. (b) Otra opción es reducir el número de temas automáticamente. Para usar esta opción, debe establecer " " en " " antes de entrenar el modelo. nr_topics auto model = BERTopic(nr_topics= ) "auto" (c) La última opción es reducir el número de temas después de entrenar el modelo. Esta es una excelente opción si volver a entrenar al modelo llevará muchas horas. new_topics, new_probs = model.reduce_topics(docs, topics, probabilities, nr_topics= ) 15 En el ejemplo anterior, reduce la cantidad de temas a 15 después de entrenar el modelo. Paso 6: Hacer predicción Para predecir un tema de un nuevo documento, debe agregar nuevas instancias en el método de transformación. topics, probs = model.transform(new_docs) Paso 7:Guardar modelo Puede guardar un modelo entrenado mediante el método de guardar. model.save( ) "my_topics_model" Paso 8: Cargar modelo Puede cargar el modelo utilizando el método de carga. BerTopic_model = BERTopic.load( ) "my_topics_model" Reflexiones finales sobre el modelado de temas en Python con BerTopic En este tutorial de PNL, has aprendido Cómo crear un modelo BerTopic. Seleccionar temas generados. Visualice temas y palabras por tema para obtener más información. Diferentes técnicas para reducir el número de temas generados. Cómo hacer predicciones. Cómo guardar y cargar el modelo BerTopic. BerTopic tiene muchas características que ofrecer al crear el modelo. Por ejemplo, si tiene un conjunto de datos para un idioma específico (de forma predeterminada, es compatible con el modelo en inglés), puede elegir el idioma configurando el parámetro de idioma mientras configura el modelo. model = BERTopic(language= ) "German" Seleccione un idioma en el que exista su modelo de incrustación. Nota: Si tiene una mezcla de idiomas en sus documentos, puede establecer para admitir más de 50 idiomas. language="multilingual" Si aprendiste algo nuevo o disfrutaste leyendo este artículo, compártelo para que otros puedan verlo. Hasta entonces, ¡nos vemos en el próximo post! También puedes encontrarme en Twitter . @Davis_McDavid Y puedes leer más artículos como este . aquí ¿Quiere mantenerse al día con lo último en python? en el pie de página a continuación. Suscríbase a nuestro boletín

Twitter

2022 - Data Science Demon

2022 - HackerNoon Contributor of the Year - Artificial Intelligence

2022 - HackerNoon Contributor of the Year - Data

2022 - HackerNoon Contributor of the Year - Data Science

2022 - HackerNoon Contributor of the Year - Google

2022 - Pythonistas Paradise

Contact me for collaboration

Nominated for 2022 - Data Science Demon

Nominated for 2022 - HackerNoon Contributor of the Year - Data Science

Nominated for 2022 - HackerNoon Contributor of the Year - Artificial Intelligence

Tutorial de PNL: Modelado de temas en Python con BerTopic

Demasiado Largo; Para Leer

Company Mentioned

@davisdavid

HISTORIAS RELACIONADAS