La   de conjuntos de datos de Hugging Face proporciona una forma muy eficiente de cargar y procesar conjuntos de datos de NLP a partir de archivos sin procesar o datos en memoria. Estos conjuntos de datos de PNL han sido compartidos por diferentes comunidades de investigadores y profesionales de todo el mundo. biblioteca  También puede cargar varias métricas de evaluación utilizadas para comprobar el rendimiento de   en numerosas tareas. los modelos NLP  Si está trabajando en   y desea un conjunto de datos de PNL para su próximo proyecto, le recomiendo que use esta biblioteca de Hugging Face. procesamiento de lenguaje natural  Puede usar esta biblioteca con otros marcos populares en el aprendizaje automático, como   ,   ,   y   Aprenderá más en los ejemplos a continuación. Numpy Pandas Pytorch TensorFlow.  Los conjuntos de datos de NLP están disponibles en diferentes tareas, como  Clasificación de texto  Pregunta-respuesta  Modelado de secuencias  Máquina traductora,  Reconocimiento automático de voz  Análisis de los sentimientos  Procesamiento de voz  Nombre entidad Reconocimiento  Etiquetado de parte del discurso  otros  Puede encontrar los conjuntos de datos de PNL en más de 186 idiomas. Todos estos conjuntos de datos también se pueden explorar en   y se pueden ver y explorar en línea con el   de conjuntos de datos.  HuggingFace Hub visor  En este artículo, aprenderá cómo descargar, cargar, configurar y usar conjuntos de datos de NLP de la biblioteca de conjuntos de datos de caras abrazadas.  Empecemos.  Cómo instalar la biblioteca de conjuntos de datos  La instalación es fácil y toma solo unos minutos. Puedes usar pip de la siguiente manera:    pip install datasets  Otra opción para la instalación es usar conda de la siguiente manera.    conda install -c huggingface -c conda-forge datasets  Lista de conjuntos de datos  Para ver la lista de diferentes conjuntos de datos disponibles de la biblioteca, puede usar el función de la biblioteca.    list_datasets()        datasets   list_datasets, load_dataset   pprint   pprint datasets_list = list_datasets() pprint(datasets_list,compact=   ) from import from import True  Actualmente, la biblioteca de conjuntos de datos tiene un total de 1182 conjuntos de datos que se pueden usar para crear diferentes soluciones de PNL.  Lista de conjuntos de datos con detalles  También puede ver una lista de los conjuntos de datos con detalles agregando un argumento llamado  igual a en la función list_datases() de la siguiente manera.    with_details   True     datasets_list = list_datasets(with_details=   ) pprint(datasets_list) True  Esto mostrará una lista de conjuntos de datos con su id (nombre), descripciones y archivos (si se descargaron en su máquina local).   Cargar conjunto de datos  Para cargar el conjunto de datos de la biblioteca, debe pasar el nombre del archivo en el  función.   load_dataset()  La función load_dataset hará lo siguiente.  Descargue e importe en la biblioteca el script de procesamiento de archivos del repositorio Hugging Face GitHub.  Ejecute el script de archivo para descargar el conjunto de datos  Devuelve el conjunto de datos solicitado por el usuario. De forma predeterminada, devuelve el conjunto de datos completo.      dataset = load_dataset(   ,   ) 'ethos' 'binary'  En el ejemplo anterior, descargué el conjunto de datos de   de la cara abrazada. ethos  "ETHOS: CONJUNTO DE DATOS DE DETECCIÓN DEL DISCURSO DE ODIO EN LÍNEA. Este repositorio contiene un conjunto de datos para la detección del discurso de odio en las plataformas de redes sociales, llamado Ethos. Hay dos variaciones del conjunto de datos:" -  Página de HuggingFace    Cada conjunto de datos puede tener varias configuraciones que definen la subparte del conjunto de datos que puede seleccionar. Por ejemplo, el conjunto de datos ethos tiene dos configuraciones. Nota:  versión binaria  versión multietiqueta  Carguemos la versión binaria que hemos descargado.      print(dataset)  Dividir los conjuntos de tren y validación  A veces, no desea descargar el conjunto de datos completo, puede usar el parámetro de división para especificar si desea descargar el conjunto de entrenamiento, validación o prueba del conjunto de datos.    ethos_train = load_dataset(   ,   ,split=   ) ethos_validation = load_dataset(   ,   ,split=   ) 'ethos' 'binary' 'train' 'ethos' 'binary' 'validation'  Esto guardará el conjunto de entrenamiento en el  variable y la validación establecida en  variable.   ethos_train   ethos_validation    No todos los conjuntos de datos tienen el conjunto de entrenamiento, validación y prueba. Algunos de ellos pueden contener solo el juego de trenes. Por lo tanto, debe leer más sobre el conjunto de datos que desea descargar de la   . Nota: página del conjunto de datos de caras abrazadas  Cargar conjunto de datos desde un archivo local  Puede usar la biblioteca para cargar su conjunto de datos local desde la máquina local. Puede cargar conjuntos de datos que tengan el siguiente formato.  Archivos CSV  Archivos JSON  Archivos de texto (leídos como un conjunto de datos línea por línea),  Marco de datos en escabeche de pandas  Para cargar el archivo local, debe definir el formato de su conjunto de datos (por ejemplo, "CSV") y la ruta al archivo local.    dataset = load_dataset(   , data_files=   ) 'csv' 'my_file.csv'  De manera similar, puede crear una instancia de un objeto Dataset desde un DataFrame de pandas de la siguiente manera:       datasets   Dataset   pandas   pd df = pd.DataFrame({   : [   ,   ,   ]}) df_dataset = Dataset.from_pandas(df) print(df_dataset) from import import as "a" 1 2 3  Modo de descarga  Cuando carga datos ya descargados desde el directorio de caché, puede controlar cómo la función lo maneja configurando su parámetro download_mode.   load_datasets()    Las opciones de parámetros son las siguientes.    (predeterminado): esto reutilizará las descargas sin procesar y el conjunto de datos preparado si existen en el directorio de caché. "reuse_dataset_if_exists"    utilizará el conjunto de datos en caché. "reuse_cache_if_exists":    : esto volverá a descargar el conjunto de datos.  "force_redownload"   dataset = load_dataset(   ,   , download_mode=   ) 'ethos' 'binary' "force_redownload"  En el ejemplo anterior, volvemos a descargar el conjunto de datos ethos con configuración binaria.  Configuración del formato  Puede establecer el formato de la instancia del conjunto de datos utilizando el función que toma como argumentos.   set_format()      una cadena opcional que define el tipo de los objetos que debe devolver  : tipo:   datasets.Dataset.getitem()    (predeterminado): devolver objetos python, Ninguno/'python'    devuelve los tensores de PyTorch, 'torch'/'pytorch'/'pt':    : devuelve los tensores de Tensorflow, 'tensorflow'/'tf'    devuelve matrices JAX, 'jax':    : devuelve matrices Numpy, 'numpy'/'np'    : devuelve Pandas DataFrames  'pandas'/'pd'   ethos_train.set_format(type=   , columns=[   ,   ]) 'pandas' 'comment' 'label'  En el ejemplo anterior, configuramos el tipo de formato como   . "pandas"  Reflexiones finales sobre conjuntos de datos de PNL de Huggingface  En este artículo, ha aprendido cómo descargar conjuntos de datos de la biblioteca de conjuntos de datos de caras abrazadas, dividirlos en conjuntos de entrenamiento y validación, cambiar el formato del conjunto de datos y más. No cubrimos todas las funciones disponibles en la biblioteca de conjuntos de datos. Consulte los siguientes recursos si desea profundizar más.  Conjuntos de datos:  https://huggingface.co/datasets  Documentación de conjuntos de datos:  https://huggingface.co/docs/datasets/  Métricas de PNL:  https://huggingface.co/docs/datasets/loading_metrics.html  Si aprendiste algo nuevo o disfrutaste leyendo este artículo, compártelo para que otros puedan verlo. Hasta entonces, ¡nos vemos en el próximo post!  También puedes encontrarme en Twitter   . @Davis_McDavid  Y puedes leer más artículos como este   . aquí  ¿Quieres estar al día con lo último en ciencia de datos?   en el pie de página a continuación. Suscríbase a nuestro boletín

Twitter

2022 - Data Science Demon

2022 - HackerNoon Contributor of the Year - Artificial Intelligence

2022 - HackerNoon Contributor of the Year - Data

2022 - HackerNoon Contributor of the Year - Data Science

2022 - HackerNoon Contributor of the Year - Google

2022 - Pythonistas Paradise

Contact me for collaboration

Nominated for 2022 - Data Science Demon

Nominated for 2022 - HackerNoon Contributor of the Year - Data Science

Nominated for 2022 - HackerNoon Contributor of the Year - Artificial Intelligence

Conjuntos de datos de PNL de HuggingFace: cómo acceder a ellos y entrenarlos

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Valhalla de Floki se une como patrocinador asociado de la gira de la India por Sri Lanka

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

Navegando por las aguas: desarrollo de aplicaciones RAG de nivel de producción con lagos de datos

Valhalla de Floki se une como patrocinador asociado de la gira de la India por Sri Lanka

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

Navegando por las aguas: desarrollo de aplicaciones RAG de nivel de producción con lagos de datos

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps