En este artículo, crearemos un programa que le permita raspar o capturar datos de un sitio web con un script de Python. Este método de recopilación de datos se denomina web scraping.  El raspado web se trata de usar Python o cualquier otro lenguaje de programación mediante programación para descargar, limpiar y usar los datos de una página web. La mayoría de los sitios web no quieren que raspe sus datos, y para averiguar qué es legal y permitido para raspar, los sitios web tienen una página dedicada que muestra los detalles de los puntos finales permitidos.  Adjunte robots.txt al final de cualquier enlace para conocer los puntos finales permitidos. Por ejemplo, usemos   . https://news.ycombinator.com/robots.txt  El resultado debería verse así con este archivo de texto a continuación:   La captura de pantalla indica qué puntos finales se nos permite y qué no se nos permite raspar del sitio web de YCombinator. Un retraso de rastreo significa una pausa cuando se extraen datos del sitio web con programas, por lo que no se sobrecargan sus servidores y se ralentiza el sitio web debido al raspado constante.  En este ejercicio, raspamos la página de inicio del contenido de noticias, lo que podemos hacer de acuerdo con el agente de usuario.  Empezando  El raspador web de Python requiere dos módulos necesarios para raspar los datos:  hermosa sopa  Peticiones  hermosa sopa  Beautiful Soup es una biblioteca de Python para extraer datos de archivos HTML. Modifica el archivo usando un analizador, convierte los datos en un documento valioso y ahorra a los programadores horas de trabajo manual y repetitivo.  Peticiones  La biblioteca HTTP de solicitudes es para descargar archivos HTML utilizando el enlace al sitio web con el  función.   .get()  Creando un Web Scraper  Ahora al meollo de la cuestión de este proyecto. Cree un nuevo directorio y, allí, un archivo que contendrá todos los scripts para el programa web scraper.  Copia y pega el siguiente código:             yc_web_page = response.text print(yc_web_page) # app.py import  requests response = requests.get( 'https://news.ycombinator.com/news' )  El código anterior hace lo siguiente:  Importando el  módulo   requests  Usando la variable de respuesta, las solicitudes adjuntas a la  descarga los archivos HTML desde el enlace del sitio web proporcionado   .get()  Leer el contenido de la página web con   .text  Si ejecuta este código con el comando python  y no le da ninguna salida, significa que los dos módulos importados deben instalarse.   app.py  Ejecute los siguientes comandos para instalar los módulos.     pip install beautifulsoup4 pip3 install requests  El resultado del código fuente debería verse así:   A continuación, actualicemos el  archivo con el resto del código usando sopa hermosa:    app.py                yc_web_page = response.text                   article_title = article_tag.get_text()                 result = {        } print(result) # main.py import  requests from  bs4 import  BeautifulSoup # add this 
 response = requests.get( 'https://news.ycombinator.com/news' ) # add this  
 soup = BeautifulSoup(yc_web_page, 'html.parser' ) article_tag = soup.find(name= "a" , class_= 'titlelink' ) article_link = article_tag.get( 'href' ) article_upvote = soup.find(name= "span" , class_= "score" ).get_text()    "title" : article_title,    "link" : article_link,    "point" : article_upvote  Siga el fragmento de código anterior haciendo lo siguiente:  Importe la función BeautifulSoup del módulo  bs4  A continuación, utilice la sopa de variables para analizar el documento desde el  utilizando la función BeautifulSoup y  para obtener los archivos HTML   yc_web_page   html.parser  Antes de repasar el resto del código, abramos nuestro navegador web con el enlace provisto en   .get()  A continuación, haga clic con el botón derecho en la página y haga clic en inspeccionar para ver la pestaña de elementos de la página de noticias de   . YCombinator  Nuestra página web debería verse así:   Con Beautiful Soup, podemos apuntar a elementos específicos en la página con sus nombres de clase:  Al asignar la variable article_tag, cada elemento de la página tiene un nombre de etiqueta usando el  función con el nombre del elemento, la etiqueta   y la  con un guión bajo. Esto se hace para evitar que se sobrescriba la clase en el elemento de la página web.    find() a   class_  Ahora, queremos extraer uno de los títulos de enlace del  utilizando el  función   article_tag   .get_text()  A continuación, extraiga el enlace de la  usando el atributo  con el  función   article_tag   href   .get()  Lo mismo se aplica a la  variable, donde el nombre de la etiqueta,  , y el nombre de la clase se utilizan para extraer los puntos de cada enlace del artículo   article_upvote   <span>  Cree un resultado variable que mostrará los datos extraídos como un diccionario con el par de clave y valor  Imprime el resultado final  Con todo el guión escrito, nuestra página debería extraer los datos de la página de inicio de noticias de YCombinator y tener este aspecto:   Conclusión  Este artículo le enseñó cómo usar Python web scraper para extraer datos de una página web.  Además, las funcionalidades de usar un raspador web son que ahorra tiempo y esfuerzo en la producción de grandes conjuntos de datos más rápido que manualmente.  Aprende más   Hermosa documentación de Sopa   Solicita documentación

2022 - HackerNoon Contributor of the Year - Data Visualization

2022 - HackerNoon Contributor of the Year - Frontend

2022 - HackerNoon Contributor of the Year - Heroku

2022 - HackerNoon Contributor of the Year - Javascript

2022 - No No No Nodejs

2022 - Remote Work Warrior

Portfolio

Nominated for 2022 - HackerNoon Contributor of the Year - Data Visualization

Nominated for 2022 - HackerNoon Contributor of the Year - Heroku

Nominated for 2022 - HackerNoon Contributor of the Year - Javascript

Nominated for 2022 - HackerNoon Contributor of the Year - Frontend

Nominated for 2022 - Remote Work Warrior

Nominated for 2022 - No No No Nodejs

Este audio es producido en el idioma original de la historia!

Demasiado Largo; Para Leer

Cómo construir un raspador web de Python: extraiga datos de cualquier sitio web

Cómo construir un raspador web de Python: extraiga datos de cualquier sitio web

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Valhalla de Floki se une como patrocinador asociado de la gira de la India por Sri Lanka

La guía completa para una migración exitosa a la nube: estrategias y mejores prácticas

La fuga rápida del sistema Claude Sonnet 3.5: un análisis forense

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Valhalla de Floki se une como patrocinador asociado de la gira de la India por Sri Lanka

La guía completa para una migración exitosa a la nube: estrategias y mejores prácticas

La fuga rápida del sistema Claude Sonnet 3.5: un análisis forense

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps