❗   : este es el primer artículo de una   . A lo largo de la serie, cubriremos todo lo que necesitas saber para convertirte en un héroe del web scraping. A continuación, se incluye una introducción general, pero en los próximos artículos se explorarán   . Aviso legal serie de seis partes sobre el web scraping avanzado temas complejos y soluciones que no encontrarás fácilmente en ningún otro lugar  El web scraping se ha convertido en una palabra de moda que está en todas partes: publicaciones, revistas y blogs de tecnología. Pero, ¿de qué se trata y por qué es tan importante? Si estás aquí, probablemente ya lo sepas. Y también es probable que sepas que extraer datos al más alto nivel no es una tarea fácil, especialmente porque los sitios están en constante evolución para dejar de extraer scripts.  En este primer artículo de nuestra serie de seis partes, abordaremos los desafíos de alto nivel del web scraping avanzado. ¡Toma tus palomitas y comencemos! 🍿  Web Scraping en pocas palabras    es el arte de extraer datos de páginas web. Pero, ¿quién quiere copiar y pegar información manualmente cuando puede hacerlo de forma automática? ⚡  El web scraping  El web scraping generalmente se realiza a través de scripts personalizados que hacen el trabajo pesado, automatizando lo que harías manualmente: leer, copiar y pegar información de una página a otra, ¡pero a la velocidad de la luz y en una escala masiva!  En otras palabras, extraer datos de la Web es como desplegar un robot de extracción de datos eficiente en las vastas tierras de Internet para desenterrar y recuperar un tesoro de información. ¡No es de extrañar que los scripts de extracción de datos también se denominen   ! 🤖 robots de extracción de datos  Así es como normalmente opera un bot que realiza extracción de datos en línea:    : su bot, también conocido como   , solicita una página web específica de un sitio de destino. Enviar una solicitud scraper    : el servidor devuelve el documento HTML asociado a la página, que luego es analizado por el script de raspado. Analizar el HTML    : el script selecciona elementos del   y extrae datos específicos de los nodos de interés. Extraer información DOM de la página    : el bot guarda los datos preprocesados en un formato estructurado, como un archivo CSV o JSON, o los envía a una base de datos o almacenamiento en la nube. Almacén  Suena genial… ¿pero cualquiera puede hacerlo?    : Sí, no, tal vez, ¡depende! TL;DR  No hace falta un doctorado en ciencia de datos o finanzas para saber que   . No es ninguna ciencia, y gigantes como Google, Amazon, Netflix y Tesla lo demuestran: sus ingresos dependen en gran medida de los datos de los usuarios.  los datos son el activo más valioso del planeta  ⚠️   : En el mundo moderno, si algo es gratis, es porque   eres el producto (sí, esto se aplica incluso a   🕵️‍♂️) Advertencia tú los proxies residenciales baratos  Genial… pero ¿cómo se relaciona eso con el web scraping? 🤔  Bueno, la mayoría de las empresas tienen un sitio web que contiene y muestra una gran cantidad de datos. Si bien la mayoría de los datos que las empresas almacenan, administran y recopilan de los usuarios se mantienen en secreto, hay una parte que está disponible públicamente en estos sitios.  Para dar un ejemplo concreto, pensemos en plataformas de redes sociales como Facebook, LinkedIn o Reddit. Estos sitios albergan millones de páginas con tesoros de datos públicos. La clave es que el hecho de que los datos sean   en un sitio no significa que la empresa que lo respalda esté encantada de que los recopile   . 👨‍💻 visibles con unas pocas líneas de Python  Los datos equivalen a dinero y las empresas no los regalan sin más… 💸  Esta es la razón por la que tantos sitios están equipados con   , desafíos y sistemas de protección. Las empresas saben que los datos son valiosos y están dificultando el acceso a ellos a los scripts de scraping. medidas anti-scraping  Entonces, ¿por qué es tan difícil?  ¡Aprender por qué recuperar datos en línea es complicado y cómo abordar problemas comunes es exactamente de lo que trata este curso avanzado de raspado web! 🎓  Para comenzar, mira este increíble video del ingeniero de software   : Forrest Knight   https://www.youtube.com/watch?v=vxk6YPRVg_o&embedable=true  El web scraping es un mundo complejo y, para darte una idea de su complejidad, resaltemos las preguntas clave que debes hacer durante todo el proceso, desde el principio hasta los pasos finales. 🔍  ¡No te preocupes si solo hemos arañado la superficie! Vamos a profundizar en cada uno de estos aspectos (   🤫) en los próximos artículos de esta serie. ¡Así que estate atento! 👀 incluidos los consejos y trucos ocultos de los que la mayoría de la gente no habla  ¿Su sitio de destino es estático o dinámico?  ¿No sabes cómo saberlo?  Si el sitio es estático, significa que los datos ya están integrados en el HTML que devuelve el servidor. Por lo tanto, una simple combinación de un cliente HTTP y un analizador HTML es todo lo que necesitas para extraerlos. 🧑‍💻  Pero si los datos son dinámicos y se recuperan sobre la marcha a través de AJAX (como en un   ), el scraping se convierte en un juego completamente diferente. 🏀 En este caso, necesitará la automatización del navegador para renderizar la página, interactuar con ella y luego extraer los datos que necesita. SPA  Entonces, solo necesitas averiguar si un sitio es estático o dinámico y elegir la tecnología de extracción adecuada en consecuencia, ¿no? Bueno, no tan rápido... 🤔  Con el aumento   , la pregunta es: ¿se pueden extraer datos de ellas? 🤷‍♂️ ¿Y qué pasa con los sitios web impulsados por IA? Esas son las preguntas para las que necesitas respuestas. Porque, créeme, ¡ese es el futuro de la Web! 🌐 de las PWA  ¿Qué tecnología de protección de datos utiliza el sitio? Si es que utiliza alguna  Como se mencionó anteriormente, el sitio puede tener algunas defensas anti-bot serias como CAPTCHAs,   , huellas digitales del navegador,   , huellas digitales del dispositivo, limitación de velocidad y muchas otras. desafíos de JavaScript huellas digitales de TLS  Obtenga más detalles en el seminario web a continuación:   https://www.youtube.com/watch?v=4y-i5XKxa7I&embedable=true  No se trata de problemas que se puedan evitar con unas pocas soluciones alternativas de código. Requieren soluciones y estrategias especializadas, especialmente ahora que la IA ha llevado estas protecciones al siguiente nivel.   Dicho de otro modo, no puedes ir directamente al jefe final como en   (a menos, por supuesto, que seas un profesional del speedrunning 🕹️). Breath of the Wild  ¿Necesito optimizar mi lógica de scraping? ¿Y cómo?  Bien, supongamos que tienes la tecnología adecuada y has descubierto cómo eludir todas las defensas antibots. Pero aquí está el truco: escribir una lógica de extracción de datos con código espagueti no es suficiente para el scraping en el mundo real.  Pronto te encontrarás con problemas y, créeme, las cosas se romperán. 😬  Debes mejorar tu script con paralelización, lógica de reintento avanzada, registro y muchos otros aspectos avanzados. Por lo tanto, sí, ¡optimizar tu lógica de scraping definitivamente es una opción!  ¿Cómo debo manejar los proxies?  Como ya hemos cubierto, los proxies son clave para   , acceder a contenido con restricciones geográficas,   , implementar la rotación de IP y mucho más. evitar prohibiciones de IP eludir los límites de velocidad de API  Pero espere un momento: ¿cómo se gestionan correctamente? ¿Cómo se rotan de manera eficiente? ¿Y qué sucede cuando un proxy se desconecta y se necesita uno nuevo?  En el pasado, se escribían algoritmos complejos para resolver manualmente esos problemas, pero la respuesta moderna es la IA. ✨   Así es: los servidores proxy controlados por IA están de moda en la actualidad, y por una buena razón. Los proveedores de servidores proxy inteligentes pueden gestionar todo, desde la rotación hasta el reemplazo, de forma automática, para que usted pueda centrarse en el scraping sin problemas.  ¡Debes saber cómo usar   si quieres estar a la vanguardia! proxies controlados por IA  ¿Cómo manejar datos raspados?  Genial, ya tienes un script que funciona a pleno rendimiento, está optimizado y es sólido desde un punto de vista técnico. Pero ahora es el momento de afrontar el siguiente gran desafío: gestionar los datos extraídos.  Las dudas son:  ¿Cuál es el mejor formato para guardarlo? 📂  ¿Dónde almacenarlo? ¿En archivos? ¿En una base de datos? ¿En un almacenamiento en la nube? 🏙️  ¿Con qué frecuencia se debe actualizar? ¿Y por qué? ⏳  ¿Cuánto espacio necesito para almacenarlo y procesarlo? 📦  Todas estas son preguntas importantes y las respuestas dependen de las necesidades de su proyecto. Ya sea que esté trabajando en una extracción única o en una secuencia de datos continua, saber cómo almacenar, recuperar y administrar sus datos es tan vital como extraerlos en primer lugar.  Pero espera... ¿Lo que hiciste fue legal y ético desde el principio?  Tienes los datos extraídos guardados de forma segura en una base de datos. Da un paso atrás... ¿eso es legal? 😬  Si te ciñes a unas cuantas reglas básicas, como seleccionar solo datos de páginas de acceso público, probablemente no tengas ningún problema. ¿Y la ética? Esa es otra capa. Cosas como   y evitar cualquier acción que pueda sobrecargar el servidor son esenciales en este caso. respetar el archivo robots.txt de un sitio para extraer datos  También hay un elefante en la habitación que debemos abordar... 🐘  Ahora que   se está convirtiendo en la nueva normalidad, están surgiendo nuevas cuestiones legales y éticas. 🧠 Y no querrás que te tomen por sorpresa o terminar en problemas debido a nuevas regulaciones o problemas específicos de la IA. el scraping impulsado por IA  ¿Web scraping avanzado? No, solo necesitas el aliado adecuado  Para dominar el web scraping se necesitan habilidades de codificación, conocimientos avanzados de tecnologías web y la experiencia para tomar las decisiones arquitectónicas correctas. Lamentablemente, eso es solo la punta del iceberg.  Como mencionamos anteriormente, el scraping se ha vuelto aún más complejo debido a las defensas anti-bot impulsadas por IA que bloquean sus intentos. 🛑  Pero no te preocupes. Como verás a lo largo de este recorrido de seis artículos, todo se vuelve mucho más fácil con el aliado adecuado a tu lado.  ¿Cuál es el   ? Bright Data! mejor proveedor de herramientas de extracción de datos web del mercado  Bright Data lo tiene cubierto con API de raspado, funciones sin servidor, desbloqueadores web, solucionadores de CAPTCHA, navegadores en la nube y su red masiva de proxies rápidos y confiables.  ¿Está listo para mejorar su capacidad de recopilación de datos? Obtenga una introducción a   de Bright Data en el siguiente video: las ofertas de recopilación de datos   https://www.youtube.com/watch?v=AGaiVApKfmc&embedable=true  Reflexiones finales  Ahora ya sabes por qué es tan difícil realizar el web scraping y qué preguntas debes responder para convertirte en un ninja de la extracción de datos en línea 🥷.  No olvides que este es solo el primer artículo de nuestra serie de seis partes sobre el web scraping avanzado. Abróchate el cinturón mientras profundizamos en tecnología, soluciones, consejos, trucos y herramientas innovadoras.  ¿Siguiente parada? ¡Cómo extraer datos de aplicaciones web modernas como SPA, PWA y sitios dinámicos impulsados por IA! ¡No te pierdas nada!

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

2022 - HackerNoon Contributor of the Year - Amazon

Request Your Own Data

Nominated for 2022 - HackerNoon Contributor of the Year - Amazon

Este audio es producido en el idioma original de la historia!

Navegando por el Web Scraping avanzado: perspectivas y expectativas

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Nómadas digitales escuchen: lo que necesitan saber sobre la nueva visa DTV de Tailandia

Una breve introducción a la teoría del cerebro de Boltzmann

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

Nómadas digitales escuchen: lo que necesitan saber sobre la nueva visa DTV de Tailandia

Una breve introducción a la teoría del cerebro de Boltzmann

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps