❗   : Bu, Qabaqcıl Veb Scraping üzrə altı hissədən ibarət seriyamızın 3-cü hissəsidir. Serialda yenisiniz?   ! İmtina 1-ci hissəni oxumaqla əvvəldən başlayın  Qabaqcıl Veb Scraping seriyamızın 2-ci hissəsində siz   öyrəndiniz. İndiyə qədər, əksər müasir veb saytlara qarşı işləyən bir kazıyıcı qurmaq üçün lazım olan bütün biliklərə sahib olmalısınız. SPA-lardan, PWA-lardan və AI ilə işləyən saytlardan məlumatların necə silinəcəyini  Sonra nə var? Bəzi peşəkar kazıma məsləhətləri və fəndləri ilə kazıyıcınızı optimallaşdırmağın vaxtı gəldi!  Veb kazıma sadələşdirildi - Yoxsa bu?  Veb kazıyıcı qurmaq? Hər şey   bağlıdır. 👨‍💻 skriptlə  Düzünü desək, əgər siz nə vaxtsa kod yazmısınızsa, bilirsiniz ki, skript yazmaq çox vaxt   çətin deyil. Burada bir neçə sətir, orda   və bum, siz məlumatı peşəkar kimi kazıyırsınız. Sadə səslənir, elə deyilmi? 😄 o qədər də for  Ancaq problem buradadır: kiçik bir kazıyıcı yazmağın sadəliyi sizi yalançı təhlükəsizlik hissi ilə sakitləşdirə bilər. Hər kəsin oxuya biləcəyi cəmi bir neçə sətir kod olduğu halda, düzgün şərhlər, xətaların idarə edilməsi, qeydlər və hətta səliqəli abzaslarla niyə narahat olursunuz?   Biz başa düşürük - niyə ehtiyacı olmayan bir şeyi həddindən artıq mühəndisləşdiririk? Həddindən artıq mühəndislik tərəqqinin   . Bəs kazıyıcılarınızı birdən çox səhifəyə və ya hətta bütün saytlara miqyaslaşdırmaq lazım olduqda nə baş verir? 🤔 düşmənidir  Tez və çirkli, spagetti kodlu kazıyıcınız dağılır! 🍝   Budur, sizə bəzi qabaqcıl veb kazıma məsləhətlərinə ehtiyacınız var.  Veb Scraping Optimizasiyası: Ən Yaxşı 7 Məsləhət və Fəndlər  Siz artıq adi veb kazıma məsləhətlərini eşitmiş olmalısınız: əvvəlcə kritik məlumatları olan səhifələrə üstünlük verin, sorğularınızı təsadüfiləşdirin və s. Əla məsləhətdir, amma düzünü desək, bu hiylələr köhnə xəbərlərdir. 📰  Daha təkmil ssenarilərlə məşğul olduğunuz zaman, bu əsaslar onu kəsməyə bilər. Əgər həqiqətən kazıma oyununuzu səviyyəyə qaldırmaq istəyirsinizsə, bəzi növbəti səviyyəli texnikaları araşdırmalı olacaqsınız.  Hazırsan? Bağlayın - veb kazıma bacarıqlarınızı növbəti səviyyəyə daşımağın vaxtı gəldi! 💪  ⚠️   Bəzi məsləhətlər sizə tanışdırsa, narahat olmayın - davam edin! Daha dərinə daldıqca çoxlu maraqlı məlumatlar var! 🤿 Xəbərdarlıq:  Səhvlərin idarə edilməsini həyata keçirin  Veb kazıma zamanı ən çox yayılmış səhvlərdən biri İnternetin sehrli, yanılmaz bir texnologiya olmadığını unutmaqdır. Bir sayta sorğu göndərdiyiniz zaman, bir sıra şeylər səhv ola bilər (və nə vaxtsa olacaq). ❌  Bəzi ümumi ssenarilərə baxaq:  Wi-Fi və ya bağlantınız bir anda hıçqıra bilər  Veb saytı yerləşdirən server əlçatan olmaya bilər  Axtardığınız səhifə artıq mövcud olmaya bilər  Hədəf saytda müvəqqəti yavaşlama baş verə bilər ki, bu da zaman aşımı xətasına səbəb olur  İndi məlumatların təhlili, əvvəlcədən işlənməsi və verilənlər bazasına ixracını qarışdırın və xaos üçün mükəmməl bir reseptiniz var. 💥   Yaxşı, həll yolu nədir?   ! 🛡️ İdarəetmə xətası  Səhvlərin idarə edilməsi veb kazımada ən yaxşı dostunuzdur. Skriptiniz çox güman ki, onlarla (və ya minlərlə) səhifəni işləyəcək və bir səhv bütün əməliyyatınızı sıradan çıxarmamalıdır.  Unutmayın ki,   bloku sizin dostunuzdur. İstəklərinizi və emal məntiqinizi bağlamaq üçün ondan istifadə edin. Həmçinin, unutmayın ki, əksər HTTP kitabxanaları pis HTTP cavabları üçün istisnalar qaldırmır (məsələn,   və ya   ). 😲 try ... catch 404 500  Əgər   ilə tanış deyilsinizsə, aşağıdakı videoya baxın: HTTP status kodları   https://www.youtube.com/watch?v=wJa5CTIFj7U&embedable=true  Məsələn,   cavab status kodunu aşağıdakı kimi əl ilə yoxlamaq lazımdır: Python sorğular kitabxanasında   import requests response = requests.get("https://example.com") if response.status_code == 200: # handle the successful response... else: # handle the error response...  Və ya ekvivalent olaraq,   metodundan istifadə edin: rise_for_status()   import requests try: response = requests.get("https://example.com") # raises an HTTPError for bad responses (4xx or 5xx) response.raise_for_status() # handle the successful response... except requests.exceptions.HTTPError as http_err: # handle an HTTP error... except requests.exceptions.RequestException as req_err: # handle a request error...  Sorğunun təkrar cəhdləri ilə uğursuzluğun bərpası  Qabaqcıl veb kazıma skriptiniz yalnız səhvləri idarə edə bilməməli, həm də onlardan qurtulmalıdır. Veb kazıma ilə əlaqəli səhvlərin əksəriyyəti veb sorğuları ilə əlaqəli olduğundan,   . təkrar cəhd edilə bilən sorğuları həyata keçirməklə kazıyıcınızın effektivliyini əhəmiyyətli dərəcədə artıra bilərsiniz  Konsepsiya sadədir: sorğu uğursuz olarsa, müvəffəqiyyətli olana qədər yenidən cəhd edin - bir, iki, üç və ya daha çox dəfə. 🔄  Ancaq burada diqqət çəkən məqam budur: uğursuz sorğunun ən çox yayılmış səbəblərindən biri hədəf serverin müvəqqəti olaraq işləməməsi və ya yavaş olması olduğundan, eyni sorğunu qısa müddət ərzində dəfələrlə göndərməklə onu sıxışdırmaq istəmirsiniz.   Əgər sorğu indi uğursuz olarsa, o, dərhal yenidən uğursuz ola bilər.   oyuna girdiyi yerdir! Eksponensial geriləmə  Dərhal təkrar cəhd etmək əvəzinə, bu texnika təkrar cəhdlər arasındakı vaxtı tədricən artırır və hədəf serverə bərpa etmək üçün vaxt verməklə uğur şansınızı artırır. ⏳  Fərdi kodla sadə təkrar cəhd strategiyalarını əl ilə həyata keçirə bilsəniz də, bir çox HTTP müştəriləri təkrar cəhdləri avtomatik idarə etmək üçün daxili yardım proqramları və ya kitabxanalarla gəlir. Məsələn, Axios, aşağıdakı kimi istifadə edə biləcəyiniz   kitabxanasını təklif edir: axios-retry   const axios = require("axios"); const axiosRetry = require("axios-retry"); axiosRetry(axios, { retries: 3, retryDelay: axiosRetry.exponentialDelay }); axios.get('https://example.com') .then(response => console.log(response.data)) .catch(error => console.log("Request failed:", error));  Eynilə, Python-un   paketi   ilə problemsiz inteqrasiya edən   sinfi ilə gəlir. urllib3 əksər Python HTTP müştəriləri Retry  Ümumi Seçiciləri yazın  DevTools-da elementləri yoxlayarkən, siz siçanın sağ düyməsini sıxıb "Kopyala seçici" seçimini seçə bilərsiniz:   Ancaq xəbərdarlıq edin, nəticə belə görünə bilər:   #__next > div > main > div.sc-d7dc08c8-0.fGqCtJ > div.sc-93e186d7-0.eROqxA > h1  Bu, şübhəsiz ki, veb kazıma üçün ideal deyil….   Problem? Bu kimi həddindən artıq xüsusi seçicilər səhifə strukturu dəyişdikdə asanlıqla poza bilər. Seçiciniz nə qədər detallı olsa, bir o qədər kövrək olur.  Veb qırıntınızı daha möhkəm etmək üçün seçicilərinizi çevik saxlamalısınız. Üslubla əlaqəli siniflərə (hər zaman dəyişən) etibar etmək əvəzinə,   ,   və ya     . Bu atributların əksəriyyəti   və   üçün nəzərdə tutulub, ona görə də onlar zamanla ardıcıl qalmağa meyllidirlər. 💡 id data- aria- kimi dəyişmə ehtimalı az olan atributlara diqqət yetirin sınaq əlçatanlıq    oxumaq və başa düşmək daha asan olsa da,   daha çox güc təklif edir. Ancaq narahat olmayın - sadə CSS seçiciləri ilə çox vaxt eyni nəticələrə nail ola bilərsiniz və sizi mürəkkəb XPath koduna ehtiyacdan xilas edə bilərsiniz. 😌 CSS seçicilərini XPath  Bununla bağlı əlavə məlumat üçün   haqqında bələdçimizə nəzər salın! XPath vs CSS seçiciləri  Sürətli HTML Ayrışdırıcılarına üstünlük verin  HTML səhifələrinin təhlili vaxt və resurslar tələb edir, xüsusən də böyük, iç-içə DOM ilə məşğul olursunuzsa. Əgər kazıyıcınız yalnız bir neçə səhifəni təhlil edirsə, bu o qədər də böyük məsələ deyil.  İndi, kazıma əməliyyatınız böyüdükdə və milyonlarla səhifədən məlumat əldə etməli olduqda nə baş verir? Bu kiçik yük server resurslarını tez bir zamanda boşalda bilər və ümumi qırıntı vaxtınıza saatlar əlavə edə bilər. ⏳  Daha dərindən başa düşmək üçün bu resurslara müraciət edin:   Python HTML analizatorunun performans müqayisəsi   HTML təhlili üçün JavaScript kitabxanalarının müqayisəsi   HTML Parsers Benchmark  Tam müqayisə axtarırsınız?   haqqında məqaləmizi oxuyun. Ən yaxşı HTML analizatorları  Yaxşı xəbər? Bir analizatordan digərinə keçid o qədər də çətin deyil. Məsələn,   -da bu, sadəcə sadə bir parametr dəyişikliyidir: BeautifulSoup   from bs4 import BeautifulSoup # or using html.parser soup = BeautifulSoup(html_content, "html.parser") # or using lxml parser soup = BeautifulSoup(html_content, "lxml")  Bəs Chrome kimi brauzerlərdə quraşdırılmış HTML analizatorları haqqında nə demək olar? 🤔  Aşağıdakı videoda daha çox məlumat əldə edin:   https://www.youtube.com/watch?v=LLRig4s1_yA&embedable=true  Daha sürətli sorğular üçün HTTP/2-dən istifadə edin    bir əlaqə üzərindən birdən çox sorğuya icazə verən HTTP-nin yenilənmiş versiyasıdır. Bu, gecikməni azaldır və kazıma tapşırığınızın ümumi performansını yaxşılaşdıra bilər. HTTP/2,  Saytın HTTP/2-ni dəstəklədiyini yoxlamaq üçün sadəcə olaraq brauzerinizdə DevTools-u açın, “Şəbəkə” sekmesine keçin və “Protokol” sütununu axtarın—   deyirsə, sayt HTTP/2-dən istifadə edir:  h2  Təəssüf ki, bütün HTTP müştəriləri və kazıma kitabxanaları HTTP/2-ni dəstəkləmir. Bununla belə,   . Python üçün HTTPX kimi alətlər HTTP/2 üçün tam dəstək təklif edir  Tapşırıqların Paralelləşdirilməsi  Veb kazıma əsasən   - serverə sorğu göndərirsiniz, cavabı gözləyirsiniz, məlumatları emal edirsiniz və təkrar edirsiniz. Gözləmə zamanı kazıyıcınız əsasən boşdur, bu da səmərəsizdir.  I/O ilə əlaqəli bir vəzifədir  Həll yolu?       ! Paralellik və ya paralellik  Eyni anda birdən çox sorğu göndərməklə siz bu ölü vaxtları minimuma endirə və şəbəkə istifadəsini optimallaşdıra bilərsiniz.  🚨 Amma diqqətli olun! 🚨  Çox sayda eyni vaxtda sorğu ilə bir serveri bombalamaq sürətin məhdudlaşdırılmasına və ya IP-nin qadağan edilməsinə səbəb ola bilər - iki məşhur   . 😬 anti-scraping tədbiri    : Siz həmçinin təhlil tapşırıqlarını paralelləşdirə bilərsiniz, xüsusən də birdən çox CPU istifadə edirsinizsə, bu, məlumatların çıxarılması prosesini sürətləndirəcək. ⚡ İpucu  Süni intellektə əsaslanan Adaptiv Alqoritmləri qəbul edin    dəyişikliklərdən xəbərdar olmaq üçün real vaxt rejimində davranışlarını tənzimləyərək verilənlər və HTML səhifə strukturlarındakı nümunələrdən öyrənir. 😮 Süni intellektə əsaslanan adaptiv alqoritmlər  Bu veb kazıma üçün oyun dəyişdiricisidir! 🤯  Veb saytlar planlarını yenilədikdə və ya anti-bot tədbirləri tətbiq etdikdə, bu alqoritmlər tez uyğunlaşa bilər və kazıyıcınızın rəvan işləməsini təmin edir. 🧠  Bir sözlə, onlar kazıyıcıları daha ağıllı edir, hətta sayt gözlənilməz əyri toplar atdıqda belə məlumatları səmərəli şəkildə çıxarmağa kömək edir. ⚾ Uyğunlaşan alqoritmlərlə bu, zamanla inkişaf edən kazıyıcıya sahib olmaq kimidir!  Forrest Knight tərəfindən hazırlanmış bu videonun 4-cü fəslində daha çox məlumat əldə edin:   https://www.youtube.com/watch?v=vxk6YPRVg_o&embedable=true  Veb Scraping Optimizasiyası üçün Ən Yaxşı Alət  Əlbəttə, indiyə qədər qeyd etdiyimiz bütün məsləhətlər və tövsiyələr kazıyıcınızı daha sürətli, daha etibarlı, möhkəm və effektiv edə bilər. Ancaq gəlin real olaq - onlar həm də bir çox mürəkkəblik gətirir. 😅  Yaxşı xəbər budur ki, bu dərslərin əksəriyyəti kazıma layihələrinin böyük əksəriyyətinə aiddir. Beləliklə, hər şeyi sıfırdan kodlaşdırmaq əvəzinə, xüsusi tapşırıqları həll etmək üçün əvvəlcədən qurulmuş funksiyalardan istifadə edə bilərsiniz.   məhz bunu təklif edir! Bright Data-nın Scraping Funksiyaları  73+ hazır JavaScript funksiyası ilə istifadəçilər 195+ ölkədə fəaliyyət göstərən 38K-dan çox kazıyıcı düzəldiblər. Bu, bir ton qırıntı gücüdür! 📈  Veb məlumatlarının toplanmasına səy göstərmədən qırmaq, kilidini açmaq və miqyasını artırmaq üçün hazırlanmış iş vaxtı mühiti ilə inkişafınızı sürətləndirin:   https://www.youtube.com/watch?v=Ve04_6gDKvU&embedable=true  Son Düşüncələr  İndi təcrübəli kazıma tərtibatçılarının fikirləri ilə kazıyıcınızı necə səviyyəyə qaldıracağınızı bilirsiniz!  Unutmayın ki, bu, yalnız 3-cü hissədir, ona görə də biz təkmil veb kazıma üçün altı hissədən ibarət səyahətimizin yarısındayıq! Bu təhlükəsizlik kəmərini bağlı saxlayın, çünki biz daha qabaqcıl texnologiya, ağıllı həllər və insayder məsləhətləri ilə tanış olmaq üzrəyik.  Növbəti dayanacaq? Süni intellektə əsaslanan proksi idarəçiliyinin gücündən istifadə edin! 🌐

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

2022 - HackerNoon Contributor of the Year - Amazon

Request Your Own Data

Nominated for 2022 - HackerNoon Contributor of the Year - Amazon

Bu audio hekayənin orijinal dilində hazırlanmışdır!

Çox uzun; Oxumaq

Boost your HackerNoon story @ $159.99! 🚀

Web Scraping Optimization: Daha Sürətli, Daha Ağıllı Scrapers üçün Məsləhətlər

About Author

ŞƏRHLƏR

ETİKET ASIN

BU MƏQALƏ TƏQDİM EDİLMİŞDİR

Related Stories

How Azarus's Technology is Transforming Viewer Engagement on Stream

Optimizing Operations for Real Estate Investors - Interview with Startups of the Year Nominee, Azibo

Women in Tech: Azize Sultan Shares Her Inspiring Journey from Architecture to Tech Leadership

How Azarus's Technology is Transforming Viewer Engagement on Stream

Optimizing Operations for Real Estate Investors - Interview with Startups of the Year Nominee, Azibo

Women in Tech: Azize Sultan Shares Her Inspiring Journey from Architecture to Tech Leadership

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps