Како што е нагласено во нашиот водич за   , оваа библиотека за автоматизација на прелистувачот е фантастичен сојузник за извлекување податоци од страници со динамична содржина. Сепак, како и секоја друга алатка, има свои недостатоци. Таму влегува Puppeteer Extra! стругање веб со Puppeteer  Во овој водич, ќе ве запознаеме со   — библиотека што го обвива   за да го прошири со поддршка за приклучоци. Подгответе се да го однесете вашиот проект за стружење Puppeteer на следното ниво! 🚀 puppeteer-extra puppeteer  Што е тоа Puppeteer Extra?    е лесна обвивка околу   која овозможува интеграција на приклучокот преку чист интерфејс. Иако не е развиен од тимот зад   , овој проект управуван од заедницата има стотици илјади неделни преземања и над 6 илјади ѕвезди на GitHub 📈. Puppeteer Extra puppeteer Puppeteer  Проверете ја   - јасно е дека   е во постојан пораст на популарноста со текот на годините:  табелата со ѕвезди на GitHub подолу puppeteer-extra  Приклучоците официјално поддржани од Puppeteer Extra се:    : За да биде потешко да се открие Puppeteer како бот. puppeteer-extra-plugin-stealth    : Автоматско решавање на reCAPTCHA и hCaptchas. puppeteer-extra-plugin-recaptcha    : За да се намали пропусниот опсег и времето на вчитување со примена на брз и ефикасен блокатор за реклами и тракери. puppeteer-extra-plugin-adblocker    : За да се овозможи отстранување грешки на прелистувачот Puppeteer од каде било. puppeteer-extra-plugin-devtools    : за да се олесни и попријатно дебагирањето и истражувањето на Puppeteer со интерактивен REPL. puppeteer-extra-plugin-repl    : за програмски блокирање ресурси како слики, медиумски датотеки, CSS листови со стилови и повеќе при вчитување страници. puppeteer-extra-plugin-block-resources    : Да се дозволи содржината на Adobe Flash да се извршува на сите страници без интеракција со корисникот. puppeteer-extra-plugin-flash    : за анонимизирање на заглавјето   на сите страници, со поддршка за динамично заменување. puppeteer-extra-plugin-anonymize-ua User-Agent    : за поставување приспособени кориснички параметри на Chrome/Chromium. puppeteer-extra-plugin-user-preferences  Згора на нив, тој се интегрира со следните приклучоци за заедницата:    : за минимизирање и максимизирање на прозорецот на прелистувачот Puppeteer во реално време. puppeteer-extra-plugin-minmax    : за далечинско гледање и интеракција со сесиите на куклата преку API-то за екранот на Chromium. puppeteer-extra-plugin-portal  Зошто дури ни е потребна дополнителна верзија на куклар?  Без сомнение, Puppeteer е една од врвните   . Но, ајде да бидеме искрени - тоа има свои граници, особено кога се соочуваме со анти-бот технологија како отпечатоци од прелистувач и CAPTCHA. Прочитајте го нашиот водич за да научите како да се справите со   . библиотеки на прелистувачи без глава за стружење и тестирање автоматизацијата на reCAPTCHA  Веб-страниците вооружени со одбрана против ботови лесно можат да ги откријат и блокираат скриптите на Puppeteer. Ако само постоеше начин да се прошири и приспособи стандардното однесување на Puppeteer...  …па, токму тоа е Puppeteer Extra!   Puppeteer Extra е како напојување за Puppeteer, додавајќи поддршка за приклучоци за да се решат тие големи недостатоци. Наместо да го замени или прошири сè за вас, го обвиткува Puppeteer и ви дозволува да ги регистрирате само додатоците што ви се потребни. 🦸    : Поставување и приклучоци за веб-гребење puppeteer-extra  Можете да додадете   во зависностите npm на вашиот проект со: Puppeteer Extra   npm install puppeteer-extra  ⚠️   :   бара   да работи, затоа проверете дали двата пакета се инсталирани во вашиот проект. Забелешка puppeteer-extra puppeteer  Потоа, треба да го увезете објектот   од   наместо од библиотеката   : puppeteer puppeteer-extra puppeteer   const puppeteer = require("puppeteer-extra") // for ESM users: // const { puppeteer } from "puppeteer-extra"  Сè во Puppeteer API останува исто, но добивате малку дополнителна магија ✨. Објектот   сега изложува метод   за приклучување на приклучоците Puppeteer Extra. puppeteer use()  Време е да се нурне во тоа што можат да направат овие приклучоци и да видиме како тие ќе ја израмнат вашата игра за гребење на веб!  куклар-екстра-приклучок-скришум    , познат и едноставно како Puppeteer Stealth, вклучува збир на конфигурации дизајнирани да го намалат откривањето на ботови. Ги отфрла карактеристиките и поставките за откривање на Puppeteer што може да го изложат како бот. Puppeteer Extra Plugin Stealth  За повеќе детали, проверете го нашиот водич за тоа   . како да избегнете блокирање со Puppeteer Stealth  ⚙️   : Монтажа   npm install puppeteer-extra-plugin-stealth  💡   : Употреба   const StealthPlugin = require("puppeteer-extra-plugin-stealth") // for ESM users: // import StealthPlugin from "puppeteer-extra-plugin-stealth" puppeteer.use(StealthPlugin())  puppeteer-extra-plugin-block-resources  Приклучок за спречување на прелистувачот Puppeteer да вчитува одредени ресурси. Поддржаните типови ресурси вклучуваат   ,   ,   ,   ,   ,   ,   ,   ,   ,   ,   ,     . document stylesheet image media font script texttrack xhr fetch eventsource websocket manifest other  Блокирањето на ресурсите може да се конфигурира и глобално и локално.  ⚙️   : Монтажа   npm install puppeteer-extra-plugin-block-resources  💡   : Употреба   const BlockResourcesPlugin = require("puppeteer-extra-plugin-block-resources") // for ESM users: // import BlockResourcesPlugin from "puppeteer-extra-plugin-block-resources"  Потоа можете да ги конфигурирате ресурсите за блокирање глобално на сите страници:   puppeteer.use(BlockResourcesPlugin({ blockedTypes: new Set(["image", "stylesheet"]), }))  Слично на тоа, можете локално да ги изберете ресурсите што треба да се блокираат:   puppeteer.use(BlockResourcesPlugin() const browser = await puppeteer.launch() const page = await browser.newPage() blockResourcesPlugin.blockedTypes.add("stylesheet") await page.goto("https://www.example.com/", { waitUntil: "domcontentloaded" })  puppeteer-extra-plugin-anonymize-ua  Приклучок за анонимизирање на   поставен од прелистувачот контролиран од Puppeteer. 🎭 User-Agent  Ви дава можност да ја отстраните низата   од корисничкиот агент на Chrome во режим без глава и поддржува динамична замена на корисничкиот агент преку приспособена функција. Погледнете го на дело во нашето   . 'Headless' упатство за кориснички агенти на Puppeteer  Откријте кој е најдобриот кориснички агент за стругање на веб!  ⚙️   : Монтажа   npm install puppeteer-extra-plugin-anonymize-ua  💡   : Употреба   const AnonymizeUAPlugin = require("puppeteer-extra-plugin-anonymize-ua") // for ESM users: // import AnonymizeUAPlugin from "puppeteer-extra-plugin-anonymize-ua"  Следно, можете да го конфигурирате анонимниот кориснички агент:   puppeteer.use(AnonymizeUAPlugin({ stripHeadless: true, }))  Исто така, можете да поставите динамичен кориснички агент преку приспособена функција:   puppeteer.use(AnonymizeUAPlugin({ customFn: (ua) => ua.replace("Chrome", "Chromium")}) }))  Puppeteer Extra не е решение за лек    , без разлика колку е мазна и приспособена вашата скрипта Puppeteer, напредните системи против ботови сè уште можат да ве намирисаат и да ве затворат. Но, како е тоа воопшто можно? 🤔 Исто како кај Playwright      ви ја разложува: Документацијата puppeteer-extra-stealth-plugin  Ве молиме запомнете: сметам дека ова е пријателско натпреварување во прилично интересна игра со мачки и глушец. Ако другиот тим (👋) сака да открие хром без глава, сè уште има начини да го направи тоа (барем јас забележав неколку, кои ќе ги разгледам во идните ажурирања).  Веројатно е невозможно да се спречат сите начини за откривање на безглавен хром, но би требало да биде возможно да се направи толку тешко што ќе стане економично или ќе предизвика премногу лажно-позитивни за да биде изводливо.  Значи, додека Puppeteer Extra може да ги избегне најосновните откривања на ботови како Neo во Matrix, сигурно не може   . Секако, можете   , но дури и тоа можеби нема да биде доволно. да го заобиколи Cloudflare да интегрирате прокси во Puppeteer   https://www.youtube.com/watch?v=7pnchjPlGTw&embedable=true  Проблемот не е самиот Puppeteer (бидејќи да бидеме реални, Puppeteer rocks! 🤘), туку прелистувачот што тој го контролира. Вистинското решение? Моќен прелистувач кој:  Работи во режим на глава како обичен прелистувач за да го намали откривањето бот.  Вага во облакот за вас, заштедувајќи ви време и трошоци во управувањето со инфраструктурата.  Нуди ротирачки IP адреси напојувани од една од најголемите и најсигурни прокси мрежи на пазарот.  Автоматски се справува со решавање на CAPTCHA, отпечатоци од прелистувач, приспособување на колачиња и заглавија и се обидува повторно за оптимална ефикасност.  Беспрекорно се интегрира со водечките библиотеки за автоматизација на прелистувачи како Playwright, Selenium и Puppeteer.  Верувале или не, ова не е некој далечен сон. Вистински е и токму она што го нуди Bright Data's   ! Scraping Browser  Завршни мисли  Puppeteer е една од најкористените алатки за автоматизација на прелистувачите во светот на технологијата, но дури и суперхероите имаат свои граници. Заедницата се вклучи со   , пакет што му дава на Puppeteer некои сериозно кул нови способности преку сопствени приклучоци. puppeteer-extra  Но, тука е работата: иако овие приклучоци можат да ја направат вашата операција на гребење многу посилна, тие нема магично да ве претворат во дух 👻. Сајтовите со напредно откривање ботови можеби сè уште ќе можат да ве блокираат!  Заобиколете ги сите анти-ботови со Bright Data's Scraping Browser — прелистувач во облак што не може да се открие што   . Придружете се на нашата мисија да ја направиме мрежата јавен простор за секого, секаде, дури и преку автоматизирани скрипти. беспрекорно се интегрира со Puppeteer  До следниот пат, продолжете слободно да го истражувате Интернетот! 🌐

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

2022 - HackerNoon Contributor of the Year - Amazon

Request Your Own Data

Nominated for 2022 - HackerNoon Contributor of the Year - Amazon

Ова аудио е произведено на оригиналниот јазик на приказната!

Премногу долго; Да чита

Make resilience your competitive advantage

Подигнете го вашиот проект за стружење со Puppeteer Extra

About Author

КОМЕНТАРИ

ВИСЕТЕ ТАГОВИ

ОВОЈ СТАТИЈА БЕШЕ ПРЕТСТАВЕН ВО

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps