Ao amin'ny Data Bright, dia namorona Noho izany dia fantatsika zavatra iray na roa momba ny fomba ahafahan'ireo mpampiasa manana fepetra samihafa tanteraka (ary avy amin'ny faritra rehetra manerana izao tontolo izao) miditra amin'ny angon-drakitra an-tserasera. limitless web data infrastructure for AI & BI Ankehitriny, rehefa miresaka amin'ny fidirana amin'ny angon-drakitra amin'ny tranonkala avo lenta, dia misy ny hery trio tokony ho fantatrao. Ny tsara, ny ratsy ary ny ratsy. Miresaka momba ny : 
 
 
 
 Ny afo Nandritra ny herinandro Ny MCP Tonga ny fotoana hahatakatra ireo fomba telo ireo, izay natao ho an'izy ireo, ary ny fomba hanomboka amin'ny alalan'ny fahatsapana azo atao! API: Ny vavahadin-tserasera amin'ny angon-drakitra Rehefa mieritreritra ny Ny zavatra voalohany izay tonga amin'ny eritreritra dia Ny Ny integration Ny afo Na manoratra backend, app frontend, na script, ny fampidirana amin'ny tolotra avy amin'ny antoko fahatelo dia matetika fotsiny API antso. Ampiasao ny angon-drakitra tsara. ny ankamaroan'ny Azo atao amin'ny alalan'ny API: Ny vokatra avy amin'ny Data Bright 
 
 
 
 
 
 Web Scraper API → Tsindrio angon-drakitra avy amin'ny tranonkala mihoatra ny 120. Tsy misy proxy, tsy misy olana, tsotra fotsiny ny vokatra amin'ny fangatahana. Browser API → Run Playwright, Puppeteer, na Selenium scripts amin'ny habeny amin'ny CAPTCHA-solving, proxy rotation, ary zero fametrahana. Web Unlocker API → Misaotra amin'ny blocks sy ny CAPTCHA. Mandoa vola fotsiny amin'ny vokatra mahomby, ary manapaka manerana izao tontolo izao raha tsy miakatra ny tongotra. SERP API → Get geo-targeted fikarohana vokatra avy amin'ny Google, Yandex, ary bebe kokoa - tanteraka sy vonona ny hampiasa. Crawl API → Fametrahana URL fototra ary handray tranonkala manontolo amin'ny HTML, JSON, Markdown, na lahatsoratra tsotra. Jereo ny endrika? ️ Misy antony, raha milaza hoe "API" ao amin'ny anaran'ny vokatra... Ny zava-misy fa APIs dia ny fitsipika nandritra ny taona maro (ohatra tsy ilaina ny manimba anao amin'ny antsipirihany mazava 😉). all those services are available via API Ny mpamatsy (Bright Data, amin'ity tranga ity) dia miasa amin'ny fanorenana, ny fanamafisana, ny fanavaozana, ny fampiasanao, ny logic unblock ... ny zavatra sarotra rehetra izay matetika manome ny mpandrindra. Ny Ny asan'ny Eto, ny asa dia midika fa tsy voafehy, maimaim-poana, tsy manam-paharoa ny fidirana amin'ny aterineto. Ny fananana manan-danja indrindra eto an-tany! web data Noho ny fahaiza-manao be dia be, toy ny Deloitte na McDonald's. Amin'ny API, tsy misy fetra ny zavatra azonao atao! APIs work for individual developers, small to mid-sized companies, and even enterprises Manomboka ny Ny famoronana ny kaonty Bright Data, . hametraka faritra Web Unlocker, ary mahazo ny fanalahidin'ny API Bright Data Avy eo dia manandrana izany amin'ny alalan'ny antso Web Unlocker (olona amin'ireo tolotra fanapahana azo jerena amin'ny alalan'ny API) amin'ny alàlan'ity fanapahan-kevitra Python ity: # pip install requests
import requests

headers = {
    # Step 1: Get your API token here: https://brightdata.com/cp/setting/users
    "Authorization": "Bearer <YOUR_BRIGHT_DATA_API_TOKEN>",
    "Content-Type": "application/json"
}
data = {
    # Step 2: Get your Web Unlocker zone name here: https://brightdata.com/cp/zones 
    "zone": "web_unlocker1", 
    # Step 3: Set your target URL
    "url": "https://www.scrapingcourse.com/cloudflare-challenge",
    "format": "raw"
}

# Make a POST request to the Bright Data Web Unlocker API
url = "https://api.brightdata.com/request"
response = requests.post(url, json=data, headers=headers)

# Print the API response
print(response.text)
 Ny vokatra dia ho toy izao: <!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <meta http-equiv="X-UA-Compatible" content="ie=edge">
    <title>Cloudflare Challenge - ScrapingCourse.com</title>
    
</head>
<body data-new-gr-c-s-check-loaded="14.1174.0" data-gr-ext-installed="" itemscope itemtype="http://schema.org/WebPage">
    <header itemscope itemtype="http://schema.org/WPHeader">
        
    </header>

    <div class="challenge-info bg-[#EDF1FD] rounded-md p-4 mb-8 mt-5" id="challenge-info" data-testid="challenge-info" data-content="challenge-info">
        <div class="info-header flex items-center gap-2 pb-2" id="info-header" data-testid="info-header" data-content="info-header">
            <img width="25" height="15" src="https://www.scrapingcourse.com/assets/images/challenge.svg" data-testid="challenge-image" data-content="challenge-image" alt="Challenge Icon">
            <h2 class="challenge-title text-xl font-bold" id="challenge-title" data-testid="challenge-title" data-content="challenge-title">
                You bypassed the Cloudflare challenge! :D
            </h2>
        </div>
    </div>

    
</body>
</html>
 Boom! 💥 Izany dia ny HTML navoakan'ny Web Unlocker, vonona ho anao amin'ny fanadihadiana sy ny fanesorana. Jereo bebe kokoa ao amin'ity lahatsary ity: https://www.youtube.com/watch?v=N3DkHwqSweA&embedable=true SDK: Ny fitaovana ho an'ny Web Data ho an'ny Developer Ny fangatahana ny API endpoints dia manome anao mivantana Ny fanaraha-maso Ny ambony indrindra Fa aoka isika ho tena marina ... dia misy fotoana fampandrosoana maharitra kokoa, fanitsiana fahadisoana, ary fanavaozana isaky ny fiovana ny API. Izany no toerana Ny SDK dia manatsara ny fidirana amin'ny vokatra sy ny tolotra tianao indrindra raha tsy misy ny boilerplate rehetra. SDKs come in! https://www.youtube.com/watch?v=kG-fLp9BTRo&embedable=true Raha ny marina, ny ny lisitry ny loharanom-baovao misokatra izay ahafahanao miantso ny fitaovana fikarohana sy fikarohana ny Bright Data amin'ny antso tokana! Bright Data Python SDK Ny angon-drakitra amin'ny Python SDK Eny Tena tsotra kokoa noho ny famolavolana fangatahana API. Amin'ny lafiny hafa, ianao dia voafetra amin'ny zavatra mampiseho ny SDK amin'ny lafiny ny fomba sy ny fametrahana azo jerena. a single method! Ny taona : Amin'izao fotoana izao, ny SDK dia azo Midika izany fa raha mandika teny hafa ianao, dia tsy ho afaka mampiasa izany ianao. Note Python and  Ny JavaScript Ny JavaScript Na izany aza, miantso fomba iray ary mahazo ny angon-drakitra azo ampiasaina amin'ny tranonkala dia mbola tsara tarehy. 😎 Te hahafantatra ny fomba SDK rehetra azo jerena? 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Method 
 Feature 
 Description 
 
 
 
 
 scrape() 
 Scrape websites 
 Scrape any website with Bright's anti-bot bypass capabilities 
 
 
 
 
 search() 
 Web search 
 Query Google and other search engines (supports batch searches) 
 
 
 
 
 crawl() 
 Web crawling 
 Discover and scrape multiple pages with filtering and depth control 
 
 
 
 
 extract() 
 AI data extraction 
 Extract specific info using natural language queries and OpenAI 
 
 
 
 
 parse_content() 
 Content parsing 
 Extract text, links, images, and structured data from JSON or HTML 
 
 
 
 
 connect_browser() 
 Browser automation 
 Get a WebSocket endpoint for Playwright/Selenium integration 
 
 
 
 
 search_chatGPT() 
 ChatGPT search 
 Prompt ChatGPT, scrape answers, and handle follow-ups 
 
 
 
 
 ,  ,  ,  scrape_linkedin.posts() scrape_linkedin.jobs() scrape_linkedin.profiles() scrape_linkedin.companies() 
 Scrape LinkedIn 
 Scrape LinkedIn and get structured data 
 
 
 
 
 ,  download_snapshot() download_content() 
 Download web data from snapshots 
 Download content for sync or async requests scrape() Sary avy amin'ny Scrape Tsindrio ny tranonkala rehetra amin'ny fahaiza-manaon'ny anti-bot Bright search() Ny fikarohana Query Google sy ny motera fikarohana hafa (mpanampy ny fikarohana batch) crawl() Sary avy amin'ny Crawling Afaka mahita sy manapaka pejy maro miaraka amin'ny fametrahana sy fanaraha-maso ny habeny extract() Ny fanodinana ny tahirin-kevitra Manangona vaovao manokana amin'ny fampiasana fanontaniana amin'ny fiteny voajanahary sy OpenAI parse_content() Ny votoatin'ny Manangona lahatsoratra, rohy, sary ary angona voajanahary avy amin'ny JSON na HTML connect_browser() Automatika ny navigateur Get a WebSocket endpoint ho an'ny Playwright / Selenium integration search_chatGPT() Ny fikarohana ChatGPT Manoro hevitra ChatGPT, manapaka valiny, ary manatanteraka ny fanaraha-maso Ny Ny Ny scrape_linkedin.posts() scrape_linkedin.jobs() scrape_linkedin.profiles() scrape_linkedin.companies() Tsindrio ny LinkedIn. Tsindrio LinkedIn ary mahazo angon-drakitra voajanahary Ny download_snapshot() download_content() Download ny tranonkala avy amin'ny snapshots Download Content ho an'ny fangatahana sync na async Jereo ny dokam-barotra, satria mety hanampy fomba vaovao haingana! Disclaimer Manomboka ny Azonao atao ny mampiasa ny Bright Data Python SDK: pip install brightdata-sdk
 Asehoy izany amin'ny Ny fianarana (na ny fametrahana azy ao amin'ny fiovan'ny tontolo iainana), ary manapaka tranonkala amin'izao tontolo izao toy ny ESPN amin'ny alalan'ny fangatahana fomba iray: Get your Bright Data API key with  Ny Admin Ny fahazoan-dalana bdclient BRIGHTDATA_API_TOKEN Ny Admin # pip install brightdata-sdk
from brightdata import bdclient

# Initialize the Bright Data SDK
client = bdclient(api_token="<YOUR_BRIGHT_DATA_API_KEY>") # The API key can also be defined as a BRIGHTDATA_API_TOKEN environment variable

# The target page
page_url = "https://www.espn.com/tennis/story/_/id/46190196/carlos-alcaraz-defeats-rival-jannik-sinner-us-open"
# Scrape a news article and print it
news = client.scrape(
  url=page_url,
  data_format="markdown", # Parse the result to Markdown
)
print(news)
 Ny vokatra dia ho: Carlos Alcaraz defeats rival Jannik Sinner at US Open - ESPN                                           
(...)

NEW YORK -- Three years after winning his first major title and becoming the youngest No. 1 player in history, \[Carlos Alcaraz\](https://www.espn.com/sports/tennis/players/profile?playerId=3782) reclaimed his place atop the sport with another win at the US Open.

On Sunday, facing rival \[Jannik Sinner\](https://www.espn.com/sports/tennis/players/profile?playerId=3623) for the third straight major final, Alcaraz, from Spain, utilized his powerful forehand, ever-improving serve and electric athleticism for a 6-2, 3-6, 6-1, 6-4 victory in a relatively swift 2 hours, 42 minutes. In doing so, he took back the world's top ranking from Sinner, after a 65-week run, and extended his head-to-head record to 10-5 over the Italian player.

After Alcaraz secured the win with an ace on his third championship point, he threw his hands in the air above his head before crouching over on his knees with his trademark smile radiating across his face. Seconds later, he was hugging Sinner at the net and the two -- who have a friendly relationship -- had their arms around each other as they walked off the court.

(omitted for brevity...)
 U-n-b-e-l-i-e-v-a-b-l-e! 🤯 MCP: Ny AI-First Free Gateway ho an'ny angon-drakitra Web API, SDK... eny, tsy misy vaovao eto. API dia tsara ho an'ny fampidirana manokana amin'ny fiteny programming rehetra. SDKs? Tsara ho an'ny fampidirana mivantana amin'ny teknolojia manokana. But what if you want to supercharge AI with web data retrieval? That’s a whole different game… 🤔 Mazava ho azy fa ianao miorina amin'ny API (na SDK aza) mba hamoronana asa vonona amin'ny AI ho an'ny sehatra toy ny LangChain, Hugging Face, LlamaIndex, CrewAI, ary toy izany koa. Tsy izay tena tianao rehefa mifandray amin'ny AI, izay mandeha haingana loatra mba ho mandany fotoana. Azonao boilerplate code and slow integrations https://www.youtube.com/watch?v=7j1t3UZA1TY&embedable=true Ankehitriny, mieritreritra ny fomba mifandray amin'ny AI ny vahaolana mahery vaika indrindra amin'ny fikarohana an-tserasera, ny famokarana sy ny fikarohana ny angon-drakitra ao amin'ny Bright Data ... amin'ny ezaka tsy misy fepetra. (Eny, efa nahita izany marina ianao 😉 ) Ho anao izany! Tsy misy karama Ny tranonkala MCP amin'ny angon-drakitra dia Ny tranonkala MCP amin'ny angon-drakitra dia Ny MCP dia protocol AI misokatra izay manamaivana ny fomba mifandray amin'ny fitaovana ivelany sy mampiasa azy ireo, toy ny vokatra ao amin'ny orinasa. Raha ny tena izy: Ny fametrahana ny angon-drakitra maoderina 
 
 
 
 
 
 Install the Web MCP locally. 
 
 Configure it in CLI solutions like Gemini CLI or Claude Code, AI agent frameworks like CrewAI or LangChain, or desktop AI chat apps like Claude Desktop. 
 
 The AI agent immediately gains access to these two tools ( ): for free! Ny maimaim-poana ! 
 
 
 
 
 
 
 
 Tool 
 Description 
 
 
 
 search_engine 
 Scrape search results from Google, Bing, or Yandex. Returns SERP results in   (URL, title, description). Markdown 
 
 
 
 scrape_as_markdown 
 Scrape a single webpage URL with advanced content extraction. Returns results in  . Works even on pages with bot detection or CAPTCHA. Markdown search_engine Tsindrio ny valin'ny fikarohana avy amin'ny Google, Bing, na Yandex. Miverina amin'ny valin'ny SERP (Ny URL, ny lohateny ary ny famaritana) Markdown scrape_as_markdown Raiso ny tranonkala iray amin'ny tranonkala miaraka amin'ny fanamboarana votoaty avo lenta. Miverina ny vokatra ao amin'ny Miasa na dia amin'ny pejy miaraka amin'ny fanadihadiana bot na CAPTCHA. Markdown Amin'ny ankapobeny dia – asa izay ny LLM matetika miady amin'ny. 🔥 your AI agents can now search the web and scrape any page Ary izany ihany no fanombohan'ny. Mandoa vola amin'ny kaontinao Bright Data, mamela Ny , anisan'izany ny fifandraisana amin'ny tranonkala cloud, web automation, ary bebe kokoa. Ny fomba unlock ~50 more advanced tools : Ny tranonkala MCP amin'ny tranonkala Bright Data dia miasa lavitra ihany koa, manohana ny asa AI any amin'ny toerana rehetra, amin'ny fotoana rehetra. Cool note Manomboka ny Grab your Bright Data API key, and use it to configure the Bright Data Web MCP server in most technologies with a setup like this: {
  "mcpServers": {
    "Bright Data": {
      "command": "npx",
      "args": ["-y", "@brightdata/mcp"],
      "env": {
        "API_TOKEN": "<YOUR_BRIGHT_DATA_API_KEY>"     
      }
    }
  }
}
 Ary toy izany ihany koa, ny mpiara-miasa dia afaka miditra amin'ny karazana endri-javatra vaovao - araka ny voalazanay eto amin'ny HackerNoon: “MCP + OpenAI Agents SDK: Ahoana no fomba hananganana mpampiasa AI mahery vaika.” MCP + OpenAI Agents SDK: Ahoana no fomba hananganana mpampiasa AI mahery vaika Otherwise, see the Web MCP action here:  https://www.youtube.com/watch?v=W99pmJLM90I API vs SDK vs MCP for Web Data: Summary Table 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Method 
 Project Size 
 Target Audience 
 Platform 
 Control 
 Integration Difficulty 
 Price 
 
 
 
 
 
 
 
 
 API 
 From small to large projects 
 Individual developers, small teams, large teams 
 Any programming language or solution that can make an API call 
 Maximum 
 Medium 
 Pay only for successful requests 
 
 
 
 
 
 
 
 
 SDK 
 Mainly small to medium projects 
 Python/JavaScript developers, small teams 
 Python and JavaScript/Node.js projects 
 Medium 
 Low 
 Free SDKs, then pay for successful requests only 
 
 
 
 
 
 
 
 
 MCP 
 AI agent projects of any size 
 AI enthusiasts, vibe coders 
 Any AI framework or solution supporting MCP integration 
 Low (as AI does its magic) 
 Very low 
 Free (with premium tools available) API Avy amin'ny tetikasa kely ka hatramin'ny lehibe Ireo mpandraharaha tsirairay, ekipa kely, ekipa lehibe Ny fiteny na vahaolana rehetra izay afaka manao antso API Ny ambony indrindra Ny Mediana Mandoa vola fotsiny amin'ny fangatahana mahomby SDK Amin'ny ankapobeny, ny tetikasa madinika ka hatramin'ny miditra Python / JavaScript mpamorona, ekipa kely Python sy JavaScript / Node.js tetikasa Ny Mediana Ny ambany Free SDKs, dia mandoa vola amin'ny fangatahana mahomby ihany MCP AI Agent tetikasa amin'ny habetsaky ny habetsaky ny Amin'ny ankapobeny, ny vibe coders Ny rafitra AI na vahaolana izay manohana ny MCP integration Ao anaty fitafiana vita amin'ny lamba. Very low Free (miaraka amin'ny fitaovana Premium misy) Ny hevitra farany Ankehitriny dia fantatrao ny fomba tsara indrindra telo ahafahana miditra amin'ny angon-drakitra an-tserasera ary ny fomba samihafa izy ireo, ka azonao atao ny misafidy ny fomba tsara ho an'ny tetikasa. . tranonkala angon-drakitra rafitra izay manohana tranga fampiasana maro amin'ny ankapobeny Ao amin'ny Bright Data, ny andraikitsika dia tsotra: hanao ny tranonkala azo jerena ho an'ny olona rehetra, na aiza na aiza - na amin'ny alalan'ny API, SDK, na AI amin'ny alalan'ny MCP.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

This writer has a vested interest be it monetary, business, or otherwise, with 1 or more of the products or companies mentioned within.

2022 - HackerNoon Contributor of the Year - Amazon

Request Your Own Data

Nominated for 2022 - HackerNoon Contributor of the Year - Amazon

Ity horonam-peo ity dia novokarina tamin'ny fiteny niandohan'ny tantara!

Lava loatra; Mamaky

Make resilience your competitive advantage

Mila angon-drakitra an-tserasera? Ity ny fomba 3 izay ampiasain'ny olona rehetra

About Author

COMMENTS

HANG TAGS

ITY ARTICLE ITY NO NARESAKA TAMIN'NY

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps