W oparciu o jasne dane, zbudowaliśmy Tak więc, tak, wiemy jedną lub dwie rzeczy o tym, jak użytkownicy z zupełnie różnymi potrzebami (i z każdego zakątka świata) wchodzą w dane sieciowe. limitless web data infrastructure for AI & BI Teraz, jeśli chodzi o dostęp do wysokiej jakości danych internetowych, istnieje potężny trójkąt, o którym musisz wiedzieć. Dobry 😊, zły  i brzydki Mówimy o : 
 
 
 
 Ogień Zespół SDK ️ MCP 🪄 Czas zrozumieć te trzy podejścia, dla kogo są zbudowane i jak zacząć dzięki działającym wglądom! API: Elastyczny most do danych internetowych Kiedy myślisz » „Pierwsza rzecz, która przychodzi mi do głowy” » » integracja Ogień Niezależnie od tego, czy piszesz backend, aplikację frontend, czy skrypt, integracja z usługami firm trzecich jest zwykle tylko wezwaniem API. Najlepsze dane - większość Dostępne za pomocą API: Produkty firmy Bright Data 
 
 
 
 
 
 Web Scraper API → Wyciągnij strukturalne dane z 120+ witryn. Bez proxy, bez kłopotów, tylko czyste wyniki na żądanie. API przeglądarki → Uruchom skrypty Playwright, Puppeteer lub Selenium w skali z rozwiązaniem CAPTCHA, rotacją proxy i zerową konfiguracją. Web Unlocker API → Pożegnaj się z blokami i CAPTCHA. Płać tylko za udane wyniki i skrapać na całym świecie bez podnoszenia palca. SERP API → Uzyskaj geo-targetowane wyniki wyszukiwania z Google, Yandex i innych — w pełni przetestowane i gotowe do użycia. Crawl API → Definiuj root URL i przechwyć całe witryny w HTML, JSON, Markdown lub zwykłym tekście. Zobacz wzór? ️ Jest powód, jeśli w nazwie produktu jest napisane „API”... Fakt, że  shouldn’t come as a surprise. APIs have been the standard for years (so no need to bore you with the obvious details 😉). all those services are available via API Dostawca (Bright Data, w tym przypadku) zajmuje się architekturą, skalowaniem, aktualizacjami, wdrożeniami, logiką odblokowywania... wszystkie kłopotliwe rzeczy, które zwykle powodują bóle głowy. ! 🙂 Funkcjonalność Tutaj funkcjonalność oznacza odblokowany, darmowy, nieskończenie równoczesny dostęp do sieci. Najcenniejszy majątek na Ziemi! → web data Dzięki swojej elastyczności, jak Deloitte czy McDonald’s. Dzięki API nie ma ograniczeń co do tego, co możesz zbudować! APIs work for individual developers, small to mid-sized companies, and even enterprises Zaczynać się Tworzenie konta Bright Data, . ustawić strefę Web Unlocker i uzyskać klucz API Bright Data Następnie przetestuj go, wywołując Web Unlocker (jedną z usług skrapienia dostępnych za pośrednictwem API) za pomocą tego fragmentu Python: # pip install requests
import requests

headers = {
    # Step 1: Get your API token here: https://brightdata.com/cp/setting/users
    "Authorization": "Bearer <YOUR_BRIGHT_DATA_API_TOKEN>",
    "Content-Type": "application/json"
}
data = {
    # Step 2: Get your Web Unlocker zone name here: https://brightdata.com/cp/zones 
    "zone": "web_unlocker1", 
    # Step 3: Set your target URL
    "url": "https://www.scrapingcourse.com/cloudflare-challenge",
    "format": "raw"
}

# Make a POST request to the Bright Data Web Unlocker API
url = "https://api.brightdata.com/request"
response = requests.post(url, json=data, headers=headers)

# Print the API response
print(response.text)
 Rezultatem będzie coś takiego: <!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <meta http-equiv="X-UA-Compatible" content="ie=edge">
    <title>Cloudflare Challenge - ScrapingCourse.com</title>
    
</head>
<body data-new-gr-c-s-check-loaded="14.1174.0" data-gr-ext-installed="" itemscope itemtype="http://schema.org/WebPage">
    <header itemscope itemtype="http://schema.org/WPHeader">
        
    </header>

    <div class="challenge-info bg-[#EDF1FD] rounded-md p-4 mb-8 mt-5" id="challenge-info" data-testid="challenge-info" data-content="challenge-info">
        <div class="info-header flex items-center gap-2 pb-2" id="info-header" data-testid="info-header" data-content="info-header">
            <img width="25" height="15" src="https://www.scrapingcourse.com/assets/images/challenge.svg" data-testid="challenge-image" data-content="challenge-image" alt="Challenge Icon">
            <h2 class="challenge-title text-xl font-bold" id="challenge-title" data-testid="challenge-title" data-content="challenge-title">
                You bypassed the Cloudflare challenge! :D
            </h2>
        </div>
    </div>

    
</body>
</html>
 Boom! 💥 To jest HTML odblokowany przez Web Unlocker, gotowy do analizy i wyodrębnienia. Dowiedz się więcej w tym wideo: https://www.youtube.com/watch?v=N3DkHwqSweA&embedable=true SDK – narzędzie dla programistów do przetwarzania danych internetowych Wywołanie punktów końcowych API bezpośrednio daje Kontrola 🙂 Maksymalna Ale bądźmy realni... ma również dłuższy czas rozwoju, obsługę błędów i aktualizacje za każdym razem, gdy zmienia się API. To jest tam, gdzie SDK ułatwia dostęp do Twoich ulubionych produktów i usług bez wszelkich potrzeb. SDKs come in! https://www.youtube.com/watch?v=kG-fLp9BTRo&embedable=true W szczególności, The jest otwartą biblioteką, która pozwala na wywołanie narzędzi skrapienia i wyszukiwania Bright Data za pomocą pojedynczych połączeń metod! Bright Data Python SDK dla użytkowników Bright Data Python SDK dla użytkowników Tak tak, Jest to o wiele prostsze niż tworzenie żądań API. Z drugiej strony jesteś ograniczony do tego, co SDK ujawnia pod względem dostępnych metod i konfiguracji. a single method! ️ : Obecnie SDK jest dostępny tylko dla Oznacza to, że jeśli kodujesz w innych językach, nie będziesz w stanie z niego skorzystać. Note Python and  - JavaScript - JavaScript W każdym razie, wywołanie jednej metody i uzyskanie gotowych do użycia danych internetowych jest nadal dość słodkie. 😎 Chcesz odkryć wszystkie dostępne metody SDK? 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Method 
 Feature 
 Description 
 
 
 
 
 scrape() 
 Scrape websites 
 Scrape any website with Bright's anti-bot bypass capabilities 
 
 
 
 
 search() 
 Web search 
 Query Google and other search engines (supports batch searches) 
 
 
 
 
 crawl() 
 Web crawling 
 Discover and scrape multiple pages with filtering and depth control 
 
 
 
 
 extract() 
 AI data extraction 
 Extract specific info using natural language queries and OpenAI 
 
 
 
 
 parse_content() 
 Content parsing 
 Extract text, links, images, and structured data from JSON or HTML 
 
 
 
 
 connect_browser() 
 Browser automation 
 Get a WebSocket endpoint for Playwright/Selenium integration 
 
 
 
 
 search_chatGPT() 
 ChatGPT search 
 Prompt ChatGPT, scrape answers, and handle follow-ups 
 
 
 
 
 ,  ,  ,  scrape_linkedin.posts() scrape_linkedin.jobs() scrape_linkedin.profiles() scrape_linkedin.companies() 
 Scrape LinkedIn 
 Scrape LinkedIn and get structured data 
 
 
 
 
 ,  download_snapshot() download_content() 
 Download web data from snapshots 
 Download content for sync or async requests scrape() Scrape websites Scrape any website with Bright's anti-bot bypass capabilities search() Wyszukiwanie WEB Query Google i inne wyszukiwarki (obsługuje wyszukiwarki bateriowe) crawl() Crawling internetowy Odkrywanie i skrobanie wielu stron za pomocą filtracji i kontroli głębokości extract() AI wydobycie danych Wyodrębnianie konkretnych informacji za pomocą zapytań w języku naturalnym i OpenAI parse_content() Treści Parsing Extract text, links, images, and structured data from JSON or HTML connect_browser() Automatyzacja przeglądarki Pobierz punkt końcowy WebSocket dla integracji Playwright/Selenium search_chatGPT() Wyszukiwanie ChatGPT Prompt ChatGPT, skrapać odpowiedzi i obsługiwać następstwa , , ,  scrape_linkedin.posts() scrape_linkedin.jobs() scrape_linkedin.profiles() scrape_linkedin.companies() Skrócenie Linkedin Skrapać LinkedIn i uzyskać zorganizowane dane , download_snapshot() download_content() Pobieranie danych z Snapshots Pobieranie zawartości dla żądań synchronicznych lub asynchronicznych : Sprawdź dokumenty, ponieważ nowe metody mogą zostać dodane wkrótce! Disclaimer Zaczynać się Zainstaluj Bright Data Python SDK: pip install brightdata-sdk
 Przenieś go do klasa (lub umieścić go w zmienne środowiska) i skrapać stronę internetową w świecie rzeczywistym, taką jak ESPN, nazywając jedną metodę: Pobierz klucz API Bright Data admin Pozwolenia bdclient BRIGHTDATA_API_TOKEN Admin # pip install brightdata-sdk
from brightdata import bdclient

# Initialize the Bright Data SDK
client = bdclient(api_token="<YOUR_BRIGHT_DATA_API_KEY>") # The API key can also be defined as a BRIGHTDATA_API_TOKEN environment variable

# The target page
page_url = "https://www.espn.com/tennis/story/_/id/46190196/carlos-alcaraz-defeats-rival-jannik-sinner-us-open"
# Scrape a news article and print it
news = client.scrape(
  url=page_url,
  data_format="markdown", # Parse the result to Markdown
)
print(news)
 Rezultatem będzie: Carlos Alcaraz defeats rival Jannik Sinner at US Open - ESPN                                           
(...)

NEW YORK -- Three years after winning his first major title and becoming the youngest No. 1 player in history, \[Carlos Alcaraz\](https://www.espn.com/sports/tennis/players/profile?playerId=3782) reclaimed his place atop the sport with another win at the US Open.

On Sunday, facing rival \[Jannik Sinner\](https://www.espn.com/sports/tennis/players/profile?playerId=3623) for the third straight major final, Alcaraz, from Spain, utilized his powerful forehand, ever-improving serve and electric athleticism for a 6-2, 3-6, 6-1, 6-4 victory in a relatively swift 2 hours, 42 minutes. In doing so, he took back the world's top ranking from Sinner, after a 65-week run, and extended his head-to-head record to 10-5 over the Italian player.

After Alcaraz secured the win with an ace on his third championship point, he threw his hands in the air above his head before crouching over on his knees with his trademark smile radiating across his face. Seconds later, he was hugging Sinner at the net and the two -- who have a friendly relationship -- had their arms around each other as they walked off the court.

(omitted for brevity...)
 U-n-b-e-l-i-e-v-a-b-l-e! 🤯 MCP: Pierwsza darmowa brama do danych internetowych API, SDK... tak, nic nowego. API są idealne do niestandardowych integracji w dowolnym języku programowania. SDK? But what if you want to supercharge AI with web data retrieval? That’s a whole different game… 🤔 Oczywiście, że Ty budować na API (lub nawet SDK), aby stworzyć gotowe funkcje AI dla frameworks takich jak LangChain, Hugging Face, LlamaIndex, CrewAI i tym podobne. Nie dokładnie to, czego chcesz, gdy masz do czynienia z sztuczną inteligencją, która porusza się zbyt szybko, aby marnować czas. mogłaby boilerplate code and slow integrations https://www.youtube.com/watch?v=7j1t3UZA1TY&embedable=true Teraz wyobraź sobie sposób na połączenie najpotężniejszych rozwiązań wyszukiwania, ekstrakcji i odzyskiwania danych w sieci Bright Data z AI... bez wysiłku i (Tak, czytałaś to słusznie 😉 ) Dla Ciebie ! Bez obciążenia Serwer MCP Web Bright Data Serwer MCP Web Bright Data MCP jest otwartym protokołem AI, który standaryzuje, w jaki sposób aplikacje i agenci AI łączą się z narzędziami zewnętrznymi i korzystają z nich, na przykład z produktów w systemie. w zasadzie : Infrastruktura inteligentnych danych 
 
 
 
 
 
 Install the Web MCP locally. 
 
 Configure it in CLI solutions like Gemini CLI or Claude Code, AI agent frameworks like CrewAI or LangChain, or desktop AI chat apps like Claude Desktop. 
 
 The AI agent immediately gains access to these two tools ( ): for free! I za darmo! 
 
 
 
 
 
 
 
 Tool 
 Description 
 
 
 
 search_engine 
 Scrape search results from Google, Bing, or Yandex. Returns SERP results in   (URL, title, description). Markdown 
 
 
 
 scrape_as_markdown 
 Scrape a single webpage URL with advanced content extraction. Returns results in  . Works even on pages with bot detection or CAPTCHA. Markdown search_engine Scrape wyniki wyszukiwania z Google, Bing lub Yandex. Zwraca wyniki SERP w (URL adres, tytuł i opis) Markdown scrape_as_markdown Skrapać pojedynczy adres URL strony internetowej z zaawansowaną ekstrakcją zawartości. zwraca wyniki w . Works even on pages with bot detection or CAPTCHA. Markdown W skrócie : — zadania, z którymi LLM zwykle zmagają się. 🔥 your AI agents can now search the web and scrape any page And that’s just the beginning. Fund your Bright Data account, enable  , , w tym interakcja z przeglądarką w chmurze, automatyzacja sieci i wiele innych. dla mody unlock ~50 more advanced tools Serwer MCP Bright Data Web działa również zdalnie, obsługując Twoje przepływy pracy AI w dowolnym miejscu i czasie. Cool note Getting Started Zdobądź klucz API Bright Data i użyj go, aby skonfigurować serwer MCP Bright Data Web w większości technologii z następującym ustawieniem: {
  "mcpServers": {
    "Bright Data": {
      "command": "npx",
      "args": ["-y", "@brightdata/mcp"],
      "env": {
        "API_TOKEN": "<YOUR_BRIGHT_DATA_API_KEY>"     
      }
    }
  }
}
 I podobnie, twój agent ma teraz dostęp do całego zestawu nowych funkcji – jak omówiliśmy tutaj na HackerNoon: „MCP + OpenAI Agents SDK: Jak zbudować potężnego agenta AI” MCP + OpenAI Agents SDK: Jak zbudować potężnego agenta AI W przeciwnym razie zobacz akcję Web MCP tutaj: https://www.youtube.com/watch?v=W99pmJLM90I API vs SDK vs MCP for Web Data: Summary Table 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Method 
 Project Size 
 Target Audience 
 Platform 
 Control 
 Integration Difficulty 
 Price 
 
 
 
 
 
 
 
 
 API 
 From small to large projects 
 Individual developers, small teams, large teams 
 Any programming language or solution that can make an API call 
 Maximum 
 Medium 
 Pay only for successful requests 
 
 
 
 
 
 
 
 
 SDK 
 Mainly small to medium projects 
 Python/JavaScript developers, small teams 
 Python and JavaScript/Node.js projects 
 Medium 
 Low 
 Free SDKs, then pay for successful requests only 
 
 
 
 
 
 
 
 
 MCP 
 AI agent projects of any size 
 AI enthusiasts, vibe coders 
 Any AI framework or solution supporting MCP integration 
 Low (as AI does its magic) 
 Very low 
 Free (with premium tools available) API From small to large projects Indywidualni deweloperzy, małe zespoły, duże zespoły Każdy język programowania lub rozwiązanie, które może przeprowadzić połączenie API Maksymalnie Medium Płać tylko za udane wnioski SDK Przede wszystkim małe i średnie projekty Python/JavaScript dla małych zespołów Projekty Python i JavaScript/Node.js Medium Low Darmowe SDK, a następnie płacić tylko za udane żądania MCP Projekty agencji AI dowolnej wielkości Atrakcje w pobliżu Vibe Coders Wszelkie ramy AI lub rozwiązania obsługujące integrację MCP Low (as AI does its magic) Bardzo niskie Bezpłatne (z dostępnymi narzędziami premium) Ostatnie myśli Teraz znasz trzy najlepsze sposoby uzyskania dostępu do danych internetowych i ich różnicę, dzięki czemu możesz wybrać odpowiednie podejście do swojego projektu. . Infrastruktura danych internetowych obsługująca wiele przypadków użytkowania na skalę W Bright Data nasza misja jest prosta: uczynić sieć dostępną dla wszystkich, wszędzie – czy to za pośrednictwem API, SDK, czy AI za pośrednictwem MCP.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

This writer has a vested interest be it monetary, business, or otherwise, with 1 or more of the products or companies mentioned within.

Potrzebujesz danych internetowych? Oto 3 metody, których używa każdy

About Author

UWAGI

ZAWIEŚĆ TAGI

ARTYKUŁ TEN ZOSTAŁ PREZENTOWANY W

Related Stories

From Desk to HackerNoon: Your Ultimate Guide on How to Publish a Story

Meet the Writer: Hacker Noon's Contributor Elay Romanov of Daiger

Listen to Tech Brief Podcasts on Your Headphones: Stay Connected to HackerNoon Anywhere, Anytime

Verified Writers

From Desk to HackerNoon: Your Ultimate Guide on How to Publish a Story

Meet the Writer: Hacker Noon's Contributor Elay Romanov of Daiger

Listen to Tech Brief Podcasts on Your Headphones: Stay Connected to HackerNoon Anywhere, Anytime

Verified Writers

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps