Pada Data Bright, kami telah membina a Jadi ya, kita tahu satu atau dua perkara tentang bagaimana pengguna dengan keperluan yang sama sekali berbeza (dan dari setiap sudut dunia) mengetuk data web. limitless web data infrastructure for AI & BI Sekarang, apabila ia datang untuk mengakses data web berkualiti tinggi, terdapat tiga kuasa yang anda perlu tahu. yang baik, yang jahat dan yang jahat. Kami bercakap tentang: 
 
 
 
 Api Cikgu ️ MCP Masa untuk memahami tiga pendekatan ini, kepada siapa mereka dibina, dan bagaimana untuk memulakan melalui wawasan yang boleh dilakukan! API: Jambatan yang fleksibel kepada data web Apabila anda berfikir » “Hal pertama yang datang ke fikiran ialah » » Integrasi Kebakaran Sama ada anda menulis backend, aplikasi frontend, atau skrip, integrasi dengan perkhidmatan pihak ketiga biasanya hanya satu panggilan API. Mengambil data yang jelas. kebanyakkan boleh didapati melalui API: Produk daripada Bright Data 
 
 
 
 
 
 Web Scraper API → Tarik data terstruktur dari 120+ tapak. Tiada proksi, tiada masalah, hanya hasil bersih atas permintaan. Run Playwright, Puppeteer, atau skrip Selenium pada skala dengan CAPTCHA-solving, rotasi proxy, dan setup nol. Web Unlocker API → Ucapkan selamat tinggal kepada blok dan CAPTCHA. Bayar sahaja untuk hasil yang berjaya, dan memotong secara global tanpa mengangkat jari. Dapatkan hasil carian geo-targeted daripada Google, Yandex, dan banyak lagi - sepenuhnya dipaparkan dan bersedia untuk digunakan. Crawl API → Tentukan URL akar dan menangkap seluruh laman dalam HTML, JSON, Markdown, atau teks biasa. Lihat corak? ️ Terdapat sebab, jika ia mengatakan "API" dalam nama produk ... Fakta bahawa API telah menjadi standard selama bertahun-tahun (jadi tidak perlu mengganggu anda dengan butiran yang jelas 😉). all those services are available via API Pembekal (Bright Data, dalam kes ini) menangani seni bina, skaling, kemas kini, penyebaran, logik unblock... semua perkara rumit yang biasanya memberi sakit kepala kepada pengembang. ! Fungsi Di sini, kefungsian bermaksud akses bebas, bebas, tanpa henti bersamaan ke web. , aset paling berharga di Bumi! 💰 web data Oleh kerana fleksibiliti yang tinggi, seperti Deloitte atau McDonald’s. Dengan API, tiada had kepada apa yang anda boleh membina! APIs work for individual developers, small to mid-sized companies, and even enterprises Memulakan Mencipta akaun data yang jelas, . menubuhkan zon Unlocker Web, dan dapatkan kunci API Data Bright anda Kemudian semak dengan memanggil Web Unlocker (salah satu perkhidmatan scraping yang tersedia melalui API) melalui snippet Python ini: # pip install requests
import requests

headers = {
    # Step 1: Get your API token here: https://brightdata.com/cp/setting/users
    "Authorization": "Bearer <YOUR_BRIGHT_DATA_API_TOKEN>",
    "Content-Type": "application/json"
}
data = {
    # Step 2: Get your Web Unlocker zone name here: https://brightdata.com/cp/zones 
    "zone": "web_unlocker1", 
    # Step 3: Set your target URL
    "url": "https://www.scrapingcourse.com/cloudflare-challenge",
    "format": "raw"
}

# Make a POST request to the Bright Data Web Unlocker API
url = "https://api.brightdata.com/request"
response = requests.post(url, json=data, headers=headers)

# Print the API response
print(response.text)
 Hasilnya akan menjadi sesuatu seperti ini: <!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <meta http-equiv="X-UA-Compatible" content="ie=edge">
    <title>Cloudflare Challenge - ScrapingCourse.com</title>
    
</head>
<body data-new-gr-c-s-check-loaded="14.1174.0" data-gr-ext-installed="" itemscope itemtype="http://schema.org/WebPage">
    <header itemscope itemtype="http://schema.org/WPHeader">
        
    </header>

    <div class="challenge-info bg-[#EDF1FD] rounded-md p-4 mb-8 mt-5" id="challenge-info" data-testid="challenge-info" data-content="challenge-info">
        <div class="info-header flex items-center gap-2 pb-2" id="info-header" data-testid="info-header" data-content="info-header">
            <img width="25" height="15" src="https://www.scrapingcourse.com/assets/images/challenge.svg" data-testid="challenge-image" data-content="challenge-image" alt="Challenge Icon">
            <h2 class="challenge-title text-xl font-bold" id="challenge-title" data-testid="challenge-title" data-content="challenge-title">
                You bypassed the Cloudflare challenge! :D
            </h2>
        </div>
    </div>

    
</body>
</html>
 Boom! 💥 Itulah HTML yang diblokir oleh Web Unlocker, bersedia bagi anda untuk menganalisa dan mengekstrak. Ketahui lebih lanjut dalam video ini: https://www.youtube.com/watch?v=N3DkHwqSweA&embedable=true SDK: Toolkit Pengembang untuk Data Web Memanggil API Endpoints secara langsung memberi anda Pengawasan maksimum Tetapi marilah kita menjadi nyata ... ia juga datang dengan masa pembangunan yang lebih lama, pemprosesan kesilapan, dan kemas kini setiap kali API berubah. Itulah di mana SDK memudahkan akses kepada produk dan perkhidmatan kegemaran anda tanpa semua boilerplate. SDKs come in! https://www.youtube.com/watch?v=kG-fLp9BTRo&embedable=true Specifically, the  merupakan perpustakaan sumber terbuka yang membolehkan anda memanggil alat-alat scraping dan carian Bright Data dengan panggilan kaedah tunggal! Bright Data Python SDK Maklumat lanjut Python SDK Yes,  Lebih mudah daripada membuat permintaan API mentah. Di sisi lain, anda terhad kepada apa yang dikesan oleh SDK dalam hal kaedah dan konfigurasi yang tersedia. a single method! ✔️ : Pada masa ini, SDK hanya tersedia untuk Ini bermakna jika anda mengkodkan dalam bahasa lain, anda tidak akan dapat mengambil manfaat daripada itu. Note Python and  Perkhidmatan JavaScript Perkhidmatan JavaScript Bagaimanapun, memanggil satu kaedah dan mendapatkan data web bersedia untuk digunakan kembali masih agak manis. 😎 Ingin menemui semua kaedah SDK yang tersedia? 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Method 
 Feature 
 Description 
 
 
 
 
 scrape() 
 Scrape websites 
 Scrape any website with Bright's anti-bot bypass capabilities 
 
 
 
 
 search() 
 Web search 
 Query Google and other search engines (supports batch searches) 
 
 
 
 
 crawl() 
 Web crawling 
 Discover and scrape multiple pages with filtering and depth control 
 
 
 
 
 extract() 
 AI data extraction 
 Extract specific info using natural language queries and OpenAI 
 
 
 
 
 parse_content() 
 Content parsing 
 Extract text, links, images, and structured data from JSON or HTML 
 
 
 
 
 connect_browser() 
 Browser automation 
 Get a WebSocket endpoint for Playwright/Selenium integration 
 
 
 
 
 search_chatGPT() 
 ChatGPT search 
 Prompt ChatGPT, scrape answers, and handle follow-ups 
 
 
 
 
 ,  ,  ,  scrape_linkedin.posts() scrape_linkedin.jobs() scrape_linkedin.profiles() scrape_linkedin.companies() 
 Scrape LinkedIn 
 Scrape LinkedIn and get structured data 
 
 
 
 
 ,  download_snapshot() download_content() 
 Download web data from snapshots 
 Download content for sync or async requests scrape() Laman web Scrape Scrape mana-mana laman web dengan keupayaan bypass anti-bot Bright search() Pencarian web Query Google dan enjin carian lain (sokong carian batch) crawl() Laman web crawling Menemukan dan memotong pelbagai halaman dengan penapis dan kawalan kedalaman extract() Pengekstrakan data Mengekstrak maklumat tertentu menggunakan pertanyaan bahasa semula jadi dan OpenAI parse_content() Perkhidmatan Parsing Extract text, links, images, and structured data from JSON or HTML connect_browser() Browsing automatik Dapatkan titik akhir WebSocket untuk integrasi Playwright/Selenium search_chatGPT() ChatGPT Pencarian Prompt ChatGPT, scrape jawapan, dan menangani tindak lanjut daripada daripada daripada scrape_linkedin.posts() scrape_linkedin.jobs() scrape_linkedin.profiles() scrape_linkedin.companies() Menyelamatkan LinkedIn Scrape LinkedIn dan dapatkan data terstruktur daripada download_snapshot() download_content() Memuat turun data daripada snapshots Memuat turun kandungan untuk permintaan sync atau async : Periksa dokumen-dokumen, kerana kaedah-kaedah baru mungkin ditambah segera! Disclaimer Memulakan Memasang Bright Data Python SDK: pip install brightdata-sdk
 Berikan ia kepada kelas (atau meletakkannya di dalam perubahan persekitaran), dan memotong laman web dunia sebenar seperti ESPN dengan memanggil satu kaedah: Dapatkan Kunci API Data Anda dengan admin yang dibenarkan bdclient BRIGHTDATA_API_TOKEN admin yang # pip install brightdata-sdk
from brightdata import bdclient

# Initialize the Bright Data SDK
client = bdclient(api_token="<YOUR_BRIGHT_DATA_API_KEY>") # The API key can also be defined as a BRIGHTDATA_API_TOKEN environment variable

# The target page
page_url = "https://www.espn.com/tennis/story/_/id/46190196/carlos-alcaraz-defeats-rival-jannik-sinner-us-open"
# Scrape a news article and print it
news = client.scrape(
  url=page_url,
  data_format="markdown", # Parse the result to Markdown
)
print(news)
 Hasilnya akan ialah: Carlos Alcaraz defeats rival Jannik Sinner at US Open - ESPN                                           
(...)

NEW YORK -- Three years after winning his first major title and becoming the youngest No. 1 player in history, \[Carlos Alcaraz\](https://www.espn.com/sports/tennis/players/profile?playerId=3782) reclaimed his place atop the sport with another win at the US Open.

On Sunday, facing rival \[Jannik Sinner\](https://www.espn.com/sports/tennis/players/profile?playerId=3623) for the third straight major final, Alcaraz, from Spain, utilized his powerful forehand, ever-improving serve and electric athleticism for a 6-2, 3-6, 6-1, 6-4 victory in a relatively swift 2 hours, 42 minutes. In doing so, he took back the world's top ranking from Sinner, after a 65-week run, and extended his head-to-head record to 10-5 over the Italian player.

After Alcaraz secured the win with an ace on his third championship point, he threw his hands in the air above his head before crouching over on his knees with his trademark smile radiating across his face. Seconds later, he was hugging Sinner at the net and the two -- who have a friendly relationship -- had their arms around each other as they walked off the court.

(omitted for brevity...)
 U-n-b-e-l-i-e-v-a-b-l-e MCP: Gateway Percuma Pertama kepada Data Web API, SDK... ya, tiada apa-apa yang baru di sana. API sempurna untuk integrasi tersuai dalam mana-mana bahasa pemrograman. SDK? Tetapi bagaimana jika anda mahu mengecas AI dengan pemulihan data web?Ini adalah permainan yang sama sekali berbeza... 🤔 Sure, you  dibina di atas API (atau bahkan SDK) untuk mewujudkan fungsi AI bersedia untuk kerangka kerja seperti LangChain, Hugging Face, LlamaIndex, CrewAI, dan lain-lain. Bukan apa yang anda mahu apabila berurusan dengan AI, yang bergerak terlalu cepat untuk membuang masa. boleh boilerplate code and slow integrations https://www.youtube.com/watch?v=7j1t3UZA1TY&embedable=true Sekarang bayangkan cara untuk menghubungkan penyelesaian carian web, pengeluaran dan pemulihan data yang paling berkuasa di Bright Data dengan AI ... tanpa usaha dan (Ya, anda telah membacanya dengan betul 😉 ) untuk awak ! Tiada beban Bright Data’s Web MCP server Pelayan MCP Web untuk Data Bright MCP ialah protokol AI terbuka yang menyederhanakan cara aplikasi dan agensi AI bersambung dan menggunakan alat luaran, seperti produk dalam sistem. Pada asasnya : Infrastruktur AI bagi data yang cerah 
 
 
 
 
 
 Install the Web MCP locally. 
 
 Configure it in CLI solutions like Gemini CLI or Claude Code, AI agent frameworks like CrewAI or LangChain, or desktop AI chat apps like Claude Desktop. 
 
 The AI agent immediately gains access to these two tools ( ): for free! untuk percuma! 
 
 
 
 
 
 
 
 Tool 
 Description 
 
 
 
 search_engine 
 Scrape search results from Google, Bing, or Yandex. Returns SERP results in   (URL, title, description). Markdown 
 
 
 
 scrape_as_markdown 
 Scrape a single webpage URL with advanced content extraction. Returns results in  . Works even on pages with bot detection or CAPTCHA. Markdown search_engine Scrape hasil carian daripada Google, Bing, atau Yandex. Mengembalikan hasil SERP dalam (URL , tajuk dan penerangan ) Markdown scrape_as_markdown Memotong satu URL halaman web dengan ekstraksi kandungan lanjutan. Mengembalikan hasil dalam Ia berfungsi walaupun pada halaman dengan pengesanan bot atau CAPTCHA. Markdown Secara ringkas : tugas yang LLM biasanya berjuang dengan. 🔥 your AI agents can now search the web and scrape any page Dan itu hanyalah permulaan. Membiayai akaun Bright Data anda, membolehkan daripada , termasuk interaksi pelayar awan, automasi web, dan banyak lagi. untuk fesyen unlock ~50 more advanced tools Bright Data Web MCP server juga berfungsi secara jauh, menyokong aliran kerja AI anda di mana-mana, pada bila-bila masa. Cool note Memulakan Tangkap kunci API Bright Data anda, dan gunakan untuk mengkonfigurasi pelayan MCP Web Bright Data dalam kebanyakan teknologi dengan setup seperti ini: {
  "mcpServers": {
    "Bright Data": {
      "command": "npx",
      "args": ["-y", "@brightdata/mcp"],
      "env": {
        "API_TOKEN": "<YOUR_BRIGHT_DATA_API_KEY>"     
      }
    }
  }
}
 Dan sama seperti itu, agen anda kini mempunyai akses kepada satu set penuh ciri-ciri baru – seperti yang kami bahas di sini di HackerNoon: “MCP + OpenAI Agen SDK: Bagaimana untuk Membina Agen AI Kuat.” MCP + OpenAI Agen SDK: Cara Membina Agen AI Kuat Jika tidak, lihat tindakan Web MCP di sini: https://www.youtube.com/watch?v=W99pmJLM90I API vs SDK vs MCP untuk Data Web: Jadual Ringkasan 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Method 
 Project Size 
 Target Audience 
 Platform 
 Control 
 Integration Difficulty 
 Price 
 
 
 
 
 
 
 
 
 API 
 From small to large projects 
 Individual developers, small teams, large teams 
 Any programming language or solution that can make an API call 
 Maximum 
 Medium 
 Pay only for successful requests 
 
 
 
 
 
 
 
 
 SDK 
 Mainly small to medium projects 
 Python/JavaScript developers, small teams 
 Python and JavaScript/Node.js projects 
 Medium 
 Low 
 Free SDKs, then pay for successful requests only 
 
 
 
 
 
 
 
 
 MCP 
 AI agent projects of any size 
 AI enthusiasts, vibe coders 
 Any AI framework or solution supporting MCP integration 
 Low (as AI does its magic) 
 Very low 
 Free (with premium tools available) API Dari projek kecil kepada projek besar Pengembang individu, pasukan kecil, pasukan besar Mana-mana bahasa pemrograman atau penyelesaian yang boleh membuat panggilan API maksimum Medium Bayar sahaja untuk permintaan yang berjaya SDK Terutamanya projek-projek kecil hingga menengah Pengembang Python/JavaScript, pasukan kecil Projek Python dan JavaScript / Node.js Medium rendah SDK percuma, kemudian membayar untuk permintaan yang berjaya sahaja MCP Projek agensi AI saiz apa-apa Melayu kepada Melayu, vibe coders Mana-mana rangka kerja AI atau penyelesaian yang menyokong integrasi MCP rendah (sebagai AI melakukan sihir) Sangat rendah Percuma (dengan alat premium boleh didapati) pemikiran akhir Sekarang anda tahu tiga cara terbaik untuk mengakses data web dan bagaimana mereka berbeza, jadi anda boleh memilih pendekatan yang betul untuk projek anda. . infrastruktur data web yang menyokong banyak kes penggunaan pada skala Di Bright Data, misi kami mudah: menjadikan web boleh diakses oleh semua orang, di mana-mana sahaja - sama ada melalui API, SDK, atau AI melalui MCP.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

This writer has a vested interest be it monetary, business, or otherwise, with 1 or more of the products or companies mentioned within.

Perlu Data Web? Berikut ialah 3 kaedah yang digunakan oleh semua orang

About Author

KOMEN

GANTUNG TANDA

ARTIKEL INI DIBENTANGKAN DALAM

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps