Bright Data では、我々 は a だから、はい、私たちは、まったく異なるニーズを持つユーザー(そして世界のあらゆる場所から)がウェブデータに触れる方法について、一つか二つ知っています。 limitless web data infrastructure for AI & BI 今、高品質のウェブデータにアクセスする場合、あなたが知る必要があるパワー・トリオがあります。 いい人、悪い人、悪い人、悪い人... 我々は話している: 
 
 
 
 火 スズメ️ MCP ↓ これらの3つのアプローチを理解する時間、それらが誰のために作られているか、そして行動可能な洞察を通じて始める方法! API:Webデータへの柔軟なブリッジ あなたが考えるとき」 「頭に浮かぶ最初のことは、 」 統合 花火 あなたがバックエンド、フロントエンドアプリケーション、またはスクリプトを書いているかどうか、第三者のサービスとの統合は通常、ただのAPI呼び出しです。 明るいデータを集め、大半は API で利用できます: Bright Dataの製品 
 
 
 
 
 
 Web Scraper API → 120以上のサイトから構造化されたデータを引き出す. プロキシなし、トラブルなし、需要に応じてクリーンな結果のみ。 Browser API → Playwright、Puppeteer、またはSeleniumスクリプトをCAPTCHA解決、プロキシ回転、ゼロ設定でスケールで実行します。 Web Unlocker API → ブロックとCAPTCHAに別れを告げ、成功した結果のみを支払い、指を上げることなくグローバルにスクラップします。 SERP API → Google、Yandex、およびその他から地理的にターゲット化された検索結果を得る - 完全に解析され、使用する準備ができています。 Crawl API → ルート URL を定義し、HTML、JSON、Markdown、または単純テキストでサイト全体をキャプチャします。 パターンを見る? ️製品名に「API」が表示されている場合、理由があります。 という事実 APIは長年にわたり標準となっています(だから、明らかな詳細に悩む必要はありません 😉)。 all those services are available via API The provider (Bright Data, in this case) handles architecture, scaling, updates, deployments, unblock logic… all the tricky stuff that usually gives devs headaches. In return, you just get exactly what you want:  ↓↓↓ 機能性 ここでは、機能性は、ブロック解除、無料、無限に同時にウェブへのアクセスを意味します。 地球上で最も貴重な資産! web data その柔軟性のおかげで、 デロイトやマクドナルドのように. API では、あなたが構築できるものに制限はありません! APIs work for individual developers, small to mid-sized companies, and even enterprises 始めること Bright Data アカウントを作成し、 . Web Unlocker ゾーンを設定し、Bright Data API キーを取得します。 次に、この Python スニップを通じて Web Unlocker (API 経由で利用可能なスキャンサービスの 1 つ) を呼び出してテストします。 # pip install requests
import requests

headers = {
    # Step 1: Get your API token here: https://brightdata.com/cp/setting/users
    "Authorization": "Bearer <YOUR_BRIGHT_DATA_API_TOKEN>",
    "Content-Type": "application/json"
}
data = {
    # Step 2: Get your Web Unlocker zone name here: https://brightdata.com/cp/zones 
    "zone": "web_unlocker1", 
    # Step 3: Set your target URL
    "url": "https://www.scrapingcourse.com/cloudflare-challenge",
    "format": "raw"
}

# Make a POST request to the Bright Data Web Unlocker API
url = "https://api.brightdata.com/request"
response = requests.post(url, json=data, headers=headers)

# Print the API response
print(response.text)
 結果はこんなものになるだろう: <!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <meta http-equiv="X-UA-Compatible" content="ie=edge">
    <title>Cloudflare Challenge - ScrapingCourse.com</title>
    
</head>
<body data-new-gr-c-s-check-loaded="14.1174.0" data-gr-ext-installed="" itemscope itemtype="http://schema.org/WebPage">
    <header itemscope itemtype="http://schema.org/WPHeader">
        
    </header>

    <div class="challenge-info bg-[#EDF1FD] rounded-md p-4 mb-8 mt-5" id="challenge-info" data-testid="challenge-info" data-content="challenge-info">
        <div class="info-header flex items-center gap-2 pb-2" id="info-header" data-testid="info-header" data-content="info-header">
            <img width="25" height="15" src="https://www.scrapingcourse.com/assets/images/challenge.svg" data-testid="challenge-image" data-content="challenge-image" alt="Challenge Icon">
            <h2 class="challenge-title text-xl font-bold" id="challenge-title" data-testid="challenge-title" data-content="challenge-title">
                You bypassed the Cloudflare challenge! :D
            </h2>
        </div>
    </div>

    
</body>
</html>
 Boom! 💥それはWeb Unlockerによってロック解除されたHTMLであり、パッサージおよび抽出の準備ができています。 詳しくは、この動画で↓: https://www.youtube.com/watch?v=N3DkHwqSweA&embedable=true 2. SDK: The Developer’s Toolkit for Web Data APIエンドポイントを直接呼び出すと、あなたは コントロール ↓ 最大 しかし、現実になろう...さらに長い開発時間、エラー処理、およびAPIの変更の毎度のアップデートも含まれています。 それがどこ SDKは、すべてのボイラープレートなしで、お気に入りの製品やサービスへのアクセスを簡素化します。 SDKs come in! https://www.youtube.com/watch?v=kG-fLp9BTRo&embedable=true 具体的には、The あなたが単一メソッド呼び出しでBright Dataのスキャンダリングと検索ツールを呼び出すことを可能にするオープンソースのライブラリです! 「Bright Data Python SDK」 「Bright Data Python SDK」 はい、 RAW API リクエストを作成するよりもはるかに簡単です. Flip side, you are limited to what the SDK exposes in terms of available methods and configurations. For some projects, that may feel restrictive... a single method! ️ : 現時点で、SDK は、 つまり、あなたが他の言語でコードしている場合、あなたはそれを利用することはできません。 Note Python and  ジャクソン ジャクソン いずれにせよ、一つの方法を呼び出し、使用可能なWebデータを戻すことはまだかなり甘いことです。 ↓ 利用可能なすべてのSDK方法を発見したいですか? ここにあります: ↓ 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Method 
 Feature 
 Description 
 
 
 
 
 scrape() 
 Scrape websites 
 Scrape any website with Bright's anti-bot bypass capabilities 
 
 
 
 
 search() 
 Web search 
 Query Google and other search engines (supports batch searches) 
 
 
 
 
 crawl() 
 Web crawling 
 Discover and scrape multiple pages with filtering and depth control 
 
 
 
 
 extract() 
 AI data extraction 
 Extract specific info using natural language queries and OpenAI 
 
 
 
 
 parse_content() 
 Content parsing 
 Extract text, links, images, and structured data from JSON or HTML 
 
 
 
 
 connect_browser() 
 Browser automation 
 Get a WebSocket endpoint for Playwright/Selenium integration 
 
 
 
 
 search_chatGPT() 
 ChatGPT search 
 Prompt ChatGPT, scrape answers, and handle follow-ups 
 
 
 
 
 ,  ,  ,  scrape_linkedin.posts() scrape_linkedin.jobs() scrape_linkedin.profiles() scrape_linkedin.companies() 
 Scrape LinkedIn 
 Scrape LinkedIn and get structured data 
 
 
 
 
 ,  download_snapshot() download_content() 
 Download web data from snapshots 
 Download content for sync or async requests scrape() Scrape Webサイト ブライトのアンチボットバイパス機能でどのウェブサイトもスクラップ search() Web search Query Google およびその他の検索エンジン(バッチ検索をサポート) crawl() WEB クローリング フィルタリングと深度コントロールで複数のページを発見し、スクラップする extract() AIデータ抽出 自然言語クエリとOpenAIを使用して特定の情報を抽出 parse_content() コンテンツパーシング JSON または HTML からテキスト、リンク、画像、および構造化データを抽出する connect_browser() ブラウザ自動化 Playwright/Selenium 統合のための WebSocket エンドポイントを取得する search_chatGPT() ChatGPT検索 Prompt ChatGPT, scrape answers, and handle follow-up で、 で、 で、 scrape_linkedin.posts() scrape_linkedin.jobs() scrape_linkedin.profiles() scrape_linkedin.companies() リンクを削除 LinkedInをスクラップし、構造化されたデータを得る で、 download_snapshot() download_content() Web データを snapshots からダウンロード Sync および Async リクエストのコンテンツのダウンロード : 新しい方法が間もなく追加される可能性があるため、ドキュメントをご覧ください! Disclaimer 始めること Bright Data Python SDK をインストールします。 pip install brightdata-sdk
 , pass it to the class (or set it in the 環境変数)と、ESPNのような現実世界のウェブサイトを、単一の方法を呼び出す。 Bright Data API キーを取得する admin 許可 bdclient BRIGHTDATA_API_TOKEN admin # pip install brightdata-sdk
from brightdata import bdclient

# Initialize the Bright Data SDK
client = bdclient(api_token="<YOUR_BRIGHT_DATA_API_KEY>") # The API key can also be defined as a BRIGHTDATA_API_TOKEN environment variable

# The target page
page_url = "https://www.espn.com/tennis/story/_/id/46190196/carlos-alcaraz-defeats-rival-jannik-sinner-us-open"
# Scrape a news article and print it
news = client.scrape(
  url=page_url,
  data_format="markdown", # Parse the result to Markdown
)
print(news)
 結果は: Carlos Alcaraz defeats rival Jannik Sinner at US Open - ESPN                                           
(...)

NEW YORK -- Three years after winning his first major title and becoming the youngest No. 1 player in history, \[Carlos Alcaraz\](https://www.espn.com/sports/tennis/players/profile?playerId=3782) reclaimed his place atop the sport with another win at the US Open.

On Sunday, facing rival \[Jannik Sinner\](https://www.espn.com/sports/tennis/players/profile?playerId=3623) for the third straight major final, Alcaraz, from Spain, utilized his powerful forehand, ever-improving serve and electric athleticism for a 6-2, 3-6, 6-1, 6-4 victory in a relatively swift 2 hours, 42 minutes. In doing so, he took back the world's top ranking from Sinner, after a 65-week run, and extended his head-to-head record to 10-5 over the Italian player.

After Alcaraz secured the win with an ace on his third championship point, he threw his hands in the air above his head before crouching over on his knees with his trademark smile radiating across his face. Seconds later, he was hugging Sinner at the net and the two -- who have a friendly relationship -- had their arms around each other as they walked off the court.

(omitted for brevity...)
 MCP(AI-First Free Gateway to Web Data) API、SDK...はい、何も新しいものではありません。APIはあらゆるプログラミング言語でのカスタマイズ統合に最適です。SDKは? 特定のテクノロジースタックへの直接統合に最適です。 But what if you want to supercharge AI with web data retrieval? That’s a whole different game… 🤔 確かに、あなた API(あるいはSDK)の上に構築して、LangChain、Hugging Face、LlamaIndex、CrewAIなどのフレームワークのためのAI準備機能を作成します。 AIと取り組むとき、あなたが望むものとは全く違いますが、AIは時間の無駄になるにはあまりにも速く動いています。 できる boilerplate code and slow integrations https://www.youtube.com/watch?v=7j1t3UZA1TY&embedable=true Bright Dataの最も強力なウェブ検索、抽出、およびデータ回収ソリューションをAIに接続する方法を想像してください。 (はい、あなたはそれを正しく読んでいます 😉 ) あなたのために! 料金なし Bright Data’s Web MCP server Bright Data’s Web MCP server MCP は、AI アプリケーションとエージェントがどのように接続し、製品などの外部ツールを使用するかを標準化するオープン AI プロトコルです。 基本的に: Bright Dataのインフラストラクチャ 
 
 
 
 
 
 Install the Web MCP locally. 
 
 Configure it in CLI solutions like Gemini CLI or Claude Code, AI agent frameworks like CrewAI or LangChain, or desktop AI chat apps like Claude Desktop. 
 
 The AI agent immediately gains access to these two tools ( ): for free! 無料で! 
 
 
 
 
 
 
 
 Tool 
 Description 
 
 
 
 search_engine 
 Scrape search results from Google, Bing, or Yandex. Returns SERP results in   (URL, title, description). Markdown 
 
 
 
 scrape_as_markdown 
 Scrape a single webpage URL with advanced content extraction. Returns results in  . Works even on pages with bot detection or CAPTCHA. Markdown search_engine Google、Bing、Yandexから検索結果をスクラップ. Returns SERP results in (URL、タイトル、説明) Markdown scrape_as_markdown 高度なコンテンツ抽出を使用して単一の Web ページ URL をスキャンします. Returns results in ボット検出またはCAPTCHAを搭載したページでも動作します。 Markdown 短く言うと: ・LLMが通常対処する課題 your AI agents can now search the web and scrape any page And that’s just the beginning. Fund your Bright Data account, enable  で、 クラウドブラウザの相互作用、Webオートメーション、その他を含む。 ファッションについて unlock ~50 more advanced tools Bright Data Web MCP サーバーもリモートで動作し、いつでもどこでもAI ワークフローをサポートします。 Cool note 始めること Bright Data API キーをキャプチャして、このように設定されているほとんどのテクノロジーで Bright Data Web MCP サーバを構成するために使用します。 {
  "mcpServers": {
    "Bright Data": {
      "command": "npx",
      "args": ["-y", "@brightdata/mcp"],
      "env": {
        "API_TOKEN": "<YOUR_BRIGHT_DATA_API_KEY>"     
      }
    }
  }
}
 そして、それと同じように、あなたのエージェントは、HackerNoonでここで説明したように、新しい機能の完全なセットにアクセスできます。 『MCP+OpenAI Agents SDK: How to Build a Powerful AI Agent』 MCP+OpenAIエージェントSDK:強力なAIエージェントを構築する方法 Web MCP アクションはこちらをご覧ください。 https://www.youtube.com/watch?v=W99pmJLM90I API vs SDK vs MCP for Web Data: 概要表 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Method 
 Project Size 
 Target Audience 
 Platform 
 Control 
 Integration Difficulty 
 Price 
 
 
 
 
 
 
 
 
 API 
 From small to large projects 
 Individual developers, small teams, large teams 
 Any programming language or solution that can make an API call 
 Maximum 
 Medium 
 Pay only for successful requests 
 
 
 
 
 
 
 
 
 SDK 
 Mainly small to medium projects 
 Python/JavaScript developers, small teams 
 Python and JavaScript/Node.js projects 
 Medium 
 Low 
 Free SDKs, then pay for successful requests only 
 
 
 
 
 
 
 
 
 MCP 
 AI agent projects of any size 
 AI enthusiasts, vibe coders 
 Any AI framework or solution supporting MCP integration 
 Low (as AI does its magic) 
 Very low 
 Free (with premium tools available) API 小規模から大きなプロジェクトまで 個々の開発者、小さなチーム、大きなチーム API 呼び出しができるプログラミング言語またはソリューション 最大 メディア 成功したリクエストのみを支払う SDK Mainly small to medium projects Python/JavaScript 開発者、小規模チーム Python と JavaScript/Node.js プロジェクト メディア 低い 無料のSDK、成功したリクエストのみを支払う MCP AI エージェント プロジェクト Any Size AIエンターテイメント、vibe coders MCP 統合をサポートする AI フレームワークまたはソリューション 低い(AIが魔法を行うように) 非常に低い 無料(プレミアムツール付き) 最終思考 Web データにアクセスするための 3 つの最善の方法とその違いを知っているので、プロジェクトに適したアプローチを選択できます。 . 規模の複数の使用ケースをサポートするWebデータインフラストラクチャ Bright Data では、私たちの使命はシンプルです:誰にでも、どこでも、API、SDK、または AI を介して MCP を介して、Web にアクセスできるようにします。

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

This writer has a vested interest be it monetary, business, or otherwise, with 1 or more of the products or companies mentioned within.

2022 - HackerNoon Contributor of the Year - Amazon

Request Your Own Data

Nominated for 2022 - HackerNoon Contributor of the Year - Amazon

このオーディオは、ストーリーの元の言語で制作されています。

ウェブデータが必要ですか? ここに3つの方法は誰もが使用しています

About Author

コメント

ラベル

この記事は

Related Stories

ユニークなエコシステムを支えるビットコインUTXOのモデル

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

ユーザー中心の暗号通貨製品の作成: 顧客からのフィードバックの重要性

クラウド移行を成功させるための完全ガイド: 戦略とベストプラクティス

ユニークなエコシステムを支えるビットコインUTXOのモデル

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

ユーザー中心の暗号通貨製品の作成: 顧客からのフィードバックの重要性

クラウド移行を成功させるための完全ガイド: 戦略とベストプラクティス

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps