Pifò ajan AI, ML pipelines, AI enrichissement travay flux, sistèm rechèch profond, ak done-driven desizyon motè pa échoue paske modèl yo se mal. Yo échoue paske done a se! Espesifikman, done yo gen tendans yo dwe oblije, deyò konteks, yo pa tcheke, oswa tout twa nan yon sèl fwa. Sa a se pwoblèm la debaz. Epi modèl la "Rechèch ak ekstrè" AI egziste pou rezoud sa a!  ✨ Nan atik sa a, ou pral wè ki reyèlman vle di, ki jan li travay anba kapèt la, poukisa li enpòtan plis pase pifò moun panse, ak ki jan yo aplike l 'end-to-end ak yon egzak egzanp! Rechèch ak ekstrè Necessity of Fresh, Kontekstual, ak konfyans, Verifye enfòmasyon Dapre Statista, apeprè 402,74 milyon terabyte de done yo pwodwi chak jou. Done sa a plonje nan entènèt la, depo done, piki analitik, ak pipelines nan yon mas ki se onètman difisil rezon sou. Men, isit la se pran an: plis done pa vle di pi bon done! Nan volim sa a, li se irrealistic suppose tout bagay reflete reyalite - oswa ke li kapab menm konfyans nan premye kote ... Enterprises toujou fè desizyon biznis, otomatize, ak apèl AI-driven ki baze sou Data nan. Sa a Epi lè sous la se oblije, pa konplè, oswa jis senpleman erè ... konesans ki te bati sou li pa ka serye. Yo jis sanble konfyans, men yo pwobableman erè! Li se eksactman poukisa LLMs hallucinate, ajan AI bay repons konvansyonèl men erè, ak pipelines done silenn manke nan pwodiksyon an. Nan pifò ka reyèl, pwoblèm la se pa modèl la, zouti a, oswa implemantasyon an. Li nan done envantè! Si ou kouri yon flux travay analitik klasik oswa yon ajan AI konplètman otonòm, tout depann sou bon jan kalite a nan done a sous. Ou bezwen done ki se: 
 
 
 
 Pwodwi pou Konteks Verifikasyon Nan fen a, si ou pa konnen enfòmasyon yo te soti nan oswa li te kolekte, ou pa ka reyèlman kwè nan rezilta a. Ki kote Kòm Li se kesyon an reyèl. 
 
 Ki jan ou ka rechèch enfòmasyon ki se ajou, ki enpòtan pou yon travay espesifik, ak ki pwouve ki lye tounen nan sous li yo? Ki jan ou ka rechèch enfòmasyon ki se ajou, ki enpòtan pou yon travay espesifik, ak ki pwouve ki lye tounen nan sous li yo? Li se kote yo Pattern vini nan! Nou pral ranpli li. Search and Extract Rechèch ak ekstrè: Ki sa li se ak poukisa li se solisyon an “Search and Extract” se yon pwosesis pou retire enfòmasyon ajou, verifye, ak konteks rich soti nan entènèt la . Li se senp nan estrikti, men trè efikas nan pratik. De facto estanda Nan yon nivo segondè, li opere nan de etap diferan: 
 
 
 Search: Sistèm la fè yon rechèch sou entènèt sou motè rechèch tankou Google yo jwenn sous yo ki pi enpòtan ak konfyans pou yon kesyon done. Sa a ede pipeline a done kòmanse ak enfòmasyon ki se kounye a ak vini nan sous klè. Ekstraksyon: Soti nan rezilta yo rechèch, sistèm la identifye URL yo ki pi enpòtan, vizite paj sa yo, ak retire kontni ki pi itil oswa done ki soti nan yo. Sa a ka gen ladan faktè, estatistik, definisyon, oswa enfòmasyon estriktirèl analize soti nan paj la. Done a retire Lè sa a, vin baz la ki baze sou, konfyans pou etap yo anba a nan pipeline a. Modèl sa a se espesyalman itil nan aplikasyon ki gen rapò ak AI, tankou ajan AI, , ak antrepriz-klas AI travay flux. Epitou, li se aplike nan tradisyonèl machin aprantisaj, tcheke faktè, ak done enrichissement pipelines. Sistèm RAG Sistèm RAG Objektif final la nan modèl la "Rechèch ak ekstrè" se rezoud rezoud yo nan done modèn pa asire ke enfòmasyon kolekte se: 
 
 
 
 Fresh , kòm done a piblik sou entènèt la ka soti nan rechèch ki sot pase a sou entènèt la, ki ka gen ladan enfòmasyon ki dènye ak nouvèl. Kontekstual , paske enfòmasyon an se byen aligned ak tèm yo spesifye nan rechèch la. Verifye , paske done yo rive dirèkteman soti nan paj web espesifik, ak URLs ke nenpòt moun ka vizite ak tcheke. Ki jan fè rechèch ak ekstrè travay? Nan yon nivo segondè, "Rechèch ak ekstrè" ka rezime ak kouri travay sa a: Pwodwi pou pwosesis travay sa a se yon lis nan tèm ki ka rechèch. Sa yo se anjeneral konteksyonèlman ekstrè soti nan dokiman, seri done, oswa date sous enfòmasyon lè l sèvi avèk AI / ML. Sa a se ki souvan rive nan enrichissement AI, verifikasyon done, RAG pwosesis travay, oswa aplikasyon rechèch profond. Malgre nan sous la, tèm yo ki ka rechèch yo pase nan konpoze a "Rechèch", kote yon solisyon SERP API fè rechèch otomatik sou sit entènèt sou motè rechèch objektif yo. Apre retire rezilta yo rechèch, ou ka tou konsidere tout paj entènèt retounen oswa filtre sèlman ki pi enpòtan lè l sèvi avèk AI / ML oswa règ strik (pou egzanp, kenbe paj soti nan domèn espesifik, lang, oswa lòt kritè). Si ou mete atansyon sou plizyè kesyon rechèch nan yon sèl fwa (si ou se kesyon diferan oswa plizyè paj pou menm kesyon an), ou ka bezwen kouri yon algorithm re-ranking Customized. Ranking a bay pa Google oswa nenpòt motè rechèch se optimisé pou SEO, ki ta ka pa reflete sa ki enpòtan pou ka itilize ou. Nan pratik, ou souvan vle re-ranchou paj chwazi ki baze sou objektif espesifik ou yo. The selected URLs are then sent to the “Extract“ node, where a web scraping service accesses each page and extracts the main information. This extracted data is fresh, contextual, and verifiable, as desired. Next, nou eksplore sèvis ki vini nan jwe nan "Rechèch" ak "Extract" faz, respektivman! Rechèch Motè rechèch tankou Google, Bing, DuckDuckGo, Baidu, ak Yandex pwoteje SERPs yo (Search Engine Résultats Pages) ak limite pousantaj ak CAPTCHAs pou anpeche scraping otomatik. Se poutèt sa, scraping bots ki eseye retire SERPs dirèkteman yo souvan bloke. Yon fason ki pi konfyans yo fè faz la "Rechèch" se lè l sèvi avèk yon solisyon SERP API. Sèvis sa yo ekspoze endpoints yo aktivize travay rechèch nan nwaj la lè l sèvi avèk enfrastrikti ki fèt yo jere skalabilite ak anti-bot mas pou ou. se youn nan pi konplè sèvis rechèch entènèt ki disponib. Li sipòte rechèch mondyal atravè yon rezo proxy nan plis pase 150 milyon IP nan 195 peyi, ka retounen done SERP konplètman parse nan JSON, ofri anpil opsyon pagination, ak sipòte entegre nan nenpòt done oswa ML pipeline lè l sèvi avèk demann HTTP estanda, osi byen ke plis pase 50 + AI ajan frameworks ak kouri. Serp API nan Bright Data Serp API nan Bright Data Plis, API a SERP nan Bright Data pèmèt ou kouri yon nimewo san limit nan kesyon rechèch nan paralèl. Sa vle di ou ka jwenn dè milye de rezilta pandan faz la "Rechèch". Lè sa a, ou ka filtre ak re-range yo dapre bezwen ou nan etap yo dènye nan pwosesis la "Rechèch ak ekstrè" jeneral la (kòm te di pi bonè). Ekstrè ️ Ekstraksyon done sou entènèt se pati a pi difisil. Rezon an se ke chak sit entènèt se diferan, e menm paj nan menm domèn ka swiv diferan rènse, done-visualization, ak retrè logik. Sa a fè aksè pwogramatik nan kontni yo trè difisil. Anplis de sa, sit yo tendans adopte mas anti-scraping pou pwoteje done piblik yo valè sou entènèt la. Li mande pou sèvis twazyèm-pati ki pèmèt ou jwenn aksè nan kontni nan paj entènèt, san yo pa gen pwoblèm ki jan pwoteje yo, epi pa gen pwoblèm bezwen scalability ou. Nan koneksyon sa a, Bright Data se youn nan pi bon founisè solisyon scraping sou entènèt la sou mache a, akòz zouti tankou: 
 
 
 Web Unlocker API: Yon API ki aksè nan nenpòt paj piblik sou entènèt san efò, manyen blòk, CAPTCHAs, Fingerprinting, ak rotasyon proxy otomatikman. Navigatè API: Yon navigatè Cloud ki konpatib ak Puppeteer, Selenium, Playwright, ak lòt frameworks otomatik, ki gen entegre CAPTCHA solisyon ak otomatik jesyon proxy. Web Unlocker API nan Web Unlocker API nan navigatè API navigatè API Web Unlocker se ideyal pou retrè kontni paj, si ou nan HTML brik oswa AI-ready Markdown (a ). Pou sit dinamik ki mande pou interaksyon oswa otomatize pou aksè nan done ou bezwen, API navigatè se pi bon. gwo fòma done pou LLM ingestion gwo fòma done pou LLM ingestion Jwenn ansanm, de solisyon sa yo kouvri tout bagay ki nesesè pou etap la "Extract" nan yon "Search and Extract" workflow. Ki jan yo aplike yon rechèch ak ekstrè flux travay nan Python Aprann ki jan yo aplike yon reyèl "Rechèch ak ekstrè" flux travay nan Python: 
 
 
 Pou faz la Rechèch, ou pral sèvi ak API a SERP nan Bright Data yo kouri rechèch sou entènèt. Pou faz la ekstrè, ou pral depann sou Web Unlocker API a pou retire ak analize kontni soti nan paj selekte yo. Suiv entwodiksyon an anba a! Kondisyon Pou swiv ansanm ak seksyon sa a tutorial, asire w ke ou gen: 
 
 
 Python 3.9 + te enstale lokalman. Yon kont Bright Data konfigirasyon ak yon zòn API SERP ak yon zòn API Web Unlocker, ansanm ak kle API ou. Si ou pa konnen ki jan yo kòmanse ak Bright Data a SERP API oswa Web Unlocker API pwodwi, swiv dokiman ofisyèl la: 
 
 
 Entwodiksyon nan SERP API Entwodiksyon nan Bright Data's Unlocker API Entwodiksyon nan SERP API Entwodiksyon nan SERP API Entwodiksyon nan Bright Data's Unlocker API Entwodiksyon nan Bright Data's Unlocker API Soti nan kounye a, nou pral referans zòn SERP API ou a kòm  and to your Web Unlocker API zone as  : serp_api web_unlocker Epitou, asire w ke zòn se konfigirasyon nan "Full JSON" mòd nan "Data Format" seksyon nan tab la konfigirasyon: serp_api Nan fason sa a, API a nan Bright Data SERP ap retounen rezilta SERP parse nan fòma JSON, ki fè yo pi fasil yo filtre ak re-range. Lastly,  . Sa a pral itilize pou autentifikasyon demann pou sèvis yo rele pi wo a! generate your Bright Data API key kreye Bright Data API kle ou Pou fè pwosesis la pi vit, nou pral presume ke ou deja gen yon pwojè Python etabli ak yon anviwònman vityèl nan plas. Etap #1: Prepare pou aksè nan sèvis Bright Data atravè API Yon fason ki pi fasil pou konekte nan sèvis Bright Data se dirèkteman atravè API li yo. Premye, enstale yon kliyan HTTP asynchronous tankou AIOHTTP: pip install aiohttp
 Apre sa, definye de fonksyon sa yo rele SERP API ak Web Unlocker API, respektivman: # Replace these with your Bright Data API token and zone names
BRIGHT_DATA_API_TOKEN = "<YOUR_BRIGHT_DATA_API_TOKEN>"
SERP_ZONE = "serp_api"  # Your SERP API zone
WEB_UNLOCKER_ZONE = "web_unlocker"  # Your Web Unlocker API zone

HEADERS = {
    "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data
    "Content-Type": "application/json"
}

async def fetch_serp(session, query, location="us", language="en"):
    url = "https://api.brightdata.com/request"
    data = {
        "zone": SERP_ZONE,
        "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}",
        "format": "json"
    }
    async with session.post(url, json=data, headers=HEADERS) as resp:
        response_data = await resp.json()
        return json.loads(response_data["body"])

async def fetch_page(session, page_url, data_format="markdown"):
    url = "https://api.brightdata.com/request"
    data = {
        "zone": WEB_UNLOCKER_ZONE,
        "url": page_url,
        "format": "raw",
        "data_format": data_format
    }
    async with session.post(url, json=data, headers=HEADERS) as resp:
        return await resp.text()
 nan fonksyon konekte nan API a Bright Data SERP fè Google rechèch ak retrete parse rezilta JSON SERP (kòm konfigirasyon nan kont ou). fetch_serp() menm jan an, konekte nan Bright Data Web Unlocker API a pou retire paj entènèt. Konfigirasyon pwodiksyon an kòm Markdown, ki se ideyal pou entwodiksyon nan LLMs. fetch_page() Pou plis enfòmasyon sou argòm yo, paramèt yo, ak ki jan yo rele de API sa yo, konsidere dokiman yo! : Nan pwodiksyon, evite hardcoding bright data API kle ou. Anplis de sa, chaje li soti nan yon varyab anviwònman. Note Gwo! Koulye a, ou gen blòk bati yo aplike faz yo "Rechèch" ak "Extract" nan  function: async import asyncio

async def main():
    # "Search and Extract" logic...

# Run the async main function
asyncio.run(main())
 Etap #2: Kòmanse faz la ekstrè Suppose ou gen ajan AI ki depann sou MCP entegre ak vle pwodwi yon rapò ki montre ki jan pwochen chanjman nan pwotokòl la ta ka afekte yo, ki nouvo karakteristik yo pral disponib, ak sou sa. LLM regilye pa ka ede anpil ak travay sa a, kòm MCP se relatif nouvo ak pi modèl yo te fòme sou done ki pi ansyen. Se poutèt sa, ou bezwen yon tèm rechèch tankou: "new version of MCP" 
 Klike sou SERP API a pou retrete rezilta Google SERP parse pou sa a rechèch: # Topics to search
input_topic = "new version of MCP"

async with aiohttp.ClientSession() as session:
    # Search phase: Get SERP results
    serp_results = await fetch_serp(session, input_topic)
 Dapre scè yo, nan fonksyon ap rele API a SERP lè l sèvi avèk rechèch la rechèch bay. Si ou bezwen fè fas a plizyè rechèch, ou ka rele Konpetitif itilize . fetch_serp() fetch_serp() asyncio.gather() : Dapre default, SERP API a retounen 10 rezilta pou chak kesyon, men li ka konfigirasyon pou retounen jiska 100 rezilta. Note Retourne rezilta Google SERP parse kòm yon dictionaire Python. Aksè ranking la lè l sèvi avèk Atribisyon yo: fetch_serp() organic serp_ranking_results = serp_results.get("organic", [])
 Imprime rezilta yo nan rechèch la, epi ou ta dwe jwenn yon pwodiksyon tankou sa a: Remake ki jan chak eleman nan matris la koresponn eksakteman ak rezilta ou pral jwenn lè w ap chèche pou "nouvo vèsyon nan MCP" sou Google: Etap #3: Filtre URLs nan enterè Soti nan tout rezilta SERP retounen pa apèl la SERP API, suppose ou enterese nan jiska rezilta yo 3 nan tèt nan " ” domèn (domèn ofisyèl la pou espesifikasyon an MCP). Epitou, konsidere ranpli orijinal Google a kòm ranpli ou vle kenbe. ModèlContextprotocol.io ModèlContextprotocol.io Filter them as follows: # Where to store the page URLs to scrape in the "Extract" phase
pages_of_interest = []

# Iterate over results and filter for URLs containing "modelcontextprotocol.io"
for result in serp_data_results:
    page_url = result.get("url")
    if "modelcontextprotocol.io" in page_url:
        pages_of_interest.append(page_url)
    # Stop once reaching 3 results
    if len(page_url) == 3:
        break
 Rezilta a pral yon lis nan URLs pou aksè pandan faz la "Extract". Nan kouri sa a, URLs yo identifye yo: [
  "http://blog.modelcontextprotocol.io/posts/2025-11-25-first-mcp-anniversary/",
  "https://modelcontextprotocol.io/development/roadmap",
  "https://modelcontextprotocol.io/specification/2025-11-25"
]
 Tan yo ekstrè enfòmasyon soti nan paj sa yo! Etap #4: Kòmanse faz la ekstrè Sèvi ak fonksyon yo rele Web Unlocker API a ak rasin twa paj chwazi nan paralèl: fetch_page() tasks = [fetch_page(session, url) for url in pages_of_interest]
web_page_results = await asyncio.gather(*tasks)
 : Si ou ap fè fas ak yon sit dinamik ki mande pou interaksyon itilizatè, ekstrè done soti nan li lè l sèvi avèk yon teknoloji otomatik navigatè tankou Playwright, entegre ak API navigatè a. Pou plis gid, gade nan dokiman yo. Note Rezilta a pral yon matris ki gen kontni a nan chak paj objektif. Aksè a kontni a Markdown desann soti nan chak paj ak: markdown_pages = [page for page in web_page_results]
 Verifye ke matris la reyèlman gen Markdown nan paj destinasyon: for markdown_page in markdown_pages:
    print(markdown_page[:300] + "...\n---\n")
 Nan ka sa a, pwodiksyon an se: Li koresponn ak vèsyon an Markdown nan chak paj targeted, ki vle di Web Unlocker API te kapab fè ekstraksyon done sou entènèt avèk siksè, san yo pa gen okenn anti-bot oswa anti-scraping mas nan plas. Dapre sa a nouvo, kontextual, ak verifiable done, sove li pou devlope plis analiz, pase li nan yon LLM pou pwosesis, sèvi ak li detekte tèm adisyonèl nan enterè, kontinye ak rechèch pi profond, oswa aplike li nan anpil lòt ka itilizasyon. Misyon konplè! Etap #5: Kòd konplè Vèsyon final nan egzanp la se: # pip install aiohttp

import asyncio
import aiohttp
import urllib.parse
import json

# Replace these with your Bright Data API token and zone names
BRIGHT_DATA_API_TOKEN = "<YOUR_BRIGHT_DATA_API_KEY>"
SERP_ZONE = "serp_api"  # Your SERP API zone
WEB_UNLOCKER_ZONE = "web_unlocker"  # Your Web Unlocker API zone

HEADERS = {
    "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data
    "Content-Type": "application/json"
}

async def fetch_serp(session, query, location="us", language="en"):
    url = "https://api.brightdata.com/request"
    data = {
        "zone": SERP_ZONE,
        "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}",
        "format": "json"
    }
    async with session.post(url, json=data, headers=HEADERS) as resp:
        response_data = await resp.json()
        return json.loads(response_data["body"])

async def fetch_page(session, page_url, data_format="markdown"):
    url = "https://api.brightdata.com/request"
    data = {
        "zone": WEB_UNLOCKER_ZONE,
        "url": page_url,
        "format": "raw",
        "data_format": data_format
    }
    async with session.post(url, json=data, headers=HEADERS) as resp:
        return await resp.text()


async def main():
    # Topics to search
    input_topic = "new version of MCP"

    async with aiohttp.ClientSession() as session:
        # Search phase: Get SERP results
        serp_results = await fetch_serp(session, input_topic)

        # Where to store the page URLs to scrape in the "Extract" phase
        pages_of_interest = []

        # Iterate over results and filter for URLs containing "modelcontextprotocol.io"
        for result in serp_results.get("organic", []):
            page_url = result.get("link")
            if page_url and "modelcontextprotocol.io" in page_url:
                pages_of_interest.append(page_url)
            if len(pages_of_interest) == 3:
                break

        print("Pages to scrape:", pages_of_interest)

        # Extract phase: Scrape pages concurrently
        tasks = [fetch_page(session, url) for url in pages_of_interest]
        web_page_results = await asyncio.gather(*tasks)

        # Access the content from each page
        markdown_pages = [page for page in web_page_results]

        print("Scraped page contents:")
        for markdown_page in markdown_pages:
            print(markdown_page[:300] + "...\n---\n")

        # AI processing, RAG pipelines, or further workflows...

# Run the async main function
asyncio.run(main())
 Mèsi a Bright Data API-ready pwodwi, ou ka implemante yon efikas, enterprise-grade, pwodiksyon-ready "Search and Extract" travay flux nan mwens pase 50 liy nan kòd Python! Konklisyon Nan pòs sa a, ou te gade nan poukisa pipelines done ak AI travay flux depann sou ajou, konteks, ak enfòmasyon konfyans. Nan fen a, pi bon entwodiksyon mennen nan pi bon pwodiksyon, espesyalman nan sistèm ki baze sou AI! Yon fason konfyans pou kolekte done sa a se atravè patnè AI, ki te efikasman vin yon apwòch estanda pou aksè nan bon jan kalite segondè, verifiable done entènèt. fas otomatik deteksyon atravè motè rechèch, pandan y ap faz retire enfòmasyon estrikti soti nan rezilta ki pi enpòtan. Rechèch ak ekstrè Rechèch Ekstrè ️ Kòm montre tout antye a nan atik sa a, lè l sèvi avèk yon platfòm scraping entènèt ki pare pou AI tankou Bright Data fè implemantasyon sa a flux travay tou pratik ak skalab. epi eksplore tout solisyon web done li yo! Start a Bright Data free trial today Kòmanse yon trial gratis nan Bright Data jodi a 
 
 Paj sa a se pibliye nan Hackernon biznis Blogging pwogram. atik sa a te pibliye nan Pwogram nan. HackNoon biznis Blogging

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

This writer has a vested interest be it monetary, business, or otherwise, with 1 or more of the products or companies mentioned within.

Portfolio

Odyo sa a pwodui nan lang orijinal istwa a!

Rechèch ak ekstrè: Poukisa sa a patnè AI enpòtan, tutoryèl, ak egzanp

About Author

KÒMANtè

KANDYE TAGS

ATIK SA A TE PREZANTE NAN

Related Stories

Code Refactoring Tips: No. 015 - Remove NULL

2022 Noonies Nominee Veronika Vasileva on Programming, Python, and More

HN Editor Picks: Top Tech Stories of March 2023

American Equity, by Sam Altman (with comments & highlights)

Code Refactoring Tips: No. 015 - Remove NULL

2022 Noonies Nominee Veronika Vasileva on Programming, Python, and More

HN Editor Picks: Top Tech Stories of March 2023

American Equity, by Sam Altman (with comments & highlights)

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps