Die meeste AI-agente, ML-pijpleine, AI-verrykking werkstrome, diep navorsingstelsels en data-gedrewe besluitmasjiene misluk nie omdat die modelle sleg is nie. Spesifiek, die data is geneig om verouderd te wees, buite konteks, onverifieerbaar, of al drie op 'n keer.Dit is die kernprobleem. In hierdie artikel sal jy sien wat eintlik beteken, hoe dit werk onder die hoed, hoekom dit belangriker is as wat die meeste mense dink, en hoe om dit eind-tot-end te implementeer met 'n konkrete voorbeeld! Soek en uittreksel Die behoefte aan vars, kontekstuele en betroubare, verifieerbare inligting Volgens Statista word elke dag ongeveer 402,74 miljoen terabyte data gegenereer. Hierdie data vloei in die web, data-opslaghuise, analitiese stacks en pipelines op 'n skaal wat eerlik moeilik is om te rede. Maar hier is die vang: meer data beteken nie beter data nie! By daardie volume is dit onrealisties om te veronderstel dat alles die werklikheid weerspieël - of dat dit selfs in die eerste plek vertrou kan word ... Ondernemings maak nog steeds besluite, outomasies en AI-gedrewe oproepe gebaseer op Die data. Die En wanneer die bron verouderd, onvolledig, of net blykbaar verkeerd is ... die insigte wat daarop gebou is, kan nie betroubaar wees nie. Dit is presies hoekom LLMs hallucineer, AI-agente gee oortuigende maar onjuiste antwoorde, en data-pijpleine misluk stil in produksie. In die meeste werklike gevalle is die probleem nie die model, die gereedskap of die implementasie nie. Of jy nou 'n klassieke analitiese werkstroom of 'n ten volle autonoom AI-agent hardloop, alles hang af van die gehalte van die brondata. 
 
 
 
 Die nuwe Die konteks Verifiseer Ten slotte, as jy nie weet Die data kom van of dit versamel is, kan jy nie realisties die uitslag vertrou nie. Waar Wanneer Dit is die ware vraag. 
 
 Hoe vind jy betroubaar inligting wat up-to-date is, relevant is vir 'n spesifieke taak en waarskynlik aan sy bron gekoppel is? Hoe vind jy betroubaar inligting wat up-to-date is, relevant is vir 'n spesifieke taak en waarskynlik aan sy bron gekoppel is? Dit is waar die Pattern kom in! kom ons breek dit af. Search and Extract Soek en uittreksel: wat dit is en waarom dit die oplossing is “Search and Extract” is ’n 'n proses om opgedateerde, verifieerbare en konteks-ryke inligting van die web te herhaal.  Dit is eenvoudig in struktuur, maar uiters effektief in die praktyk. De facto standaard Op 'n hoë vlak, dit werk in twee verskillende stappe: 
 
 
 Soek: Die stelsel voer 'n live websoek op soekenjins soos Google uit om die mees relevante en betroubare bronne vir 'n gegewe query te vind. Uittreksel: Uit die soeke resultate identifiseer die stelsel die mees relevante URL's, besoek daardie bladsye en kry die mees nuttige inhoud of data daarvan. Dit kan feite, statistieke, definisies of gestruktureerde inligting wat van die bladsy geanaliseer word, insluit. Hierdie patroon is veral nuttig in AI-verwante toepassings, soos AI-agente, , en maatskappy-klas AI-werkstrome. Ook, dit is toepaslik op tradisionele masjienlering, feit-kontrole en data-verryking pijpleine. Agente RAG stelsels Agente RAG stelsels Die uiteindelike doel van die "Search and Extract" patroon is om die moderne data uitdagings aan te spreek deur te verseker dat die versamel inligting is: 
 
 
 
 Vers, aangesien die skraap openbare web data kom van onlangse websoek, wat die nuutste inligting en nuus kan insluit. Kontextuele , aangesien die inligting nou in ooreenstemming is met die onderwerpe wat in die soektog spesifiseer word. Verifiseerbaar , aangesien die data direk van spesifieke webbladsye afkomstig is, met URL's wat almal kan besoek en kyk. Hoe werk soektog en uittreksel? Op 'n hoë vlak kan "Soek en uittreksel" opgesom word met die volgende werkstroom: Die invoer vir hierdie werkstroom is 'n lys van gesoekbare onderwerpe.Dit word gewoonlik kontekstueel uit dokumente, datasets of gegewe inligting bronne gebruik AI / ML.Dit is wat algemeen voorkom in AI-verrykking, data-verifikasie, RAG-werkstroom, of diep navorsingstoepassings. Onafhanklik van die bron, word die gesoekbare onderwerpe oorgedra na die "Soek" -komponent, waar 'n SERP API-oplossing geautomatiseerde websoektogte op die doelsoekmasjiene uitvoer.Na die soekresultate te vind, kan u al die teruggekeerde webbladsye oorweeg of slegs die mees relevante filtreer met behulp van AI / ML of streng reëls (bv. om bladsye van spesifieke domeine, tale of ander kriteria te hou). Wanneer jy verskeie soeke op dieselfde tyd (of verskillende soeke of verskeie bladsye vir dieselfde soeke) opdoen, moet jy dalk 'n aangepaste herrangsalgoritme hardloop. Die rangorde wat deur Google of enige soekenjin verskaf word, is geoptimaliseer vir SEO, wat dalk nie weerspieël wat belangrik is vir jou gebruik. Die gekose URL's word dan na die "Uitkom" knoop gestuur, waar 'n webskrapingdiens elke bladsy toegang gee en die belangrikste inligting uitneem. Volgende, laat ons ondersoek die dienste wat in die "Soek" en "Uitkom" fases in die spel kom, respectievelik! Soek die Soekmasjiene soos Google, Bing, DuckDuckGo, Baidu en Yandex beskerm hul SERPs (Search Engine Results Pages) met koersbeperkings en CAPTCHAs om outomatiese skraap te voorkom. Die mees betroubare manier om die "Soek" fase uit te voer, is deur 'n SERP API-oplossing te gebruik. Hierdie dienste blootstel eindpunte om soekaksies in die wolk te veroorsaak met behulp van infrastruktuur wat ontwerp is om skaalbaarheid en anti-bot maatreëls vir jou te hanteer. Dit ondersteun globale soeke deur middel van 'n proxy-netwerk van meer as 150 miljoen IP's in 195 lande, kan ten volle verspreide SERP-data in JSON terugkeer, bied baie paginasie opsies, en ondersteun integrasie in enige data of ML-pipeline met behulp van standaard HTTP-verzoeke, sowel as meer as 50 AI-agentraamwerke en werkstrome. Bright Data se SERP API Bright Data se SERP API Plus, Bright Data se SERP API laat jou toe om 'n onbeperkte aantal soeke parallel uit te voer. Dit beteken dat jy duisende resultate kan vind tydens die "Soek" fase. Uitgawe ️ Die rede is dat elke webwerf anders is, en selfs bladsye binne dieselfde domein kan verskillende rendering, data-visualisering, en vind logika volg. Dit maak programmatiese toegang tot hul inhoud baie moeilik. Dit vereis derde-party dienste wat jou toelaat om betroubaar toegang tot die inhoud van webbladsye te kry, ongeag hoe beskerm hulle is, en ongeag jou skaalbaarheidsbehoeftes. 
 
 
 Web Unlocker API: 'N API wat maklik toegang tot enige openbare webblad kry, blokke, CAPTCHAs, vingerafdrukke en proxy rotasie outomaties hanteer. Browser API: 'N Volledig gehost cloud-browser wat compatibel is met Puppeteer, Selenium, Playwright en ander outomatiese raamwerke, met ingeboude CAPTCHA-oplossing en outomatiese proxy bestuur. Die web Unlocker API Die web Unlocker API Navorsing van die API Navorsing van die API Web Unlocker is ideaal vir die vind van bladsy inhoud, óf in ruwe HTML of AI-ready Markdown (a Vir dinamiese webwerwe wat interaksie of outomasie benodig om toegang te verkry tot die data wat jy nodig het, is die Browser API die beter pas. groot data formaat vir LLM ingestie groot data formaat vir LLM ingestie Saam dek hierdie twee oplossings alles wat nodig is vir die "Uitkom" fase van 'n "Soek en Uittrek" werkstroom. Hoe om 'n soektog te implementeer en uit te haal werkstroom in Python Leer hoe om 'n realistiese "Soek en uittreksel" werkstroom in Python te implementeer: 
 
 
 Vir die Soekfase sal jy die Bright Data se SERP API gebruik om live websoeke te hardloop. Vir die uittreksel fase, sal jy vertrou op die Web Unlocker API om inhoud van die geselekteerde bladsye te aflaai en te verken. Volg die inleiding hieronder! Voorwaardes Om saam met hierdie tutorial afdeling te volg, maak seker jy het: 
 
 
 Python 3.9+ word plaaslik geïnstalleer. 'N Bright Data-rekening wat gekonfigureer is met 'n SERP API zone en 'n Web Unlocker API zone, saam met jou API sleutel. As jy nie bekend is met hoe om te begin met Bright Data se SERP API of Web Unlocker API produkte, volg die amptelike dokumentasie: 
 
 
 Inleiding tot die SERP API Inleiding tot Bright Data se Unlocker API Inleiding tot die SERP API Inleiding tot die SERP API Inleiding tot Bright Data se Unlocker API Inleiding tot Bright Data se Unlocker API Van nou af sal ons na jou SERP API-sone verwys as en na jou Web Unlocker API-sone as : serp_api web_unlocker Maak seker dat die die zone is ingestel in "Full JSON" modus in die "Data Format" afdeling binne die konfigurasie tabel: serp_api Op hierdie manier sal die Bright Data SERP API gepasseerde SERP resultate in JSON-formaat retourneer, wat dit makliker maak om te filter en te herrang. Ten slotte, Dit sal gebruik word om versoekings na die hierbo genoemde dienste te verifieer! generate your Bright Data API key Generer jou Bright Data API sleutel Om die proses te versnel, sal ons aanvaar dat jy reeds 'n Python-projek met 'n virtuele omgewing in plek het. Stap #1: Berei voor op toegang tot helder data dienste via API Die maklikste manier om verbinding te maak met Bright Data dienste is direk deur middel van sy API. Eerstens, installeer 'n asynchrone gereed HTTP kliënt soos AIOHTTP: pip install aiohttp
 Volgende, definieer die volgende twee funksies om die SERP API en Web Unlocker API te bel, respectievelik: # Replace these with your Bright Data API token and zone names
BRIGHT_DATA_API_TOKEN = "<YOUR_BRIGHT_DATA_API_TOKEN>"
SERP_ZONE = "serp_api"  # Your SERP API zone
WEB_UNLOCKER_ZONE = "web_unlocker"  # Your Web Unlocker API zone

HEADERS = {
    "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data
    "Content-Type": "application/json"
}

async def fetch_serp(session, query, location="us", language="en"):
    url = "https://api.brightdata.com/request"
    data = {
        "zone": SERP_ZONE,
        "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}",
        "format": "json"
    }
    async with session.post(url, json=data, headers=HEADERS) as resp:
        response_data = await resp.json()
        return json.loads(response_data["body"])

async def fetch_page(session, page_url, data_format="markdown"):
    url = "https://api.brightdata.com/request"
    data = {
        "zone": WEB_UNLOCKER_ZONE,
        "url": page_url,
        "format": "raw",
        "data_format": data_format
    }
    async with session.post(url, json=data, headers=HEADERS) as resp:
        return await resp.text()
 die funksie verbind tot die Bright Data SERP API om Google-soektogte uit te voer en gepaste JSON SERP-resultate te kry (soos ingestel in jou rekening). fetch_serp() Net so, verbind tot die Bright Data Web Unlocker API om webbladsye te vang. Konfigureer die uitvoer as Markdown, wat ideaal is vir inname in LLMs. fetch_page() Vir meer inligting oor die argumente, parameters en hoe om daardie twee API's te bel, verwys na die dokumente! : In produksie, vermy hardkodeer jou Bright Data API sleutel. Note Groot! Nou het jy die boublokke om die "Soek" en "Uitkom" fases in te voer Die funksie: async import asyncio

async def main():
    # "Search and Extract" logic...

# Run the async main function
asyncio.run(main())
 Stap #2: Voltooi die uittreksel fase Stel jy het AI-agente wat vertrou op MCP-integrasies en wil 'n verslag produseer wat toon hoe toekomstige veranderinge in die protokoll hulle kan beïnvloed, watter nuwe funksies beskikbaar sal wees, en so aan. Reguliere LLMs kan nie baie help met daardie taak nie, aangesien MCP relatief nuut is en die meeste modelle op ouer data opgelei is. "new version of MCP" 
 Bel die SERP API om gepaste Google SERP resultate vir daardie soektog te vind: # Topics to search
input_topic = "new version of MCP"

async with aiohttp.ClientSession() as session:
    # Search phase: Get SERP results
    serp_results = await fetch_serp(session, input_topic)
 Behalwe die toneel, die Funksie roep die SERP API met behulp van die voorgestelde soektog. As u verskeie soektogte moet hanteer, kan u mededingende gebruik . fetch_serp() fetch_serp() asyncio.gather() : Standaard gee die SERP-API 10 resultate per query terug, maar dit kan gekonfigureer word om tot 100 resultate terug te gee. Note retourneer gepaste Google SERP resultate as 'n Python-woordenboek. Die attribuut: fetch_serp() organic serp_ranking_results = serp_results.get("organic", [])
 Print die soektogresultate, en jy moet output soortgelyk aan hierdie kry: Let op hoe elke element in die reeks presies ooreenstem met die resultaat wat jy sou kry deur te soek na "nuwe weergawe van MCP" op Google: Stap #3: Filter die URL's van belangstelling Van al die SERP resultate wat deur die SERP API-oproep teruggekeer word, veronderstel jy is geïnteresseerd in tot die top 3 resultate van die " ” domein (die amptelike domein vir die MCP spesifikasie). Ook, laat ons oorweeg Google se oorspronklike posisie as die posisie wat jy wil bewaar. Modelleer die konteksprotocol.io Modelleer die konteksprotocol.io Filter dit soos volg: # Where to store the page URLs to scrape in the "Extract" phase
pages_of_interest = []

# Iterate over results and filter for URLs containing "modelcontextprotocol.io"
for result in serp_data_results:
    page_url = result.get("url")
    if "modelcontextprotocol.io" in page_url:
        pages_of_interest.append(page_url)
    # Stop once reaching 3 results
    if len(page_url) == 3:
        break
 Die resultaat sal 'n lys van URL's wees om toegang te verkry tydens die "Uitkom" fase. [
  "http://blog.modelcontextprotocol.io/posts/2025-11-25-first-mcp-anniversary/",
  "https://modelcontextprotocol.io/development/roadmap",
  "https://modelcontextprotocol.io/specification/2025-11-25"
]
 Tyd om inligting uit hierdie bladsye te onttrek! Stap #4: Voer die uittrekselfase uit Gebruik die Funksie om die Web Unlocker API te bel en die drie gekose bladsye parallel te skraap: fetch_page() tasks = [fetch_page(session, url) for url in pages_of_interest]
web_page_results = await asyncio.gather(*tasks)
 : As jy met 'n dinamiese webwerf wat gebruikersinteraksie vereis, hanteer data uit dit met behulp van 'n leser outomatiese tegnologie soos Playwright, geïntegreer met die Browser API. Note Die resultaat sal 'n reeks wees wat die inhoud van elke doelblad bevat. Toegang tot die ontblote Markdown-inhoud van elke bladsy met: markdown_pages = [page for page in web_page_results]
 Kyk of die matrix eintlik die Markdown van die doelbladsye bevat: for markdown_page in markdown_pages:
    print(markdown_page[:300] + "...\n---\n")
 In hierdie geval is die output: Dit stem ooreen met die Markdown-versie van elke gerigde bladsy, wat beteken dat die Web Unlocker API suksesvol webdata-uittreksel kon verrig, ongeag enige anti-bot of anti-skraapmaatreëls wat in plek is. Gegewe hierdie vars, konteks, en verifieerbare data, stoor dit vir verdere analise, stuur dit na 'n LLM vir verwerking, gebruik dit om bykomende onderwerpe van belang te ontdek, voort te gaan met dieper navorsing, of toepas dit op baie ander gebruik gevalle. Stap # 5: Voltooi die kode Die finale weergawe van die voorbeeld is: # pip install aiohttp

import asyncio
import aiohttp
import urllib.parse
import json

# Replace these with your Bright Data API token and zone names
BRIGHT_DATA_API_TOKEN = "<YOUR_BRIGHT_DATA_API_KEY>"
SERP_ZONE = "serp_api"  # Your SERP API zone
WEB_UNLOCKER_ZONE = "web_unlocker"  # Your Web Unlocker API zone

HEADERS = {
    "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data
    "Content-Type": "application/json"
}

async def fetch_serp(session, query, location="us", language="en"):
    url = "https://api.brightdata.com/request"
    data = {
        "zone": SERP_ZONE,
        "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}",
        "format": "json"
    }
    async with session.post(url, json=data, headers=HEADERS) as resp:
        response_data = await resp.json()
        return json.loads(response_data["body"])

async def fetch_page(session, page_url, data_format="markdown"):
    url = "https://api.brightdata.com/request"
    data = {
        "zone": WEB_UNLOCKER_ZONE,
        "url": page_url,
        "format": "raw",
        "data_format": data_format
    }
    async with session.post(url, json=data, headers=HEADERS) as resp:
        return await resp.text()


async def main():
    # Topics to search
    input_topic = "new version of MCP"

    async with aiohttp.ClientSession() as session:
        # Search phase: Get SERP results
        serp_results = await fetch_serp(session, input_topic)

        # Where to store the page URLs to scrape in the "Extract" phase
        pages_of_interest = []

        # Iterate over results and filter for URLs containing "modelcontextprotocol.io"
        for result in serp_results.get("organic", []):
            page_url = result.get("link")
            if page_url and "modelcontextprotocol.io" in page_url:
                pages_of_interest.append(page_url)
            if len(pages_of_interest) == 3:
                break

        print("Pages to scrape:", pages_of_interest)

        # Extract phase: Scrape pages concurrently
        tasks = [fetch_page(session, url) for url in pages_of_interest]
        web_page_results = await asyncio.gather(*tasks)

        # Access the content from each page
        markdown_pages = [page for page in web_page_results]

        print("Scraped page contents:")
        for markdown_page in markdown_pages:
            print(markdown_page[:300] + "...\n---\n")

        # AI processing, RAG pipelines, or further workflows...

# Run the async main function
asyncio.run(main())
 Dankie aan Bright Data API-bereide produkte, kan jy 'n effektiewe, maatskappy-grade, produksie-bereide "Search and Extract" werkstroom in minder as 50 rye van Python-kode implementeer! Konklusie In hierdie pos het jy gekyk waarom data pipelines en AI-werkstrome afhanklik is van opgedateerde, kontekstuele en betroubare inligting. Een betroubare manier om daardie data te versamel, is deur die AI patroon, wat effektief 'n standaard benadering geword het vir die toegang tot hoë gehalte, verifieerbare webdata. fase automatiseer ontdekking oor soekmasjiene, terwyl die Fase trek gestruktureerde inligting uit die mees relevante resultate. Soek en uittreksel Soek die Uitgawe ️ Soos gedurende hierdie artikel getoon word, maak die gebruik van 'n AI-voorbereide webskraapplatform soos Bright Data die implementering van hierdie werkstroom beide prakties en skaalbaar. en verken al sy web data oplossings! Begin 'n Bright Data gratis proefversie vandag Begin 'n Bright Data gratis proefversie vandag 
 
 Hierdie artikel is gepubliseer deur die HackerNoon Business Blogging program. Hierdie artikel is gepubliseer deur die HackerNoon Business Blogging program.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

This writer has a vested interest be it monetary, business, or otherwise, with 1 or more of the products or companies mentioned within.

Portfolio

Hierdie oudio word in die oorspronklike taal van die storie vervaardig!

Soek en uittreksel: Hoekom hierdie AI-patroon saak maak, tutoriale en voorbeeld

About Author

KOMMENTAAR

HANG TAGS

HIERDIE ARTIKEL IS AANGEBIED IN

Related Stories

Top Actionable Tips to Grow a Community: More Tips to Monetize

Hurry! One Month Left to Win from $5000 in the Web3 Development Writing Contest

Thrilled to be Recognized as Startup of the Year in New York City

How to Vote in the HackerNoon 2021 Noonies Awards #Noonies2021

Top Actionable Tips to Grow a Community: More Tips to Monetize

Hurry! One Month Left to Win from $5000 in the Web3 Development Writing Contest

Thrilled to be Recognized as Startup of the Year in New York City

How to Vote in the HackerNoon 2021 Noonies Awards #Noonies2021

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps