De fleste AI-agenter, ML-rørledninger, AI-berigelse arbejdsprocesser, dybtgående forskningssystemer og data-drevne beslutningsmotorer fejler ikke, fordi modellerne er dårlige. Specifikt har dataene tendens til at være forældede, ud af kontekst, ikke-verificerbare, eller alle tre på én gang. I denne artikel vil du se, hvad Faktisk betyder, hvordan det fungerer under kappen, hvorfor det betyder mere end de fleste mennesker tror, og hvordan man implementerer det end-to-end med et konkret eksempel! Søg og uddrag Behovet for friske, kontekstuelle og pålidelige, verificerbare oplysninger Ifølge Statista genereres der ca. 402,74 millioner terabyte data hver eneste dag. Disse data strømmer ind i internettet, datalagre, analytics stacks og pipelines på en skala, der er ærligt vanskeligt at begrunde. Men her er fangsten: Flere data betyder ikke bedre data! På det volumen er det urealistisk at antage, at alt afspejler virkeligheden - eller at det endda kan stole på i første omgang ... Virksomheder træffer stadig forretningsbeslutninger, automatisering og AI-drevne opkald baseret på af data. Det Og når kilden er forældet, ufuldstændig eller simpelthen forkert ... kan de indsigter, der er bygget på den, ikke være pålidelige. Det er netop derfor, LLM'er hallucinerer, AI-agenter giver overbevisende, men forkerte svar, og data rørledninger stille fejler i produktionen. I de fleste virkelige tilfælde er problemet ikke modellen, værktøjet eller implementeringen. Uanset om du kører en klassisk analyse arbejdsproces eller en fuldt autonom AI agent, alt afhænger af kvaliteten af kildedata. 
 
 
 
 Frisk Kontekstmæssigt Verificeret Efter alt, hvis du ikke ved Dataene stammer fra eller Det blev samlet, du kan ikke realistisk stole på resultatet. Hvor Når Det er det virkelige spørgsmål. 
 
 Hvordan kan du pålideligt hente oplysninger, der er opdaterede, relevante for en bestemt opgave og bevist knyttet tilbage til kilden? Hvordan kan du pålideligt hente oplysninger, der er opdaterede, relevante for en bestemt opgave og bevist knyttet tilbage til kilden? Det er her, hvor den Mønsteret kommer ind! lad os bryde det ned. Search and Extract Søg og udtræk: Hvad det er og hvorfor det er løsningen “Søg og udtræk” er en Processen til at hente opdaterede, verificerbare og kontekstrige oplysninger fra internettet er enkel i struktur, men yderst effektiv i praksis. De facto standard På et højt niveau opererer det i to forskellige trin: 
 
 
 Søgning: Systemet udfører en live web-søgning på søgemaskiner som Google for at finde de mest relevante og pålidelige kilder til en given forespørgsel. Uddrag: Fra søgeresultaterne identificerer systemet de mest relevante URL'er, besøger disse sider og henter det mest nyttige indhold eller data fra dem. Dette kan omfatte fakta, statistikker, definitioner eller strukturerede oplysninger analyseret fra siden. Dette mønster er især nyttigt i AI-relaterede applikationer, såsom AI-agenter, , og virksomhedsklasse AI-arbejdsprocesser. Det gælder også for traditionelle maskinindlæring, faktatjek og data berigelse rørledninger. Agentiske RAG systemer Agentiske RAG systemer Det endelige mål med "Søg og udtræk" mønster er at løse de moderne data udfordringer ved at sikre, at de indsamlede oplysninger er: 
 
 
 
 Fresh , da de skrabede offentlige webdata kommer fra seneste websøgninger, som kan omfatte de nyeste oplysninger og nyheder. Kontekstmæssig, da oplysningerne er tæt forbundet med de emner, der er angivet i søgeforespørgslen. Verificerbar, da dataene stammer direkte fra specifikke websider, med URL'er, som alle kan besøge og tjekke. Hvordan søger og udtrækker arbejde? På et højt niveau kan "Søg og udtræk" opsummeres med følgende arbejdsproces: Indtastningen til denne arbejdsproces er en liste over søgbare emner. Disse er generelt kontekstuelt udvundet fra dokumenter, datasæt eller givne informationskilder ved hjælp af AI/ML. Det er, hvad der almindeligt forekommer i AI-berigelse, dataverifikation, RAG-arbejdsprocesser eller dybforskningsapplikationer. Uanset kilden overføres de søgbare emner til "Søg"-komponenten, hvor en SERP API-løsning udfører automatiserede websøgninger på de målrettede søgemaskiner.Efter at have hentet søgeresultaterne, kan du enten overveje alle returnerede websider eller filtrere kun de mest relevante ved hjælp af AI/ML eller strenge regler (f.eks. holde sider fra bestemte domæner, sprog eller andre kriterier). Når du målretter flere søgeforespørgsler på én gang (enten forskellige forespørgsler eller flere sider for den samme forespørgsel), skal du muligvis køre en brugerdefineret re-rangering algoritme. Rankingen leveret af Google eller enhver søgemaskine er optimeret til SEO, som måske ikke afspejler, hvad der er vigtigt for din brugssag. De valgte URL'er sendes derefter til "Udtræk" knuden, hvor en webskrapningstjeneste får adgang til hver side og udtrækker de vigtigste oplysninger. Næste, lad os udforske de tjenester, der kommer i spil i "Søg" og "Udtræk" faser, henholdsvis! Søg Søgemaskiner som Google, Bing, DuckDuckGo, Baidu og Yandex beskytter deres SERPs (Search Engine Results Pages) med satsgrænser og CAPTCHAs for at forhindre automatisk skrabning. Den mest pålidelige måde at udføre "Søg" -fasen er ved at bruge en SERP API-løsning.Disse tjenester udsætter endpoints for at udløse søgeopgaver i skyen ved hjælp af infrastruktur designet til at håndtere skalerbarhed og anti-bot-foranstaltninger for dig. Det understøtter globale søgninger gennem et proxy-netværk på mere end 150 millioner IP'er i 195 lande, kan returnere fuldt analyserede SERP-data i JSON, tilbyder mange sideringsmuligheder og understøtter integration i alle data eller ML-rørledninger ved hjælp af standard HTTP-forespørgsler samt over 50 AI-agentrammer og arbejdsprocesser. Bright Data’s SERP API Bright Data’s SERP API Plus, Bright Data’s SERP API giver dig mulighed for at køre et ubegrænset antal søgeforespørgsler parallelt. Dette betyder, at du kan hente tusindvis af resultater under “Søg”-fasen. Derefter kan du filtrere og re-rangere dem efter dine behov i de senere faser af den samlede “Søg og udtræk” proces (som nævnt tidligere). Uddrag ️ Årsagen er, at hver hjemmeside er anderledes, og selv sider inden for samme domæne kan følge forskellige rendering, data-visualisering og indhentning logik. Dette gør programmatisk adgang til deres indhold ret vanskeligt. Det kræver tredjepartstjenester, der giver dig mulighed for pålideligt at få adgang til indholdet af websider, uanset hvor beskyttet de er, og uanset dine skalerbarhedsbehov. 
 
 
 Web Unlocker API: En API, der tilgår enhver offentlig webside uden besvær, håndterer blokke, CAPTCHAs, fingeraftryk og proxy rotation automatisk. Browser API: En fuldt hostet cloud-browser, der er kompatibel med Puppeteer, Selenium, Playwright og andre automatiseringsrammer, med indbygget CAPTCHA-løsning og automatiseret proxy management. Brug af Web Unlocker API Brug af Web Unlocker API Browsere af API Browsere af API Web Unlocker er ideel til at hente sideindhold, enten i rå HTML eller AI-klar Markdown (en For dynamiske websteder, der kræver interaktion eller automatisering for at få adgang til de data, du har brug for, er Browser API bedre egnet. stor data format for LLM indtagelse stor data format for LLM indtagelse Sammen dækker disse to løsninger alt, hvad der kræves for "Udtræk" -fasen i en "Søg og Udtræk" -arbejdsproces. Sådan implementeres en søgning og udtræk arbejdsproces i Python Lær, hvordan du implementerer en realistisk "Søg og udtræk" arbejdsproces i Python: 
 
 
 For søgningsfasen vil du bruge Bright Data's SERP API til at køre live websøgninger. For ekstraktfasen vil du stole på Web Unlocker API til at hente og analysere indhold fra de valgte sider. Følg introduktionen nedenfor! Forudsætninger For at følge denne tutorial sektion, skal du sørge for at du har: 
 
 
 Python 3.9+ er installeret lokalt. En Bright Data-konto konfigureret med en SERP API-zone og en Web Unlocker API-zone sammen med din API-nøgle. Hvis du ikke er bekendt med, hvordan du starter med Bright Data's SERP API eller Web Unlocker API-produkter, skal du følge den officielle dokumentation: 
 
 
 Introduktion til SERP API Introduktion til Bright Data's Unlocker API Introduktion til SERP API Introduktion til SERP API Introduktion til Bright Data's Unlocker API Introduktion til Bright Data's Unlocker API Fra nu af vil vi henvise til din SERP API-zone som og til din Web Unlocker API zone som : serp_api web_unlocker Så sørg for, at de zone er konfigureret i "Full JSON" -tilstand i afsnittet "Data Format" inde i konfigurationstabellen: serp_api På denne måde returnerer Bright Data SERP API de analyserede SERP-resultater i JSON-format, hvilket gør det lettere at filtrere og omrangere dem. Til sidst Det vil blive brugt til at autentisere anmodninger til de ovennævnte tjenester! generate your Bright Data API key Generer din Bright Data API-nøgle For at fremskynde processen antager vi, at du allerede har et Python-projekt oprettet med et virtuelt miljø på plads. Trin #1: Forbered dig på at få adgang til Bright Data Services via API Den nemmeste måde at oprette forbindelse til Bright Data-tjenester på er direkte gennem dets API. Først skal du installere en asynkron HTTP-klient som AIOHTTP: pip install aiohttp
 Derefter definerer følgende to funktioner til at kalde SERP API og Web Unlocker API, henholdsvis: # Replace these with your Bright Data API token and zone names
BRIGHT_DATA_API_TOKEN = "<YOUR_BRIGHT_DATA_API_TOKEN>"
SERP_ZONE = "serp_api"  # Your SERP API zone
WEB_UNLOCKER_ZONE = "web_unlocker"  # Your Web Unlocker API zone

HEADERS = {
    "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data
    "Content-Type": "application/json"
}

async def fetch_serp(session, query, location="us", language="en"):
    url = "https://api.brightdata.com/request"
    data = {
        "zone": SERP_ZONE,
        "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}",
        "format": "json"
    }
    async with session.post(url, json=data, headers=HEADERS) as resp:
        response_data = await resp.json()
        return json.loads(response_data["body"])

async def fetch_page(session, page_url, data_format="markdown"):
    url = "https://api.brightdata.com/request"
    data = {
        "zone": WEB_UNLOCKER_ZONE,
        "url": page_url,
        "format": "raw",
        "data_format": data_format
    }
    async with session.post(url, json=data, headers=HEADERS) as resp:
        return await resp.text()
 Den Funktionen forbinder til Bright Data SERP API for at udføre Google-søgninger og hente parrede JSON SERP-resultater (som konfigureret i din konto). fetch_serp() På samme måde, forbindes til Bright Data Web Unlocker API for at hente websider. Konfigurering af output som Markdown, hvilket er ideelt til indtagelse i LLM'er. fetch_page() For mere information om argumenter, parametre og hvordan man kalder disse to API'er, henvis til dokumenterne! : I produktion, undgå hardcoding din Bright Data API-nøgle. i stedet indlæse det fra en miljøvariabel. Note Nu har du byggeblokke til at implementere "Søg" og "Udtræk" faser i Funktioner af: async import asyncio

async def main():
    # "Search and Extract" logic...

# Run the async main function
asyncio.run(main())
 Trin #2: Udfør ekstraktfasen Antag, at du har AI-agenter, der er afhængige af MCP-integrationer, og ønsker at producere en rapport, der viser, hvordan fremtidige ændringer i protokollen kan påvirke dem, hvilke nye funktioner der vil være tilgængelige, og så videre. Regelmæssige LLM'er kan ikke hjælpe meget med denne opgave, da MCP er relativt nyt og de fleste modeller blev uddannet på ældre data. "new version of MCP" 
 Ring til SERP API'en for at hente parrede Google SERP-resultater for den pågældende søgeforespørgsel: # Topics to search
input_topic = "new version of MCP"

async with aiohttp.ClientSession() as session:
    # Search phase: Get SERP results
    serp_results = await fetch_serp(session, input_topic)
 Bag kulisserne, den Funktionen kalder SERP API'en ved hjælp af den angivne søgeforespørgsel. Hvis du har brug for at håndtere flere forespørgsler, kan du kalde Konkurrerende brug . fetch_serp() fetch_serp() asyncio.gather() Som standard returnerer SERP API 10 resultater pr. forespørgsel, men det kan konfigureres til at returnere op til 100 resultater. Note returnerer analyserede Google SERP-resultater som et Python-ordbog. Det atribut: fetch_serp() organic serp_ranking_results = serp_results.get("organic", [])
 Udskriv søgeresultaterne, og du skal få en lignende output: Bemærk, hvordan hvert element i arrayet svarer nøjagtigt til det resultat, du ville få ved at søge efter "ny version af MCP" på Google: Trin #3: Filtrere URL'er af interesse Ud af alle SERP-resultater, der returneres af SERP API-opkaldet, antag, at du er interesseret i op til de 3 øverste resultater fra " ” domæne (det officielle domæne for MCP-specifikationen).Lad os også overveje Googles oprindelige placering som den placering, du vil bevare. Modelkontekstprotokoll.io Modelkontekstprotokoll.io Filtrer dem som følger: # Where to store the page URLs to scrape in the "Extract" phase
pages_of_interest = []

# Iterate over results and filter for URLs containing "modelcontextprotocol.io"
for result in serp_data_results:
    page_url = result.get("url")
    if "modelcontextprotocol.io" in page_url:
        pages_of_interest.append(page_url)
    # Stop once reaching 3 results
    if len(page_url) == 3:
        break
 Resultatet vil være en liste over URL'er, der skal tilgås under "Udtræk"-fasen. I dette løb er de identificerede URL'er: [
  "http://blog.modelcontextprotocol.io/posts/2025-11-25-first-mcp-anniversary/",
  "https://modelcontextprotocol.io/development/roadmap",
  "https://modelcontextprotocol.io/specification/2025-11-25"
]
 Det er tid til at udtrække informationer fra disse sider! Trin #4: Udfør ekstraktfasen Brug den Funktionen til at ringe til Web Unlocker API og skrabe de tre valgte sider parallelt: fetch_page() tasks = [fetch_page(session, url) for url in pages_of_interest]
web_page_results = await asyncio.gather(*tasks)
 Hvis du beskæftiger dig med et dynamisk websted, der kræver brugerinteraktion, skal du udtrække data fra det ved hjælp af en browserautomationsteknologi som Playwright, der er integreret med Browser API. Note Resultatet vil være en matrix, der indeholder indholdet af hver målside. Få adgang til det låste Markdown-indhold fra hver side med: markdown_pages = [page for page in web_page_results]
 Kontroller, at arrayet faktisk indeholder Markdown af målsiderne: for markdown_page in markdown_pages:
    print(markdown_page[:300] + "...\n---\n")
 I dette tilfælde er udgangen: Det svarer til Markdown-versionen af hver målrettet side, hvilket betyder, at Web Unlocker API var i stand til at udføre webdataudtrækning med succes, uanset eventuelle anti-bot eller anti-scraping-foranstaltninger på plads. I betragtning af disse friske, kontekstuelle og verificerbare data, gemme det til yderligere analyse, videregive det til en LLM til behandling, bruge det til at opdage yderligere emner af interesse, fortsætte med dybere forskning, eller anvende det til mange andre brugssager. Trin #5: Komplet kode Den endelige version af eksemplet er: # pip install aiohttp

import asyncio
import aiohttp
import urllib.parse
import json

# Replace these with your Bright Data API token and zone names
BRIGHT_DATA_API_TOKEN = "<YOUR_BRIGHT_DATA_API_KEY>"
SERP_ZONE = "serp_api"  # Your SERP API zone
WEB_UNLOCKER_ZONE = "web_unlocker"  # Your Web Unlocker API zone

HEADERS = {
    "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data
    "Content-Type": "application/json"
}

async def fetch_serp(session, query, location="us", language="en"):
    url = "https://api.brightdata.com/request"
    data = {
        "zone": SERP_ZONE,
        "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}",
        "format": "json"
    }
    async with session.post(url, json=data, headers=HEADERS) as resp:
        response_data = await resp.json()
        return json.loads(response_data["body"])

async def fetch_page(session, page_url, data_format="markdown"):
    url = "https://api.brightdata.com/request"
    data = {
        "zone": WEB_UNLOCKER_ZONE,
        "url": page_url,
        "format": "raw",
        "data_format": data_format
    }
    async with session.post(url, json=data, headers=HEADERS) as resp:
        return await resp.text()


async def main():
    # Topics to search
    input_topic = "new version of MCP"

    async with aiohttp.ClientSession() as session:
        # Search phase: Get SERP results
        serp_results = await fetch_serp(session, input_topic)

        # Where to store the page URLs to scrape in the "Extract" phase
        pages_of_interest = []

        # Iterate over results and filter for URLs containing "modelcontextprotocol.io"
        for result in serp_results.get("organic", []):
            page_url = result.get("link")
            if page_url and "modelcontextprotocol.io" in page_url:
                pages_of_interest.append(page_url)
            if len(pages_of_interest) == 3:
                break

        print("Pages to scrape:", pages_of_interest)

        # Extract phase: Scrape pages concurrently
        tasks = [fetch_page(session, url) for url in pages_of_interest]
        web_page_results = await asyncio.gather(*tasks)

        # Access the content from each page
        markdown_pages = [page for page in web_page_results]

        print("Scraped page contents:")
        for markdown_page in markdown_pages:
            print(markdown_page[:300] + "...\n---\n")

        # AI processing, RAG pipelines, or further workflows...

# Run the async main function
asyncio.run(main())
 Takket være Bright Data API-færdige produkter kan du implementere en effektiv, virksomhedsklasse, produktionsfærdig "Søg og udtræk" arbejdsproces i mindre end 50 linjer Python-kode! Konklusionen I dette indlæg kiggede du på, hvorfor data pipelines og AI-arbejdsprocesser er afhængige af opdaterede, kontekstuelle og pålidelige oplysninger. En pålidelig måde at indsamle disse data på er gennem AI-mønster, som effektivt er blevet en standardtilgang til adgang til webdata af høj kvalitet, der kan verificeres. fase automatiserer opdagelse på tværs af søgemaskiner, mens Fase trækker struktureret information fra de mest relevante resultater. Søg og uddrag Søg Uddrag ️ Som vist i hele denne artikel gør brugen af en AI-klar webskrabningsplatform som Bright Data implementeringen af denne arbejdsproces både praktisk og skalerbar. og udforske alle deres web data løsninger! Start en gratis prøveversion af Bright Data i dag Start en gratis prøveversion af Bright Data i dag 
 
 Denne artikel er udgivet via HackerNoon Business Blogging program. Denne artikel er udgivet via af programmet. HackerNoon forretningsblogging

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

This writer has a vested interest be it monetary, business, or otherwise, with 1 or more of the products or companies mentioned within.

Portfolio

Denne lyd er produceret på historiens originalsprog!

Søg og udtræk: Hvorfor dette AI-mønster betyder noget, tutorial og eksempel

About Author

KOMMENTARER

HÆNG TAGS

DENNE ARTIKEL BLEV PRÆsenterET I

Related Stories

Meet Sentry: HackerNoon Company of the Week

Meet Bright Data: HackerNoon Company of the Week

Avoid These Mistakes to Monetize Internet Products Profitably

Meet IONOS: HackerNoon Company of the Week

Meet Sentry: HackerNoon Company of the Week

Meet Bright Data: HackerNoon Company of the Week

Avoid These Mistakes to Monetize Internet Products Profitably

Meet IONOS: HackerNoon Company of the Week

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps