Većina AI agenata, ML plinovoda, tokova rada za obogaćivanje AI-a, sustava dubokog istraživanja i motora za donošenje odluka zasnovanih na podacima ne propadaju jer su modeli loši. Konkretno, podaci imaju tendenciju da budu zastarjeli, izvan konteksta, neprovjerljivi, ili sva tri odjednom.To je glavni problem. U ovom članku ćete vidjeti što zapravo znači, kako to radi pod poklopcem, zašto je važno više nego što većina ljudi misli, i kako ga provesti od kraja do kraja s konkretnim primjerom! Pretraga i ekstrakt Potreba za svježim, kontekstualnim i pouzdanim, provjerljivim informacijama Prema Statistici, oko 402,74 milijuna terabajta podataka generira se svaki dan. Ti podaci prodiru u web, skladišta podataka, analitičke skale i cijevi na skali o kojoj je iskreno teško raspravljati. Ali ovdje je ulov: više podataka ne znači bolje podatke! U tom volumenu, nerealno je pretpostaviti da sve odražava stvarnost - ili da se čak može vjerovati na prvom mjestu ... Poduzeća i dalje donose poslovne odluke, automatizaciju i pozive zasnovane na AI-u podataka . To A kada je izvor zastarjel, nepotpun, ili jednostavno pogrešan ... uvid izgrađen na njemu ne može biti pouzdan. To je upravo razlog zašto LLM-ovi haluciniraju, AI agenti daju uvjerljive, ali pogrešne odgovore, a podatkovne cijevi tiho ne uspiju u proizvodnji. U većini slučajeva u stvarnom svijetu, problem nije model, alat ili implementacija. Bilo da se radi o klasičnom toku rada analize ili potpuno autonomnom AI agentu, sve ovisi o kvaliteti izvornih podataka. 
 
 
 
 Svježe Kontekstualno Provjerljivo Uostalom, ako ne znate Podaci dolaze iz ili To je bilo prikupljeno, ne možete realno vjerovati rezultatu. Gdje Kada To je pravo pitanje. 
 
 Kako pouzdano preuzeti informacije koje su ažurirane, relevantne za određeni zadatak i vjerojatno povezane s njegovim izvorom? Kako pouzdano preuzeti informacije koje su ažurirane, relevantne za određeni zadatak i vjerojatno povezane s njegovim izvorom? To je mjesto gdje se Pattern dolazi! hajde da ga razbijemo. Search and Extract Search and Extract: Što je to i zašto je rješenje “Tražiti i izvaditi” je Proces prikupljanja ažurnih, provjerljivih i kontekstno bogatih informacija s interneta je jednostavan u strukturi, ali iznimno učinkovit u praksi. De facto standard Na visokoj razini djeluje u dvije različite faze: 
 
 
 Traženje: Sistem provodi uživo web pretraživanje na pretraživačima poput Googlea kako bi pronašao najrelevantnije i pouzdane izvore za određeni upit. Izvadak: Iz rezultata pretrage, sustav identificira najrelevantnije URL-ove, posjećuje te stranice i preuzima najkorisniji sadržaj ili podatke iz njih.To može uključivati činjenice, statistike, definicije ili strukturirane informacije analizirane s stranice. Ovaj je uzorak osobito koristan u aplikacijama povezanim s AI-om, kao što su AI agenti, Također se primjenjuje na tradicionalna strojna učenja, provjeru činjenica i plinovode za obogaćivanje podataka. agentic RAG systems Agentički RAG sustavi Krajnji cilj obrasca "Pretražiti i izvaditi" je riješiti moderne izazove podataka osiguravanjem prikupljenih informacija je: 
 
 
 
 Svježe , budući da javni web podaci dolaze iz nedavnih web pretraživanja, koji mogu uključivati najnovije informacije i vijesti. Kontekstualno, jer su informacije usko usklađene s temama koje su navedene u upitu za pretraživanje. Provjerljivo, jer podaci potječu izravno iz određenih web stranica, s URL-ovima koje svatko može posjetiti i provjeriti. Kako djeluje pretraživanje i ekstrakcija? Na visokoj razini, "Tražiti i izvaditi" može se sažeti s sljedećim tokom rada: Uvod za ovaj tok posla je popis tema koje se mogu pretraživati.Oni se obično kontekstualno izvlače iz dokumenata, skupova podataka ili određenih izvora informacija koristeći AI / ML.To je ono što se uobičajeno događa u obogaćivanju AI-a, provjeri podataka, tokovima rada RAG-a ili aplikacijama dubokog istraživanja. Bez obzira na izvor, teme koje se mogu pretraživati prenose se na komponentu " pretraživanje", gdje rješenje SERP API-ja obavlja automatizirane web pretrage na ciljnim pretraživačima.Nakon preuzimanja rezultata pretraživanja, možete razmotriti sve vraćene web stranice ili filtrirati samo najrelevantnije pomoću AI/ML ili strogih pravila (npr. držanje stranica iz određenih domena, jezika ili drugih kriterija). Kada ciljate više pretraživanja odjednom (bilo da su različite upite ili više stranica za istu upit), možda ćete morati pokrenuti prilagođeni algoritam re-ranking.Ranking koji pruža Google ili bilo koji tražilica je optimiziran za SEO, što možda ne odražava što je važno za vaš slučaj korištenja. Odabrani URL-ovi zatim se šalju u čvor "Extract", gdje web skraping usluga pristupa svakoj stranici i izvlači glavne informacije. Sljedeći, istražimo usluge koje dolaze u igru u fazama "Pretražiti" i "Izvaditi", odnosno! Potraga Tražilice kao što su Google, Bing, DuckDuckGo, Baidu i Yandex štite svoje SERP-ove (stranice rezultata pretraživača) s ograničenjima stope i CAPTCHA-e kako bi spriječile automatsko struganje. Najpouzdaniji način za izvršavanje faze " pretraživanja" je korištenje rješenja SERP API. Ove usluge otkrivaju krajnje točke kako bi pokrenule zadatke pretraživanja u oblaku koristeći infrastrukturu dizajniranu za rješavanje mjera skalabilnosti i anti-bot za vas. Podržava globalne pretrage putem proxy mreže od više od 150 milijuna IP-a u 195 zemalja, može vratiti potpuno analizirane SERP podatke u JSON-u, nudi mnoge mogućnosti paginiranja i podržava integraciju u bilo koje podatke ili ML pipeline koristeći standardne HTTP zahtjeve, kao i više od 50 AI agencijskih okvira i tokova rada. Bright Data SERP API Bright Data SERP API Osim toga, Bright Data SERP API vam omogućuje da istovremeno pokrenete neograničen broj upita za pretraživanje. To znači da možete preuzeti tisuće rezultata tijekom faze " pretraživanja". Zatim, možete ih filtrirati i ponovno rangirati prema vašim potrebama u kasnijim fazama cjelokupnog procesa " pretraživanja i ekstrakcije" (kao što je ranije spomenuto). Izvješće ️ Razlog je u tome što je svaka web stranica drugačija, pa čak i stranice unutar istog domena mogu slijediti različite rendering, podatkovnu vizualizaciju i logiku pretraživanja. To čini programski pristup njihovom sadržaju prilično teško. To zahtijeva usluge trećih strana koje vam omogućuju pouzdan pristup sadržaju web stranica, bez obzira na to koliko su zaštićeni i bez obzira na vaše potrebe za skalabilnošću. 
 
 
 Web Unlocker API: API koji pristupa bilo kojoj javnoj web stranici bez napora, automatski rješava blokove, CAPTCHA, otiske prstiju i rotaciju proxyja. Browserski API: Potpuno gostujući cloud browser kompatibilan s Puppeteerom, Seleniumom, Playwrightom i drugim okvirima za automatizaciju, s ugrađenim rješavanjem CAPTCHA-e i automatiziranim upravljanjem proxyjem. Web Unlocker aplikacija Web Unlocker aplikacija Brojni API Brojni API Web Unlocker je idealan za preuzimanje sadržaja stranice, bilo u sirovom HTML-u ili AI-ready Markdown (a Za dinamične web stranice koje zahtijevaju interakciju ili automatizaciju kako bi pristupile potrebnim podacima, API za preglednik je prikladniji. Veliki format podataka za LLM ingestion Veliki format podataka za LLM ingestion Zajedno, ova dva rješenja pokrivaju sve što je potrebno za fazu "Extract" radnog toka "Search and Extract". Kako implementirati pretraživanje i izvaditi radni tijek u Pythonu Saznajte kako implementirati realističan tok posla "Tražiti i izvaditi" u Pythonu: 
 
 
 Za fazu pretraživanja, koristit ćete Bright Data SERP API za pokretanje uživo web pretraživanja. Za fazu ekstrakcije, oslanjat ćete se na Web Unlocker API za preuzimanje i analiziranje sadržaja s odabranih stranica. Slijedite uvod ispod! Preduvjeti Da biste slijedili ovaj tutorial odjeljak, pobrinite se da imate: 
 
 
 Python 3.9+ je instaliran lokalno. Bright Data račun konfiguriran s SERP API zonom i Web Unlocker API zonom, zajedno s vašim API ključem. Ako ne znate kako započeti s Bright Data SERP API-jem ili Web Unlocker API-jem, slijedite službenu dokumentaciju: 
 
 
 Uvod u SERP API Uvod u Bright Data's Unlocker API Uvod u SERP API Uvod u SERP API Uvod u Bright Data's Unlocker API Uvod u Bright Data's Unlocker API Od sada ćemo se odnositi na vašu SERP API zonu kao i na područje Web Unlocker API-ja kao : serp_api web_unlocker Također, pobrinite se da zona je konfigurirana u načinu "Full JSON" u odjeljku "Data Format" unutar konfiguracijske tabele: serp_api Na taj način, Bright Data SERP API će vratiti analizirane rezultate SERP-a u JSON formatu, čineći ih lakšim za filtriranje i ponovno rangiranje. Na kraju, To će se koristiti za autentifikaciju zahtjeva za gore navedene usluge! Generirajte svoj API ključ za Bright Data Generirajte svoj API ključ za Bright Data Da bismo ubrzali proces, pretpostavit ćemo da već imate postavljen Python projekt s virtualnim okruženjem. Korak #1: Pripremite se za pristup jasnim uslugama podataka putem API-ja Najjednostavniji način povezivanja s Bright Data uslugama je izravno preko njegovog API-ja. pip install aiohttp
 Zatim definirajte sljedeće dvije funkcije za pozivanje SERP API-ja i Web Unlocker API-ja, odnosno: # Replace these with your Bright Data API token and zone names
BRIGHT_DATA_API_TOKEN = "<YOUR_BRIGHT_DATA_API_TOKEN>"
SERP_ZONE = "serp_api"  # Your SERP API zone
WEB_UNLOCKER_ZONE = "web_unlocker"  # Your Web Unlocker API zone

HEADERS = {
    "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data
    "Content-Type": "application/json"
}

async def fetch_serp(session, query, location="us", language="en"):
    url = "https://api.brightdata.com/request"
    data = {
        "zone": SERP_ZONE,
        "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}",
        "format": "json"
    }
    async with session.post(url, json=data, headers=HEADERS) as resp:
        response_data = await resp.json()
        return json.loads(response_data["body"])

async def fetch_page(session, page_url, data_format="markdown"):
    url = "https://api.brightdata.com/request"
    data = {
        "zone": WEB_UNLOCKER_ZONE,
        "url": page_url,
        "format": "raw",
        "data_format": data_format
    }
    async with session.post(url, json=data, headers=HEADERS) as resp:
        return await resp.text()
 Naš funkcija se povezuje s Bright Data SERP API-jem kako bi izvršila Google pretrage i preuzela analizirane JSON SERP rezultate (kao što je konfigurirano u vašem računu). fetch_serp() Isto tako, povezuje se s Bright Data Web Unlocker API-jem kako bi prikupio web stranice. Konfiguriranje izlaza kao Markdown, što je idealno za unos u LLM-ove. fetch_page() Za više informacija o argumentima, parametrima i kako nazvati ta dva API-ja, pogledajte dokumente! : U proizvodnji, izbjegavajte hardcodiranje ključa API-ja Bright Data. Umjesto toga, učitajte ga iz promjenjive okoline. Note Odlično! Sada imate građevinske blokove za provedbu faze "Tražiti" i "Izvaditi" u Funkcije : async import asyncio

async def main():
    # "Search and Extract" logic...

# Run the async main function
asyncio.run(main())
 Korak #2: Izvršite fazu ekstrakta Pretpostavimo da imate AI agente koji se oslanjaju na MCP integracije i žele proizvesti izvješće koje pokazuje kako ih buduće promjene u protokolu mogu utjecati, koje će nove značajke biti dostupne, i tako dalje. Redoviti LLM-ovi ne mogu puno pomoći s tim zadatkom, jer je MCP relativno nov i većina modela je obučena na starijim podacima. "new version of MCP" 
 Pozovite SERP API za preuzimanje analiziranih Google SERP rezultata za tu upitu za pretraživanje: # Topics to search
input_topic = "new version of MCP"

async with aiohttp.ClientSession() as session:
    # Search phase: Get SERP results
    serp_results = await fetch_serp(session, input_topic)
 Iza pozornice, na funkcija poziva SERP API pomoću navedenog upita za pretraživanje. Ako morate upravljati višestrukim upitima, možete pozvati Konkurentno korištenje . fetch_serp() fetch_serp() asyncio.gather() Standardno, SERP API vraća 10 rezultata po upitu, ali se može konfigurirati tako da vrati do 100 rezultata. Note vrati analizirane rezultate Google SERP-a kao Python rječnik. Pripadnici atributa: fetch_serp() organic serp_ranking_results = serp_results.get("organic", [])
 Štampajte rezultate pretrage i trebali biste dobiti ishod sličan ovome: Primijetite kako svaki element u nizu točno odgovara rezultatu koji biste dobili pretraživanjem "nove verzije MCP-a" na Googleu: Korak #3: Filtrirajte URL-ove od interesa Od svih rezultata SERP-a koje vraća poziv SERP API-a, pretpostavimo da ste zainteresirani za najviše 3 rezultata iz " Također, razmotrimo Googleov izvorni rang kao rang koji želite sačuvati. modelcontextprotocol.io Sljedeći članakProtocol.io Filtrirajte ih kako slijedi: # Where to store the page URLs to scrape in the "Extract" phase
pages_of_interest = []

# Iterate over results and filter for URLs containing "modelcontextprotocol.io"
for result in serp_data_results:
    page_url = result.get("url")
    if "modelcontextprotocol.io" in page_url:
        pages_of_interest.append(page_url)
    # Stop once reaching 3 results
    if len(page_url) == 3:
        break
 Rezultat će biti popis URL-ova kojima se treba pristupiti tijekom faze "Extract". [
  "http://blog.modelcontextprotocol.io/posts/2025-11-25-first-mcp-anniversary/",
  "https://modelcontextprotocol.io/development/roadmap",
  "https://modelcontextprotocol.io/specification/2025-11-25"
]
 Vrijeme je za izvlačenje informacija s ovih stranica! Korak #4: Izvršite fazu ekstrakta Koristite ga Funkcija za pozivanje Web Unlocker API-ja i istodobno skrapanje tri odabrane stranice: fetch_page() tasks = [fetch_page(session, url) for url in pages_of_interest]
web_page_results = await asyncio.gather(*tasks)
 : Ako se bavite dinamičnom stranicom koja zahtijeva interakciju korisnika, izvucite podatke iz nje pomoću tehnologije automatizacije preglednika kao što je Playwright, integrirana s API-jem preglednika. Note Rezultat će biti raspon koji sadrži sadržaj svake ciljne stranice. Pristupajte otključanom Markdown sadržaju s svake stranice pomoću: markdown_pages = [page for page in web_page_results]
 Provjerite da raspon zapravo sadrži Markdown od ciljanih stranica: for markdown_page in markdown_pages:
    print(markdown_page[:300] + "...\n---\n")
 U ovom slučaju, izlaz je: To odgovara Markdown verziji svake ciljane stranice, što znači da je Web Unlocker API uspio uspješno izvesti web ekstrakciju podataka, bez obzira na bilo kakve mjere anti-bot ili anti-scraping na mjestu. S obzirom na ove svježe, kontekstualne i provjerljive podatke, pohranite ga za daljnju analizu, prenesite ga na LLM za obradu, koristite ga za otkrivanje dodatnih tema od interesa, nastavite s dubljim istraživanjima ili ga primijenite na mnoge druge slučajeve uporabe. Korak #5: Popunite kod Konačna verzija primjera je: # pip install aiohttp

import asyncio
import aiohttp
import urllib.parse
import json

# Replace these with your Bright Data API token and zone names
BRIGHT_DATA_API_TOKEN = "<YOUR_BRIGHT_DATA_API_KEY>"
SERP_ZONE = "serp_api"  # Your SERP API zone
WEB_UNLOCKER_ZONE = "web_unlocker"  # Your Web Unlocker API zone

HEADERS = {
    "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data
    "Content-Type": "application/json"
}

async def fetch_serp(session, query, location="us", language="en"):
    url = "https://api.brightdata.com/request"
    data = {
        "zone": SERP_ZONE,
        "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}",
        "format": "json"
    }
    async with session.post(url, json=data, headers=HEADERS) as resp:
        response_data = await resp.json()
        return json.loads(response_data["body"])

async def fetch_page(session, page_url, data_format="markdown"):
    url = "https://api.brightdata.com/request"
    data = {
        "zone": WEB_UNLOCKER_ZONE,
        "url": page_url,
        "format": "raw",
        "data_format": data_format
    }
    async with session.post(url, json=data, headers=HEADERS) as resp:
        return await resp.text()


async def main():
    # Topics to search
    input_topic = "new version of MCP"

    async with aiohttp.ClientSession() as session:
        # Search phase: Get SERP results
        serp_results = await fetch_serp(session, input_topic)

        # Where to store the page URLs to scrape in the "Extract" phase
        pages_of_interest = []

        # Iterate over results and filter for URLs containing "modelcontextprotocol.io"
        for result in serp_results.get("organic", []):
            page_url = result.get("link")
            if page_url and "modelcontextprotocol.io" in page_url:
                pages_of_interest.append(page_url)
            if len(pages_of_interest) == 3:
                break

        print("Pages to scrape:", pages_of_interest)

        # Extract phase: Scrape pages concurrently
        tasks = [fetch_page(session, url) for url in pages_of_interest]
        web_page_results = await asyncio.gather(*tasks)

        # Access the content from each page
        markdown_pages = [page for page in web_page_results]

        print("Scraped page contents:")
        for markdown_page in markdown_pages:
            print(markdown_page[:300] + "...\n---\n")

        # AI processing, RAG pipelines, or further workflows...

# Run the async main function
asyncio.run(main())
 Zahvaljujući Bright Data API-u spremnim proizvodima, možete implementirati učinkovit, poduzetnički, proizvodni radni tijek "Tražite i izvadite" u manje od 50 redaka Python koda! Zaključak U ovom postu pogledali ste zašto podatkovne cijevi i tokovi rada umjetne inteligencije ovise o ažuriranim, kontekstualnim i pouzdanim informacijama. Jedan pouzdan način prikupljanja tih podataka je kroz AI uzorak, koji je učinkovito postao standardni pristup za pristup visokokvalitetnim, provjerljivim web podacima. Faza automatizira otkrivanje preko pretraživača, dok faza izvlači strukturirane informacije iz najrelevantnijih rezultata. Pretraga i ekstrakt Potraga Izvješće ️ Kao što je prikazano tijekom ovog članka, korištenje AI-ready web skraping platforme kao što je Bright Data čini provedbu ovog toka rada praktičnim i skalabilnim. i istražite sva svoja rješenja za web podatke! Počnite besplatno ispitati Bright Data danas Počnite besplatno ispitati Bright Data danas 
 
 Ovaj članak je objavljen putem programa HackerNoon Business Blogging. Ovaj članak je objavljen putem programa HackerNoon Business Blogging.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

This writer has a vested interest be it monetary, business, or otherwise, with 1 or more of the products or companies mentioned within.

Portfolio

Ovaj zvuk je proizveden na izvornom jeziku priče!

Pretraga i ekstrakt: Zašto je ovaj AI uzorak važan, tutorial i primjer

About Author

KOMENTARI

VIJESI OZNAKE

OVAJ ČLANAK JE PREDSTAVLJEN U

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps