Većina AI agenata, ML pipelines, AI obogaćivanje tokova rada, dubokog istraživanja sistema, i data-driven odluke motora ne propadaju zato što su modeli loši. Konkretno, podaci imaju tendenciju da budu zastarjeli, izvan konteksta, neproverivi, ili sva tri odjednom.To je glavni problem. U ovom članku ćete saznati šta zapravo znači, kako to radi pod poklopcem, zašto je važno više nego što većina ljudi misli, i kako ga implementirati od kraja do kraja s konkretnim primjerom! Pretraga i ekstrakcija Potreba za svježim, kontekstualnim i pouzdanim, provjerljivim informacijama Prema Statistici, oko 402,74 miliona terabajta podataka se generira svakog dana Ti podaci ulaze u mrežu, skladišta podataka, analitičke skale i cevovode na skali o kojoj je iskreno teško raspravljati. Ali evo ulova: više podataka ne znači bolje podatke! U tom volumenu, nerealno je pretpostaviti da sve odražava stvarnost - ili da se može čak i pouzdati na prvom mestu ... Poduzeća i dalje donose poslovne odluke, automatizaciju i pozive zasnovane na AI podataka o. To A kada je izvor zastareo, nepotpun, ili jednostavno pogrešan ... uvid izgrađen na njemu ne može biti pouzdan. To je upravo razlog zašto LLM-ovi haluciniraju, AI agenti daju uvjerljive, ali pogrešne odgovore, a podatkovni kanali tiho ne uspevaju u proizvodnji. U većini stvarnih slučajeva, problem nije model, alat ili implementacija. Bilo da radite klasični tok posla analitike ili potpuno autonomni AI agent, sve ovisi o kvaliteti izvornih podataka. 
 
 
 
 Sveže Kontekstualno Proveravanje Uostalom, ako ne znate podaci su došli iz ili je prikupljen, ne možete realno vjerovati rezultatu. gde Kada To je pravo pitanje. 
 
 Kako možete pouzdano preuzeti informacije koje su ažurirane, relevantne za određeni zadatak i dokazano povezane s njegovim izvorom? Kako možete pouzdano preuzeti informacije koje su ažurirane, relevantne za određeni zadatak i dokazano povezane s njegovim izvorom? To je mesto gde se Pattern dolazi! hajde da ga razbijemo. Search and Extract Pretraga i ekstrakcija: Šta je to i zašto je rešenje “Search and Extract” je jedan od Proces za preuzimanje ažurnih, provjerljivih i kontekstualnih informacija iz mreže je jednostavan u strukturi, ali izuzetno učinkovit u praksi. De facto standardi Na visokoj razini, ona radi u dva različita koraka: 
 
 
 Traženje: Sistem izvodi uživo pretragu na mreži na pretraživačima kao što je Google kako bi pronašao najrelevantnije i pouzdane izvore za određeni upit. Ekstrakt: Iz rezultata pretrage, sistem prepoznaje najrelevantnije URL-ove, posjeti te stranice i preuzme najkorisniji sadržaj ili podatke iz njih. To može uključivati činjenice, statistike, definicije ili strukturirane informacije analizirane sa stranice. Ovaj uzorak je posebno koristan u aplikacijama vezanim za AI, kao što su AI agenti, , i AI tokovi rada na razini preduzeća. Također, primjenjuje se na tradicionalna strojna učenja, provjeru činjenica i kanale za obogaćivanje podataka. Agentički RAG sistemi Agentički RAG sistemi Krajnji cilj obrasca "Potraži i izvucite" je riješiti moderne izazove podataka osiguravanjem prikupljenih informacija je: 
 
 
 
 Svježe , kao skraćenih javnih web podataka dolazi iz nedavnih web pretraživanja, koji mogu uključivati najnovije informacije i vijesti. Kontekstualno, jer su informacije usko usklađene sa temama koje su navedene u upitu za pretragu. Provjerljivo, jer podaci potječu izravno iz određenih web stranica, sa URL-ovima koje svatko može posjetiti i proveriti. Kako funkcioniše pretraga i ekstrakcija? Na visokoj razini, „Traži i izvucite“ može se sažeti sa sledećim tokom posla: Uvod za ovaj tok posla je popis tema koje se mogu pretraživati.Oni su obično kontekstualno izvučeni iz dokumenata, skupova podataka ili određenih izvora informacija koristeći AI / ML.To je ono što se uobičajeno događa u AI obogaćivanju, verifikaciji podataka, RAG tokovima posla ili dubokim istraživačkim aplikacijama. Bez obzira na izvor, teme koje se mogu pretraživati prenose se na komponentu "Potraga", gde SERP API rešenje obavlja automatizovane web pretrage na ciljnim pretraživačima.Nakon preuzimanja rezultata pretrage, možete ili razmotriti sve vraćene web stranice ili filtrirati samo najrelevantnije pomoću AI/ML ili strogih pravila (npr. čuvanje stranica iz određenih domena, jezika ili drugih kriterija). Kada ciljate više upita za pretraživanje odjednom (bilo da su različite upite ili više stranica za istu upitu), možda ćete morati pokrenuti prilagođeni algoritam re-ranking.Ranking koji pruža Google ili bilo koji pretraživač optimizovan je za SEO, što možda ne odražava što je važno za vaš slučaj upotrebe. Odabrani URL-ovi se zatim šalju u čvor "Extract", gde web skraping usluga pristupa svakoj stranici i izvlači glavne informacije. Zatim, hajde da istražimo usluge koje dolaze u igru u fazi "Potraži" i "Izvaditi" fazi, odnosno! Pretraga Tražilice kao što su Google, Bing, DuckDuckGo, Baidu i Yandex štite svoje SERPs (Search Engine Results Pages) sa ograničenjima stope i CAPTCHA kako bi se spriječilo automatsko struganje. Najpouzdaniji način za izvršavanje faze " pretraživanja" je pomoću SERP API rešenja. Ove usluge otkrivaju krajnje tačke kako bi pokrenule zadatke pretraživanja u oblaku koristeći infrastrukturu dizajniranu za rukovanje merama skalabilnosti i anti-bot za vas. Podržava globalne pretrage putem proxy mreže od više od 150 miliona IP adresa u 195 zemalja, može vratiti potpuno analizirane SERP podatke u JSON-u, nudi mnoge opcije za paginiranje i podržava integraciju u bilo koje podatke ili ML pipeline koristeći standardne HTTP zahtjeve, kao i više od 50 AI agencijskih okvira i tokova posla. Bright Data’s SERP API Serp API za jasne podatke Osim toga, Bright Data SERP API vam omogućuje da istovremeno pokrenete neograničen broj upita za pretraživanje. To znači da možete preuzeti hiljade rezultata tokom faze „ pretraživanja“. Zatim, možete ih filtrirati i ponovno rangirati prema vašim potrebama u kasnijim fazama cjelokupnog procesa „ pretraživanje i ekstrakcija“ (kao što je ranije spomenuto). Extract ⛏️ Razlog je u tome što je svaka web stranica drugačija, pa čak i stranice unutar istog domena mogu slijediti drugačiji prikaz, vizualizaciju podataka i logiku pretraživanja. To čini programski pristup njihovom sadržaju prilično teškim. To zahtijeva usluge treće strane koje vam omogućuju pouzdan pristup sadržaju web stranica, bez obzira na to koliko su zaštićeni, i bez obzira na vaše potrebe za skalabilnošću. 
 
 
 Web Unlocker API: API koji pristupa bilo kojoj javnoj web stranici bez napora, automatski obrađuje blokove, CAPTCHA, otiske prstiju i rotaciju proxy-a. Browser API: Potpuno hosted cloud browser kompatibilan sa Puppeteer, Selenium, Playwright i drugim automatizacionim okvirima, sa ugrađenim CAPTCHA rješavanje i automatizovano proxy upravljanje. Web Unlocker aplikacija Web Unlocker aplikacija Preglednik API Preglednik API Web Unlocker je idealan za preuzimanje sadržaja stranice, bilo u sirovom HTML ili AI-ready Markdown (a Za dinamičke sajtove koji zahtijevaju interakciju ili automatizaciju za pristup potrebnim podacima, Browser API je bolje prilagođen. veliki format podataka za LLM ingestion veliki format podataka za LLM ingestion Zajedno, ova dva rešenja pokrivaju sve što je potrebno za fazu "Extract" toka posla "Search and Extract". Kako implementirati pretraživanje i izvlačenje toka posla u Pythonu Saznajte kako da implementirate realističan tok posla "Tražite i izvadite" u Pythonu: 
 
 
 Za fazu pretrage, koristit ćete Bright Data SERP API za pokretanje uživo web pretrage. Za fazu ekstrakcije, oslanjaćete se na Web Unlocker API za preuzimanje i analiziranje sadržaja sa odabranih stranica. Slijedite uvod ispod! Preduvjeti Da biste pratili zajedno sa ovim tutorial odjeljkom, pobrinite se da imate: 
 
 
 Python 3.9+ je instaliran lokalno. Bright Data račun konfigurisan sa SERP API zonom i Web Unlocker API zonom, zajedno sa vašim API ključem. If you’re unfamiliar with how to get started with Bright Data’s SERP API or Web Unlocker API products, follow the official documentation: 
 
 
 Uvod u SERP API Uvod u Bright Data's Unlocker API Uvod u SERP API Uvod u SERP API Uvod u Bright Data's Unlocker API Uvod u Bright Data's Unlocker API Od sada ćemo se odnositi na vašu SERP API zonu kao i na vašu Web Unlocker API zonu kao : serp_api web_unlocker Takođe, pobrinite se da zona je konfigurirana u načinu "Full JSON" u odjeljku "Data Format" unutar konfiguracijske tabele: serp_api Na taj način, API Bright Data SERP će vratiti analizirane rezultate SERP-a u JSON formatu, što ih čini lakšim za filtriranje i ponovno rangiranje. Na kraju, To će se koristiti za autentifikaciju zahteva za gore navedene usluge! generate your Bright Data API key Generirajte svoj Bright Data API ključ Da biste ubrzali proces, pretpostavimo da već imate postavljen Python projekt sa virtualnim okruženjem. Korak #1: Pripremite se za pristup Bright Data uslugama putem API-ja Najlakši način da se povežete sa Bright Data uslugama je direktno kroz njegov API. Prvo, instalirajte async-ready HTTP klijent kao što je AIOHTTP: pip install aiohttp
 Zatim definirajte sledeće dve funkcije za pozivanje SERP API i Web Unlocker API, odnosno: # Replace these with your Bright Data API token and zone names
BRIGHT_DATA_API_TOKEN = "<YOUR_BRIGHT_DATA_API_TOKEN>"
SERP_ZONE = "serp_api"  # Your SERP API zone
WEB_UNLOCKER_ZONE = "web_unlocker"  # Your Web Unlocker API zone

HEADERS = {
    "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data
    "Content-Type": "application/json"
}

async def fetch_serp(session, query, location="us", language="en"):
    url = "https://api.brightdata.com/request"
    data = {
        "zone": SERP_ZONE,
        "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}",
        "format": "json"
    }
    async with session.post(url, json=data, headers=HEADERS) as resp:
        response_data = await resp.json()
        return json.loads(response_data["body"])

async def fetch_page(session, page_url, data_format="markdown"):
    url = "https://api.brightdata.com/request"
    data = {
        "zone": WEB_UNLOCKER_ZONE,
        "url": page_url,
        "format": "raw",
        "data_format": data_format
    }
    async with session.post(url, json=data, headers=HEADERS) as resp:
        return await resp.text()
 Naši funkcija se povezuje sa Bright Data SERP API-jem kako bi izvršila Google pretrage i preuzela analizirane JSON SERP rezultate (kao što je konfigurirano u vašem nalogu). fetch_serp() Slično tome,  connects to the Bright Data Web Unlocker API to fetch web pages. Configuring the output as Markdown, which is ideal for ingestion into LLMs. fetch_page() Za više informacija o argumentima, parametrima i kako nazvati ta dva API-ja, pogledajte dokumente! : U proizvodnji, izbegavajte hardcoding vaš Bright Data API ključ. Umjesto toga, učitajte ga iz promjenjive okoline. Note Great! Now you have the building blocks to implement the “Search” and “Extract” phases in  Funkcije : async import asyncio

async def main():
    # "Search and Extract" logic...

# Run the async main function
asyncio.run(main())
 Korak #2: Izvršite fazu ekstrakta Recimo da imate AI agente koji se oslanjaju na MCP integracije i žele da proizvode izveštaj koji pokazuje kako ih buduće promene u protokolu mogu uticati, koje nove funkcije će biti dostupne, i tako dalje. Redovni LLM-ovi ne mogu mnogo pomoći s tim zadatkom, jer je MCP relativno nov i većina modela je obučena na starijim podacima. "new version of MCP" 
 Pozovite SERP API da biste preuzeli analizirane Google SERP rezultate za tu pretragu: # Topics to search
input_topic = "new version of MCP"

async with aiohttp.ClientSession() as session:
    # Search phase: Get SERP results
    serp_results = await fetch_serp(session, input_topic)
 Iza pozornica, na funkcija poziva SERP API pomoću navedenog upita za pretraživanje. Ako želite da rukujete višestrukim upitima, možete pozvati Konkurentno korišćenje . fetch_serp() fetch_serp() asyncio.gather() : Podrazumevano, SERP API vraća 10 rezultata po upitu, ali se može konfigurisati da vrati do 100 rezultata. Note vrati analizirane rezultate Google SERP-a kao Python rječnik. Pristupite rangiranju pomoću  attribute: fetch_serp() organic serp_ranking_results = serp_results.get("organic", [])
 Štampajte rezultate pretrage, a vi biste trebali dobiti rezultat sličan ovome: Obratite pažnju kako svaki element u nizu odgovara tačno rezultatu koji biste dobili pretraživanjem "nove verzije MCP-a" na Google-u: Korak #3: Filtrirajte URL-ove od interesa Od svih rezultata SERP-a vraćenih pozivanjem SERP API-a, pretpostavimo da ste zainteresovani za najviše 3 rezultata iz " ” domena (službeni domen za specifikaciju MCP). takođe, razmotrimo Googleov izvorni rang kao rang koji želite sačuvati. Modelkontekstprotokola.io Modelkontekstprotokola.io Filtrirajte ih kako slijedi: # Where to store the page URLs to scrape in the "Extract" phase
pages_of_interest = []

# Iterate over results and filter for URLs containing "modelcontextprotocol.io"
for result in serp_data_results:
    page_url = result.get("url")
    if "modelcontextprotocol.io" in page_url:
        pages_of_interest.append(page_url)
    # Stop once reaching 3 results
    if len(page_url) == 3:
        break
 Rezultat će biti lista URL-ova koje treba pristupiti tokom faze „Extract“. [
  "http://blog.modelcontextprotocol.io/posts/2025-11-25-first-mcp-anniversary/",
  "https://modelcontextprotocol.io/development/roadmap",
  "https://modelcontextprotocol.io/specification/2025-11-25"
]
 Vreme je da izvučete informacije sa ovih stranica! Korak #4: Izvršite fazu ekstrakta Koristite ovaj funkcija da pozove Web Unlocker API i izvlači tri odabrane stranice paralelno: fetch_page() tasks = [fetch_page(session, url) for url in pages_of_interest]
web_page_results = await asyncio.gather(*tasks)
 : Ako se bavite dinamičnim sajtom koji zahtijeva interakciju korisnika, izvucite podatke iz njega pomoću tehnologije automatizacije pretraživača kao što je Playwright, integrisana s API-jem pretraživača. Note Rezultat će biti niz koji sadrži sadržaj svake ciljne stranice. Pristup odblokiranom Markdown sadržaju sa svake stranice pomoću: markdown_pages = [page for page in web_page_results]
 Verify that the array actually contains the Markdown of the target pages: for markdown_page in markdown_pages:
    print(markdown_page[:300] + "...\n---\n")
 U ovom slučaju, izlaz je: To odgovara Markdown verziji svake ciljane stranice, što znači da je Web Unlocker API bio u stanju uspješno izvesti web ekstrakciju podataka, bez obzira na bilo koje anti-bot ili anti-scraping mere na mestu. S obzirom na ove sveže, kontekstualne i provjerljive podatke, pohranite ga za daljnju analizu, prenesite ga na LLM za obradu, koristite ga za otkrivanje dodatnih tema od interesa, nastavite s dubljim istraživanjima ili ga primijenite na mnoge druge slučajeve upotrebe. Korak #5: Potpuni kod Konačna verzija primjera je: # pip install aiohttp

import asyncio
import aiohttp
import urllib.parse
import json

# Replace these with your Bright Data API token and zone names
BRIGHT_DATA_API_TOKEN = "<YOUR_BRIGHT_DATA_API_KEY>"
SERP_ZONE = "serp_api"  # Your SERP API zone
WEB_UNLOCKER_ZONE = "web_unlocker"  # Your Web Unlocker API zone

HEADERS = {
    "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data
    "Content-Type": "application/json"
}

async def fetch_serp(session, query, location="us", language="en"):
    url = "https://api.brightdata.com/request"
    data = {
        "zone": SERP_ZONE,
        "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}",
        "format": "json"
    }
    async with session.post(url, json=data, headers=HEADERS) as resp:
        response_data = await resp.json()
        return json.loads(response_data["body"])

async def fetch_page(session, page_url, data_format="markdown"):
    url = "https://api.brightdata.com/request"
    data = {
        "zone": WEB_UNLOCKER_ZONE,
        "url": page_url,
        "format": "raw",
        "data_format": data_format
    }
    async with session.post(url, json=data, headers=HEADERS) as resp:
        return await resp.text()


async def main():
    # Topics to search
    input_topic = "new version of MCP"

    async with aiohttp.ClientSession() as session:
        # Search phase: Get SERP results
        serp_results = await fetch_serp(session, input_topic)

        # Where to store the page URLs to scrape in the "Extract" phase
        pages_of_interest = []

        # Iterate over results and filter for URLs containing "modelcontextprotocol.io"
        for result in serp_results.get("organic", []):
            page_url = result.get("link")
            if page_url and "modelcontextprotocol.io" in page_url:
                pages_of_interest.append(page_url)
            if len(pages_of_interest) == 3:
                break

        print("Pages to scrape:", pages_of_interest)

        # Extract phase: Scrape pages concurrently
        tasks = [fetch_page(session, url) for url in pages_of_interest]
        web_page_results = await asyncio.gather(*tasks)

        # Access the content from each page
        markdown_pages = [page for page in web_page_results]

        print("Scraped page contents:")
        for markdown_page in markdown_pages:
            print(markdown_page[:300] + "...\n---\n")

        # AI processing, RAG pipelines, or further workflows...

# Run the async main function
asyncio.run(main())
 Zahvaljujući Bright Data API-u spremnim proizvodima, možete implementirati efikasan, enterprise-grade, proizvodni-ready “Search and Extract” tok posla u manje od 50 redova Python koda! Zaključak U ovom postu pogledali ste zašto podaci i AI tokovi rada ovise o ažuriranim, kontekstualnim i pouzdanim informacijama. Jedan pouzdan način prikupljanja tih podataka je kroz AI obrazac, koji je učinkovito postao standardni pristup za pristup visokokvalitetnim, provjerljivim web podacima. faza automatizuje otkrivanje preko pretraživača, dok faza izvlači strukturirane informacije iz najrelevantnijih rezultata. Pretraga i ekstrakcija Search 🔍 Izveštaj ️ Kao što je prikazano kroz ovaj članak, korištenje AI-spremne web skraping platforme kao što je Bright Data čini implementaciju ovog toka posla praktičnim i skalabilnim. i istražite sva svoja rešenja za web podatke! Start a Bright Data free trial today Počnite besplatnu probnu verziju Bright Data danas 
 
 Ovaj članak je objavljen putem HackerNoon Business Blogging programa. Ovaj članak je objavljen putem HackerNoon Business Blogging programa.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

This writer has a vested interest be it monetary, business, or otherwise, with 1 or more of the products or companies mentioned within.

Portfolio

Ovaj audio je proizveden na originalnom jeziku priče!

Pretraga i ekstrakt: Zašto je ovaj AI uzorak važan, tutorial i primer

About Author

KOMENTARI

HANG TAGS

OVAJ ČLANAK JE PREDSTAVLJEN U

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps