Lielākā daļa AI aģentu, ML cauruļvadu, AI bagātināšanas darba plūsmu, dziļo pētījumu sistēmu un uz datiem balstītu lēmumu pieņemšanas mehānismu neizdodas, jo modeļi ir slikti. Konkrēti, dati mēdz būt novecojuši, ārpus konteksta, nav pārbaudāmi vai visi trīs vienlaicīgi. Šajā rakstā jūs redzēsiet, ko Patiesībā tas nozīmē, kā tas darbojas zem vāka, kāpēc tas ir svarīgi vairāk nekā lielākā daļa cilvēku domā, un kā to īstenot ar konkrētu piemēru! Meklēšana un ekstrakts Nepieciešamība pēc svaigas, kontekstiskas un uzticamas, pārbaudāmas informācijas Saskaņā ar Statista datiem katru dienu tiek ģenerēti aptuveni 402,74 miljoni terabaitu datu. Šie dati nonāk tīmeklī, datu noliktavās, analītiskajās stacijās un cauruļvados tādā mērogā, par kuru godīgi ir grūti saprast. Bet šeit ir nozvejas: vairāk datu nenozīmē labākus datus! Šajā apjomā ir nereāli pieņemt, ka viss atspoguļo realitāti - vai ka to var pat uzticēties vispirms ... Uzņēmumi joprojām pieņem biznesa lēmumus, automatizāciju un AI balstītus zvanus, pamatojoties uz Dati ir. Tā Un, ja avots ir novecojis, nepilnīgs vai vienkārši nepareizs ... uz tā balstītie ieskati nevar būt uzticami. Tieši tāpēc LLM hallucinē, AI aģenti sniedz pārliecinošas, bet nepareizas atbildes, un datu cauruļvadi klusi neizdodas ražošanā. Lielākajā daļā reālās pasaules gadījumu problēma nav modelis, rīki vai īstenošana. Neatkarīgi no tā, vai jūs vadāt klasisku analītikas darba plūsmu vai pilnībā autonomu AI aģentu, viss ir atkarīgs no avota datu kvalitātes. 
 
 
 
 Svaigs Konteksts Pārbaudāmie Galu galā, ja jūs nezināt dati nāk no vai tas tika savākts, jūs nevarat reāli uzticēties rezultātam. Kur Kad Tas ir īstais jautājums. 
 
 Kā uzticami iegūt informāciju, kas ir atjaunināta, svarīga konkrētam uzdevumam un, iespējams, saistīta ar tās avotu? Kā uzticami iegūt informāciju, kas ir atjaunināta, svarīga konkrētam uzdevumam un, iespējams, saistīta ar tās avotu? Tā ir vieta, kur Pattern nāk iekšā! Ļaujiet to izjaukt. Search and Extract Meklēšana un ekstrakts: kas tas ir un kāpēc tas ir risinājums “Meklēt un izvilkt” ir process, lai iegūtu atjauninātu, pārbaudāmu un kontekstā bagātu informāciju no tīmekļa.  Tas ir vienkāršs struktūrā, bet ļoti efektīvs praksē. De facto standarti Augstā līmenī tas darbojas divos atsevišķos posmos: 
 
 
 Meklēšana: Sistēma veic tiešraides tīmekļa meklēšanu meklētājprogrammās, piemēram, Google, lai atrastu visatbilstošākos un uzticamākos avotus konkrētam vaicājumam. No meklēšanas rezultātiem sistēma identificē visatbilstošākās URL, apmeklē šīs lapas un iegūst no tām visnoderīgāko saturu vai datus.Tas var ietvert faktus, statistiku, definīcijas vai strukturētu informāciju, kas analizēta no lapas. Šis modelis ir īpaši noderīgs ar AI saistītās lietojumprogrammās, piemēram, AI aģentiem, Tas attiecas arī uz tradicionālajām mašīntulkošanas, faktu pārbaudes un datu bagātināšanas cauruļvadiem. RAG sistēma RAG sistēma Galīgais mērķis “Meklēt un iegūt” modelis ir risināt mūsdienu datu izaicinājumus, nodrošinot, ka apkopotā informācija ir: 
 
 
 
 Svaigi , jo izgrieztie publiskie tīmekļa dati nāk no nesenajiem tīmekļa meklējumiem, kas var ietvert jaunāko informāciju un ziņas. Kontekstveida, jo informācija ir cieši saistīta ar meklēšanas vaicājumā norādītajām tēmām. Pārbaudāms, jo dati nāk tieši no konkrētām tīmekļa lapām, ar URL, ko ikviens var apmeklēt un pārbaudīt. Kā darbojas meklēšana un ekstrakcija? Augstā līmenī “Meklēt un iegūt” var apkopot ar šādu darba plūsmu: Šīs darba plūsmas ievade ir meklējamu tēmu saraksts.Tie parasti tiek kontekstiski iegūti no dokumentiem, datu kopām vai konkrētiem informācijas avotiem, izmantojot AI / ML.Tas ir tas, kas parasti notiek AI bagātināšanā, datu verificēšanā, RAG darba plūsmās vai dziļajās pētniecības lietojumprogrammās. Neatkarīgi no avota, meklējamas tēmas tiek nodotas “Meklēšanas” komponentam, kur SERP API risinājums veic automatizētus tīmekļa meklējumus mērķa meklētājprogrammās. Pēc meklēšanas rezultātu iegūšanas jūs varat apsvērt visas atgrieztās tīmekļa lapas vai filtrēt tikai vispiemērotākās, izmantojot AI/ML vai stingrus noteikumus (piemēram, saglabājot lapas no konkrētām domēnām, valodām vai citiem kritērijiem). Ja vienlaikus mērķtiecīgi meklējat vairākus meklēšanas vaicājumus (vai nu dažādus vaicājumus, vai vairākas lapas vienam un tam pašam vaicājumam), jums var būt nepieciešams palaist pielāgotu re-ranking algoritmu.Rankings, ko nodrošina Google vai jebkura meklētājprogramma, ir optimizēts SEO, kas var neatspoguļot to, kas ir svarīgi jūsu lietojuma gadījumā. Pēc tam izvēlētie URL tiek nosūtīti uz "Extract" mezglu, kur tīmekļa skrāpēšanas pakalpojums piekļūst katrai lapai un iegūst galveno informāciju. Tālāk izpētīsim pakalpojumus, kas nāk spēlē “Meklēt” un “Izņemt” posmos, attiecīgi! Meklēšana Meklētājprogrammas, piemēram, Google, Bing, DuckDuckGo, Baidu un Yandex aizsargā savas SERPs (Meklētājprogrammu rezultātu lapas) ar likmju ierobežojumiem un CAPTCHAs, lai novērstu automatizētu skrāpēšanu. Visdrošākais veids, kā veikt “Meklēšanas” posmu, ir izmantojot SERP API risinājumu.Šie pakalpojumi atklāj gala punktus, lai izraisītu meklēšanas uzdevumus mākonī, izmantojot infrastruktūru, kas paredzēta, lai jums risinātu mērogojamību un anti-bot pasākumus. Tas atbalsta globālos meklējumus, izmantojot proxy tīklu, kas aptver vairāk nekā 150 miljonus IP adreses 195 valstīs, var atgriezt pilnībā analizētus SERP datus JSON, piedāvā daudzas paginācijas iespējas un atbalsta integrāciju jebkuros datos vai ML cauruļvados, izmantojot standarta HTTP pieprasījumus, kā arī vairāk nekā 50 AI aģentu struktūras un darba plūsmas. Bright Data SERP API izmantošana Bright Data SERP API izmantošana Plus, Bright Data SERP API ļauj jums palaist neierobežotu skaitu meklēšanas vaicājumu paralēli. Tas nozīmē, ka jūs varat iegūt tūkstošiem rezultātu “Meklēšanas” fāzē. Pēc tam jūs varat filtrēt un atkārtoti klasificēt tos atbilstoši savām vajadzībām vispārējā “Meklēšanas un ekstrakcijas” procesa vēlākajos posmos (kā minēts iepriekš). Izstāde ️ Iemesls ir tāds, ka katra tīmekļa vietne ir atšķirīga, un pat lapas tajā pašā domēnā var sekot atšķirīgai rādīšanai, datu vizualizācijai un meklēšanas loģikai. Tas prasa trešo pušu pakalpojumus, kas ļauj jums droši piekļūt tīmekļa lapu saturam, neatkarīgi no tā, cik aizsargāti tie ir, un neatkarīgi no jūsu mērogojamības vajadzībām. 
 
 
 Web Unlocker API: API, kas bez pūlēm piekļūst jebkurai publiskai tīmekļa lapai, automātiski apstrādājot blokus, CAPTCHAs, pirkstu nospiedumus un proxy rotāciju. Pārlūkprogrammas API: Pilnībā hostēta mākoņa pārlūkprogramma, kas ir saderīga ar Puppeteer, Selenium, Playwright un citām automatizācijas sistēmām, ar iebūvētu CAPTCHA risinājumu un automatizētu proxy pārvaldību. Web Unlocker API izmantošana Web Unlocker API izmantošana Brošūra API Brošūra API Web Unlocker ir ideāli piemērots lapas satura atgūšanai vai nu neapstrādātā HTML formātā, vai AI gatavā Markdown formātā. Dinamiskām vietnēm, kurām nepieciešama mijiedarbība vai automatizācija, lai piekļūtu nepieciešamajiem datiem, pārlūkprogrammas API ir labāks. lielisks datu formāts LLM uzņemšanai lielisks datu formāts LLM uzņemšanai Kopā šie divi risinājumi aptver visu, kas nepieciešams darba plūsmas “Meklēt un iegūt” “Extract” posmam. Kā ieviest meklēšanas un izvilkšanas darba plūsmu Python Uzziniet, kā īstenot reālistisku “Meklēt un iegūt” darba plūsmu Python: 
 
 
 Meklēšanas posmā jūs izmantosiet Bright Data SERP API, lai veiktu tiešraides. Extract fāzē jūs paļauties uz Web Unlocker API, lai iegūtu un analizētu saturu no izvēlētajām lapām. Sekojiet ievadam zemāk! Priekšnoteikumi Lai sekotu kopā ar šo apmācību sadaļu, pārliecinieties, ka jums ir: 
 
 
 Python 3.9+ tiek instalēts lokāli. Bright Data konts, kas konfigurēts ar SERP API zonu un Web Unlocker API zonu, kopā ar jūsu API atslēgu. Ja jūs nezināt, kā sākt ar Bright Data SERP API vai Web Unlocker API produktiem, sekojiet oficiālajai dokumentācijai: 
 
 
 Ievads SERP API Ievads Bright Data Unlocker API Ievads SERP API Ievads SERP API Ievads Bright Data Unlocker API Ievads Bright Data Unlocker API No šī brīža mēs atsauksimies uz jūsu SERP API zonu kā un jūsu Web Unlocker API zonā kā : serp_api web_unlocker Tāpat pārliecinieties, ka zona ir konfigurēta “Full JSON” režīmā sadaļā “Datu formāts” konfigurācijas tabulā: serp_api Tādā veidā Bright Data SERP API atgriezīs pārskatītos SERP rezultātus JSON formātā, padarot tos vieglāk filtrēt un atkārtot. Visbeidzot Tas tiks izmantots, lai autentificētu pieprasījumus uz iepriekš minētajiem pakalpojumiem! generate your Bright Data API key Izveidojiet savu Bright Data API atslēgu Lai paātrinātu procesu, mēs pieņemam, ka jums jau ir izveidots Python projekts ar virtuālo vidi. 1. solis: Sagatavojiet piekļuvi Bright Data pakalpojumiem, izmantojot API Vieglākais veids, kā izveidot savienojumu ar Bright Data pakalpojumiem, ir tieši ar tās API. pip install aiohttp
 Tālāk definējiet šādas divas funkcijas, lai attiecīgi izsauktu SERP API un Web Unlocker API: # Replace these with your Bright Data API token and zone names
BRIGHT_DATA_API_TOKEN = "<YOUR_BRIGHT_DATA_API_TOKEN>"
SERP_ZONE = "serp_api"  # Your SERP API zone
WEB_UNLOCKER_ZONE = "web_unlocker"  # Your Web Unlocker API zone

HEADERS = {
    "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data
    "Content-Type": "application/json"
}

async def fetch_serp(session, query, location="us", language="en"):
    url = "https://api.brightdata.com/request"
    data = {
        "zone": SERP_ZONE,
        "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}",
        "format": "json"
    }
    async with session.post(url, json=data, headers=HEADERS) as resp:
        response_data = await resp.json()
        return json.loads(response_data["body"])

async def fetch_page(session, page_url, data_format="markdown"):
    url = "https://api.brightdata.com/request"
    data = {
        "zone": WEB_UNLOCKER_ZONE,
        "url": page_url,
        "format": "raw",
        "data_format": data_format
    }
    async with session.post(url, json=data, headers=HEADERS) as resp:
        return await resp.text()
 Tās funkcija savieno ar Bright Data SERP API, lai veiktu Google meklējumus un iegūtu analizētus JSON SERP rezultātus (kā konfigurēts jūsu kontā). fetch_serp() Līdzīgi arī savieno ar Bright Data Web Unlocker API, lai iegūtu tīmekļa lapas. Konfigurējot izeju kā Markdown, kas ir ideāli piemērots LLM ievadīšanai. fetch_page() Lai iegūtu vairāk informācijas par argumentiem, parametriem un to, kā izsaukt šos divus API, skatiet dokumentus! : Ražošanas laikā izvairieties no jūsu Bright Data API atslēgas kodēšanas. Note Lieliski! Tagad jums ir celtniecības bloki, lai īstenotu “Meklēt” un “Iegūt” fāzes Funkcijas : async import asyncio

async def main():
    # "Search and Extract" logic...

# Run the async main function
asyncio.run(main())
 Step #2: Izpildiet ekstrakta fāzi Pieņemsim, ka jums ir AI aģenti, kas paļaujas uz MCP integrācijām un vēlas sagatavot ziņojumu, kas parāda, kā turpmākās izmaiņas protokolā varētu tos ietekmēt, kādas jaunas funkcijas būs pieejamas un tā tālāk. Regulāri LLM nevar daudz palīdzēt ar šo uzdevumu, jo MCP ir salīdzinoši jauns un lielākā daļa modeļu tika apmācīti vecākiem datiem. "new version of MCP" 
 Zvaniet SERP API, lai iegūtu analizētus Google SERP rezultātus šim meklēšanas vaicājumam: # Topics to search
input_topic = "new version of MCP"

async with aiohttp.ClientSession() as session:
    # Search phase: Get SERP results
    serp_results = await fetch_serp(session, input_topic)
 Aiz skatuves, pēc funkcija izsauc SERP API, izmantojot norādīto meklēšanas vaicājumu. Ja jums ir nepieciešams apstrādāt vairākus vaicājumus, varat izsaukt Konkurētspējīga izmantošana . fetch_serp() fetch_serp() asyncio.gather() : Pēc noklusējuma SERP API atgriež 10 rezultātus uz vaicājumu, bet to var konfigurēt, lai atgrieztos līdz 100 rezultātiem. Note atgriež analizētus Google SERP rezultātus kā Python vārdnīcu. Atribūts : fetch_serp() organic serp_ranking_results = serp_results.get("organic", [])
 Nospiediet meklēšanas rezultātus, un jums vajadzētu iegūt šādu rezultātu: Ievērojiet, kā katrs elements arēnā precīzi atbilst rezultātam, ko jūs iegūsiet, meklējot "jauno MCP versiju" Google: 3. solis: filtrējiet interesējošos URL No visiem SERP rezultātiem, ko atgriež SERP API izsaukums, pieņemsim, ka jūs interesē līdz pat top 3 rezultātiem no " ” domēns (oficiālais domēns MCP specifikācijai).Tāpat apsveriet Google sākotnējo rangu kā rangu, kuru vēlaties saglabāt. Modeliskontekstsprotokols.io Modeliskontekstsprotokols.io Filtrējiet tos šādi: # Where to store the page URLs to scrape in the "Extract" phase
pages_of_interest = []

# Iterate over results and filter for URLs containing "modelcontextprotocol.io"
for result in serp_data_results:
    page_url = result.get("url")
    if "modelcontextprotocol.io" in page_url:
        pages_of_interest.append(page_url)
    # Stop once reaching 3 results
    if len(page_url) == 3:
        break
 Rezultāts būs saraksts ar URL, kurus var piekļūt “Extract” fāzē. Šajā laikā identificētie URL ir: [
  "http://blog.modelcontextprotocol.io/posts/2025-11-25-first-mcp-anniversary/",
  "https://modelcontextprotocol.io/development/roadmap",
  "https://modelcontextprotocol.io/specification/2025-11-25"
]
 Laiks iegūt informāciju no šīm lapām! Step #4: Izpildiet ekstrakta fāzi Izmantojiet to Funkcija, lai izsauktu Web Unlocker API un paralēli nokasītu trīs atlasītās lapas: fetch_page() tasks = [fetch_page(session, url) for url in pages_of_interest]
web_page_results = await asyncio.gather(*tasks)
 : Ja jums ir darīšana ar dinamisku vietni, kurai nepieciešama lietotāja mijiedarbība, iegūstiet datus no tās, izmantojot pārlūkprogrammas automatizācijas tehnoloģiju, piemēram, Playwright, kas integrēta ar pārlūkprogrammas API. Note Rezultāts būs diapazons, kas satur katras mērķa lapas saturu. Piekļūt atbloķētajam Markdown saturam no katras lapas ar: markdown_pages = [page for page in web_page_results]
 Pārliecinieties, ka matrica faktiski satur mērķa lapu marķējumu: for markdown_page in markdown_pages:
    print(markdown_page[:300] + "...\n---\n")
 Šajā gadījumā produkts ir: Tas atbilst katras mērķa lapas Markdown versijai, kas nozīmē, ka Web Unlocker API varēja veiksmīgi veikt tīmekļa datu iegūšanu, neatkarīgi no jebkādiem anti-bot vai anti-skrāpēšanas pasākumiem. Ņemot vērā šos svaigus, kontekstuālus un pārbaudāmus datus, glabājiet tos turpmākai analīzei, nododiet to LLM apstrādei, izmantojiet to, lai atklātu papildu intereses tēmas, turpinātu dziļākus pētījumus vai piemērotu to daudziem citiem lietojuma gadījumiem. Pasākums #5: Pilns kods Piemēra galīgā versija ir: # pip install aiohttp

import asyncio
import aiohttp
import urllib.parse
import json

# Replace these with your Bright Data API token and zone names
BRIGHT_DATA_API_TOKEN = "<YOUR_BRIGHT_DATA_API_KEY>"
SERP_ZONE = "serp_api"  # Your SERP API zone
WEB_UNLOCKER_ZONE = "web_unlocker"  # Your Web Unlocker API zone

HEADERS = {
    "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data
    "Content-Type": "application/json"
}

async def fetch_serp(session, query, location="us", language="en"):
    url = "https://api.brightdata.com/request"
    data = {
        "zone": SERP_ZONE,
        "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}",
        "format": "json"
    }
    async with session.post(url, json=data, headers=HEADERS) as resp:
        response_data = await resp.json()
        return json.loads(response_data["body"])

async def fetch_page(session, page_url, data_format="markdown"):
    url = "https://api.brightdata.com/request"
    data = {
        "zone": WEB_UNLOCKER_ZONE,
        "url": page_url,
        "format": "raw",
        "data_format": data_format
    }
    async with session.post(url, json=data, headers=HEADERS) as resp:
        return await resp.text()


async def main():
    # Topics to search
    input_topic = "new version of MCP"

    async with aiohttp.ClientSession() as session:
        # Search phase: Get SERP results
        serp_results = await fetch_serp(session, input_topic)

        # Where to store the page URLs to scrape in the "Extract" phase
        pages_of_interest = []

        # Iterate over results and filter for URLs containing "modelcontextprotocol.io"
        for result in serp_results.get("organic", []):
            page_url = result.get("link")
            if page_url and "modelcontextprotocol.io" in page_url:
                pages_of_interest.append(page_url)
            if len(pages_of_interest) == 3:
                break

        print("Pages to scrape:", pages_of_interest)

        # Extract phase: Scrape pages concurrently
        tasks = [fetch_page(session, url) for url in pages_of_interest]
        web_page_results = await asyncio.gather(*tasks)

        # Access the content from each page
        markdown_pages = [page for page in web_page_results]

        print("Scraped page contents:")
        for markdown_page in markdown_pages:
            print(markdown_page[:300] + "...\n---\n")

        # AI processing, RAG pipelines, or further workflows...

# Run the async main function
asyncio.run(main())
 Pateicoties Bright Data API gataviem produktiem, jūs varat ieviest efektīvu, uzņēmuma līmeņa, ražošanas gatavu "Meklēt un iegūt" darba plūsmu mazāk nekā 50 Python koda rindās! Secinājums Šajā rakstā jūs apskatījāt, kāpēc datu cauruļvadi un AI darba plūsmas ir atkarīgas no aktuālas, kontekstuālas un uzticamas informācijas. Viens no uzticamiem veidiem, kā iegūt šos datus, ir izmantojot AI modelis, kas efektīvi ir kļuvis par standarta pieeju augstas kvalitātes, pārbaudāmiem tīmekļa datiem. fāzes automatizē atklāšanu visās meklētājprogrammās, kamēr fāze iegūst strukturētu informāciju no vispiemērotākajiem rezultātiem. Meklēšana un ekstrakts Meklēšana Izstāde ️ Kā parādīts visā šajā rakstā, izmantojot AI gatavu tīmekļa nokasīšanas platformu, piemēram, Bright Data, šī darba plūsmas īstenošana ir gan praktiska, gan mērogojama. un izpētīt visus savus tīmekļa datu risinājumus! Start a Bright Data free trial today Sāciet Bright Data bezmaksas izmēģinājumu šodien 
 
 Šis raksts ir publicēts, izmantojot HackerNoon Business Blogging programmu. Šis raksts ir publicēts, izmantojot HackerNoon Business Blogging programmu.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

This writer has a vested interest be it monetary, business, or otherwise, with 1 or more of the products or companies mentioned within.

Portfolio

Šis audio ir izveidots stāsta oriģinālvalodā!

Meklēšana un ekstrakts: kāpēc šis AI modelis ir svarīgs, pamācība un piemērs

About Author

KOMENTĀRI

PAKARINĀT TAGUS

ŠIS RAKSTS TIKS PĀRSTRĀDĀTS

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps