Vyhľadávanie a extrakt: Prečo tento vzor AI záleží, výukový program a príklad

Väčšina agentov AI, potrubia ML, pracovné postupy na obohatenie umelej inteligencie, hlboké výskumné systémy a rozhodovacie motory založené na údajoch nezlyhajú, pretože modely sú zlé. Konkrétne, údaje majú tendenciu byť zastarané, mimo kontextu, neoverené, alebo všetky tri naraz. To je základný problém. V tomto článku uvidíte, čo V skutočnosti to znamená, ako to funguje pod kapotou, prečo to záleží viac, než si väčšina ľudí myslí, a ako to implementovať od konca k koncu s konkrétnym príkladom! Vyhľadávanie a extrakt Potreba čerstvých, kontextových a spoľahlivých, overiteľných informácií Podľa spoločnosti Statista sa každý deň vygeneruje približne 402,74 milióna terabajtov dát. Tieto dáta prenikajú do webu, dátových skladov, analytických zásobníkov a potrubí v rozsahu, o ktorom je úprimne ťažké uvažovať. Ale tu je úlovok: viac dát neznamená lepšie dáta! V tomto zväzku je nereálne predpokladať, že všetko odráža realitu - alebo že to môže byť dokonca spoľahlivé na prvom mieste ... Podniky stále prijímajú obchodné rozhodnutia, automatizáciu a hovory založené na AI a dát. že A keď je zdroj zastaraný, neúplný alebo jednoducho nesprávny ... poznatky postavené na ňom nemôžu byť spoľahlivé. To je presne dôvod, prečo LLM halucinujú, agenti AI dávajú presvedčivé, ale nesprávne odpovede a dátové potrubia ticho zlyhávajú vo výrobe. Vo väčšine reálnych prípadov nie je problémom model, nástroj alebo implementácia. Či už spustíte klasický pracovný postup analýzy alebo plne autonómneho agenta AI, všetko závisí od kvality zdrojových údajov. Čerstvé Kontextuálne Overiteľné Koniec koncov, ak neviete Údaje pochádzajú z alebo bol zozbieraný, nemôžete realisticky dôverovať výsledku. kde Kedy To je skutočná otázka. Ako spoľahlivo získať informácie, ktoré sú aktuálne, relevantné pre konkrétnu úlohu a preukázateľne spojené s jej zdrojom? Ako spoľahlivo získať informácie, ktoré sú aktuálne, relevantné pre konkrétnu úlohu a preukázateľne spojené s jej zdrojom? To je miesto, kde sa Vráťme sa k nám! - Vráťme sa k nám! Search and Extract Vyhľadávanie a extrakt: čo to je a prečo je to riešenie „Hľadať a extrahovať“ je Proces získavania aktuálnych, overiteľných a kontextovo bohatých informácií z webu je jednoduchý v štruktúre, ale v praxi veľmi efektívny. De facto štandard Na vysokej úrovni funguje v dvoch odlišných krokoch: Vyhľadávanie: Systém vykonáva živé vyhľadávanie na webe vo vyhľadávačoch, ako je Google, aby našiel najrelevantnejšie a najspoľahlivejšie zdroje pre daný dotaz. Extrakt: Z výsledkov vyhľadávania systém identifikuje najrelevantnejšie URL adresy, navštívi tieto stránky a získava z nich najužitočnejší obsah alebo údaje.To môže zahŕňať fakty, štatistiky, definície alebo štruktúrované informácie analyzované zo stránky. Tento vzor je obzvlášť užitočný v aplikáciách súvisiacich s AI, ako sú napríklad agenti AI, Aplikuje sa aj na tradičné strojové učenie, overovanie faktov a potrubia na obohatenie údajov. Agentové systémy RAG Agentové systémy RAG Konečným cieľom vzoru "Hľadať a extrahovať" je riešiť moderné výzvy údajov tým, že zabezpečí, že zhromaždené informácie sú: Čerstvé, pretože škrabané verejné webové údaje pochádzajú z nedávnych webových vyhľadávaní, ktoré môžu zahŕňať najnovšie informácie a správy. Kontextuálne, pretože informácie sú úzko spojené s témami uvedenými vo vyhľadávacom dotaze. Overiteľné, pretože údaje pochádzajú priamo z konkrétnych webových stránok, s URL adresami, ktoré môže ktokoľvek navštíviť a skontrolovať. Ako funguje vyhľadávanie a extrakcia? Na vysokej úrovni je možné „Hľadať a extrahovať“ zhrnúť nasledujúcim pracovným postupom: Tieto sú zvyčajne kontextovo extrahované z dokumentov, dátových súborov alebo z daných zdrojov informácií pomocou AI / ML. To je to, čo sa bežne vyskytuje v obohacovaní AI, overovaní údajov, pracovných postupoch RAG alebo aplikáciách hlbokého výskumu. Bez ohľadu na zdroj sú vyhľadávateľné témy prenesené do komponentu „Hľadať“, kde riešenie SERP API vykonáva automatizované webové vyhľadávanie na cieľových vyhľadávačoch.Po vyhľadávaní výsledkov vyhľadávania môžete buď zvážiť všetky vrátené webové stránky alebo filtrovať iba tie najrelevantnejšie pomocou AI/ML alebo prísnych pravidiel (napr. uchovávanie stránok z konkrétnych domén, jazykov alebo iných kritérií). Pri zacielení viacerých vyhľadávacích dotazov naraz (či už rôznych dotazov alebo viacerých stránok pre rovnaký dotaz), možno budete musieť spustiť vlastný re-rankingový algoritmus.Ranking poskytovaný spoločnosťou Google alebo akýmkoľvek vyhľadávačom je optimalizovaný pre SEO, čo nemusí odrážať to, čo je dôležité pre váš prípad použitia. Vybrané adresy URL sú potom odoslané do uzla "Extrakt", kde webová škrabka získava prístup k každej stránke a extrahuje hlavné informácie. Ďalej sa pozrime na služby, ktoré vstupujú do hry vo fázach „Hľadať“ a „Vytiahnuť“! Vyhľadávanie Vyhľadávače ako Google, Bing, DuckDuckGo, Baidu a Yandex chránia svoje SERP (Search Engine Results Pages) s limitmi sadzieb a CAPTCHA, aby sa zabránilo automatickému škrabanie. Najspoľahlivejším spôsobom, ako vykonať fázu „Hľadať“, je použitie riešenia SERP API. Tieto služby odhaľujú koncové body na spustenie vyhľadávacích úloh v cloude pomocou infraštruktúry navrhnutej na riešenie škálovateľnosti a anti-bot opatrení pre vás. Podporuje globálne vyhľadávanie cez proxy sieť s viac ako 150 miliónmi IP adres v 195 krajinách, môže vrátiť plne analyzované údaje SERP v JSON, ponúka mnoho možností paginácie a podporuje integráciu do akéhokoľvek dátového alebo ML potrubia pomocou štandardných požiadaviek HTTP, ako aj viac ako 50 rámcov a pracovných postupov agentov AI. Serp API pre jasné dáta Serp API pre jasné dáta Navyše, API SERP spoločnosti Bright Data vám umožňuje spustiť neobmedzený počet paralelných vyhľadávacích dotazov. To znamená, že počas fázy „Hľadať“ môžete získať tisíce výsledkov. Potom ich môžete filtrovať a prehodnotiť podľa vašich potrieb v neskorších fázach celkového procesu „Hľadať a extrahovať“ (ako bolo uvedené skôr). Extrakt ️ Dôvodom je, že každá webová stránka je iná, a dokonca aj stránky v rámci tej istej domény môžu nasledovať rôzne renderovanie, dátovú vizualizáciu a logiku vyhľadávania. To robí programatický prístup k ich obsahu pomerne ťažkým. To si vyžaduje služby tretích strán, ktoré vám umožnia spoľahlivo pristupovať k obsahu webových stránok, bez ohľadu na to, ako sú chránené, a bez ohľadu na vaše potreby škálovateľnosti. Web Unlocker API: API, ktorá pristupuje k akejkoľvek verejnej webovej stránke bez námahy, automaticky zaobchádza s blokmi, CAPTCHA, odtlačkami prstov a rotáciou proxy. Prehliadač API: Plne hosťovaný cloudový prehliadač kompatibilný s Puppeteer, Selenium, Playwright a ďalšími rámcami automatizácie, so zabudovaným riešením CAPTCHA a automatizovanou správou proxy. Webový Unlocker API Webový Unlocker API Prehľadávač API Prehľadávač API Web Unlocker je ideálny pre vyhľadávanie obsahu stránky, buď v surovom HTML alebo AI-ready Markdown (a Pre dynamické stránky, ktoré vyžadujú interakciu alebo automatizáciu na prístup k údajom, ktoré potrebujete, je prehliadač API vhodnejší. Veľký dátový formát pre LLM ingestion Veľký dátový formát pre LLM ingestion Spoločne tieto dve riešenia pokrývajú všetko, čo sa vyžaduje pre fázu „Extrakt“ pracovného postupu „Hľadať a extrahovať“. Ako implementovať vyhľadávanie a extrahovanie pracovného postupu v Pythone Naučte sa implementovať realistický pracovný postup "Hľadať a extrahovať" v Pythone: Pre fázu vyhľadávania použijete API SERP spoločnosti Bright Data na spustenie živých vyhľadávaní na webe. Vo fáze extrakcie sa budete spoliehať na rozhranie Web Unlocker API na vyhľadávanie a analýzu obsahu z vybraných stránok. Sledujte úvod nižšie! Predpoklady Ak chcete postupovať spolu s touto sekciou tutoriálu, uistite sa, že máte: Python 3.9+ je nainštalovaný lokálne. Účet Bright Data nakonfigurovaný so zónou SERP API a zónou Web Unlocker API spolu s kľúčom API. Ak nie ste oboznámení s tým, ako začať s produktmi Bright Data SERP API alebo Web Unlocker API, postupujte podľa oficiálnej dokumentácie: Úvod do SERP API Úvod do aplikácie Bright Data Unlocker API Úvod do SERP API Úvod do SERP API Úvod do aplikácie Bright Data Unlocker API Úvod do aplikácie Bright Data Unlocker API Odteraz budeme odkazovať na vašu zónu SERP API ako a do zóny Web Unlocker API ako : serp_api web_unlocker Taktiež sa uistite, že zóna je nakonfigurovaná v režime „Full JSON“ v sekcii „Formát údajov“ v konfiguračnej tabuľke: serp_api Týmto spôsobom API Bright Data SERP vráti analyzované výsledky SERP vo formáte JSON, čo uľahčuje ich filtrovanie a opätovné zaradenie. Na záver, To sa použije na overenie požiadaviek na vyššie uvedené služby! Vytvorenie kľúča API Bright Data Vytvorenie kľúča API Bright Data Na urýchlenie procesu predpokladáme, že už máte nainštalovaný projekt Python s virtuálnym prostredím. Krok #1: Pripravte sa na prístup k službám jasných údajov prostredníctvom rozhrania API Najjednoduchší spôsob, ako sa pripojiť k službám Bright Data, je priamo prostredníctvom jeho rozhrania API. Po prvé, nainštalujte asynchrónne pripravený HTTP klient, ako je AIOHTTP: pip install aiohttp Ďalej definujte nasledujúce dve funkcie na zavolanie SERP API a Web Unlocker API: # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() na funkcia sa pripája k rozhraní API Bright Data SERP na vykonanie vyhľadávania Google a získanie výsledkov JSON SERP (ako je nakonfigurované vo vašom účte). fetch_serp() Podobným spôsobom, pripája k API Bright Data Web Unlocker na vyhľadávanie webových stránok. Konfigurácia výstupu ako Markdown, ktorý je ideálny pre vstrebávanie do LLM. fetch_page() Ďalšie informácie o argumentoch, parametroch a spôsoboch volania týchto dvoch rozhraní API nájdete v dokumentoch! : Pri výrobe sa vyhnite hardcodovaniu kľúča API Bright Data. Namiesto toho ho načítajte z premenné prostredia. Note Skvelé! Teraz máte stavebné bloky na implementáciu fáz „Hľadať“ a „Vytiahnuť“ v funkcie : async import asyncio async def main(): # "Search and Extract" logic... # Run the async main function asyncio.run(main()) Krok #2: Vykonajte extrakčnú fázu Predpokladajme, že máte agentov AI, ktorí sa spoliehajú na integrácie MCP a chcú vytvoriť správu ukazujúcu, ako ich budúce zmeny v protokole môžu ovplyvniť, aké nové funkcie budú k dispozícii a tak ďalej. Pravidelné LLM nemôžu s touto úlohou veľa pomôcť, pretože MCP je relatívne nový a väčšina modelov bola vyškolená na starších údajoch. "new version of MCP" Zavolajte SERP API na vyhľadávanie vyhľadávaných výsledkov Google SERP pre tento vyhľadávací dotaz: # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) Za scénami, na funkcia volá SERP API pomocou poskytnutého vyhľadávacieho dotazu. Ak potrebujete spracovať viaceré dotazy, môžete zavolať Konkurencieschopné používanie . fetch_serp() fetch_serp() asyncio.gather() : Rozhranie SERP API predvolene vráti 10 výsledkov na dotaz, ale môže byť nakonfigurované tak, aby vrátilo až 100 výsledkov. Note vráti analyzované výsledky Google SERP ako slovník Python. Prívlastky : fetch_serp() organic serp_ranking_results = serp_results.get("organic", []) Tlačte výsledky vyhľadávania a mali by ste získať výstup podobný tomuto: Všimnite si, ako každý prvok v rozsahu presne zodpovedá výsledku, ktorý by ste získali vyhľadávaním "novej verzie MCP" na Googli: Krok #3: Filtrovať adresy URL záujmu Zo všetkých výsledkov SERP vrátených výzvou SERP API predpokladajme, že máte záujem až o top 3 výsledky z " Domain (oficiálna doména pre špecifikáciu MCP). Tiež, poďme zvážiť pôvodné poradie Google ako poradie, ktoré chcete zachovať. Kontextový protokol.io Kontextový protokol.io Filtrujte ich nasledovne: # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_data_results: page_url = result.get("url") if "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) # Stop once reaching 3 results if len(page_url) == 3: break Výsledkom bude zoznam URL, ku ktorým sa má počas fázy „Vytiahnuť“ pristupovať.V tomto behu sú identifikované URL adresy: [ "http://blog.modelcontextprotocol.io/posts/2025-11-25-first-mcp-anniversary/", "https://modelcontextprotocol.io/development/roadmap", "https://modelcontextprotocol.io/specification/2025-11-25" ] Je čas získať informácie z týchto stránok! Krok #4: Vykonajte extrakčnú fázu Používajte to Funkcia zavolať Web Unlocker API a poškriabať tri vybrané stránky paralelne: fetch_page() tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) : Ak sa zaoberáte dynamickou lokalitou, ktorá vyžaduje interakciu používateľov, extrahujte z nej dáta pomocou technológie automatizácie prehliadača, ako je Playwright, integrovaná s rozhraním API pre prehliadač. Note Výsledkom bude tabuľka obsahujúca obsah každej cieľovej stránky. Prístup k odomknutému obsahu Markdown z každej stránky pomocou: markdown_pages = [page for page in web_page_results] Skontrolujte, či rozsah skutočne obsahuje Markdown cieľových stránok: for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") V tomto prípade je výstup: To zodpovedá verzii Markdown každej cielenej stránky, čo znamená, že rozhranie Web Unlocker API bolo schopné úspešne vykonať extrakciu webových údajov bez ohľadu na akékoľvek anti-bot alebo anti-scraping opatrenia na mieste. Vzhľadom na tieto čerstvé, kontextové a overiteľné údaje, uložte ich na ďalšiu analýzu, odovzdajte ich do LLM na spracovanie, použite ich na zistenie ďalších tém záujmu, pokračujte v hlbšom výskume alebo ich aplikujte na mnoho ďalších prípadov použitia. Krok #5: Kompletný kód Konečná verzia príkladu je: # pip install aiohttp import asyncio import aiohttp import urllib.parse import json # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() async def main(): # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_results.get("organic", []): page_url = result.get("link") if page_url and "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) if len(pages_of_interest) == 3: break print("Pages to scrape:", pages_of_interest) # Extract phase: Scrape pages concurrently tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) # Access the content from each page markdown_pages = [page for page in web_page_results] print("Scraped page contents:") for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") # AI processing, RAG pipelines, or further workflows... # Run the async main function asyncio.run(main()) Vďaka produktom pripraveným na API Bright Data môžete implementovať efektívny, podnikový, výrobný pracovný postup „Hľadať a extrahovať“ v menej ako 50 riadkoch kódu Python! záver V tomto príspevku ste sa pozreli na to, prečo dátové potrubia a pracovné postupy AI závisia od aktuálnych, kontextových a dôveryhodných informácií. Jedným spoľahlivým spôsobom zhromažďovania týchto údajov je prostredníctvom AI vzorec, ktorý sa skutočne stal štandardným prístupom k prístupu k vysoko kvalitným, overiteľným webovým údajom. fázové automatizuje objavovanie cez vyhľadávače, zatiaľ čo fázu čerpá štruktúrované informácie z najrelevantnejších výsledkov. Vyhľadávanie a extrakt Vyhľadávanie Extrakt ️ Ako je znázornené v tomto článku, použitie AI-ready webové škrabanie platformy, ako je Bright Data robí implementáciu tohto pracovného postupu praktické a škálovateľné. a preskúmať všetky svoje webové dátové riešenia! Začnite dnes bezplatnú skúšobnú verziu Bright Data Začnite dnes bezplatnú skúšobnú verziu Bright Data Tento článok je publikovaný prostredníctvom programu HackerNoon Business Blogging. Tento článok je publikovaný prostredníctvom programu HackerNoon Business Blogging.