Hledání a extrahování: Proč tento vzor AI záleží, výukový program a příklad

Většina AI agentů, ML potrubí, pracovních postupů obohacujících AI, hlubokých výzkumných systémů a datových rozhodovacích motorů neuspěje, protože modely jsou špatné. Konkrétně, data mají tendenci být zastaralá, mimo kontext, neověřitelná, nebo všechny tři najednou.To je hlavní problém. V tomto článku uvidíte, co Ve skutečnosti to znamená, jak to funguje pod kapotou, proč to záleží víc, než si většina lidí myslí, a jak to implementovat od konce k konci s konkrétním příkladem! Vyhledávání a extrahování Potřeba čerstvých, kontextových a spolehlivých, ověřitelných informací Statista uvádí, že každý den se vygeneruje 402,74 milionu terabajtů dat. Tato data pronikají do webu, datových skladů, analytických hromad a potrubí v měřítku, o kterém je upřímně těžké uvažovat. Ale tady je úlovek: více dat neznamená lepší data! V tomto objemu je nereálné předpokládat, že vše odráží realitu - nebo že může být dokonce důvěřováno na prvním místě ... Podniky stále dělají obchodní rozhodnutí, automatizaci a hovory založené na AI a dat. Toho A když je zdroj zastaralý, neúplný nebo prostě špatný ... poznatky postavené na něm nemohou být spolehlivé. To je přesně důvod, proč LLM halucinují, agenti umělé inteligence dávají přesvědčivé, ale nesprávné odpovědi a datové potrubí tiše selhává ve výrobě. Ve většině reálných případů není problém model, nástroj nebo implementace. Ať už spouštíte klasický pracovní postup analytiky nebo plně autonomního agenta AI, vše závisí na kvalitě zdrojových dat. Potřebujete data, která jsou: Čerstvé Kontextuální ověřitelné Koneckonců, pokud nevíte Údaje pocházejí z nebo Bylo to shromážděno, nemůžete realisticky důvěřovat výsledku. kde kdy To je ta pravá otázka. Jak spolehlivě získat informace, které jsou aktuální, relevantní pro konkrétní úkol a prokazatelně spojené s jeho zdrojem? Jak spolehlivě získat informace, které jsou aktuální, relevantní pro konkrétní úkol a prokazatelně spojené s jeho zdrojem? To je místo, kde se Pattern přichází! pojďme to rozbít. Search and Extract Vyhledávání a extrakt: Co to je a proč je to řešení „Hledat a extrahovat“ je Proces pro získání aktuálních, ověřitelných a kontextových informací z webu je jednoduchý ve struktuře, ale v praxi velmi účinný. De facto standardy Na vysoké úrovni funguje ve dvou odlišných krocích: Vyhledávání: Systém provádí živé webové vyhledávání na vyhledávačích, jako je Google, aby našel nejrelevantnější a nejspolehlivější zdroje pro daný dotaz. Extrakt: Z výsledků vyhledávání systém identifikuje nejrelevantnější adresy URL, navštíví tyto stránky a získá z nich nejpoužívanější obsah nebo data. To může zahrnovat fakta, statistiky, definice nebo strukturované informace analyzované ze stránky. Tento vzorek je obzvláště užitečný v aplikacích souvisejících s AI, jako jsou agenti AI, Aplikuje se také na tradiční strojové učení, ověřování faktů a potrubí pro obohacování dat. Systémy RAG Systémy RAG Konečným cílem vzoru „Hledat a extrahovat“ je řešit výzvy moderních dat tím, že zajistí, že shromážděné informace jsou: Čerstvé , protože škrábané veřejné webové údaje pocházejí z nedávných vyhledávání na webu, které mohou zahrnovat nejnovější informace a zprávy. Kontextuální, protože informace jsou úzce sladěny s tématy uvedenými ve vyhledávacím dotazu. Ověřitelné, protože data pocházejí přímo z konkrétních webových stránek, s adresami URL, které může kdokoliv navštívit a zkontrolovat. Jak funguje vyhledávání a extrakce? Na vysoké úrovni lze „Hledat a extrahovat“ shrnout následujícím pracovním postupem: Tyto témata jsou obecně kontextově extrahovány z dokumentů, datových souborů nebo daných informačních zdrojů pomocí AI/ML. To je to, co se běžně vyskytuje v obohacování AI, ověřování dat, pracovních postupech RAG nebo hlubokých výzkumných aplikacích. Bez ohledu na zdroj jsou vyhledatelná témata předána do složky „Hledat“, kde řešení SERP API provádí automatizované webové vyhledávání na cílových vyhledávačích.Po vyhledání výsledků vyhledávání můžete buď zvážit všechny vrácené webové stránky nebo filtrovat pouze ty nejrelevantnější pomocí AI/ML nebo přísných pravidel (např. uchovávat stránky z konkrétních domén, jazyků nebo jiných kritérií). Při cílení více vyhledávacích dotazů najednou (ať už se jedná o různé dotazy nebo více stránek pro stejný dotaz), možná budete muset spustit vlastní re-rankingový algoritmus.Ranking poskytovaný společností Google nebo jakýmkoli vyhledávačem je optimalizován pro SEO, což nemusí odrážet to, co je důležité pro váš případ použití. Vybrané adresy URL jsou poté odesílány do uzlu „Extract“, kde webová škrábací služba přistupuje k každé stránce a extrahuje hlavní informace. Následně se podívejme na služby, které přicházejí do hry ve fázích „Hledat“ a „Vytáhnout“ respektive! Hledání Vyhledávače jako Google, Bing, DuckDuckGo, Baidu a Yandex chrání své SERP (Search Engine Results Pages) s limity sazeb a CAPTCHA, aby se zabránilo automatickému škrábání. Nejspolehlivější způsob, jak provést fázi „Hledání“, je pomocí řešení SERP API. Tyto služby vystavují koncové body k spuštění vyhledávacích úkolů v cloudu pomocí infrastruktury navržené tak, aby pro vás zvládly škálovatelnost a anti-bot opatření. Podporuje globální vyhledávání prostřednictvím proxy sítě více než 150 milionů IP adres v 195 zemích, může vrátit plně analyzovaná SERP data v JSON, nabízí mnoho možností stránkování a podporuje integraci do jakéhokoli datového nebo ML potrubí pomocí standardních HTTP žádostí, stejně jako více než 50 rámců a pracovních postupů agentů AI. Serp API pro jasné údaje Serp API pro jasné údaje Navíc, API SERP společnosti Bright Data vám umožňuje spustit neomezený počet vyhledávacích dotazů souběžně. To znamená, že můžete získat tisíce výsledků během fáze „Hledání“. Poté je můžete filtrovat a řadit podle svých potřeb v pozdějších fázích celkového procesu „Hledání a extrahování“ (jak bylo zmíněno dříve). Extrakt ️ Důvodem je, že každá webová stránka je jiná, a dokonce i stránky v rámci stejné domény mohou následovat různé renderování, vizualizace dat a logiku vyhledávání. To činí programové přístup k jejich obsahu poměrně obtížné. To vyžaduje služby třetích stran, které vám umožní spolehlivě přístup k obsahu webových stránek, bez ohledu na to, jak jsou chráněny, a bez ohledu na vaše potřeby škálovatelnosti. Web Unlocker API: API, která bez námahy přistupuje k jakékoli veřejné webové stránce, automaticky zpracovává bloky, CAPTCHA, otisk prstu a rotaci proxy. Prohlížeč API: Plně hostovaný cloudový prohlížeč kompatibilní s Puppeteer, Selenium, Playwright a dalšími rámcovými systémy pro automatizaci, s integrovaným řešením CAPTCHA a automatizovanou správou proxy. Webový Unlocker API Webový Unlocker API prohlížeč API prohlížeč API Web Unlocker je ideální pro vyhledávání obsahu stránek, ať už v surovém HTML nebo AI-ready Markdown (a) Pro dynamické stránky, které vyžadují interakci nebo automatizaci pro přístup k datům, které potřebujete, je API prohlížeče vhodnější. skvělý datový formát pro LLM ingestion skvělý datový formát pro LLM ingestion Společně tato dvě řešení pokrývají vše potřebné pro fázi „Extrahovat“ pracovního postupu „Hledat a extrahovat“. Jak implementovat vyhledávání a extrahování pracovních postupů v Pythonu Zjistěte, jak implementovat realistický pracovní postup "Hledat a extrahovat" v Pythonu: Pro fázi vyhledávání budete používat API SERP společnosti Bright Data k spuštění živých vyhledávání na webu. Pro fázi extrahování se budete spoléhat na rozhraní Web Unlocker API, abyste získali a analyzovali obsah z vybraných stránek. Sledujte úvod níže! Předpoklady Chcete-li sledovat spolu s touto částí tutoriálu, ujistěte se, že máte: Python 3.9+ je nainstalován lokálně. Účet Bright Data nakonfigurovaný se zónou SERP API a zónou Web Unlocker API spolu s klíčem API. Pokud nejste obeznámeni s tím, jak začít s produktem Bright Data SERP API nebo Web Unlocker API, postupujte podle oficiální dokumentace: Úvod do SERP API Úvod do aplikace Bright Data Unlocker API Úvod do SERP API Úvod do SERP API Úvod do aplikace Bright Data Unlocker API Úvod do aplikace Bright Data Unlocker API Od této chvíle budeme odkazovat na vaši zónu SERP API jako a do zóny Web Unlocker API jako : serp_api web_unlocker Také se ujistěte, že zóna je nakonfigurována v režimu „Full JSON“ v sekci „Data Format“ uvnitř konfigurační tabulky: serp_api Tímto způsobem API Bright Data SERP vrátí vyhodnocené výsledky SERP ve formátu JSON, což je usnadní filtrování a opětovné zařazení. A konečně, To bude použito k ověření požadavků na výše uvedené služby! Vytvořte svůj klíč API Bright Data Vytvořte svůj klíč API Bright Data Chcete-li tento proces urychlit, předpokládáme, že již máte nastavený projekt Python s virtuálním prostředím. Krok #1: Připravte se na přístup k službám Bright Data přes API Nejjednodušší způsob, jak se připojit k službám Bright Data, je přímo prostřednictvím jeho rozhraní API. Nejprve nainstalujte asynchronně připravený HTTP klient, jako je AIOHTTP: pip install aiohttp Dále definujte následující dvě funkce pro volání SERP API a Web Unlocker API: # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() Tyto funkce se připojuje k rozhraní Bright Data SERP API k provádění vyhledávání Google a získání vyhledávaných výsledků JSON SERP (jak je nastaveno ve vašem účtu). fetch_serp() Stejně tak Připojí se k Bright Data Web Unlocker API pro vyhledávání webových stránek. Konfigurace výstupu jako Markdown, což je ideální pro vstřebávání do LLM. fetch_page() Další informace o argumentech, parametrech a způsobu volání těchto dvou rozhraní API naleznete v dokumentech! : Při výrobě se vyhněte hardcodování klíče API Bright Data. Namísto toho jej načtěte z proměnné prostředí. Note Nyní máte stavební bloky pro implementaci fází „Hledat“ a „Vytahovat“ v Funkce : async import asyncio async def main(): # "Search and Extract" logic... # Run the async main function asyncio.run(main()) Krok #2: Proveďte fázi extrakce Předpokládejme, že máte agenty umělé inteligence, kteří se spoléhají na integrace MCP a chtějí vytvořit zprávu ukazující, jak by je mohly ovlivnit budoucí změny protokolu, jaké nové funkce budou k dispozici a tak dále. Pravidelné LLM nemůže pomoci s tímto úkolem, protože MCP je relativně nový a většina modelů byla vyškolena na starších datech. "new version of MCP" Zavolejte API SERP, abyste získali vyhledávané výsledky Google SERP pro tento vyhledávací dotaz: # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) Za scénami, na funkce volá SERP API pomocí poskytnutého vyhledávacího dotazu. Pokud potřebujete řešit více dotazů, můžete zavolat Soutěžit s využitím . fetch_serp() fetch_serp() asyncio.gather() SERP API standardně vrátí 10 výsledků na dotaz, ale lze jej nakonfigurovat tak, aby vrátil až 100 výsledků. Note Vrátí vyhodnocené výsledky Google SERP jako slovník Python. Příslušné vlastnosti: fetch_serp() organic serp_ranking_results = serp_results.get("organic", []) Tiskněte výsledky vyhledávání a měli byste získat podobný výstup: Všimněte si, jak každý prvek v řadě přesně odpovídá výsledku, který byste získali vyhledáním „nové verze MCP“ na Googlu: Krok #3: Filtrování URL zájmu Ze všech výsledků SERP vrácených voláním SERP API předpokládejme, že máte zájem až o top 3 výsledky z " Domain (oficiální doména pro specifikace MCP).Také, pojďme zvážit původní hodnocení Google jako hodnocení, které chcete zachovat. Kontextový protokol.io Kontextový protokol.io Filtrujte je následovně: # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_data_results: page_url = result.get("url") if "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) # Stop once reaching 3 results if len(page_url) == 3: break Výsledkem bude seznam adres URL, ke kterým se má během fáze „Extract“ přistupovat. [ "http://blog.modelcontextprotocol.io/posts/2025-11-25-first-mcp-anniversary/", "https://modelcontextprotocol.io/development/roadmap", "https://modelcontextprotocol.io/specification/2025-11-25" ] Je čas získat informace z těchto stránek! Krok #4: Proveďte fázi extrakce Použijte to Funkce volat Web Unlocker API a škrábat tři vybrané stránky paralelně: fetch_page() tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) : Pokud se zabýváte dynamickou stránkou, která vyžaduje interakci uživatelů, extrahujte z ní data pomocí technologie automatizace prohlížeče, jako je Playwright, integrovaná s API prohlížeče. Note Výsledkem bude řetězec obsahující obsah každé cílové stránky. Přístup k odemčenému obsahu Markdown z každé stránky pomocí: markdown_pages = [page for page in web_page_results] Ujistěte se, že rozsah skutečně obsahuje Markdown cílových stránek: for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") V tomto případě je výstup: To odpovídá Markdown verzi každé cílené stránky, což znamená, že Web Unlocker API byl schopen provádět webové extrakce dat úspěšně, bez ohledu na jakékoli anti-bot nebo anti-scraping opatření na místě. Vzhledem k těmto čerstvým, kontextovým a ověřitelným údajům je uchovávejte pro další analýzu, předávejte je LLM pro zpracování, použijte je k detekci dalších témat zájmu, pokračujte v hlubším výzkumu nebo jej aplikujte na mnoho dalších případů použití. Step #5: Complete Code Konečná verze příkladu zní: # pip install aiohttp import asyncio import aiohttp import urllib.parse import json # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() async def main(): # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_results.get("organic", []): page_url = result.get("link") if page_url and "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) if len(pages_of_interest) == 3: break print("Pages to scrape:", pages_of_interest) # Extract phase: Scrape pages concurrently tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) # Access the content from each page markdown_pages = [page for page in web_page_results] print("Scraped page contents:") for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") # AI processing, RAG pipelines, or further workflows... # Run the async main function asyncio.run(main()) Díky produktům připraveným pro rozhraní Bright Data API můžete implementovat efektivní, podnikový, výrobní pracovní postup „Hledat a extrahovat“ v méně než 50 řádcích kódu Python! Závěr V tomto příspěvku jste se podívali na to, proč datové potrubí a pracovní postupy umělé inteligence závisí na aktuálních, kontextových a spolehlivých informacích. Jedním ze spolehlivých způsobů shromažďování těchto údajů je prostřednictvím Model AI, který se skutečně stal standardním přístupem k přístupu k vysoce kvalitním, ověřitelným webovým datům. automatizuje objevování přes vyhledávače, zatímco Tato fáze čerpá strukturované informace z nejrelevantnějších výsledků. Vyhledávání a extrahování Hledání Extrakt ️ Jak je ukázáno v tomto článku, pomocí AI připravené platformy pro škrábání webových stránek, jako je Bright Data, je implementace tohoto pracovního postupu praktická a škálovatelná. a prozkoumejte všechna její webová data řešení! Zahájení bezplatné zkušební verze Bright Data dnes Zahájení bezplatné zkušební verze Bright Data dnes Tento článek je publikován prostřednictvím programu HackerNoon Business Blogging. Tento článek je publikován prostřednictvím programu HackerNoon Business Blogging.