Search and Extract: Bakit Ang Pattern ng AI Matters, Tutorial, at Example

Ang karamihan ng mga agente ng AI, ML pipelines, AI enrichment workflows, deep research systems, at data-driven decision engines ay hindi nawala dahil ang mga modelo ay mababa. Samakatuwid, ang data ay may karaniwang mga outdated, out of context, unverifiable, o ang lahat ng tatlong sa parehong oras. Ito ay ang pangunahing problema. At ang pattern ng "Search and Extract" AI ay mayroon upang i-fix ito! ✨ Sa artikulong ito, makikita mo kung ano ang Sa katunayan, kung paano ito gumagana sa ilalim ng kape, bakit ito ay mahalaga na mas mahalaga kaysa sa karamihan sa mga tao, at kung paano i-implementate ito end-to-end na may isang konkretong halimbawa! Paghahanap at pag-extract Ang pangangailangan ng freshly, kontekstual, at trusted, verified na impormasyon Ayon sa Statista, halos 402.74 milyong terabytes ng data ay generated bawat araw Ang data na inilathala sa web, data warehouses, analytics stacks, at pipelines sa isang skala na ay malaki na malalaman tungkol sa. Ngunit dito ang catch: higit pang data ay hindi nangangahulugan ng mas mahusay na data! Sa volume na ito, ito ay hindi realista upang matanggap na ang lahat ay nagpapakita ng katotohanan - o na ito ay maaaring kahit na ibig sabihin sa unang lugar ... Ang mga kumpanya ay patuloy na gumawa ng business decisions, automations, at AI-driven calls batay sa ang data. ang At kapag ang source ay inaasahan, incomplete, o just plain wrong... ang mga insights na binuo sa itaas ng ito ay hindi maaaring maging reliable. They just look confident, but they are probably wrong! Ito ay ang dahilan kung bakit ang mga LLM ay halusin, ang mga agente ng AI ay nagbibigay ng convincing ngunit mga hindi katangian na mga solusyon, at ang data pipelines ay silent na nangangahulugan sa produksyon. Sa karamihan ng mga kaso ng real-world, ang problema ay hindi ang modelo, ang tooling, o ang pag-implementasyon. Kung ikaw ay gumagana ng isang classic analytics workflow o isang napaka-autonomous AI agent, ang lahat ay depende sa kalidad ng mga data source. ang fresh ang konteksto Mag-verify ang Pagkatapos ng lahat, kung hindi mo alam ang data ay dumating mula sa o ito ay ibinibigay, hindi mo realisteng mamahalin ang resulta. Nasaan ang kapag Ito ang real question. Paano mo reliably i-recover ang impormasyon na ay up-to-date, relevant para sa isang spesifikal na trabaho, at provably naka-link back sa kanyang source? Paano mo reliably i-recover ang impormasyon na ay up-to-date, relevant para sa isang spesifikal na trabaho, at provably naka-link back sa kanyang source? Ito ang lugar kung saan ang Ang pattern ay dumating! i-break it down. Search and Extract Search and Extract: Ano ang ito at bakit ito ang solusyon Ang “Search and Extract” ay isang ang proseso para sa pagkuha ng up-to-date, verified, at kontekstong-rikong impormasyon mula sa web . Ito ay simpleng sa pag-aralan, ngunit napaka-effective sa karanasan. de facto ang standard Sa isang mataas na antas, ito ay gumagana sa dalawang distinct steps: Search: Ang sistema ay gumaganap ng isang live web search sa search engines tulad ng Google upang makahanap ang mga pinaka-relevant at pang-trusted na mga source para sa isang tiyak na query. Ito ay tumutulong sa data pipeline magsisimula sa impormasyon na ay kasalukuyang at dumating mula sa malinaw na mga source. Pumunta: Mula sa mga resulta ng paghahanap, ang sistema ay nakilala ang mga pinaka-relevant na URLs, bisitahin ang mga pahina, at i-recover ang pinaka-mahal na nilalaman o data mula sa mga ito. Ito ay maaaring magkakaiba ng mga katotohanan, statistics, definitions, o estruktural na impormasyon na pag-analisa mula sa pahina. Ang pattern na ito ay lalo na useful sa AI-related applications, tulad ng mga agens ng AI, , at enterprise-grade AI workflows. Gayundin, ito ay magagamit sa mga tradisyonal na machine learning, fact-checking, at data enrichment pipelines. Mga sistema ng RAG Mga sistema ng RAG Ang pangunahing target ng pattern ng "Search and Extract" ay upang matugunan ang mga pangunahing problema sa modernong data sa pamamagitan ng pag-iisip na ang impormasyon na nakolekta ay: Fresh , dahil ang scraped public web data ay dumating mula sa mga nakaraang mga paghahanap sa web, na maaaring naglalaman ang pinakabagong impormasyon at mga balita. Kontekstual , dahil ang impormasyon ay malapit sa mga tema na itakda sa search query. Verifiable , dahil ang data ay dumating direktang mula sa anumang mga web page, na may mga URL na maaaring bisitahin at i-check. Paano gumagana ang Search and Extract? Sa isang mataas na antas, ang "Search and Extract" ay maaaring sumusunod sa mga sumusunod na workflow: Ang input para sa workflow na ito ay isang listahan ng searchable topics. Ang mga ito ay karaniwang kontekstong-extracted mula sa mga dokumento, datasets, o ibinigay na mga source ng impormasyon gamit ang AI / ML. Ito ay ang karaniwang nangyayari sa AI enrichment, data verification, RAG workflows, o deep research application. Sa paglipad ng source, ang mga tagahanga sa paghahanap ay inilathala sa component "Search", kung saan ang isang SERP API solusyon ay gumagawa ng automated web search sa target search engines. Pagkatapos ng paghahanap ng mga resulta ng paghahanap, maaari mo o i-consider ang lahat ng inilathala na mga webpage o i-filter lamang ang mga pinaka-relevant na mga gumagamit ng AI / ML o mga karaniwang mga patakaran (e.g., ilagay ang mga pahina mula sa anumang mga domain, mga wika, o iba pang mga criteria). Sa pag-target ng higit pang mga query ng paghahanap sa parehong oras (ang iba't ibang query o higit pang mga pahina para sa parehong query), kailangan mong i-execute ang isang custom re-ranking algorithm. Ang ranking na ibinigay ng Google o anumang search engine ay na-optimize para sa SEO, na maaaring hindi nagpapakita kung ano ang mahalaga para sa iyong kaso ng paggamit. Ang piniliit na mga URL ay pagkatapos ay ibinigay sa "Extract" node, kung saan ang isang serbisyo ng pag-scraping ng web ay makipag-access sa bawat pahina at i-extract ang pangunahing impormasyon. Pagkatapos, i-explore ang mga serbisyo na dumating sa laro sa "Search" at "Extract" phases, respectively! Maghanap ng Ang mga search engines tulad ng Google, Bing, DuckDuckGo, Baidu, at Yandex ay protektahan ang kanilang SERPs (Search Engine Result Page) na may mga limitasyon ng rate at CAPTCHAs upang mapagpahiwatig ang automatic scraping. Dahil dito, ang scraping bots na nagtanong upang makakuha ng SERPs direkta ay karaniwang blokado. Ang pinaka-mahalagang paraan upang gawin ang "Search" phase ay gamit ang isang solusyon ng SERP API. Ang mga serbisyo na ito ay nag-expose ang mga endpoints upang i-activate search tasks sa cloud gamit ang infrastructure na dinisenyahan upang i-manage scalability at anti-bot measures para sa iyo. Ito ay sumusuporta sa mga global na paghahanap sa pamamagitan ng isang proxy network ng higit sa 150 milyong IP sa 195 mga bansa, maaaring i-return na ganap na parched SERP data sa JSON, nag-aalok ng maraming mga pagpipilian sa pagitan, at sumusuporta sa integration sa anumang data o ML pipeline gamit ang standard HTTP requests, pati na rin sa higit sa 50+ AI agent frameworks at workflows. Bright Data’s SERP API Mga pahinang tumuturo sa SERP API Sa karagdagang, ang SERP API ng Bright Data ay nagbibigay-daan sa iyo upang i-execute ang isang unlimited na bilang ng mga query ng paghahanap sa parallel. Ito ay nangangahulugan na maaari mong i-recover ng libu-libong mga resulta sa panahon ng "Search" phase. At pagkatapos ay, maaari mong i-filter at re-ranking ang mga ito ayon sa iyong mga pangangailangan sa mga hinaharap na bahagi ng pangkalahatang proseso ng "Search and Extract". Maghanap ng kategorya ️ Ang dahilan ay na ang bawat website ay iba't ibang, at kahit na mga pahina sa ilalim ng parehong domain ay maaaring sumusunod sa iba't ibang rendering, data-visualization, at pagkuha ng logic. Ito ay gumagawa ng programmatic na pag-access ang kanilang mga koneksyon ay karaniwang mahirap. Sa ibabaw ng ito, mga site ay nagtatrabaho sa paggamit ng anti-scraping mga halaga upang protektahan ang kanilang mahalaga public web data. Ito ay nangangailangan para sa mga serbisyo ng third-party na nagbibigay-daan sa iyo upang i-access ang nilalaman ng mga pahina sa web, kahit na kung paano protektado ang mga ito, at kahit na ang iyong mga pangangailangan ng scalability. Sa katunayan na ito, Bright Data ay isa sa mga pinakamahusay na provider ng mga solusyon ng web-scraping sa merkado, salamat sa mga tool tulad ng: Web Unlocker API: Ang isang API na i-access ang anumang publikong web page nang walang problema, nagtatrabaho ng mga block, CAPTCHAs, fingerprinting, at proxy rotation automatically. Browser API: Ang isang buong-hosted cloud browser compatible sa Puppeteer, Selenium, Playwright, at iba pang mga frameworks ng automation, na naglalaman ng built-in CAPTCHA solving at automated proxy management. Mga pahinang tumuturo sa Unlocker API Mga pahinang tumuturo sa Unlocker API Mga browsers Mga browsers Ang Web Unlocker ay ideal para sa pag-recover ng content ng pahina, o sa raw HTML o AI-ready Markdown (a Para sa mga dynamic sites na nangangailangan ng interaksiyon o automation upang makakuha ng access sa data na kailangan mo, ang Browser API ay mas mahusay. magandang data format para sa LLM ingestion magandang data format para sa LLM ingestion Kasama, ang dalawang solusyon na ito ay naglalaman ng lahat ng kailangan para sa "Extract" stage ng isang "Search and Extract" workflow. Paano Mag-implementate ng isang Search at Pag-extract ng Workflow sa Python Tingnan kung paano i-implementate ang isang realistang "Search and Extract" workflow sa Python: Para sa phase Search, ginagamit mo ang Bright Data's SERP API upang i-execute ang mga live web search. Para sa pag-extract phase, makakakuha ka ng Web Unlocker API upang i-download at pag-parse ang nilalaman mula sa pinili ng mga pahina. Tingnan ang introduction sa itaas! Ang mga prerequisite Upang gawin ito sa pamamagitan ng tutorial, siguraduhin na ikaw ay may: Ang Python 3.9+ ay naka-install sa lokal. Ang isang Bright Data account ay naka-configure na may isang SERP API zone at isang Web Unlocker API zone, kasama ang iyong API key. Kung hindi mo alam kung paano magsimula sa Bright Data's SERP API o Web Unlocker API mga produkto, patuloy ang opisyal na dokumento: Paglalarawan ng SERP API Paglalarawan ng Bright Data's Unlocker API Paglalarawan ng SERP API Paglalarawan ng SERP API Paglalarawan ng Bright Data's Unlocker API Paglalarawan ng Bright Data's Unlocker API Mula ngayon, kami ay mag-reference sa iyong SERP API zone bilang at sa iyong Web Unlocker API zone bilang : serp_api web_unlocker Dahil dito, siguraduhin na ang ang zone ay naka-configure sa "Full JSON" mode sa seksyon "Data Format" sa loob ng configuration table: serp_api Sa halip na ito, ang Bright Data SERP API ay ibalik ang mga resulta ng SERP sa JSON format, na kung saan ang mga ito ay mas madaling i-filter at re-rank. Ngayon ay, . Ito ay ginagamit upang i-authenticate ang mga request sa mga serbisyo na ibinigay sa itaas! I-generate ang iyong Bright Data API key I-generate ang iyong Bright Data API key Upang i-accelerate ang proseso, makikita natin na mayroon ka ng isang proyekto ng Python na itinatag na may isang virtual na lugar. Step #1: Mag-prepare para sa Access Bright Data Services sa pamamagitan ng API Ang pinakamahusay na paraan upang mag-connect sa mga serbisyo ng Bright Data ay direkta sa pamamagitan ng kanyang API. unang, i-install ang isang async-ready HTTP client tulad ng AIOHTTP: pip install aiohttp Pagkatapos, itinatag ang mga sumusunod na dalawang mga function upang i-call ang SERP API at Web Unlocker API, respectively: # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() ang ang function ay nag-connect sa Bright Data SERP API upang i-execute ang Google searches at i-recover ang parsed JSON SERP results (kanluran na naka-configure sa iyong account). fetch_serp() Sa parehong, Pag-configure ang output bilang Markdown, na ideal para sa ingestion sa LLMs. fetch_page() Para sa karagdagang impormasyon tungkol sa mga argumento, mga parameter, at kung paano i-call ang dalawang API, tingnan ang mga docs! : Sa produksyon, huwag i-hardcoding ang iyong Bright Data API key. Sa halip, i-load ito mula sa isang environment variable. Note Maganda! Ngayon ay mayroon kang mga building blocks upang i-implementate ang mga phases ng "Search" at "Extract" sa ang function: async import asyncio async def main(): # "Search and Extract" logic... # Run the async main function asyncio.run(main()) Step #2: Gumawa ang Extraction Phase Isinulat mo na may mga agente ng AI na nakikipag-ugnayan sa MCP integrations at nais na bumuo ng isang ulat na nagpapakita kung paano ang mga futures na pagbabago sa protocol ay maaaring ilagay sa mga ito, kung ano ang mga bagong tampok ay magagamit, atbp. Ang regular na LLMs ay hindi maaaring makatulong ng maraming sa gawain na ito, dahil ang MCP ay relatibong bagong at ang karamihan ng mga modelo ay nagtrabaho sa mga nakaraang data. "new version of MCP" I-call ang SERP API upang makakuha ng parsed Google SERP mga resulta para sa search query na ito: # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) Pagkatapos ng mga palabas, ang I-call ang SERP API gamit ang ibinigay na search query. Kung kailangan mong i-manage ang ilang queries, maaari mong i-call ang SERP API Paggamit ng Competitive . fetch_serp() fetch_serp() asyncio.gather() : Sa default, ang SERP API ay nagpapakita ng 10 mga resulta per query, ngunit maaaring i-configure na magbalik ng hanggang sa 100 mga resulta. Note Ibalik ang mga resulta ng Google SERP bilang isang Python dictionary. Mag-access ang ranking gamit ang Mga atributo: fetch_serp() organic serp_ranking_results = serp_results.get("organic", []) I-print ang mga resulta ng paghahanap, at ikaw ay dapat makakuha ng output tulad ng ito: Tingnan kung paano ang bawat elemento sa array ay katumbas sa eksaktong resulta na makakuha ka ng paghahanap para sa "new version of MCP" sa Google: Step #3: I-filter ang mga URL ng interes Sa lahat ng mga resulta ng SERP na bumalik sa pamamagitan ng SERP API call, ipinakita mo na interesado ka sa hanggang sa top 3 mga resulta mula sa " ” domain (ang opisyal na domain para sa spesifikasyon ng MCP). Gayunpaman, tingnan ang orihinal na ranking ng Google bilang ang ranking na nais mong panatilihin. Mga pahinang tumuturo sa protocol.io Mga pahinang tumuturo sa protocol.io I-filter ang mga ito tulad ng: # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_data_results: page_url = result.get("url") if "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) # Stop once reaching 3 results if len(page_url) == 3: break Ang resulta ay isang listahan ng mga URL para sa pag-access sa panahon ng "Extract" phase. Sa run na ito, ang mga URL na natuklasan ay: [ "http://blog.modelcontextprotocol.io/posts/2025-11-25-first-mcp-anniversary/", "https://modelcontextprotocol.io/development/roadmap", "https://modelcontextprotocol.io/specification/2025-11-25" ] Ang oras upang i-extract ang impormasyon mula sa mga pahina na ito! Step #4: Gumawa ang Extraction Phase Gawin ang function upang i-call ang Web Unlocker API at i-scrape ang tatlong selected mga pahina sa parallel: fetch_page() tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) : Kung nagtatrabaho ka sa isang dynamic site na nangangailangan ng user interaction, i-extract ang data mula sa kanya gamit ang isang teknolohiya ng browser automation tulad ng Playwright, na integrated sa Browser API. Para sa karagdagang pag-aaral, tingnan ang mga docs. Note Ang resulta ay isang array na naglalaman ng nilalaman ng bawat target page. I-access ang unlocked Markdown na nilalaman mula sa bawat pahina sa pamamagitan ng: markdown_pages = [page for page in web_page_results] I-verify na ang array ay tunay na naglalaman ng Markdown ng mga target na pahina: for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") Sa kaso na ito, ang output ay: Ito ay katumbas sa Markdown na bersyon ng bawat target na pahina, na kung saan ang Web Unlocker API ay maaaring gawin ang pag-extraction ng web data nangangahulugang ang anumang anti-bot o anti-scraping mga halaga sa lugar. Sa pagitan ng mga ito freshly, kontekstual, at verified data, i-save ito para sa karagdagang pag-analysis, ipasok ito sa isang LLM para sa pagproseso, gamitin ito upang matuklasan ang mga karagdagang topics ng interes, patuloy sa karagdagang pananaliksik, o i-apply ito sa maraming iba pang mga kaso ng paggamit. Step #5: Ipinapakita ang Code Ang final na bersyon ng halimbawa ay: # pip install aiohttp import asyncio import aiohttp import urllib.parse import json # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() async def main(): # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_results.get("organic", []): page_url = result.get("link") if page_url and "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) if len(pages_of_interest) == 3: break print("Pages to scrape:", pages_of_interest) # Extract phase: Scrape pages concurrently tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) # Access the content from each page markdown_pages = [page for page in web_page_results] print("Scraped page contents:") for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") # AI processing, RAG pipelines, or further workflows... # Run the async main function asyncio.run(main()) Sa pamamagitan ng Bright Data API-ready na mga produkto, maaari mong i-implementate ang isang epektibo, enterprise-grade, produksyon-ready "Search and Extract" workflow sa higit sa 50 linya ng Python code! Konklusyon Sa post na ito, nakita mo kung bakit ang data pipelines at mga workflows ng AI depende sa up-to-date, kontekstual, at reliable na impormasyon. Sa katapusan ng araw, mas mahusay na mga input ay nagdadalang sa mas mahusay na output, lalo na sa AI-driven na mga sistema! Ang isang reliable paraan upang makuha ang data na ito ay sa pamamagitan ng Ang pattern ng AI, na kung saan ay naging isang standard approach para sa pag-access ng mataas na kalidad, verified web data. sa pagitan ng mga search engines, habang ang Ang phase ay binubuo ng estruktural na impormasyon mula sa mga pinaka-relevant na mga resulta. Paghahanap at pag-extract Maghanap ng Maghanap ng kategorya ️ Tulad ng nakikita sa buong artikulong ito, gamit ang isang AI-ready web scraping platform tulad ng Bright Data ay gumagawa ng implementasyon ng workflow na ito ay parehong praktis at scalable. at i-explore ang lahat ng mga solusyon ng data sa web! Start a Bright Data free trial today Magsimula ng isang Bright Data free trial ngayon Ang artikulong ito ay inilathala sa pamamagitan ng HackerNoon Business Blogging program. Ang artikulong ito ay inilathala via ang programa. Mga Blog sa Negosyo