Search and Extract: Why This AI Pattern Matters, Туториал, Жишээ

Олон AI-ийн агент, ML хоолой, AI тоноглогдсон ажлын үйл явцыг, уян хатан судалгааны систем, өгөгдлийн суурилсан шийдэл хөдөлгүүр нь загварууд нь хязгааргүй байдаг. Тэд өгөгдлийн хувьд хязгааргүй байдаг. Зохиогчийн эрх © 2018 Шивээсний зургийн санаанууд. Зохиогчийн эрх хуулиар хамгаалагдсан. Энэ нийтлэлд та үүнийг харах болно actually means, how it works under the hood, why it matters way more than most people think, and how to implement it end-to-end with a concrete example! Шууд & экстракт Шинэ, контекст, найдвартай, баталгаажуулсан мэдээлэл хэрэгтэй Statista-ын дагуу, өдөр бүр 402.74 сая терабайт өгөгдлийг үүсгэдэг Энэ өгөгдөл нь вэб, өгөгдлийн хадгалах, анализ тоног төхөөрөмж, хоолой нь итгэмжлэгдсэн хэзээ ч хэзээ ч ойлгох болно. Гэсэн хэдий ч, тавтай морилно уу: илүү өгөгдлийн илүү сайн өгөгдлийн гэсэн үг биш юм! Энэ томъёо дээр, энэ нь бүх зүйлийг харуулдаг гэж үзнэ үү - эсвэл энэ нь эхлээд итгэж болно гэж үзнэ үү ... Enterprises still make business decisions, automations, and AI-driven calls based on data. that And when the source is outdated, incomplete, or just plain wrong… the insights built on top of it can’t be reliable. They just look confident, but they’re probably wrong! 😬 Эдгээр нь LLM-ийн халюцинийг, AI-ийн ажилтнууд нь итгэмжлэгдсэн боловч хязгаарлагдмал асуултуудыг өгдөг бөгөөд өгөгдлийн хоолой нь шууд үйлдвэрлэлд хязгаарлагддаг. Эдгээр тохиолдолд, асуудал нь загвар, хэрэгсэл, эсвэл имплементац биш юм. Энэ нь даатгалын өгөгдөл юм! Хэрэв та класик аналитик ажлын үйл явц, эсвэл бүрэн автоном AI агент ажиллуулж байгаа эсэх, бүх зүйл эхний өгөгдлийн чанарыг хамаарна. Та өгөгдлийг хэрэгтэй: Fresh 🕒 Эдүүлбэр Verifiable 🔎 Эцэст нь, Хэрэв та мэдэхгүй бол the data came from or Энэ нь цуглуулсан байна, Та үр дүнтэй итгэж чадахгүй байна. Үнэндээ Үнэндээ Энэ нь зөв асуулт юм. Хэрэв та найдвартай мэдээллийг олж авах вэ, энэ нь шинэчлэгдсэн, тодорхой үйл ажиллагаатай холбоотой бөгөөд энэ нь эх үүсвэртэй холбоотой байж болох юм? Хэрэв та найдвартай мэдээллийг олж авах вэ, энэ нь шинэчлэгдсэн, тодорхой үйл ажиллагаатай холбоотой бөгөөд энэ нь эх үүсвэртэй холбоотой байж болох юм? Энэ нь энэ нь Паттерн идэвхжүүлэхийн тулд! Бид үүнийг харах болно. Search and Extract Search and Extract: What It Is and Why It’s the Solution “Search and Extract” нь Web -аас шинэчлэгдсэн, баталгаажуулах, контексттай мэдээллийг олж авах үйл явц. Энэ нь структурын хялбар боловч практикэд маш үр дүнтэй юм. de facto стандарт At a high level, it operates in two distinct steps: Search: Систем нь Google гэх мэт хайлтын хөдөлгүүрийн дээр жинхэнэ вэб хайлтын ажиллуулдаг. Энэ нь өгөгдлийн хоолой нь шинэчлэгдсэн мэдээллийг эхлэхэд туслах, найдвартай эх үүсвэрийг олж болно. Экстракт: хайлтын үр дүнд, систем нь хамгийн тохиромжтой URL-ийг мэдэгддэг, эдгээр хуудсуудыг зочилж, тэдэнд хамгийн ашигтай агуулгыг эсвэл өгөгдлийг олж авах. Энэ нь үгс, статистик, тодорхойлолт, эсвэл хуудсуудаас анхаарах бүтэцтэй өгөгдлийг агуулдаг. Ажлын өгөгдөл дараа нь хоолойны дараах шатанд суурилсан, найдвартай суудал болгодог. This pattern is particularly useful in AI-related applications, such as AI agents, , болон аж ахуйн нэгжийн түвшний AI ажлын үйл явцыг. Мөн энэ нь уламжлалт машин суралцах, факт шалгалт, өгөгдлийн тоноглогдсон хоолойд ашиглаж болно. Агент RAG систем Агент RAG систем "Search and Extract" загварын эцсийн зорилго нь сав баглаа боодолтай мэдээллийг хангахын тулд орчин үеийн өгөгдлийн асуултуудыг хангах юм: Шинэ , алдартай олон нийтийн вэб өгөгдөл нь хамгийн сүүлийн үеийн вэб хайлт, хамгийн сүүлийн үеийн мэдээлэл, мэдээг агуулдаг болно. Тавтай морилно уу , мэдээлэл нь хайлтын асуултанд тодорхойлосон асуултуудтай харьцуулагддаг. Verifiable , учир нь өгөгдөл өөрсдийн вэб хуудсуудаас шууд орно, URL-ийг харах, шалгаж болно. Search and Extract хэрхэн ажиллаж байна? At a high level, “Search and Extract” can be summarized with the following workflow: Энэ ажлын үйл явцыг зориулсан хандлага нь хайж чанарын жагсаалт юм. Эдгээр нь ихэвчлэн документууд, өгөгдлийн багтаамж, эсвэл AI / ML ашиглан өгөгдлийн эх үүсвэрийг ашигладаг. Энэ нь AI багасгалын, өгөгдлийн баталгаажуулалт, RAG ажлын үйл явцыг, эсвэл гүнзгий судалгааны хэрэглээнд харьцуулагддаг. Алдартай эх сурвалжаас гадна, хайж буй үзүүлэлтүүд "Search" компонент руу дамжуулдаг бөгөөд SERP API шийдэл зорилготой хайлтын хөдөлгүүрийн дээр автоматтай вэб хайлт хийх болно. хайлтын үр дүнд олж авсан дараа та бүх хайж буй вэб хуудсуудыг шалгах боломжтой, эсвэл AI / ML-ийн ашиглан хамгийн тохиромжтой вэб хуудсуудыг шүүлтүүр болно. Нэг удаа хэд хэдэн хайлтын асуулт (ямар ч өөр асуултууд эсвэл нэг асуултууд нь хэд хэдэн хуудсууд) тархах үед та өөрчилж re-ranking алгоритмыг ажиллуулах хэрэгтэй болно. Google, эсвэл ямар ч хайлтын хөдөлгүүр нь SEO-д optimized байна, энэ нь таны хэрэглээний тохиолдолд чухал зүйлийг харуулдаг байж болох юм. Одоогоор сонгосон URL-ийг "Экстракт" ноторууд руу илгээсэн бөгөөд энэ нь вэб-ийн скрапинг үйлчилгээнд бүх хуудсуудыг хангахын тулд гол мэдээллийг олж авах болно. Эдгээр олж авсан өгөгдөл нь шинэ, контекст, шалгаж болно. Дараа нь "Search" болон "Extract" фаздад тоглолтонд идэвхтэй үйлчилгээг үзнэ үү! Шууд Google, Bing, DuckDuckGo, Baidu, Yandex гэх мэт хайлтын хөдөлгүүрийн SERPs (Search Engine Results Pages) -ийг түвшинд хязгаарлагч, CAPTCHA-ийг хангахын тулд автоматаар scraping-ийг урьдчилан сэргийлэхийн тулд. Хамгийн найдвартай арга нь SERP API шийдэл ашиглах юм. Эдгээр үйлчилгээг танд scalability болон anti-bot мерилт хийх зорилготой инфраструктур ашиглан хөнгөн дээр хайлтын үйл явцыг идэвхжүүлэхийн тулд эцсийн тоноглогдсон байна. Энэ нь 195-ийн улс орнуудад 150 сая IP-ийн прокси сүлжээнд дэлхийн хайлтын дэмждэг, JSON-д бүрэн анхааралтай SERP өгөгдлийг өгдөг, олон хуудсыг санал болгож, стандарт HTTP хүсэлтийг ашиглан ямар ч өгөгдлийн эсвэл ML хоолой руу интеграцийг дэмждэг, түүнчлэн 50 гаруй AI агент бүтэц, ажлын хоолой. Bright Data-ийн SERP API Bright Data-ийн SERP API Үүнээс гадна, Bright Data-ийн SERP API нь танд харьцуулахад хязгааргүй хэд хэдэн хайлтын асуултуудыг ажиллуулах боломжийг олгодог. Энэ нь танд "Худалдах" фазын хооронд тысяч үр дүнг олж болно. Дараа нь, та "Худалдах & Экстракт" үйл явц дахь дараагийн фазын дараа нь тэднийг шүүлтүүр, таны хэрэгцээний дагуу өөрчилж болно. Татаж авах ️ Web data extraction нь найдвартай хэсэг юм. Зарим нь бүх вэбсайт өөр байдаг бөгөөд нэг домоохон хуудсууд нь янз бүрийн rendering, data-visualization, and retrieval logic-ийг дараах болно. Энэ нь ихэвчлэн тэдний агуулгыг програм хангамжтай хандах нь маш хялбар байдаг. Үүнээс гадна, вэбсайтууд нь тэдний үнэ цэнэтэй албан ёсны вэб өгөгдлийг хамгаалахын тулд anti-scraping мерилыг хэрэглэж байна. That calls for third-party services that allow you to reliably access the content of web pages, regardless of how protected they are, and no matter your scalability needs. In this regard, Bright Data is one of the best web-scraping solution providers on the market, thanks to tools such as: : An API that accesses any public web page effortlessly, handling blocks, CAPTCHAs, fingerprinting, and proxy rotation automatically. Web Unlocker API Браузер API: Puppeteer, Selenium, Playwright болон бусад автоматжуулалтын бүтэцтэй бүрэн хосттай хөнгөн браузер, CAPTCHA шийдэл, автомат прокси удирдлагатай. Web Unlocker API Web Unlocker API Browser API Бээлий API Web Unlocker нь хуудсууд HTML эсвэл AI-д тохиромжтой Markdown (a ). Та хүссэн өгөгдлийг хангахын тулд интеракцийн эсвэл автоматжуулалт шаарддаг динамик сайтын хувьд Browser API нь илүү тохиромжтой юм. том өгөгдлийн формат нь LLM ingestion том өгөгдлийн формат нь LLM ingestion Эдгээр хоёр шийдэл нь "Search and Extract" үйл явцны "Extract" үйл явц нь шаардлагатай бүх зүйлийг хамарна. Python-д хайх, олборлох үйл явцыг ашиглах вэ? Learn how to implement a realistic “Search and Extract” workflow in Python: For the phase, you’ll use Bright Data’s SERP API to run live web searches. Search Экстракт фазын хувьд та Web Unlocker API-ийг ашиглаж, сонгосон хуудсуудын агуулгыг олж авах, шалгах болно. Дараа нь татаж авах! Баримтлал Эдгээр тусламжтай хэсэгт дараахын тулд, танд байна уу: Python 3.9+ installed locally. SERP API зон, Web Unlocker API зон, API ключтэй тохирсон Bright Data данс. Хэрэв та Bright Data-ийн SERP API эсвэл Web Unlocker API-ийн бүтээгдэхүүнийг хэрхэн эхлэх талаар мэддэггүй бол албан ёсны документыг дагаж: SERP API-ийн зориулалт Bright Data-ийн Unlocker API-ийг танилцуулах SERP API-ийн зориулалт SERP API-ийн зориулалт Bright Data-ийн Unlocker API-ийг танилцуулах Bright Data-ийн Unlocker API-ийг танилцуулах Үүнээс гадна, бид таны SERP API бүсэд хэлэх болно болон таны Web Unlocker API бүсэд : serp_api web_unlocker Мөн энэ нь зоны конфигурацийг "Full JSON" тохиргоог "Data Format" хэсэгт конфигурацийн жагсаалт дээр тохируулж байна: serp_api Энэ аргаар, Bright Data SERP API нь JSON хэлбэрээр харуулсан SERP үр дүнг өгдөг бөгөөд тэднийг шүүлтүүр, өөрчилж илүү хялбар болгодог. Өнгөрсөн . Энэ нь тавтай морилно уудсан үйлчилгээнд хүсэлтийг автентичлахын тулд ашиглаж болно! Bright Data API ключ үүсгэх Bright Data API ключ үүсгэх Энэ үйл явцыг хурдан болгохын тулд бид танд виртуал байлгахын тулд Python-ийн төслийг тохируулж байна. Шаг #1: API-г ашиглан ягаан туяаны өгөгдлийн үйлчилгээг хангахын тулд зориулалттай Bright Data үйлчилгээнд холбох хамгийн хялбар арга нь түүний API-ийн дамжуулан. Эхлээд AIOHTTP гэх мэт async-ready HTTP клиент суулгах: pip install aiohttp Дараа нь SERP API болон Web Unlocker API-ийг зочилж дараах хоёр функцийг тодорхойлох: # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() The функцийг Bright Data SERP API-тэй холбогдсон бөгөөд Google-ийн хайлт хийх, JSON SERP-ийн үр дүнд олж авахын тулд (тавтай морилно уу). fetch_serp() Similarly, Bright Data Web Unlocker API-тэй холбогдсон вэб хуудсыг олж авах. Output нь Markdown хэлбэрээр тохируулах, LLM-ийг олж авахын тулд тохиромжтой. fetch_page() Аргументи, параметрүүд, эдгээр хоёр API-ийг хэрхэн зовох талаарх дэлгэрэнгүй мэдээллийг docs-ийг үзнэ үү! : In production, avoid hardcoding your Bright Data API key. Instead, load it from an environment variable. Note Гайхамшигтай! Одоо танд "Томж" болон "Экстракт" фазтыг гүйцэтгэхийн тулд барилгын блоктай function: async import asyncio async def main(): # "Search and Extract" logic... # Run the async main function asyncio.run(main()) Шаг #2: Экстракт үе шат хийх Хэрэв та MCP-ийн интеграцид суурилсан AI-ийн ажилтнуудтай бөгөөд протокол дахь сүүлийн үеийн өөрчлөлтийг хэрхэн нөлөөлж болохыг харуулж, шинэ шинж чанарыг хангахыг хүсч байна гэж үзнэ үү. Энгийн LLMs энэ үйл ажиллагаа нь маш их туслах болно, учир нь MCP нь харьцуулахад шинэ бөгөөд ихэнх загварууд хуучин өгөгдөл дээр боловсруулсан байна. "new version of MCP" SERP API-ийг шууд Google SERP-ийн үр дүнд олж авахын тулд дуудлагатай: # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) Ачаалал дээр, The Функцийг SERP API-ийг санал болгож буй хайлтын асуултыг ашиглан зовох. Хэрэв та олон асуултуудыг удирдах хэрэгтэй бол Конкурент ашиглах . fetch_serp() fetch_serp() asyncio.gather() : Үнэндээ, SERP API нь асуултанд 10 үр дүнд дамжуулдаг боловч энэ нь 100 үр дүнд дамжуулан тохируулж болно. Note Google SERP-ийн үр дүнг нь Python-ийн хэлбэрээр өгдөг. attribute: fetch_serp() organic serp_ranking_results = serp_results.get("organic", []) Шууд үр дүнд хэвлэх, та энэ нь харьцуулахад олж авах ёстой: Массаж дахь бүр элемент нь Google-д "MCP-ийн шинэ хувилбар" -ийг хайж буй үр дүнтэй харьцуулахын тулд хэрхэн үзнэ үү: Шаг #3: Interest URL-ийн шүүлтүүр SERP API-ийн дуудлагатай SERP-ийн бүх үр дүнд танд хамгийн их 3 үр дүнд сонирхож байгаа эсэхийг хүсч байна. " ” домонд (MCP тодорхойлолт нь албан ёсны домонд). Мөн бид Google-ийн эхний байршуулалт нь танд хадгалахыг хүсэж байгаа байршуулалт гэж үзнэ үү. загварконтекстпротокол.io загварконтекстпротокол.io Filter them as follows: # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_data_results: page_url = result.get("url") if "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) # Stop once reaching 3 results if len(page_url) == 3: break The result will be a list of URLs to access during the “Extract” phase. In this run, the identified URLs are: [ "http://blog.modelcontextprotocol.io/posts/2025-11-25-first-mcp-anniversary/", "https://modelcontextprotocol.io/development/roadmap", "https://modelcontextprotocol.io/specification/2025-11-25" ] Эдгээр хуудсуудаас мэдээлэл олж авах цаг! Шаг #4: Экстракт үе шат хийх ашиглах Web Unlocker API-ийг зочилж, сонгосон гурван хуудсууд нь паралельно уу: fetch_page() tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) : If you’re dealing with a dynamic site that requires user interaction, extract data from it using a browser automation technology like Playwright, integrated with the Browser API. For more guidance, take a look at the docs. Note Бүтээгдэхүүний үр дүн нь бүх тархлын хуудсуудын агуулгыг агуулсан матриц байх болно. Бүх хуудсуудаас илрүүлэх Markdown агуулгыг хандах: markdown_pages = [page for page in web_page_results] Verify that the array actually contains the Markdown of the target pages: for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") Энэ тохиолдолд, output нь: Энэ нь бүх тархсан хуудсуугийн Markdown хувилбартай харьцуулагдсан бөгөөд Web Unlocker API нь ямар ч anti-bot эсвэл anti-scraping үйл явдлыг хамаарна. Given this fresh, contextual, and verifiable data, store it for further analysis, pass it to an LLM for processing, use it to detect additional topics of interest, continue with deeper research, or apply it to many other use cases. Mission complete! Шаг #5: Бүртгүүлэх код Эдүүлбэр нь хамгийн сүүлийн үеийн хувилбар: # pip install aiohttp import asyncio import aiohttp import urllib.parse import json # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() async def main(): # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_results.get("organic", []): page_url = result.get("link") if page_url and "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) if len(pages_of_interest) == 3: break print("Pages to scrape:", pages_of_interest) # Extract phase: Scrape pages concurrently tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) # Access the content from each page markdown_pages = [page for page in web_page_results] print("Scraped page contents:") for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") # AI processing, RAG pipelines, or further workflows... # Run the async main function asyncio.run(main()) Bright Data API-д тохиромжтой бүтээгдэхүүн нь үр дүнтэй, аж ахуйн нэгжийн түвшин, үйлдвэрлэлд тохиромжтой "Шинэлэг & Экстракт" ажлын үйл явцыг Python кодны 50-аас бага шугам дээр гүйцэтгэх боломжтой! Баримтлал Энэ нийтлэлд та өгөгдлийн хоолой, АИ-ийн ажлын үйл явцыг шинэчлэгдсэн, контекст, найдвартай мэдээллийг хамаарна уу. Өнгөрсөн үед, илүү сайн давуу тал нь илүү сайн давуу талтай, ялангуяа АИ-ийн системд! Энэ өгөгдлийн цуглуулах нэг найдвартай арга нь AI загвар, үр дүнтэй өндөр чанарын, баталгаажуулах вэб өгөгдлийг хангах стандарт арга зам болж байна. фазын олборлолт хайлтын хөдөлгүүрийн хооронд автоматжуулдаг, харин phase pulls structured information from the most relevant results. Шууд & экстракт Шууд Татаж авах ️ As shown throughout this article, using an AI-ready web scraping platform like Bright Data makes implementing this workflow both practical and scalable. болон бүх вэб данс шийдлийг олж авах! Bright Data үнэгүй туршилтын эхлэх өнөөдөр Bright Data үнэгүй туршилтын эхлэх өнөөдөр Энэ нийтлэл HackerNoon Бизнесийн Блогчлалын хөтөлбөрт хуваалцсан байна. Энэ нийтлэл HackerNoon Бизнесийн Блогчлалын хөтөлбөрт хуваалцсан байна.