검색 및 추출 :이 AI 패턴이 중요한 이유, 튜토리얼 및 예제

대부분의 AI 에이전트, ML 파이프라인, AI 부유화 워크플로우, 깊은 연구 시스템 및 데이터 기반 의사 결정 엔진은 모델이 나쁘기 때문에 실패하지 않습니다. 구체적으로, 데이터는 오래된 경향이 있으며, 컨텍스트에서 벗어나, 확인할 수없는 경향이 있거나, 한 번에 세 가지 모두입니다.그것은 핵심 문제입니다.And the “Search and Extract” AI pattern exists to fix that! 이 기사에서, 당신은 무엇을 볼 수 있습니다 실제로 그것이 모드 아래에서 어떻게 작동하는지, 대부분의 사람들이 생각하는 것보다 더 중요한 이유, 그리고 구체적인 예를 들어 그것을 끝까지 구현하는 방법을 의미합니다! 검색 및 추출 신선하고 맥락적이며 신뢰할 수 있는 검증 가능한 정보의 필요성 Statista에 따르면 매일 약 402.74 만 테라바이트의 데이터가 생성됩니다. 그 데이터는 웹, 데이터 창고, 분석 스택 및 파이프라인에 진심으로 논의하기 어려운 규모로 쏟아집니다. 더 많은 데이터는 더 나은 데이터를 의미하지 않습니다! 그 볼륨에서 모든 것이 현실을 반영한다고 가정하는 것은 비현실적입니다 - 또는 그것이 처음에 신뢰할 수 있다는 것입니다 ... 기업은 여전히 비즈니스 의사 결정, 자동화 및 AI 기반 호출을 기반으로합니다. 데이터 그 그리고 소스가 오래되었을 때, 불완전하거나 단순히 잘못되었을 때 ... 그 위에 구축 된 통찰력은 신뢰할 수 없습니다. 이것이 바로 LLM이 환상을 일으키는 이유이며, AI 에이전트는 설득력이 있지만 잘못된 답변을 제공하며 데이터 파이프라인은 조용히 생산에 실패합니다. 대부분의 실제 사례에서 문제는 모델, 도구 또는 구현이 아닙니다.It is the input data! 고전적인 분석 워크플로우 또는 완전히 자율적인 AI 에이전트를 실행하든 모든 것이 원본 데이터의 품질에 달려 있습니다.You need data that is: 신선한 문재인 체크인 결국, 당신이 모르는 경우 데이터는 출처 또는 그것은 수집되었습니다, 당신은 현실적으로 결과를 신뢰할 수 없습니다. 어디 언제 그것이 진짜 질문이다. 특정 작업에 관련된 최신 정보를 어떻게 신뢰할 수 있으며 원본에 다시 연결할 수 있습니까? 특정 작업에 관련된 최신 정보를 어떻게 신뢰할 수 있으며 원본에 다시 연결할 수 있습니까? 그것이 바로 그곳에서 The 패턴이 들어옵니다!우리는 그것을 깨뜨릴 것입니다. Search and Extract 검색 및 추출 : 그것이 무엇이며 왜 그것이 해결책인지 “Search and Extract”는 웹에서 최신, 검증 가능한, 컨텍스트가 풍부한 정보를 검색하는 과정 .이 구조는 간단하지만 실제로는 매우 효과적입니다. 사실상 표준 높은 수준에서, 그것은 두 가지 다른 단계로 작동합니다 : 검색: 시스템은 Google과 같은 검색 엔진에서 라이브 웹 검색을 수행하여 주어진 쿼리를위한 가장 관련되고 신뢰할 수있는 소스를 찾습니다.This helps the data pipeline start with information that is current and comes from clear sources. 추출: 검색 결과에서, 시스템은 가장 관련된 URL을 식별하고, 그 페이지를 방문하고, 가장 유용한 콘텐츠 또는 데이터를 검색합니다.이 사실, 통계, 정의 또는 페이지에서 분석 된 구조화 된 정보를 포함할 수 있습니다. 이 패턴은 AI 에이전트와 같은 AI 관련 응용 프로그램에서 특히 유용합니다. 또한 전통적인 기계 학습, 사실 확인 및 데이터 풍부화 파이프라인에도 적용됩니다. RAG 시스템 RAG 시스템 "Search and Extract" 패턴의 궁극적 인 목표는 수집 된 정보가 다음과 같이 보장함으로써 현대 데이터의 도전을 해결하는 것입니다. 신선한 , 스크래핑 된 공공 웹 데이터는 최신 정보와 뉴스를 포함 할 수있는 최근의 웹 검색에서 나옵니다. 정보가 검색 쿼리에 지정된 주제와 밀접하게 일치하기 때문에 컨텍스트적입니다.Contextual , as the information is closely aligned with the topics specified in the search query. 데이터가 특정 웹 페이지에서 직접 왔기 때문에, 누구나 방문하고 확인할 수 있는 URL이 있습니다. 검색 및 추출은 어떻게 작동합니까? 높은 수준에서 "검색 및 추출"은 다음과 같은 작업 흐름으로 요약할 수 있습니다: 이 작업 흐름의 입력은 검색 가능한 주제 목록입니다.이들은 일반적으로 문서, 데이터 세트 또는 AI/ML를 사용하여 제공된 정보 소스에서 컨텍스트적으로 추출됩니다.That's what commonly occurs in AI enrichment, data verification, RAG workflows, or deep research applications. 원본에 관계없이 검색 가능한 주제는 SERP API 솔루션이 대상 검색 엔진에서 자동 웹 검색을 수행하는 "검색" 구성 요소로 전달됩니다.검색 결과를 검색 한 후에는 반환 된 모든 웹 페이지를 고려하거나 AI/ML 또는 엄격한 규칙을 사용하여 가장 관련된 웹 페이지만을 필터링할 수 있습니다 (예를 들어 특정 도메인, 언어 또는 기타 기준에서 페이지를 유지). 여러 검색 쿼리를 한 번에 타겟팅 할 때 (다른 쿼리 또는 동일한 쿼리에 대한 여러 페이지) 사용자 지정 재 순위 알고리즘을 실행해야 할 수 있습니다.Google 또는 검색 엔진에 의해 제공되는 순위는 SEO에 최적화되며 이는 사용 사례에 중요한 것을 반영하지 않을 수 있습니다. 선택한 URL은 " 추출"노드로 전송되며, 웹 스크래핑 서비스가 각 페이지에 액세스하여 주요 정보를 추출합니다.이 추출 된 데이터는 원하는대로 신선하고 맥락적이며 검증 할 수 있습니다. 다음으로, 각각 “검색” 및 “출력” 단계에서 작동하는 서비스를 탐색합시다! 찾기 Google, Bing, DuckDuckGo, Baidu 및 Yandex와 같은 검색 엔진은 자동 스크래핑을 방지하기 위해 가격 제한과 CAPTCHA로 SERPs (Search Engine Result Pages)를 보호합니다. "검색"단계를 수행하는 가장 신뢰할 수 있는 방법은 SERP API 솔루션을 사용하는 것입니다.These services expose endpoints to trigger search tasks in the cloud using infrastructure designed to handle scalability and anti-bot measures for you. 그것은 195 개국에 걸쳐 150 백만 개 이상의 IP의 프록시 네트워크를 통해 글로벌 검색을 지원하고, JSON에서 완전히 분석 된 SERP 데이터를 반환 할 수 있으며, 많은 페이지화 옵션을 제공하며, 표준 HTTP 요청을 사용하여 모든 데이터 또는 ML 파이프라인에 통합을 지원하며, 50 개 이상의 AI 에이전트 프레임워크 및 워크플로우를 지원합니다. Bright Data의 SERP API Bright Data의 SERP API 게다가, Bright Data의 SERP API를 사용하면 동시에 무제한 수의 검색 쿼리를 실행할 수 있습니다. 이것은 "검색"단계에서 수천 개의 결과를 검색 할 수 있음을 의미합니다. 엑스트라 ️ Web data extraction is the harder part. The reason is that every website is different, and even pages within the same domain can follow different rendering, data-visualization, and retrieval logic. This makes programmatically accessing their content quite difficult. On top of that, sites tend to adopt anti-scraping measures to protect their valuable public web data. 그것은 당신이 웹 페이지의 콘텐츠에 신뢰할 수있는 제 3 자 서비스가 필요합니다, 그들이 얼마나 보호되었는지, 그리고 당신의 확장 필요에 관계없이.이 점에서, Bright Data는 다음과 같은 도구 덕분에 시장에서 최고의 웹 스크래핑 솔루션 공급 업체 중 하나입니다 : Web Unlocker API: 모든 공공 웹 페이지에 쉽게 액세스하고 블록, CAPTCHA, 지문 및 프록시 회전을 자동으로 처리하는 API. 브라우저 API: Puppeteer, Selenium, Playwright 및 기타 자동화 프레임 워크와 호스팅 된 클라우드 브라우저, 내장된 CAPTCHA 해결 및 자동화된 프록시 관리 기능. 웹 Unlocker API 웹 Unlocker API 브라우저 API 브라우저 API Web Unlocker는 Raw HTML 또는 AI-ready Markdown로 페이지 콘텐츠를 검색하는 데 이상적입니다. 당신이 필요로하는 데이터에 액세스하기 위해 상호 작용 또는 자동화를 필요로하는 동적 사이트의 경우, 브라우저 API는 더 적합합니다. LLM ingestion을위한 좋은 데이터 형식 LLM ingestion을위한 좋은 데이터 형식 이 두 솔루션은 함께 “검색 및 추출” 워크플로우의 “ 추출” 단계에 필요한 모든 것을 다룹니다. Python에서 검색 및 추출 작업 흐름을 구현하는 방법 Python에서 현실적인 “검색 및 추출” 워크플로우를 구현하는 방법에 대해 알아보십시오. 검색 단계에서 Bright Data의 SERP API를 사용하여 라이브 웹 검색을 실행합니다. 추출 단계에서는 Web Unlocker API를 사용하여 선택한 페이지에서 콘텐츠를 검색하고 검사합니다. 아래의 소개를 따르세요! 전제조건 이 튜토리얼 섹션을 따르려면, 당신이 가지고 있는지 확인하십시오 : Python 3.9+ 로컬 설치 SERP API 영역과 Web Unlocker API 영역과 함께 구성된 Bright Data 계정과 API 키. Bright Data의 SERP API 또는 Web Unlocker API 제품을 시작하는 방법에 익숙하지 않은 경우 공식 문서를 따르십시오. SERP API 소개 Bright Data의 Unlocker API SERP API 소개 Introduction to SERP API Bright Data의 Unlocker API Bright Data의 Unlocker API 이제부터 우리는 SERP API 영역을 참조할 것입니다. 그리고 Web Unlocker API 영역으로 : serp_api web_unlocker 또한, 그것을 확인하십시오 영역은 구성 테이블 내부의 “데이터 형식” 섹션에서 “Full JSON” 모드로 구성됩니다: serp_api 이 방법으로 Bright Data SERP API는 JSON 형식으로 검토된 SERP 결과를 반환하여 필터링 및 재등급이 더 쉬워집니다. 마지막으로, 위에서 언급한 서비스에 대한 요청을 인증하는 데 사용됩니다! Bright Data API 키 생성하기 Bright Data API 키 생성하기 이 과정을 가속화하려면 이미 가상 환경을 갖춘 Python 프로젝트가 설치되어 있다고 가정할 것입니다. 단계 #1: API를 통해 밝은 데이터 서비스에 액세스할 준비 Bright Data 서비스에 직접 연결하는 가장 쉬운 방법은 API를 통해서입니다.First, install an async-ready HTTP client like AIOHTTP: pip install aiohttp 다음은 SERP API 및 Web Unlocker API를 호출하는 다음 두 기능을 정의합니다. # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() 이 이 기능은 Bright Data SERP API에 연결하여 Google 검색을 수행하고 분석된 JSON SERP 결과를 검색합니다 (당신의 계정에서 구성된 대로). fetch_serp() 마찬가지로, Bright Data Web Unlocker API에 연결하여 웹 페이지를 가져올 수 있습니다.Output를 Markdown로 구성하여 LLM에 섭취하기에 이상적입니다. fetch_page() 논리, 매개 변수 및 그 두 API를 호출하는 방법에 대한 자세한 내용은 문서를 참조하십시오! : 생산 중에 Bright Data API 키를 하드코딩하지 마십시오 대신 환경 변수에서 로드하십시오. Note 이제 당신은 "검색"과 "출입"단계를 구현하기위한 빌딩 블록이 있습니다. 기능 : async import asyncio async def main(): # "Search and Extract" logic... # Run the async main function asyncio.run(main()) 단계 #2: 추출 단계를 수행 MCP 통합에 의존하는 AI 에이전트가 있고 프로토콜의 미래 변화가 그들에게 어떻게 영향을 줄 수 있는지, 어떤 새로운 기능이 사용할 수 있는지 등을 보여주는 보고서를 작성하고 싶다고 가정하십시오. 일반 LLM은 MCP가 상대적으로 새롭고 대부분의 모델이 오래된 데이터로 훈련되었기 때문에 그 작업에 많은 도움이되지 않습니다. "new version of MCP" SERP API를 호출하여 해당 검색 쿼리에 대한 Google SERP 결과를 검색하십시오.Call the SERP API to retrieve parsed Google SERP results for that search query: # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) 무대 뒤에, The 기능은 제공된 검색 쿼리를 사용하여 SERP API를 호출합니다. 여러 쿼리를 처리해야 하는 경우, 호출할 수 있습니다. 경쟁적으로 사용하는 . fetch_serp() fetch_serp() asyncio.gather() : 기본적으로 SERP API는 쿼리 당 10개의 결과를 반환하지만 최대 100개의 결과를 반환하도록 구성할 수 있습니다. Note 검색된 Google SERP 결과를 Python 사전으로 반환합니다. 특징 : fetch_serp() organic serp_ranking_results = serp_results.get("organic", []) 검색 결과를 인쇄하면 다음과 같은 출력을 얻을 수 있습니다.Print the search results, and you should get output similar to this: 배열의 각 요소가 Google에서 "MCP의 새로운 버전"을 검색하여 얻을 수있는 결과와 정확하게 일치하는 방법에 주목하십시오. 단계 #3: 관심 URL을 필터링 SERP API 호출에 의해 반환되는 모든 SERP 결과에서, 당신이 상위 3 개의 결과에 관심이 있다고 가정하십시오. 도메인 (MCP 사양의 공식 도메인) 또한, Google의 원래 순위를 보존하고자하는 순위로 고려해 보자. 모델 컨텍스트 프로토콜.io 모델 컨텍스트 프로토콜.io 그들을 다음과 같이 필터링하십시오 : # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_data_results: page_url = result.get("url") if "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) # Stop once reaching 3 results if len(page_url) == 3: break 결과는 "출입"단계에서 액세스할 URL 목록이 될 것입니다.이 실행에서 식별된 URL은 다음과 같습니다: [ "http://blog.modelcontextprotocol.io/posts/2025-11-25-first-mcp-anniversary/", "https://modelcontextprotocol.io/development/roadmap", "https://modelcontextprotocol.io/specification/2025-11-25" ] 이 페이지에서 정보를 추출하는 시간! 단계 #4: 추출 단계를 수행 사용하기 The 기능은 Web Unlocker API를 호출하고 3 개의 선택한 페이지를 동시에 스크래핑합니다. fetch_page() tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) : 사용자 상호 작용을 필요로하는 동적 사이트를 다루는 경우 브라우저 API와 통합 된 Playwright와 같은 브라우저 자동화 기술을 사용하여 데이터를 추출하십시오. Note 결과는 각 타겟 페이지의 내용을 포함하는 배열이 될 것입니다.Access the unlocked Markdown content from each page with: markdown_pages = [page for page in web_page_results] 배열이 실제로 대상 페이지의 마크다운을 포함하고 있는지 확인하십시오: for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") 이 경우, 출력은 : 이는 각 타겟 페이지의 Markdown 버전과 일치하며, 이는 Web Unlocker API가 웹 데이터 추출을 성공적으로 수행할 수 있음을 의미하며, 로봇 방지 또는 스크래핑 방지 조치가 존재하지 않는다. 이 신선한, 컨텍스트 및 검증 가능한 데이터를 감안할 때, 추가 분석을 위해 저장하고, 처리하기 위해 LLM에 전달하고, 관심있는 추가 주제를 탐지하기 위해 사용하거나, 더 깊은 연구를 계속하거나, 다른 많은 사용 사례에 적용하십시오. 단계 #5: 전체 코드 예제의 최종 버전은 : # pip install aiohttp import asyncio import aiohttp import urllib.parse import json # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() async def main(): # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_results.get("organic", []): page_url = result.get("link") if page_url and "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) if len(pages_of_interest) == 3: break print("Pages to scrape:", pages_of_interest) # Extract phase: Scrape pages concurrently tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) # Access the content from each page markdown_pages = [page for page in web_page_results] print("Scraped page contents:") for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") # AI processing, RAG pipelines, or further workflows... # Run the async main function asyncio.run(main()) Bright Data API-ready 제품 덕분에 50 줄 미만의 Python 코드에서 효율적이고 엔터프라이즈 수준의 생산 준비된 "Search and Extract" 워크플로스를 구현할 수 있습니다! 결론 이 게시물에서 데이터 파이프라인과 AI 워크플로우가 최신, 컨텍스트 및 신뢰할 수있는 정보에 의존하는 이유를 살펴보았습니다.In the end, better inputs lead to better outputs, especially in AI-driven systems! 이러한 데이터를 수집하는 하나의 신뢰할 수 있는 방법은 AI 패턴은 효과적으로 높은 품질의 검증 가능한 웹 데이터에 액세스하는 표준 접근법이되었습니다. 단계적으로 검색 엔진을 통해 검색을 자동화하지만, 단계는 가장 관련된 결과에서 구조화된 정보를 추출합니다. 검색 및 추출 찾기 엑스트라 ️ 이 기사에서 보여 주듯이 Bright Data와 같은 AI 준비 웹 스크래핑 플랫폼을 사용하면이 작업 흐름을 실용적이고 확장 할 수 있습니다. 그리고 모든 웹 데이터 솔루션을 탐험하십시오! Start a Bright Data free trial today 오늘 Bright Data 무료 평가판 시작 이 글은 HackerNoon Business Blogging 프로그램을 통해 출판되었습니다. 이 글은 HackerNoon Business Blogging 프로그램을 통해 출판되었습니다.