Buscar i extreure: per què aquest patró d'IA importa, tutorial i exemple

La majoria d'agents d'IA, canonades ML, fluxos de treball d'enriquiment d'IA, sistemes de recerca profunda i motors de decisió basats en dades no fracassen perquè els models són dolents. En concret, les dades tendeixen a ser obsoletes, fora de context, no verificables, o tots tres a la vegada. Aquest és el problema bàsic. En aquest article veureu què En realitat significa, com funciona sota el capó, per què importa més del que la majoria de la gent pensa, i com implementar-lo de final a final amb un exemple concret! Cerca i extracció La necessitat d'informació fresca, contextual i fiable, verificable Segons Statista, aproximadament 402,74 milions de terabytes de dades es generen cada dia. Aquestes dades penetren a la web, magatzems de dades, piles d'anàlisi i canonades a una escala que és honestament difícil de raonar. Però aquí està la captura: més dades no significa millors dades! En aquest volum, és irrealista suposar que tot reflecteix la realitat -o que fins i tot es pot confiar en primer lloc ... Les empreses encara prenen decisions comercials, automatitzacions i trucades basades en la IA les dades. Això I quan la font és obsoleta, incompleta o simplement equivocada... les perspectives construïdes sobre ella no poden ser fiables. És precisament per això que els LLMs al·lucinen, els agents d'IA donen respostes convincents però incorrectes, i les canonades de dades fracassen tranquil·lament en la producció. En la majoria dels casos del món real, el problema no és el model, l'eina o la implementació. Ja sigui que esteu executant un flux de treball d'anàlisi clàssic o un agent d'IA completament autònom, tot depèn de la qualitat de les dades fonts. fresca El context Verificació Al cap i a la fi, si no saps Les dades provenen de o Es va recollir, no es pot confiar realment en el resultat. on Quan Aquesta és la veritable pregunta. Com es recupera de manera fiable informació que estigui actualitzada, rellevant per a una tasca específica i provablement vinculada a la seva font? Com es recupera de manera fiable informació que estigui actualitzada, rellevant per a una tasca específica i provablement vinculada a la seva font? És aquí on el El patró entra!Anem a trencar-lo. Search and Extract Buscar i extreure: què és i per què és la solució “Cercar i extreure” és un Procés per a la recuperació d'informació actualitzada, verificable i rica en context des de la web . És simple en estructura, però extremadament eficaç en la pràctica. Estàndard de facto A un nivell alt, opera en dos passos diferents: Cerca: El sistema realitza una cerca web en viu en motors de cerca com Google per trobar les fonts més rellevants i fiables per a una consulta donada. Extracte: A partir dels resultats de la cerca, el sistema identifica les URL més rellevants, visita aquestes pàgines i recupera el contingut o dades més útils d'ells. Això pot incloure fets, estadístiques, definicions o informació estructurada analitzada de la pàgina. Aquest patró és especialment útil en aplicacions relacionades amb la IA, com ara agents d'IA, , i fluxos de treball d'IA de nivell empresarial. També és aplicable als conductes tradicionals d'aprenentatge automàtic, comprovació de fets i enriquiment de dades. agentic RAG systems Sistemes RAG L'objectiu final del patró "Buscar i extreure" és abordar els reptes de les dades modernes assegurant que la informació recollida és: Fresh , ja que les dades de la web pública trencades provenen de cerques web recents, que poden incloure la informació i notícies més recents. Contextual, ja que la informació està estretament alineada amb els temes especificats a la consulta de cerca. Verificable, ja que les dades provenen directament de pàgines web específiques, amb URLs que tothom pot visitar i comprovar. Com funciona la recerca i l'extracció? A un nivell alt, “Buscar i extreure” es pot resumir amb el següent flux de treball: L'entrada per a aquest flux de treball és una llista de temes que es poden cercar. Aquests són generalment extrets contextualment de documents, conjunts de dades o fonts d'informació donades utilitzant AI / ML. Això és el que normalment ocorre en l'enriquiment d'IA, verificació de dades, fluxos de treball RAG o aplicacions de recerca profunda. Independentment de la font, els temes que es poden cercar es transmeten al component "Cerca", on una solució d'API SERP realitza cerques web automatitzades en els motors de cerca objectiu. Després de recuperar els resultats de la cerca, podeu considerar totes les pàgines web retornades o només filtrar les més rellevants utilitzant AI / ML o regles estrictes (per exemple, mantenir les pàgines des de dominis específics, idiomes o altres criteris). Quan es dirigeix a múltiples consultes de cerca alhora (ja sigui diferents consultes o múltiples pàgines per a la mateixa consulta), pot ser que necessiti executar un algorisme de reemplaçament personalitzat. El rànquing proporcionat per Google o qualsevol motor de cerca està optimitzat per al SEO, que pot no reflectir el que importa per al seu cas d'ús. Les URL seleccionades després s'envien al node "Extractar", on un servei de raspat web accedeix a cada pàgina i extreu la informació principal. A continuació, anem a explorar els serveis que entren en joc en les fases de “Buscar” i “Extractar”, respectivament! Cerca Els motors de cerca com Google, Bing, DuckDuckGo, Baidu i Yandex protegeixen els seus SERPs (pàgines de resultats de motors de cerca) amb límits de taxa i CAPTCHAs per evitar el raspat automatitzat. La forma més fiable d'executar la fase de "Cerca" és utilitzant una solució d'API SERP. Aquests serveis exposen els punts finals per desencadenar tasques de cerca al núvol utilitzant una infraestructura dissenyada per gestionar mesures d'escalabilitat i anti-bot per a vostè. Suporta cerques globals a través d'una xarxa de proxy de més de 150 milions d'IPs a 195 països, pot retornar dades SERP completament analitzades en JSON, ofereix moltes opcions de paginació, i dóna suport a la integració en qualsevol dada o pipeline ML utilitzant sol·licituds HTTP estàndard, així com més de 50 marcs d'agent d'IA i fluxos de treball. API SERP de dades brillants API SERP de dades brillants A més, l'API SERP de Bright Data li permet executar un nombre il·limitat de consultes de cerca en paral·lel. Això vol dir que pot obtenir milers de resultats durant la fase de "Cerca". Exposició ️ L'extracció de dades web és la part més difícil. La raó és que cada lloc web és diferent, i fins i tot les pàgines dins del mateix domini poden seguir diferents rendiments, visualització de dades i lògica de recuperació. Això fa que l'accés programàtic al seu contingut sigui bastant difícil. Això requereix serveis de tercers que li permeten accedir de forma fiable al contingut de les pàgines web, independentment de com estan protegides, i independentment de les seves necessitats d'escalabilitat. Web Unlocker API: una API que accedeix a qualsevol pàgina web pública sense esforç, tractant blocs, CAPTCHAs, empremta digital i rotació de proxy automàticament. API del navegador: un navegador de núvol totalment allotjat compatible amb Puppeteer, Selenium, Playwright i altres frameworks d'automatització, amb solució de CAPTCHA integrada i gestió de proxy automatitzada. Web Unlocker API Web Unlocker API Navegació API Navegació API Web Unlocker és ideal per a la recuperació del contingut de la pàgina, ja sigui en HTML cru o Markdown preparat per a la IA (un Per als llocs dinàmics que requereixen interacció o automatització per accedir a les dades que necessiteu, l'API del navegador és la millor opció. great data format for LLM ingestion excel·lent format de dades per a la ingestió LLM Junts, aquestes dues solucions cobreixen tot el que es requereix per a l'etapa "Extractar" d'un flux de treball "Cerca i Extracció". Com implementar un flux de treball de cerca i extracció en Python Aprèn a implementar un flux de treball realista de "Buscar i extreure" a Python: Per a la fase de cerca, utilitzareu l'API SERP de Bright Data per executar cerques web en viu. Per a la fase d'extracció, es basarà en l'API de Web Unlocker per recuperar i analitzar el contingut de les pàgines seleccionades. Segueix la introducció més avall! Prerequisits Per seguir amb aquesta secció tutorial, assegureu-vos de tenir: Python 3.9+ instal·lat localment. Un compte de dades brillants configurat amb una zona de l'API SERP i una zona de l'API Web Unlocker, juntament amb la clau de l'API. Si no esteu familiaritzats amb com començar amb les API SERP de Bright Data o els productes API de Web Unlocker, seguiu la documentació oficial: Introducció a la SERP API Introducció a la API Unlocker de les dades brillants Introducció a la SERP API Introducció a la SERP API Introducció a la API Unlocker de les dades brillants Introducció a la API Unlocker de les dades brillants A partir d'ara, es referirà a la seva zona de SERP API com i a la zona de l'API de Web Unlocker com : serp_api web_unlocker A més, assegureu-vos que el La zona està configurada en el mode "Full JSON" a la secció "Format de dades" dins de la taula de configuració: serp_api D'aquesta manera, l'API de SERP de dades brillants retornarà els resultats de SERP analitzats en format JSON, fent-los més fàcils de filtrar i tornar a classificar. Finalment, Això s'utilitzarà per autenticar les sol·licituds als serveis esmentats anteriorment! Generar la teva clau API de dades brillants Generar la teva clau API de dades brillants Per accelerar el procés, assumirem que ja teniu un projecte de Python configurat amb un entorn virtual en lloc. Pas #1: Prepareu-vos per accedir als serveis de dades brillants a través de l'API La manera més fàcil de connectar-se als serveis de Bright Data és directament a través de la seva API. Primer, instal·leu un client HTTP async-ready com AIOHTTP: pip install aiohttp A continuació, defineix les dues funcions següents per cridar l'API SERP i l'API Web Unlocker, respectivament: # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() El La funció es connecta a l'API de SERP de dades brillants per realitzar cerques de Google i obtenir resultats de SERP de JSON analitzats (tal com es configuren en el vostre compte). fetch_serp() Així mateix, Connecta a l'API Bright Data Web Unlocker per recollir pàgines web. Configuració de la sortida com a Markdown, que és ideal per a la ingesta en LLMs. fetch_page() Per obtenir més informació sobre els arguments, paràmetres i com trucar a aquestes dues APIs, consulteu els documents! : En la producció, eviteu codificar la clau de l'API Bright Data. En lloc d'això, carregueu-la des d'una variable ambiental. Note Excel·lent! ara teniu els blocs de construcció per implementar les fases "Buscar" i "Extractar" en Funció : async import asyncio async def main(): # "Search and Extract" logic... # Run the async main function asyncio.run(main()) Pas #2: realitzar la fase d'extracció Suposem que teniu agents d'IA que confien en les integracions de MCP i voleu produir un informe que mostri com els futurs canvis en el protocol podrien afectar-los, quines noves característiques estaran disponibles, i així successivament. Els LLM regulars no poden ajudar molt amb aquesta tasca, ja que MCP és relativament nou i la majoria dels models van ser entrenats en dades més antigues. "new version of MCP" Truqui a l'API SERP per obtenir els resultats de Google SERP analitzats per a aquesta consulta de cerca: # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) Darrere de les escenes, el La funció crida a l'API SERP utilitzant la consulta de cerca proporcionada. Si necessiteu gestionar múltiples consultes, podeu trucar Utilització competitiva . fetch_serp() fetch_serp() asyncio.gather() Per defecte, l'API de SERP retorna 10 resultats per consulta, però es pot configurar per retornar fins a 100 resultats. Note Retorna els resultats de Google SERP com a diccionari de Python. Accedeix al rànquing utilitzant el Els atributs: fetch_serp() organic serp_ranking_results = serp_results.get("organic", []) Imprima els resultats de la cerca, i hauria d'obtenir una sortida similar a això: Observeu com cada element de la matriu correspon exactament al resultat que obtindríeu buscant "nova versió de MCP" a Google: Pas #3: filtrar les URL d'interès De tots els resultats de SERP retornats per la convocatòria de l'API de SERP, suposem que estàs interessat en fins als 3 primers resultats de la " També, considerem el rànquing original de Google com el rànquing que voleu preservar. Protocol de referència.io Protocol de referència.io Filtreu-les de la manera següent: # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_data_results: page_url = result.get("url") if "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) # Stop once reaching 3 results if len(page_url) == 3: break El resultat serà una llista d'URLs a accedir durant la fase "Extractar". [ "http://blog.modelcontextprotocol.io/posts/2025-11-25-first-mcp-anniversary/", "https://modelcontextprotocol.io/development/roadmap", "https://modelcontextprotocol.io/specification/2025-11-25" ] És hora d’extreure informació d’aquestes pàgines! Pas #4: realitzar la fase d'extracció Utilitza el funció per trucar a la API de Web Unlocker i raspar les tres pàgines seleccionades en paral·lel: fetch_page() tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) Si estàs tractant d'un lloc dinàmic que requereix interacció d'usuari, extreu dades d'ell utilitzant una tecnologia d'automatització del navegador com Playwright, integrada amb l'API del navegador. Note El resultat serà una matriu que conté el contingut de cada pàgina de destinació. Accedeix al contingut Markdown desbloquejat de cada pàgina amb: markdown_pages = [page for page in web_page_results] Comproveu que l'array realment conté el marcatge de les pàgines de destinació: for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") En aquest cas, la sortida és: Això correspon a la versió de marcatge de cada pàgina objectiva, el que significa que l'API Web Unlocker va ser capaç d'executar l'extracció de dades web amb èxit, independentment de les mesures anti-bot o anti-scraping en el seu lloc. Tenint en compte aquestes dades fresques, contextuals i verificables, emmagatzemeu-les per a una anàlisi addicional, transmetre-les a un LLM per processar-les, utilitzeu-les per detectar temes addicionals d'interès, continueu amb una investigació més profunda o apliqueu-les a molts altres casos d'ús. Pas #5: Completa el codi La versió final de l'exemple és: # pip install aiohttp import asyncio import aiohttp import urllib.parse import json # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() async def main(): # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_results.get("organic", []): page_url = result.get("link") if page_url and "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) if len(pages_of_interest) == 3: break print("Pages to scrape:", pages_of_interest) # Extract phase: Scrape pages concurrently tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) # Access the content from each page markdown_pages = [page for page in web_page_results] print("Scraped page contents:") for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") # AI processing, RAG pipelines, or further workflows... # Run the async main function asyncio.run(main()) Gràcies als productes preparats per a l'API de Bright Data, podeu implementar un flux de treball eficaç, de classe empresarial i preparat per a la producció de "Cerca i extracció" en menys de 50 línies de codi Python! Conclusió En aquest post, heu mirat per què les canonades de dades i els fluxos de treball de la IA depenen d'informació actualitzada, contextual i fiable. Una manera fiable de recollir aquestes dades és a través de la patró d'IA, que s'ha convertit eficaçment en un enfocament estàndard per accedir a dades web d'alta qualitat i verificables. automatitza la descoberta a través dels motors de cerca, mentre que el La fase treu informació estructurada dels resultats més rellevants. Cerca i extracció Cerca Exposició ️ Com es mostra al llarg d'aquest article, l'ús d'una plataforma de raspat web preparada per a la IA com Bright Data fa que la implementació d'aquest flux de treball sigui pràctica i escalable. i exploreu totes les seves solucions de dades web! Start a Bright Data free trial today Comença avui la prova gratuïta de Bright Data Aquest article es publica a través del programa HackerNoon Business Blogging. Aquest article ha estat publicat a través El programa. HackerNoon Negocis Blogging