A maioría dos axentes de IA, os pipelines de ML, os fluxos de traballo de enriquecemento de IA, os sistemas de investigación profunda e os motores de decisión baseados en datos non fallan porque os modelos son malos. Especificamente, os datos tenden a ser desactualizados, fóra de contexto, non verificables, ou todos os tres á vez.Este é o problema central.E o patrón de IA "Buscar e extraer" existe para solucionar iso!  ✨ Neste artigo podedes ver o que realmente significa, como funciona baixo o capó, por que importa máis do que a maioría da xente pensa, e como implementalo de fin a fin cun exemplo concreto! Buscar e extraer A necesidade de información fresca, contextual e fiable, verificable Segundo Statista, aproximadamente 402,74 millóns de terabytes de datos son xerados cada día. Que os datos penetran na web, almacenamentos de datos, pilas de análise e tuberías a unha escala que é honestamente difícil de razoar. Pero aquí está a captura: máis datos non significa mellores datos! A ese volume, é irrealista supoñer que todo reflicte a realidade - ou que pode incluso ser confiado en primeiro lugar ... As empresas aínda toman decisións de negocio, automatización e chamadas baseadas na IA os datos. que E cando a fonte está desactualizada, incompleta ou simplemente equivocada ... as ideas construídas sobre ela non poden ser fiables. É por iso que os LLMs alucinan, os axentes de IA dan respostas convincentes pero incorrectas, e os tubos de datos fallan silenciosamente na produción. Na maioría dos casos do mundo real, o problema non é o modelo, a ferramenta ou a implementación. Se está a executar un fluxo de traballo de análise clásico ou un axente de IA totalmente autónomo, todo depende da calidade dos datos de orixe. 
 
 
 
 fresco Contextualidade Verificación Despois de todo, se non sabes Os datos proceden de ou se foi recollido, non se pode confiar realista no resultado. onde cando Esa é a verdadeira pregunta. 
 
 Como recuperar de forma fiable información que é actualizada, relevante para unha tarefa específica e probablemente vinculada á súa fonte? Como recuperar de forma fiable información que é actualizada, relevante para unha tarefa específica e probablemente vinculada á súa fonte? É aquí onde o O patrón entra! imos rompelo. Search and Extract Buscar e extraer: que é e por que é a solución “Search and Extract” é unha Proceso para recuperar información actualizada, verificable e rica en contexto da web . É sinxelo en estrutura, pero extremadamente eficaz na práctica. De facto estándar A un nivel elevado, opera en dúas etapas distintas: 
 
 
 Busca: O sistema realiza unha busca en directo na web en buscadores como Google para atopar as fontes máis relevantes e de confianza para unha consulta dada. Extracto: A partir dos resultados da busca, o sistema identifica as URLs máis relevantes, visita esas páxinas e obtén o contido ou datos máis útiles deles. Isto pode incluír feitos, estatísticas, definicións ou información estruturada analizada da páxina. Este patrón é especialmente útil en aplicacións relacionadas coa IA, como axentes de IA, , e fluxos de traballo de IA de clase empresarial. Tamén é aplicable ás canles tradicionais de aprendizaxe automática, comprobación de feitos e enriquecemento de datos. Sistemas de axentes RAG Sistemas de axentes RAG O obxectivo final do patrón "Buscar e extraer" é abordar os retos dos datos modernos asegurándose de que a información recollida é: 
 
 
 
 Fresh , como os datos da web pública rasgados veñen de buscas web recentes, que poden incluír a última información e noticias. Contextual, xa que a información está estreitamente aliñada cos temas especificados na consulta de busca. Verificable, xa que os datos proceden directamente de páxinas web específicas, con URLs que calquera pode visitar e comprobar. Como funciona a busca e a extracción? A un nivel alto, "Buscar e extraer" pódese resumir co seguinte fluxo de traballo: A entrada para este fluxo de traballo é unha lista de temas que se poden buscar. Estes son xeralmente extraídos contextualmente de documentos, conxuntos de datos ou determinadas fontes de información usando AI / ML. É o que adoita ocorrer en enriquecemento de IA, verificación de datos, fluxos de traballo RAG ou aplicacións de investigación profunda. Independentemente da fonte, os temas que se poden buscar pasan ao compoñente "Buscar", onde unha solución de API SERP realiza buscas web automatizadas nos motores de busca de destino.Despois de obter os resultados da busca, pode considerar todas as páxinas web devoltas ou filtrar só as máis relevantes usando AI / ML ou regras estritas (por exemplo, manter páxinas de dominios específicos, idiomas ou outros criterios). Ao dirixir varias consultas de busca á vez (sexa diferentes consultas ou múltiples páxinas para a mesma consulta), pode ter que executar un algoritmo de re-rango personalizado. O ranking proporcionado por Google ou calquera motor de busca está optimizado para SEO, o que pode non reflectir o que importa para o seu caso de uso. Os URL seleccionados envíanse a continuación ao nodo "Extract", onde un servizo de rascado web accede a cada páxina e extrae a información principal. A continuación, exploremos os servizos que entran en xogo nas fases "Buscar" e "Extraer" respectivamente! Busca Os motores de busca como Google, Bing, DuckDuckGo, Baidu e Yandex protexen os seus SERPs (Páxinas de resultados de buscadores) con límites de taxa e CAPTCHAs para evitar o rascado automatizado. O xeito máis fiable de realizar a fase de "Buscar" é usando unha solución de API SERP. Estes servizos expoñen puntos finais para desencadear tarefas de busca na nube usando a infraestrutura deseñada para xestionar medidas de escalabilidade e anti-bot para ti. Soporta buscas globais a través dunha rede de proxy de máis de 150 millóns de IPs en 195 países, pode devolver datos SERP completamente analizados en JSON, ofrece moitas opcións de páxina e soporta a integración en calquera tubo de datos ou ML usando solicitudes HTTP estándar, así como máis de 50 frameworks e fluxos de traballo de axentes de IA. API de SERP de datos brillantes API de SERP de datos brillantes Ademais, a API SERP de Bright Data permítelle executar un número ilimitado de consultas de busca en paralelo. Isto significa que pode obter miles de resultados durante a fase de "Buscar". Exposición ️ A extracción de datos web é a parte máis difícil. A razón é que cada sitio web é diferente, e mesmo as páxinas dentro do mesmo dominio poden seguir diferentes rendementos, visualización de datos e lóxica de recuperación. Isto fai que o acceso programático ao seu contido sexa bastante difícil. Isto require servizos de terceiros que lle permitan acceder de forma fiable ao contido das páxinas web, independentemente de como están protexidas, e independentemente das súas necesidades de escalabilidade. 
 
 
 Web Unlocker API: unha API que accede a calquera páxina web pública sen esforzo, manexando bloques, CAPTCHAs, impresións dixitais e rotación de proxy automaticamente. API do navegador: un navegador en nube totalmente aloxado compatible con Puppeteer, Selenium, Playwright e outros frameworks de automatización, con solución de CAPTCHA e xestión de proxy automatizada. Páxina web Unlocker API Páxina web Unlocker API navegador API navegador API Web Unlocker é ideal para recuperar o contido da páxina, xa sexa en HTML en bruto ou Markdown preparado para a IA (un Para sitios dinámicos que requiren interacción ou automatización para acceder aos datos que precisa, a API do navegador é a mellor opción. gran formato de datos para inxestión LLM gran formato de datos para inxestión LLM Xuntos, estas dúas solucións cobren todo o necesario para a fase de "extracción" dun fluxo de traballo de "buscar e extraer". Como implementar un fluxo de traballo de busca e extracción en Python Aprende a implementar un fluxo de traballo realista de "buscar e extraer" en Python: 
 
 
 Para a fase de busca, usarás a API SERP de Bright Data para realizar buscas web en directo. Para a fase de extracción, dependerá da API de Web Unlocker para recuperar e analizar o contido das páxinas seleccionadas. Segue a introdución abaixo! Precondicións Para seguir xunto con esta sección de tutorial, asegúrese de ter: 
 
 
 Python 3.9+ instalado localmente. Unha conta de datos brillantes configurada cunha zona de API de SERP e unha zona de API de Web Unlocker, xunto coa súa clave de API. Se non está familiarizado con como comezar coa API de SERP de Bright Data ou os produtos de API de Web Unlocker, siga a documentación oficial: 
 
 
 Introdución á API SERP Introdución á API de Unlocker de datos brillantes Introdución á API SERP Introdución á API SERP Introdución á API de Unlocker de datos brillantes Introdución á API de Unlocker de datos brillantes A partir de agora, referirémonos á súa zona de API SERP como e á súa zona de API Web Unlocker como : serp_api web_unlocker Ademais, asegúrese de que o a zona está configurada en modo "Full JSON" na sección "Formato de datos" dentro da táboa de configuración: serp_api Deste xeito, a API de SERP de datos brillantes devolverá os resultados de SERP analizados en formato JSON, o que os fai máis fáciles de filtrar e re-ranger. Por último, Isto será usado para autenticar as solicitudes aos servizos mencionados anteriormente! generate your Bright Data API key Xerar a túa clave API de datos brillantes Para acelerar o proceso, asumiremos que xa ten un proxecto de Python configurado cun ambiente virtual. Paso #1: Prepare-se para acceder aos servizos de datos brillantes a través da API A forma máis sinxela de conectarse aos servizos de Bright Data é directamente a través da súa API. Primeiro, instale un cliente HTTP async-ready como AIOHTTP: pip install aiohttp
 A continuación, defina as seguintes dúas funcións para chamar a API SERP e a API Web Unlocker, respectivamente: # Replace these with your Bright Data API token and zone names
BRIGHT_DATA_API_TOKEN = "<YOUR_BRIGHT_DATA_API_TOKEN>"
SERP_ZONE = "serp_api"  # Your SERP API zone
WEB_UNLOCKER_ZONE = "web_unlocker"  # Your Web Unlocker API zone

HEADERS = {
    "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data
    "Content-Type": "application/json"
}

async def fetch_serp(session, query, location="us", language="en"):
    url = "https://api.brightdata.com/request"
    data = {
        "zone": SERP_ZONE,
        "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}",
        "format": "json"
    }
    async with session.post(url, json=data, headers=HEADERS) as resp:
        response_data = await resp.json()
        return json.loads(response_data["body"])

async def fetch_page(session, page_url, data_format="markdown"):
    url = "https://api.brightdata.com/request"
    data = {
        "zone": WEB_UNLOCKER_ZONE,
        "url": page_url,
        "format": "raw",
        "data_format": data_format
    }
    async with session.post(url, json=data, headers=HEADERS) as resp:
        return await resp.text()
 A súa A función conéctase á API de SERP de datos brillantes para realizar buscas de Google e obter resultados de SERP de JSON analizados (configurados na súa conta). fetch_serp() do mesmo xeito, conecta á API Bright Data Web Unlocker para recoller páxinas web. Configurando a saída como Markdown, que é ideal para a inxestión en LLMs. fetch_page() Para obter máis información sobre os argumentos, os parámetros e como chamar esas dúas APIs, consulte os documentos! : Na produción, evite codificar a clave da API de datos brillantes. Note Agora tes os bloques de construción para implementar as fases "Buscar" e "Extraer" en Funcións : async import asyncio

async def main():
    # "Search and Extract" logic...

# Run the async main function
asyncio.run(main())
 Paso #2: Realiza a fase de extracción Supoñamos que vostede ten axentes de IA que dependen de integracións de MCP e quere producir un informe que mostre como os cambios futuros no protocolo poderían afectalos, que novas funcións estarán dispoñibles, e así por diante. Os LLMs regulares non poden axudar moito con esa tarefa, xa que MCP é relativamente novo e a maioría dos modelos foron adestrados en datos máis antigos. "new version of MCP" 
 Chame á API SERP para obter resultados de Google SERP analizados para esa consulta de busca: # Topics to search
input_topic = "new version of MCP"

async with aiohttp.ClientSession() as session:
    # Search phase: Get SERP results
    serp_results = await fetch_serp(session, input_topic)
 Detrás das escenas, os A función chama á API SERP usando a consulta de busca proporcionada. Se precisa xestionar varias consultas, pode chamar Utilización competitiva . fetch_serp() fetch_serp() asyncio.gather() : Por defecto, a API de SERP devolve 10 resultados por consulta, pero pode configurarse para devolver ata 100 resultados. Note devolve os resultados de Google SERP analizados como dicionario de Python. Atribucións : fetch_serp() organic serp_ranking_results = serp_results.get("organic", [])
 Imprima os resultados da busca e debes obter unha saída semellante a esta: Observe como cada elemento na matriz corresponde exactamente ao resultado que obtería ao buscar "nova versión de MCP" en Google: Paso #3: Filtrar as URLs de interese De todos os resultados SERP devoltos pola chamada da API SERP, supoñamos que está interesado en ata os 3 mellores resultados do " ” dominio (o dominio oficial para a especificación MCP). Tamén, consideremos o ranking orixinal de Google como o ranking que quere preservar. modelocontextoprotocolo.io modelocontextoprotocolo.io Filtralo do seguinte xeito: # Where to store the page URLs to scrape in the "Extract" phase
pages_of_interest = []

# Iterate over results and filter for URLs containing "modelcontextprotocol.io"
for result in serp_data_results:
    page_url = result.get("url")
    if "modelcontextprotocol.io" in page_url:
        pages_of_interest.append(page_url)
    # Stop once reaching 3 results
    if len(page_url) == 3:
        break
 O resultado será unha lista de URLs a acceder durante a fase "Extraer". [
  "http://blog.modelcontextprotocol.io/posts/2025-11-25-first-mcp-anniversary/",
  "https://modelcontextprotocol.io/development/roadmap",
  "https://modelcontextprotocol.io/specification/2025-11-25"
]
 É hora de extraer información destas páxinas! Paso #4: Realiza a fase de extracción Utiliza o Función para chamar a API Web Unlocker e raspar as tres páxinas seleccionadas en paralelo: fetch_page() tasks = [fetch_page(session, url) for url in pages_of_interest]
web_page_results = await asyncio.gather(*tasks)
 : Se está a tratar cun sitio dinámico que require interacción do usuario, extrae datos del usando unha tecnoloxía de automatización do navegador como Playwright, integrada coa API do navegador. Note O resultado será unha matriz que conteña o contido de cada páxina de destino. Acceda ao contido Markdown desbloqueado de cada páxina con: markdown_pages = [page for page in web_page_results]
 Comprobe que a matriz realmente conteña o marcado das páxinas de destino: for markdown_page in markdown_pages:
    print(markdown_page[:300] + "...\n---\n")
 Neste caso, a saída é: Isto corresponde á versión de Markdown de cada páxina dirixida, o que significa que a API de Web Unlocker puido realizar a extracción de datos web con éxito, independentemente de calquera medida anti-bot ou anti-scraping no lugar. Dados estes datos frescos, contextuais e verificables, almacénase para a súa análise adicional, transmítese a un LLM para o seu procesamento, utilízase para detectar temas adicionais de interese, continúa coa investigación máis profunda ou aplícase a moitos outros casos de uso. Paso #5: Completa o código A versión final do exemplo é: # pip install aiohttp

import asyncio
import aiohttp
import urllib.parse
import json

# Replace these with your Bright Data API token and zone names
BRIGHT_DATA_API_TOKEN = "<YOUR_BRIGHT_DATA_API_KEY>"
SERP_ZONE = "serp_api"  # Your SERP API zone
WEB_UNLOCKER_ZONE = "web_unlocker"  # Your Web Unlocker API zone

HEADERS = {
    "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data
    "Content-Type": "application/json"
}

async def fetch_serp(session, query, location="us", language="en"):
    url = "https://api.brightdata.com/request"
    data = {
        "zone": SERP_ZONE,
        "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}",
        "format": "json"
    }
    async with session.post(url, json=data, headers=HEADERS) as resp:
        response_data = await resp.json()
        return json.loads(response_data["body"])

async def fetch_page(session, page_url, data_format="markdown"):
    url = "https://api.brightdata.com/request"
    data = {
        "zone": WEB_UNLOCKER_ZONE,
        "url": page_url,
        "format": "raw",
        "data_format": data_format
    }
    async with session.post(url, json=data, headers=HEADERS) as resp:
        return await resp.text()


async def main():
    # Topics to search
    input_topic = "new version of MCP"

    async with aiohttp.ClientSession() as session:
        # Search phase: Get SERP results
        serp_results = await fetch_serp(session, input_topic)

        # Where to store the page URLs to scrape in the "Extract" phase
        pages_of_interest = []

        # Iterate over results and filter for URLs containing "modelcontextprotocol.io"
        for result in serp_results.get("organic", []):
            page_url = result.get("link")
            if page_url and "modelcontextprotocol.io" in page_url:
                pages_of_interest.append(page_url)
            if len(pages_of_interest) == 3:
                break

        print("Pages to scrape:", pages_of_interest)

        # Extract phase: Scrape pages concurrently
        tasks = [fetch_page(session, url) for url in pages_of_interest]
        web_page_results = await asyncio.gather(*tasks)

        # Access the content from each page
        markdown_pages = [page for page in web_page_results]

        print("Scraped page contents:")
        for markdown_page in markdown_pages:
            print(markdown_page[:300] + "...\n---\n")

        # AI processing, RAG pipelines, or further workflows...

# Run the async main function
asyncio.run(main())
 Grazas aos produtos preparados para a API de datos brillantes, pode implementar un fluxo de traballo eficaz, de clase empresarial e preparado para a produción de "Buscar e extraer" en menos de 50 liñas de código de Python! Conclusión Neste post, miraches por que as conducións de datos e os fluxos de traballo de IA dependen de información actualizada, contextual e fiable. Unha forma fiable de recoller eses datos é a través da patrón de IA, que efectivamente se converteu nun enfoque estándar para acceder a datos web de alta calidade e verificables. fase automatiza o descubrimento a través dos motores de busca, mentres que o A fase extrae información estruturada dos resultados máis relevantes. Buscar e extraer Busca Exposición ️ Como se mostra ao longo deste artigo, a utilización dunha plataforma de rascado web preparada para a IA como Bright Data fai que a implementación deste fluxo de traballo sexa práctica e escalable. e explora todas as súas solucións de datos web! Comezar unha proba libre de datos brillantes hoxe Comezar unha proba libre de datos brillantes hoxe 
 
 Este artigo é publicado a través do programa HackerNoon Business Blogging. Este artigo é publicado a través do programa HackerNoon Business Blogging.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

This writer has a vested interest be it monetary, business, or otherwise, with 1 or more of the products or companies mentioned within.

Portfolio

Este audio está producido na lingua orixinal da historia!

Buscar e extraer: Por que este patrón de IA importa, tutorial e exemplo

About Author

COMENTARIOS

Etiquetas colgantes

ESTE ARTIGO FOI PRESENTADO EN

Related Stories

HackerNoon Decoded 2024: Celebrating Our Tech Stories Community!

HackerNoon Decoded 2024: Celebrating Our Programming Community!

HackerNoon Decoded 2024: Celebrating Our Remote Work Community!

HackerNoon Decoded 2024: Celebrating Our Management Community!

HackerNoon Decoded 2024: Celebrating Our Tech Stories Community!

HackerNoon Decoded 2024: Celebrating Our Programming Community!

HackerNoon Decoded 2024: Celebrating Our Remote Work Community!

HackerNoon Decoded 2024: Celebrating Our Management Community!

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps