Ricerca ed estrazione: perché questo modello di AI conta, tutorial e esempio

La maggior parte degli agenti di intelligenza artificiale, dei pipeline ML, dei flussi di lavoro di arricchimento AI, dei sistemi di ricerca profonda e dei motori decisionali basati sui dati non falliscono perché i modelli sono cattivi. In particolare, i dati tendono ad essere obsoleti, fuori contesto, non verificabili, o tutti e tre contemporaneamente. Questo è il problema principale. In questo articolo vedrete cosa In realtà significa, come funziona sotto il cappello, perché conta più di quanto la maggior parte delle persone pensi, e come implementarlo end-to-end con un esempio concreto! Ricerca e Estratto La necessità di informazioni fresche, contestuali e affidabili, verificabili Secondo Statista, ogni giorno vengono generati circa 402,74 milioni di terabyte di dati. Questi dati penetrano nel web, nei magazzini di dati, nelle pile di analisi e nei pipeline su una scala che è onestamente difficile da ragionare. Ma ecco il colpo: più dati non significa dati migliori! A quel volume, è irrealistico supporre che tutto rifletta la realtà – o che possa anche essere fiducioso in primo luogo... Le aziende prendono ancora decisioni aziendali, automazioni e chiamate basate sull'IA dei dati. Questo E quando la fonte è obsoleta, incompleta o semplicemente sbagliata... le intuizioni costruite su di essa non possono essere affidabili. Questo è esattamente il motivo per cui i LLM allucinano, gli agenti AI danno risposte convincenti ma errate, e i tubi di dati falliscono silenziosamente nella produzione. Nella maggior parte dei casi del mondo reale, il problema non è il modello, lo strumento o l'implementazione. Che tu stia eseguendo un flusso di lavoro di analisi classico o un agente AI completamente autonomo, tutto dipende dalla qualità dei dati sorgenti. fresco Il contesto Verificabile Dopo tutto, se non sai I dati provengono da o È stato raccolto, non puoi fidarti del risultato in modo realistico. dove Quando Questa è la vera domanda. Come è possibile recuperare in modo affidabile informazioni che sono aggiornate, rilevanti per un determinato compito e probabilmente collegate alla fonte? Come è possibile recuperare in modo affidabile informazioni che sono aggiornate, rilevanti per un determinato compito e probabilmente collegate alla fonte? Questo è dove il Il pattern è in arrivo! si rompe. Search and Extract Ricerca ed estrazione: cosa è e perché è la soluzione “Cercare e estrarre” è un Il processo di recupero di informazioni aggiornate, verificabili e ricche di contesto dal web è semplice nella struttura, ma estremamente efficace nella pratica. Normativa di fatto A un livello elevato, funziona in due fasi distinte: Ricerca: il sistema esegue una ricerca web dal vivo sui motori di ricerca come Google per trovare le fonti più pertinenti e affidabili per una determinata query. Estratto: dai risultati di ricerca, il sistema identifica gli URL più rilevanti, visita quelle pagine e recupera il contenuto o i dati più utili da essi. Questo può includere fatti, statistiche, definizioni o informazioni strutturate analizzate dalla pagina. Questo modello è particolarmente utile nelle applicazioni legate all'IA, come gli agenti AI, , e flussi di lavoro AI di livello aziendale. Inoltre, è applicabile ai tradizionali pipeline di apprendimento automatico, controllo dei fatti e arricchimento dei dati. Sistemi agentici RAG Sistemi agentici RAG L’obiettivo finale del modello “Search and Extract” è quello di affrontare le sfide dei dati moderni assicurando che le informazioni raccolte siano: Fresco , poiché i dati web pubblici raschiati provengono da ricerche web recenti, che possono includere le ultime informazioni e notizie. Contextual , poiché le informazioni sono strettamente allineate ai temi specificati nella query di ricerca. Verificabile, poiché i dati provengono direttamente da pagine web specifiche, con URL che chiunque può visitare e controllare. Come funziona la ricerca e l'estrazione? A un livello elevato, “Cerca e estrazione” può essere riassunto con il seguente flusso di lavoro: L'ingresso per questo flusso di lavoro è un elenco di argomenti ricercabili. Questi sono generalmente estratti contextualmente da documenti, set di dati o da fonti di informazione date utilizzando AI / ML. Questo è ciò che si verifica comunemente nell'arricchimento AI, nella verifica dei dati, nei flussi di lavoro RAG o nelle applicazioni di ricerca profonda. Indipendentemente dalla fonte, i temi ricercabili vengono passati al componente "Cerca", dove una soluzione SERP API esegue ricerche web automatizzate sui motori di ricerca bersaglio. Dopo aver recuperato i risultati di ricerca, è possibile considerare tutte le pagine web restituite o filtrare solo quelle più rilevanti utilizzando AI/ML o regole rigorose (ad esempio, mantenere le pagine da specifici domini, lingue o altri criteri). Quando si mirano più query di ricerca contemporaneamente (che si tratti di diverse query o di più pagine per la stessa query), potrebbe essere necessario eseguire un algoritmo di re-ranking personalizzato. Il ranking fornito da Google o da qualsiasi motore di ricerca è ottimizzato per il SEO, che potrebbe non riflettere ciò che conta per il tuo caso di utilizzo. Gli URL selezionati vengono quindi inviati al nodo “Extract”, dove un servizio di scraping web accede a ciascuna pagina e estrae le informazioni principali. Successivamente, esploriamo i servizi che entrano in gioco nelle fasi “Cerca” e “Estratto” rispettivamente! Ricerca I motori di ricerca come Google, Bing, DuckDuckGo, Baidu e Yandex proteggono i loro SERP (Search Engine Results Pages) con limiti di tasso e CAPTCHA per prevenire lo scraping automatico. Il modo più affidabile per eseguire la fase "Cerca" è utilizzando una soluzione API SERP. Questi servizi espongono gli endpoint per attivare le attività di ricerca nel cloud utilizzando l'infrastruttura progettata per gestire le misure di scalabilità e anti-bot per voi. Supporta le ricerche globali attraverso una rete proxy di oltre 150 milioni di IP in 195 paesi, può restituire dati SERP completamente analizzati in JSON, offre molte opzioni di paginazione e supporta l'integrazione in qualsiasi condotto di dati o ML utilizzando richieste HTTP standard, oltre a oltre 50 framework e flussi di lavoro di agenti AI. L'API SERP di Bright Data L'API SERP di Bright Data Inoltre, l'API SERP di Bright Data ti consente di eseguire un numero illimitato di query di ricerca in parallelo. Questo significa che puoi recuperare migliaia di risultati durante la fase "Cerca". Estratto ️ L'estrazione dei dati web è la parte più difficile. La ragione è che ogni sito web è diverso, e anche le pagine all'interno dello stesso dominio possono seguire diversi rendimenti, visualizzazione dei dati e logica di recupero. Questo rende programmaticamente l'accesso al loro contenuto abbastanza difficile. Ciò richiede servizi di terze parti che consentono di accedere in modo affidabile al contenuto delle pagine web, indipendentemente da quanto siano protette, e indipendentemente dalle vostre esigenze di scalabilità. Web Unlocker API: un'API che accede a qualsiasi pagina web pubblica senza sforzo, gestendo blocchi, CAPTCHA, impronte digitali e rotazione proxy automaticamente. API del browser: un browser cloud completamente ospitato compatibile con Puppeteer, Selenium, Playwright e altri frameworks di automazione, con risoluzione CAPTCHA integrata e gestione proxy automatizzata. Applicazione Web Unlocker API Applicazione Web Unlocker API Il browser API Il browser API Web Unlocker è l'ideale per recuperare il contenuto delle pagine, sia in HTML crudo che in Markdown pronto per l'IA (a Per i siti dinamici che richiedono l'interazione o l'automazione per accedere ai dati di cui hai bisogno, l'API del browser è più adatto. great data format for LLM ingestion Grande formato di dati per l'ingestione LLM Insieme, queste due soluzioni coprono tutto ciò che è necessario per la fase “Extract” di un flusso di lavoro “Search and Extract”. Come implementare un flusso di lavoro di ricerca ed estrazione in Python Scopri come implementare un flusso di lavoro realistico "Cerca ed estrazione" in Python: Per la fase di ricerca, utilizzerai l'API SERP di Bright Data per eseguire ricerche web dal vivo. Per la fase di estrazione, ti affiderai all'API Web Unlocker per recuperare e analizzare i contenuti dalle pagine selezionate. Segui l’introduzione qui sotto! Prerequisiti Per seguire insieme a questa sezione tutorial, assicurati di avere: Python 3.9+ installato localmente. Un account Bright Data configurato con una zona API SERP e una zona API Web Unlocker, insieme alla chiave API. Se non sei a conoscenza di come iniziare con gli API SERP o i prodotti API Web Unlocker di Bright Data, segui la documentazione ufficiale: Introduzione alla SERP API Introduzione all'API Unlocker di Bright Data Introduzione alla SERP API Introduzione alla SERP API Introduzione all'API Unlocker di Bright Data Introduzione all'API Unlocker di Bright Data Da ora in poi, ci riferiremo alla vostra zona API SERP come e alla tua zona Web Unlocker API come : serp_api web_unlocker Inoltre, assicuratevi che il La zona è configurata in modalità “Full JSON” nella sezione “Data Format” all’interno della tabella di configurazione: serp_api In questo modo, Bright Data SERP API restituirà i risultati SERP analizzati in formato JSON, rendendoli più facili da filtrare e ri-ranking. e infine, Questo verrà utilizzato per autenticare le richieste ai servizi sopra menzionati! Generare la chiave API Bright Data Generare la chiave API Bright Data Per accelerare il processo, presumiamo che tu abbia già un progetto Python impostato con un ambiente virtuale in atto. Passo #1: Preparazione per l'accesso ai servizi di dati luminosi tramite API Il modo più semplice per connettersi ai servizi di Bright Data è direttamente attraverso la sua API. In primo luogo, installare un client HTTP async-ready come AIOHTTP: pip install aiohttp Successivamente, definisci le seguenti due funzioni per chiamare l'API SERP e l'API Web Unlocker, rispettivamente: # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() Il La funzione si connette all'API Bright Data SERP per eseguire ricerche Google e recuperare i risultati JSON SERP analizzati (come configurati nel tuo account). fetch_serp() e simili, Si connette all'API Bright Data Web Unlocker per raccogliere pagine web. Configurare l'uscita come Markdown, che è ideale per l'ingestione in LLM. fetch_page() Per ulteriori informazioni sugli argomenti, i parametri e come chiamare queste due API, consultare i doc! In produzione, evita di codificare la chiave API Bright Data, ma carica da una variabile ambientale. Note Ottimo! ora hai i blocchi di costruzione per implementare le fasi "Cerca" e "Estratto" in La funzione: async import asyncio async def main(): # "Search and Extract" logic... # Run the async main function asyncio.run(main()) Passo #2: eseguire la fase di estrazione Supponiamo di avere agenti di intelligenza artificiale che si affidano alle integrazioni MCP e vogliono produrre un rapporto che mostri come i futuri cambiamenti nel protocollo potrebbero influenzarli, quali nuove funzionalità saranno disponibili, e così via. I LLM regolari non possono aiutare molto con questo compito, poiché MCP è relativamente nuovo e la maggior parte dei modelli sono stati addestrati sui dati più vecchi. "new version of MCP" Chiama l'API SERP per recuperare i risultati Google SERP analizzati per quella query di ricerca: # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) Dietro le quinte, la funzione chiama l'API SERP utilizzando la query di ricerca fornita. Se è necessario gestire più query, è possibile chiamare Utilizzare in concorrenza . fetch_serp() fetch_serp() asyncio.gather() : Per impostazione predefinita, l'API SERP restituisce 10 risultati per query, ma può essere configurato per restituire fino a 100 risultati. Note restituisce i risultati Google SERP analizzati come dizionario di Python. Accedere al ranking utilizzando il Gli attributi: fetch_serp() organic serp_ranking_results = serp_results.get("organic", []) Stampare i risultati della ricerca, e si dovrebbe ottenere l'uscita simile a questo: Nota come ogni elemento nell'array corrisponda esattamente al risultato che otterresti cercando "nuova versione di MCP" su Google: Passo #3: filtrare gli URL di interesse Di tutti i risultati SERP restituiti dalla chiamata SERP API, supponiamo che tu sia interessato fino ai primi 3 risultati dal " Inoltre, consideriamo il ranking originale di Google come il ranking che si desidera preservare. ModelloContextprotocol.io ModelloContextprotocol.io Filtriamo come segue: # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_data_results: page_url = result.get("url") if "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) # Stop once reaching 3 results if len(page_url) == 3: break Il risultato sarà un elenco di URL da accedere durante la fase “Extract”.In questo corso, gli URL identificati sono: [ "http://blog.modelcontextprotocol.io/posts/2025-11-25-first-mcp-anniversary/", "https://modelcontextprotocol.io/development/roadmap", "https://modelcontextprotocol.io/specification/2025-11-25" ] È tempo di estrarre informazioni da queste pagine! Passo #4: eseguire la fase di estrazione Utilizzare il funzione per chiamare l'API Web Unlocker e raschiare le tre pagine selezionate in parallelo: fetch_page() tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) : Se si tratta di un sito dinamico che richiede l'interazione degli utenti, estrarre i dati da esso utilizzando una tecnologia di automazione del browser come Playwright, integrata con l'API del browser. Note Il risultato sarà un array contenente il contenuto di ogni pagina di destinazione. Accedere al contenuto Markdown sbloccato da ogni pagina con: markdown_pages = [page for page in web_page_results] Verificare che l'array contiene effettivamente il Markdown delle pagine di destinazione: for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") In questo caso, il risultato è: Ciò corrisponde alla versione Markdown di ciascuna pagina mirata, il che significa che l'API Web Unlocker è stata in grado di eseguire con successo l'estrazione di dati web, indipendentemente da eventuali misure anti-bot o anti-scraping in atto. Dato che questi dati freschi, contestuali e verificabili, memorizzarli per ulteriori analisi, trasmetterli a un LLM per il trattamento, utilizzarli per rilevare ulteriori argomenti di interesse, continuare con ricerche più approfondite, o applicarlo a molti altri casi di utilizzo. missione completa! Passo #5: il codice completo La versione finale dell’esempio è: # pip install aiohttp import asyncio import aiohttp import urllib.parse import json # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() async def main(): # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_results.get("organic", []): page_url = result.get("link") if page_url and "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) if len(pages_of_interest) == 3: break print("Pages to scrape:", pages_of_interest) # Extract phase: Scrape pages concurrently tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) # Access the content from each page markdown_pages = [page for page in web_page_results] print("Scraped page contents:") for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") # AI processing, RAG pipelines, or further workflows... # Run the async main function asyncio.run(main()) Grazie ai prodotti pronti per l'API di Bright Data, è possibile implementare un flusso di lavoro efficace, di livello aziendale e pronto per la produzione "Cerca ed estrazione" in meno di 50 righe di codice Python! Conclusione In this post, you looked at why data pipelines and AI workflows depend on up-to-date, contextual, and trustworthy information. At the end of the day, better inputs lead to better outputs, especially in AI-driven systems! Un modo affidabile per raccogliere questi dati è attraverso il modello di intelligenza artificiale, che è diventato efficacemente un approccio standard per accedere a dati web di alta qualità e verificabili. fase automatizza la scoperta tra i motori di ricerca, mentre il La fase trattiene informazioni strutturate dai risultati più rilevanti. Ricerca e Estratto Ricerca Estratto ️ Come mostrato in questo articolo, l'utilizzo di una piattaforma di scraping web pronta per l'IA come Bright Data rende l'implementazione di questo flusso di lavoro sia pratico che scalabile. e esplora tutte le sue soluzioni di dati web! Start a Bright Data free trial today Inizia oggi una prova gratuita di Bright Data Questo articolo è stato pubblicato tramite il programma HackerNoon Business Blogging. Questo articolo è stato pubblicato via Il programma. HackerNoon Blog di business