Căutare și extragere: De ce acest model AI contează, tutorial și exemplu

Cei mai mulți agenți AI, conducte ML, fluxuri de lucru de îmbogățire a AI, sisteme de cercetare profundă și motoare de decizie bazate pe date nu eșuează pentru că modelele sunt rele. În mod specific, datele tind să fie depășite, în afara contextului, neverificabile sau toate cele trei la un moment dat. Acesta este problema de bază. În acest articol veți vedea ce Într-adevăr înseamnă, cum funcționează sub capac, de ce contează mai mult decât cred majoritatea oamenilor, și cum să-l pună în aplicare de la capăt la capăt cu un exemplu concret! Căutare și extract Nevoia de informații proaspete, contextuale și de încredere, verificabile Potrivit Statista, aproximativ 402,74 milioane de terabytes de date sunt generate în fiecare zi. Aceste date pătrund în web, în depozite de date, în stivele de analiză și în conducte la o scară care este sincer dificil de argumentat. Dar iată captura: mai multe date nu înseamnă date mai bune! La acest volum, este nerealist să presupunem că totul reflectă realitatea – sau că poate fi chiar de încredere în primul rând... Întreprinderile încă iau decizii de afaceri, automatizări și apeluri bazate pe AI Dată . Această Și atunci când sursa este depășită, incompletă sau pur și simplu greșită ... perspectivele construite pe ea nu pot fi de încredere. Acesta este exact motivul pentru care LLM-urile au halucinații, agenții AI dau răspunsuri convingătoare, dar incorecte, iar conductele de date eșuează în liniște în producție. În cele mai multe cazuri din lumea reală, problema nu este modelul, instrumentele sau implementarea. Indiferent dacă rulați un flux de lucru analitic clasic sau un agent AI complet autonom, totul depinde de calitatea datelor sursă. Fructe proaspete Contextul Verificări La urma urmei, dacă nu ştii Datele provin din sau a fost colectat, nu poți avea încredere realistă în rezultat. unde Când Aceasta este adevărata întrebare. Cum puteți recupera în mod fiabil informații care sunt actualizate, relevante pentru o anumită sarcină și care sunt legate probabil de sursă? Cum puteți recupera în mod fiabil informații care sunt actualizate, relevante pentru o anumită sarcină și care sunt legate probabil de sursă? Acesta este locul în care Patternul intră! să-l rupem în jos. Search and Extract Căutare și extragere: ce este și de ce este soluția „Căutare și extragere” este un Procesul de recuperare a informațiilor actualizate, verificabile și bogate în context de pe web este simplu în structură, dar extrem de eficient în practică. Standardul de facto La un nivel ridicat, funcționează în două etape distincte: Căutare: Sistemul efectuează o căutare web live pe motoarele de căutare precum Google pentru a găsi sursele cele mai relevante și de încredere pentru o anumită interogare. Extract: Din rezultatele căutării, sistemul identifică cele mai relevante URL-uri, vizitează acele pagini și recuperează cel mai util conținut sau date din ele. Acest lucru poate include fapte, statistici, definiții sau informații structurate analizate din pagină. Acest model este deosebit de util în aplicațiile legate de IA, cum ar fi agenții AI, , și fluxuri de lucru AI la nivel de întreprindere. De asemenea, este aplicabil pentru conducte tradiționale de învățare automată, verificarea faptelor și îmbogățirea datelor. Sisteme de agenti RAG Sisteme de agenti RAG Obiectivul final al modelului "Căutare și extragere" este de a aborda provocările moderne ale datelor, asigurându-se că informațiile colectate sunt: Fresh , deoarece datele web publice răzuite provin din căutările web recente, care pot include cele mai recente informații și știri. Context, deoarece informațiile sunt aliniate îndeaproape cu subiectele specificate în interogarea de căutare. Verificabil, deoarece datele provin direct de la pagini web specifice, cu URL-uri pe care oricine le poate vizita și verifica. Cum funcționează căutarea și extragerea? La un nivel ridicat, „Căutare și extragere” poate fi rezumată cu următorul flux de lucru: Intrarea pentru acest flux de lucru este o listă de subiecte căutate. Acestea sunt, în general, extrase contextual din documente, seturi de date sau surse de informații date folosind AI / ML. Aceasta este ceea ce se întâmplă în mod obișnuit în îmbogățirea AI, verificarea datelor, fluxurile de lucru RAG sau aplicațiile de cercetare profundă. Indiferent de sursă, subiectele căutate sunt transmise la componenta „Căutare”, unde o soluție SERP API efectuează căutări web automatizate pe motoarele de căutare țintă. După recuperarea rezultatelor căutării, puteți lua în considerare toate paginile web returnate sau puteți filtra numai cele mai relevante folosind AI / ML sau reguli stricte (de exemplu, păstrarea paginilor de la domenii specifice, limbi sau alte criterii). Atunci când vizați mai multe interogări de căutare în același timp (fie că sunt diferite interogări sau mai multe pagini pentru aceeași interogare), este posibil să aveți nevoie să rulați un algoritm de rearanjare personalizat. URL-urile selectate sunt apoi trimise la nodul "Extractare", unde un serviciu de răzuire web accesează fiecare pagină și extrage informațiile principale. Apoi, să explorăm serviciile care intră în joc în fazele „Căutare” și „Extractare”, respectiv! Căutare Motoarele de căutare precum Google, Bing, DuckDuckGo, Baidu și Yandex își protejează SERP-urile (paginile cu rezultate ale motoarelor de căutare) cu limite de rate și CAPTCHAs pentru a preveni scraping-ul automatizat. Cea mai fiabilă modalitate de a efectua faza „Căutare” este prin utilizarea unei soluții SERP API. Aceste servicii expun punctele finale pentru a declanșa sarcinile de căutare în cloud folosind infrastructura concepută pentru a gestiona măsurile de scalabilitate și anti-bot pentru dvs. Suportă căutările globale printr-o rețea de proxy de peste 150 de milioane de IP-uri din 195 de țări, poate returna date SERP complet analizate în JSON, oferă multe opțiuni de paginare și acceptă integrarea în orice țeavă de date sau ML folosind cereri HTTP standard, precum și peste 50 de cadre de agenți AI și fluxuri de lucru. API-ul SERP al datelor strălucitoare API-ul SERP al datelor strălucitoare În plus, API-ul SERP al Bright Data vă permite să rulați un număr nelimitat de interogări de căutare în paralel. Acest lucru înseamnă că puteți recupera mii de rezultate în timpul fazei „Căutare”. Extract ️ Extracția datelor web este partea mai dificilă. Motivul este că fiecare site web este diferit, iar chiar și paginile din același domeniu pot urma diferite rendering, vizualizare a datelor și logică de recuperare. Acest lucru face accesarea programatică a conținutului lor destul de dificilă. Pe lângă aceasta, site-urile tind să adopte măsuri anti-scraping pentru a-și proteja datele web publice valoroase. Acest lucru necesită servicii terțe care vă permit să accesați în mod fiabil conținutul paginilor web, indiferent de cât de protejate sunt și indiferent de nevoile dvs. de scalabilitate. Web Unlocker API: O API care accesează orice pagină web publică fără efort, gestionând automat blocuri, CAPTCHAs, amprente digitale și rotația proxy. Browser API: Un browser cloud complet găzduit compatibil cu Puppeteer, Selenium, Playwright și alte frameworks de automatizare, cu rezolvarea CAPTCHA încorporată și gestionarea automată a proxy-urilor. Aplicație Web Unlocker API Aplicație Web Unlocker API Browsere cu API Browsere cu API Web Unlocker este ideal pentru recuperarea conținutului paginii, fie în HTML brut, fie în Markdown gata de AI (un Pentru site-urile dinamice care necesită interacțiune sau automatizare pentru a accesa datele de care aveți nevoie, API-ul Browser este cel mai potrivit. mare format de date pentru ingestie LLM mare format de date pentru ingestie LLM Împreună, aceste două soluții acoperă tot ceea ce este necesar pentru etapa „Extractare” a unui flux de lucru „Căutare și extragere”. Cum să implementați un flux de lucru de căutare și extragere în Python Aflați cum să implementați un flux de lucru realist "Căutare și extragere" în Python: Pentru faza de căutare, veți utiliza API-ul SERP al Bright Data pentru a rula căutări web live. Pentru faza Extract, vă veți baza pe API-ul Web Unlocker pentru a recupera și a analiza conținutul din paginile selectate. Urmăriți introducerea de mai jos! Precondiţii Pentru a urma împreună cu această secțiune tutorial, asigurați-vă că aveți: Python 3.9+ este instalat local. Un cont Bright Data configurat cu o zonă API SERP și o zonă API Web Unlocker, împreună cu cheia API. Dacă nu sunteți familiarizați cu modul de a începe cu produsele API SERP sau API Web Unlocker ale Bright Data, urmați documentația oficială: Introducere în SERP API Introducere în API-ul Bright Data’s Unlocker Introducere în SERP API Introducere în SERP API Introducere în API-ul Bright Data’s Unlocker Introducere în API-ul Bright Data’s Unlocker De acum înainte, vom face referire la zona dvs. SERP API ca și la zona API Web Unlocker ca : serp_api web_unlocker De asemenea, asigurați-vă că zona este configurată în modul „Full JSON” în secțiunea „Data Format” din interiorul tabelului de configurare: serp_api În acest fel, API-ul Bright Data SERP va returna rezultatele SERP analizate în format JSON, făcându-le mai ușor de filtrat și re-rang. În cele din urmă, Acest lucru va fi folosit pentru a autentifica solicitările către serviciile menționate mai sus! Generarea cheii API Bright Data Generarea cheii API Bright Data Pentru a accelera procesul, vom presupune că aveți deja un proiect Python setat cu un mediu virtual. Pasul #1: Pregătiți-vă pentru accesarea serviciilor de date luminoase prin intermediul API Cel mai simplu mod de a vă conecta la serviciile Bright Data este direct prin intermediul API-ului său.În primul rând, instalați un client HTTP async-ready, cum ar fi AIOHTTP: pip install aiohttp Apoi, definiți următoarele două funcții pentru a apela API-ul SERP și API-ul Web Unlocker, respectiv: # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() pe funcția se conectează la API-ul Bright Data SERP pentru a efectua căutări Google și pentru a recupera rezultatele JSON SERP analizate (configurate în contul dvs.). fetch_serp() În mod similar, se conectează la API-ul Bright Data Web Unlocker pentru a obține pagini web. Configurarea ieșirii ca Markdown, care este ideală pentru ingestie în LLM. fetch_page() Pentru mai multe informații despre argumente, parametri și cum să apelați aceste două API-uri, consultați docurile! : În producție, evitați hardcodarea cheii API Bright Data. În schimb, încărcați-o dintr-o variabilă de mediu. Note Acum aveți blocurile de construcție pentru a implementa fazele „Căutați” și „Extrageți” în Funcţie : async import asyncio async def main(): # "Search and Extract" logic... # Run the async main function asyncio.run(main()) Pasul #2: Efectuați faza de extracție Să presupunem că aveți agenți AI care se bazează pe integrările MCP și doriți să produceți un raport care să arate modul în care modificările viitoare ale protocolului le-ar putea afecta, ce noi caracteristici vor fi disponibile și așa mai departe. LLM-urile regulate nu pot ajuta mult cu această sarcină, deoarece MCP este relativ nou și majoritatea modelelor au fost instruite pe date mai vechi. "new version of MCP" Apelați API-ul SERP pentru a obține rezultate Google SERP analizate pentru acea interogare de căutare: # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) În spatele scenei, cei funcția cheamă API-ul SERP utilizând interogarea de căutare furnizată. Dacă aveți nevoie să gestionați mai multe interogări, puteți apela Utilizarea concurenţială . fetch_serp() fetch_serp() asyncio.gather() : În mod implicit, API-ul SERP returnează 10 rezultate pe interogare, dar poate fi configurat pentru a returna până la 100 de rezultate. Note returnează rezultatele Google SERP analizate ca dicționar Python. Atribuții : fetch_serp() organic serp_ranking_results = serp_results.get("organic", []) Imprimați rezultatele căutării și veți obține o ieșire similară cu aceasta: Observați modul în care fiecare element din matrice corespunde exact cu rezultatul pe care l-ați obține prin căutarea "noii versiuni a MCP" pe Google: Pasul #3: Filtrează URL-urile de interes Din toate rezultatele SERP returnate de apelul API SERP, presupunem că sunteți interesat de până la primele 3 rezultate din " De asemenea, să luăm în considerare clasamentul inițial al Google ca clasamentul pe care doriți să-l păstrați. Protocolul de referință.io Protocolul de referință.io Filtrează-le după cum urmează: # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_data_results: page_url = result.get("url") if "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) # Stop once reaching 3 results if len(page_url) == 3: break Rezultatul va fi o listă de URL-uri care trebuie accesate în timpul fazei „Extractare”.În acest curs, URL-urile identificate sunt: [ "http://blog.modelcontextprotocol.io/posts/2025-11-25-first-mcp-anniversary/", "https://modelcontextprotocol.io/development/roadmap", "https://modelcontextprotocol.io/specification/2025-11-25" ] Este timpul să extrageți informații din aceste pagini! Pasul #4: Efectuați faza de extracție Utilizați Funcția de a apela API-ul Web Unlocker și de a răsturna cele trei pagini selectate în paralel: fetch_page() tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) Dacă aveți de-a face cu un site dinamic care necesită interacțiune cu utilizatorii, extrageți date din acesta folosind o tehnologie de automatizare a browserului, cum ar fi Playwright, integrată cu API-ul Browser. Note Rezultatul va fi un array care conține conținutul fiecărei pagini țintă. Accesarea conținutului Markdown deblocat din fiecare pagină cu: markdown_pages = [page for page in web_page_results] Verificați dacă matricea conține de fapt Markdown-ul paginilor țintă: for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") În acest caz, rezultatul este: Aceasta corespunde versiunii Markdown a fiecărei pagini vizate, ceea ce înseamnă că API-ul Web Unlocker a reușit să efectueze cu succes extragerea datelor web, indiferent de orice măsuri anti-bot sau anti-scraping în vigoare. Având în vedere aceste date proaspete, contextuale și verificabile, stocați-le pentru analiză ulterioară, transmiteți-le unui LLM pentru prelucrare, utilizați-le pentru a detecta subiecte suplimentare de interes, continuați cu cercetări mai aprofundate sau aplicați-le multor alte cazuri de utilizare. Pasul #5: Completați codul Versiunea finală a exemplului este: # pip install aiohttp import asyncio import aiohttp import urllib.parse import json # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() async def main(): # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_results.get("organic", []): page_url = result.get("link") if page_url and "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) if len(pages_of_interest) == 3: break print("Pages to scrape:", pages_of_interest) # Extract phase: Scrape pages concurrently tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) # Access the content from each page markdown_pages = [page for page in web_page_results] print("Scraped page contents:") for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") # AI processing, RAG pipelines, or further workflows... # Run the async main function asyncio.run(main()) Datorită produselor gata pentru API Bright Data, puteți implementa un flux de lucru eficient, la nivel de întreprindere, gata de producție "Căutare și extragere" în mai puțin de 50 de linii de cod Python! Concluzie În acest post, ați analizat de ce conductele de date și fluxurile de lucru AI depind de informații actualizate, contextuale și de încredere. O modalitate eficientă de colectare a datelor este prin Modelul AI, care a devenit în mod eficient o abordare standard pentru accesarea datelor web de înaltă calitate, verificabile. Faza automatizează descoperirea între motoarele de căutare, în timp ce faza trage informații structurate din cele mai relevante rezultate. Căutare și extract Căutare Extract ️ După cum se arată în acest articol, utilizarea unei platforme de răzuire web gata de AI, cum ar fi Bright Data, face ca implementarea acestui flux de lucru să fie atât practică, cât și scalabilă. și explorați toate soluțiile sale de date web! Start a Bright Data free trial today Începe astăzi testarea gratuită a datelor strălucitoare Acest articol este publicat prin programul HackerNoon Business Blogging. Acest articol este publicat prin programul HackerNoon Business Blogging.