Kërko dhe nxjerr: Pse ky model AI ka rëndësi, tutorial dhe shembull

Shumica e agjentëve të inteligjencës artificiale, tubacioneve ML, rrjedhave të punës për pasurimin e inteligjencës artificiale, sistemet e kërkimit të thellë dhe motorët e vendimmarrjes të drejtuar nga të dhënat nuk dështojnë sepse modelet janë të këqija. Në veçanti, të dhënat kanë tendencë të jenë të vjetëruara, jashtë kontekstit, jo të verifikueshme, ose të tre në të njëjtën kohë.Kjo është problemi kryesor. Në këtë artikull do të shihni se çfarë Në fakt do të thotë, se si funksionon nën kapak, pse ka rëndësi më shumë se sa mendojnë shumica e njerëzve, dhe si ta zbatojmë atë nga fundi në fund me një shembull konkret! Kërkimi dhe ekstraktimi Nevoja për informacione të freskëta, kontekstuale dhe të besueshme, të verifikueshme Sipas Statista, rreth 402.74 milion terabajt të dhënash gjenerohet çdo ditë. Këto të dhëna derdhen në web, depo të të dhënave, grumbullime analitike dhe tubacione në një shkallë që është sinqerisht e vështirë për të arsyetuar. Por këtu është kapja: më shumë të dhëna nuk do të thotë të dhëna më të mira! Në atë vëllim, është joreale të supozohet se gjithçka pasqyron realitetin - ose se mund të besohet edhe në vendin e parë ... Ndërmarrjet ende marrin vendime biznesi, automatizime dhe thirrje të drejtuara nga AI bazuar në të dhënave. Kjo Dhe kur burimi është i vjetëruar, i papërfunduar, ose thjesht i gabuar ... njohuritë e ndërtuara mbi të nuk mund të jenë të besueshme. Kjo është pikërisht arsyeja pse LLM-të hallucinojnë, agjentët e AI japin përgjigje bindëse por të gabuara, dhe tubacionet e të dhënave në heshtje dështojnë në prodhim. Në shumicën e rasteve të botës reale, problemi nuk është modeli, mjetet ose zbatimi. Nëse jeni duke drejtuar një rrjedhë pune analitike klasike ose një agjent plotësisht autonom AI, gjithçka varet nga cilësia e të dhënave burimore. Të freskëta Kontekst të Verifikimi i Në fund të fundit, nëse nuk e dini Të dhënat vijnë nga ose është mbledhur, ju nuk mund të besoni në mënyrë realiste në rezultat. ku Kur Kjo është pyetja e vërtetë. Si të merrni në mënyrë të besueshme informacionin që është i përditësuar, i rëndësishëm për një detyrë të veçantë dhe i lidhur me burimin e tij? Si të merrni në mënyrë të besueshme informacionin që është i përditësuar, i rëndësishëm për një detyrë të veçantë dhe i lidhur me burimin e tij? Kjo është ajo ku Postimi i rradhës Shkarko këtu! – Shkarko këtu! Search and Extract Kërko dhe nxjerr: Çfarë është dhe pse është zgjidhja “Kërko dhe nxjerr” është një Procesi i marrjes së informacionit të përditësuar, të verifikueshëm dhe të pasur me kontekst nga web është i thjeshtë në strukturë, por jashtëzakonisht efektiv në praktikë. De facto standarde Në një nivel të lartë, ajo punon në dy hapa të ndryshëm: Kërkimi: Sistemi kryen një kërkim të drejtpërdrejtë në internet në motorët e kërkimit si Google për të gjetur burimet më relevante dhe të besueshme për një pyetje të caktuar. Ekstrakt: Nga rezultatet e kërkimit, sistemi identifikon URL-të më relevante, viziton ato faqe dhe merr përmbajtjen ose të dhënat më të dobishme nga ato.Kjo mund të përfshijë fakte, statistika, përkufizime ose informacione të strukturuara të analizuara nga faqja. Ky model është veçanërisht i dobishëm në aplikacionet e lidhura me AI, të tilla si agjentët e AI, Gjithashtu, është e zbatueshme për mësimin tradicional të makinës, verifikimin e fakteve dhe tubacionet e pasurimit të të dhënave. Sistemet agjentike RAG Sistemet agjentike RAG Qëllimi përfundimtar i modelit "Kërko dhe nxjerr" është të adresojë sfidat moderne të të dhënave duke siguruar që informacioni i mbledhur është: Të freskëta , pasi të dhënat e rrëmbyera të internetit publik vijnë nga kërkimet e fundit të internetit, të cilat mund të përfshijnë informacionin dhe lajmet më të fundit. Kontekstual, pasi informacioni është i lidhur ngushtë me temat e specifikuara në pyetjen e kërkimit. Verifikuar, pasi të dhënat vijnë direkt nga faqet e internetit specifike, me URL që kushdo mund të vizitojë dhe të kontrollojë. Si punon kërkimi dhe nxjerrja? Në një nivel të lartë, "Kërko dhe nxjerr" mund të përmblidhet me rrjedhën e punës në vijim: Hyrja për këtë rrjedhë pune është një listë e subjekteve të kërkueshme. Këto janë të nxjerra në përgjithësi në kontekst nga dokumentet, grupet e të dhënave ose burimet e dhëna të informacionit duke përdorur AI / ML. Kjo është ajo që ndodh zakonisht në pasurimin e AI, verifikimin e të dhënave, rrjedhat e punës RAG ose aplikacionet e kërkimit të thellë. Pavarësisht nga burimi, temat e kërkueshme kalohen në komponentin "Kërko", ku një zgjidhje SERP API kryen kërkime të automatizuara në internet në motorët e kërkimit të synuar.Pas marrjes së rezultateve të kërkimit, ju mund të konsideroni të gjitha faqet e kthyera ose të filtroni vetëm ato më të rëndësishme duke përdorur AI / ML ose rregulla të rrepta (p.sh., duke mbajtur faqet nga domene të caktuara, gjuhë, ose kritere të tjera). Kur synoni kërkime të shumta kërkimi në të njëjtën kohë (qoftë pyetje të ndryshme ose faqe të shumta për të njëjtën pyetje), mund të keni nevojë të ekzekutoni një algoritëm të përshtatur të ri-ranking. renditja e ofruar nga Google ose ndonjë motor kërkimi është optimizuar për SEO, e cila nuk mund të pasqyrojë se çfarë ka rëndësi për rastin tuaj të përdorimit. URL-të e përzgjedhur pastaj dërgohen në nyjen "Extract", ku një shërbim i skrapimit të uebit shkon në çdo faqe dhe nxjerr informacionin kryesor. Tjetra, le të eksplorojmë shërbimet që vijnë në lojë në fazat “Kërko” dhe “Extract” respektivisht! Kërkimi Motorët e kërkimit si Google, Bing, DuckDuckGo, Baidu dhe Yandex mbrojnë SERPs (Faqet e Rezultatit të Motorëve të Kërkimit) me kufizime të normës dhe CAPTCHAs për të parandaluar scraping automatik. Mënyra më e besueshme për të kryer fazën e "Kërkimit" është duke përdorur një zgjidhje SERP API. Këto shërbime ekspozojnë pikët e fundit për të shkaktuar detyrat e kërkimit në re duke përdorur infrastrukturën e projektuar për të trajtuar masat e shkallëzimit dhe anti-bot për ju. Ajo mbështet kërkime globale përmes një rrjeti proxy prej më shumë se 150 milionë IP në 195 vende, mund të kthejë të dhënat SERP të analizuara plotësisht në JSON, ofron shumë opsione paginimi, dhe mbështet integrimin në çdo të dhënat ose ML pipeline duke përdorur kërkesa standarde HTTP, si dhe mbi 50+ korniza dhe rrjedha të punës të agjentëve të AI. API SERP e të dhënave të ndritshme API SERP e të dhënave të ndritshme Për më tepër, API SERP e Bright Data ju lejon të ekzekutoni një numër të pakufizuar të pyetjeve të kërkimit paralelisht. Kjo do të thotë që ju mund të merrni mijëra rezultate gjatë fazës së "Kërkimit". Pastaj, ju mund t'i filtroni dhe rishikoni ato sipas nevojave tuaja në fazat e mëvonshme të procesit të përgjithshëm "Kërkoni dhe nxjerrni" (siç u përmend më parë). Përmbledhje ️ Ekstraktimi i të dhënave të internetit është pjesa më e vështirë. Arsyeja është se çdo faqe interneti është e ndryshme, dhe madje edhe faqet brenda të njëjtit domain mund të ndjekin renditje të ndryshme, vizualizimin e të dhënave dhe logjikën e kërkimit. Kjo e bën qasje programatike në përmbajtjen e tyre mjaft të vështirë. Përveç kësaj, faqet kanë tendencë të miratojnë masa anti-skraping për të mbrojtur të dhënat e tyre të vlefshme publike të internetit. Kjo kërkon shërbime të palëve të treta që ju lejojnë të qaseni në mënyrë të besueshme në përmbajtjen e faqeve të internetit, pa marrë parasysh se sa të mbrojtura janë ato, dhe pa marrë parasysh nevojat tuaja të shkallëzimit. Web Unlocker API: Një API që shkon në çdo faqe publike të internetit pa vështirësi, duke trajtuar automatikisht blloqet, CAPTCHAs, shenjat e gishtërinjve dhe rrotullimin e proxy. Browser API: Një shfletues plotësisht i hostuar në cloud i përputhshëm me Puppeteer, Selenium, Playwright dhe korniza të tjera të automatizimit, me zgjidhjen e integruar të CAPTCHA dhe menaxhimin e automatizuar të proxy. Web Unlocker API në dispozicion Web Unlocker API në dispozicion Browseri i zjarrit Browseri i zjarrit Web Unlocker është ideal për marrjen e përmbajtjes së faqes, qoftë në HTML të papërpunuar ose në Markdown të gatshëm nga AI (a Për faqet dinamike që kërkojnë ndërveprim ose automatizim për të hyrë në të dhënat që ju nevojiten, API Browser është më i përshtatshëm. great data format for LLM ingestion Formati i madh i të dhënave për LLM ingestion Së bashku, këto dy zgjidhje mbulojnë gjithçka që kërkohet për fazën “Extract” të një rrjedhe pune “Search and Extract”. Si të zbatohet një kërkim dhe nxjerrje e rrjedhës së punës në Python Mësoni se si të zbatoni një rrjedhë pune realiste "Kërko dhe nxjerr" në Python: Për fazën e kërkimit, ju do të përdorni API SERP të Bright Data për të drejtuar kërkime në internet. Për fazën e nxjerrjes, ju do të mbështeteni në API Web Unlocker për të marrë dhe analizuar përmbajtjen nga faqet e zgjedhura. Ndiqni hyrjen më poshtë! Parashikimet Për të ndjekur së bashku me këtë seksion tutorial, sigurohuni që ju keni: Python 3.9+ është instaluar në vend. Një llogari e të dhënave të ndritshme e konfiguruar me një zonë API SERP dhe një zonë API Web Unlocker, së bashku me çelësin tuaj API. Nëse nuk jeni të njohur me mënyrën se si të filloni me SERP API të Bright Data ose produktet Web Unlocker API, ndiqni dokumentet zyrtare: Përdorimi i SERP API Përdorimi i Bright Data Unlocker API Përdorimi i SERP API Përdorimi i SERP API Përdorimi i Bright Data Unlocker API Përdorimi i Bright Data Unlocker API Nga tani e tutje, ne do të referohemi në zonën tuaj SERP API si dhe në zonën tuaj Web Unlocker API si : serp_api web_unlocker Gjithashtu, sigurohuni që zona është konfiguruar në modalitetin “Full JSON” në seksionin “Data Format” brenda tabelës së konfigurimit: serp_api Në këtë mënyrë, API Bright Data SERP do të kthejë rezultatet e analizuara SERP në formatin JSON, duke i bërë ato më të lehtë për të filtruar dhe ri-rank. Më në fund, Kjo do të përdoret për të vërtetuar kërkesat për shërbimet e përmendura më sipër! Gjeneroni çelësin API të të dhënave të ndritshme Gjeneroni çelësin API të të dhënave të ndritshme Për të përshpejtuar procesin, ne do të supozojmë se ju tashmë keni një projekt Python të vendosur me një mjedis virtual në vend. Hapi #1: Përgatituni për të hyrë në Shërbimet e të dhënave të ndritshme përmes API Mënyra më e lehtë për t'u lidhur me shërbimet e Bright Data është drejtpërdrejt përmes API-së së saj.Së pari, instaloni një klient HTTP async-ready si AIOHTTP: pip install aiohttp Tjetra, përcaktoni dy funksionet e mëposhtme për të thirrur API SERP dhe API Web Unlocker, respektivisht: # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() të Funksioni lidhet me API-në Bright Data SERP për të kryer kërkime në Google dhe për të marrë rezultatet e analizuara JSON SERP (siç është konfiguruar në llogarinë tuaj). fetch_serp() të ngjashme, lidhet me Bright Data Web Unlocker API për të marrë faqet e internetit. Konfigurimi i prodhimit si Markdown, i cili është ideal për futjen në LLMs. fetch_page() Për më shumë informacion në lidhje me argumentet, parametrat, dhe se si të thërrasin këto dy API, referojuni dokumenteve! : Në prodhim, shmangni kodimin e vështirë të çelësit API të të dhënave të ndritshme. Note Tani ju keni blloqet e ndërtimit për të zbatuar fazat "Kërko" dhe "Extract" në Funksionet e: async import asyncio async def main(): # "Search and Extract" logic... # Run the async main function asyncio.run(main()) Hapi #2: Kryeni fazën e nxjerrjes Supozoni se keni agjentë të inteligjencës artificiale që mbështeten në integrimet e MCP dhe dëshironi të prodhoni një raport që tregon se si ndryshimet e ardhshme në protokoll mund t'i ndikojnë ato, cilat karakteristika të reja do të jenë në dispozicion, dhe kështu me radhë. LLMs rregullt nuk mund të ndihmojë shumë me këtë detyrë, si MCP është relativisht e re dhe shumica e modeleve janë trajnuar në të dhënat më të vjetra. "new version of MCP" Thirrni API SERP për të marrë rezultatet e analizuara të Google SERP për atë pyetje kërkimi: # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) Pas skenës, në Funksioni thërret API SERP duke përdorur pyetjen e kërkimit të dhënë. Nëse keni nevojë për të trajtuar pyetje të shumëfishta, mund të thërrisni Përdorimi konkurrues . fetch_serp() fetch_serp() asyncio.gather() : Sipas parazgjedhjes, API SERP kthen 10 rezultate për pyetje, por mund të konfigurohet për të kthyer deri në 100 rezultate. Note kthen rezultatet e analizuara të Google SERP si një fjalor Python. Atributet e: fetch_serp() organic serp_ranking_results = serp_results.get("organic", []) Shtypni rezultatet e kërkimit, dhe ju duhet të merrni një rezultat të ngjashëm me këtë: Vini re se si çdo element në array korrespondon saktësisht me rezultatin që do të merrni duke kërkuar për "versionin e ri të MCP" në Google: Hapi #3: Filtroni URL-të e Interesit Nga të gjitha rezultatet SERP të kthyera nga thirrja API SERP, supozoni se jeni të interesuar në deri në 3 rezultatet e para nga " Gjithashtu, le të konsiderojmë renditjen origjinale të Google si renditjen që dëshironi të ruani. modelcontextprotocol.io Modeli i protokollit.io Filtroni si më poshtë: # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_data_results: page_url = result.get("url") if "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) # Stop once reaching 3 results if len(page_url) == 3: break Rezultati do të jetë një listë e URL-ve për të hyrë gjatë fazës "Extract". [ "http://blog.modelcontextprotocol.io/posts/2025-11-25-first-mcp-anniversary/", "https://modelcontextprotocol.io/development/roadmap", "https://modelcontextprotocol.io/specification/2025-11-25" ] Koha për të nxjerrë informacion nga këto faqe! Hapi #4: Kryeni fazën e nxjerrjes Përdorni të Funksioni për të thirrur Web Unlocker API dhe scrape tre faqet e zgjedhura në paralel: fetch_page() tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) : Nëse keni të bëni me një faqe dinamike që kërkon ndërveprim të përdoruesit, nxirrni të dhëna nga ajo duke përdorur një teknologji të automatizimit të shfletuesit si Playwright, e integruar me API-në e shfletuesit. Note Rezultati do të jetë një matricë që përmban përmbajtjen e secilës faqe synimi. Aksesoni përmbajtjen e zhbllokuar Markdown nga secila faqe me: markdown_pages = [page for page in web_page_results] Kontrolloni nëse matrica me të vërtetë përmban Markdown e faqeve të synuara: for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") Në këtë rast, prodhimi është: Kjo korrespondon me versionin Markdown të secilës faqe të synuar, që do të thotë se Web Unlocker API ishte në gjendje të kryejë nxjerrjen e të dhënave web me sukses, pavarësisht nga çdo masë anti-bot ose anti-skraping në vend. Duke pasur parasysh këto të dhëna të freskëta, kontekstuale dhe të verifikueshme, ruani atë për analiza të mëtejshme, kaloni atë në një LLM për përpunim, përdoreni atë për të zbuluar tema shtesë të interesit, vazhdoni me kërkime më të thella, ose aplikoni atë në shumë raste të tjera të përdorimit. Hapi #5: Kodi i plotë Versioni përfundimtar i shembullit është: # pip install aiohttp import asyncio import aiohttp import urllib.parse import json # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() async def main(): # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_results.get("organic", []): page_url = result.get("link") if page_url and "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) if len(pages_of_interest) == 3: break print("Pages to scrape:", pages_of_interest) # Extract phase: Scrape pages concurrently tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) # Access the content from each page markdown_pages = [page for page in web_page_results] print("Scraped page contents:") for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") # AI processing, RAG pipelines, or further workflows... # Run the async main function asyncio.run(main()) Falë produkteve të gatshme të API-së të të dhënave të ndritshme, ju mund të zbatoni një rrjedhë pune efektive, të nivelit të ndërmarrjes, të gatshme për prodhim "Kërko dhe nxjerr" në më pak se 50 rreshta të kodit Python! Konkludimi Në këtë post, ju keni parë pse tubacionet e të dhënave dhe rrjedhat e punës AI varen nga informacionet aktuale, kontekstuale dhe të besueshme.Në fund të ditës, hyrjet më të mira çojnë në dalje më të mira, veçanërisht në sistemet e drejtuara nga AI! Një mënyrë e besueshme për të mbledhur këto të dhëna është përmes AI model, i cili është bërë në mënyrë efektive një qasje standarde për qasje në të dhëna të cilësisë së lartë, të verifikueshme web. faza automatizon zbulimin në të gjitha motorët e kërkimit, ndërsa faza nxjerr informacion të strukturuar nga rezultatet më relevante. Kërkimi dhe ekstraktimi Kërkimi Përmbledhje ️ Siç tregohet gjatë gjithë këtij artikulli, duke përdorur një platformë të skrapimit të internetit të gatshëm nga AI si Bright Data e bën zbatimin e këtij rrjeti të punës praktik dhe të shkallëzueshëm. dhe eksploroni të gjitha zgjidhjet e saj të të dhënave të internetit! Filloni një provim të lirë të të dhënave të ndritshme sot Filloni një provim të lirë të të dhënave të ndritshme sot Ky artikull është botuar përmes programit HackerNoon Business Blogging. Ky artikull është publikuar përmes programit të HackerNoon Biznesit Blogging