“Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”in “Qəbələ”in “Qəbələ”in “Qəbələ”in “Qəbələ”in “Qəbələ”in “Qəbələ”in “Qəbələ”in “Qəbələ”n”in “Qəbələ”n”in “Qəbələ”n”in “Qəbələ”in

Çoğunluğu AI agentləri, ML pipelines, AI zenginleştirmə iş aksiyaları, derin araşdırma sistemləri və data-düşünən qərar motorları modellərin pis olduğu üçün zəlalət etmir. Konkret olaraq, verilər son vaxtlarda, kontekstdən uzaq, verifikasiya edilə bilməz, ya da hər üçü bir-birində olur. Bu yazıda görəcəksiniz ki, Əslində, necə işləyir, niyə çox insanın düşündüyündən daha çox fərqlidir, və konkret bir nümunə ilə onu final-to-final necə həyata keçirmək lazımdır! İncəsənət və ekstrakt Təsadüfi, kontekstual, güvenli və verifikasiya edilə bilər. Statista xəbər verir ki, hər gün 402,74 milyon terabayt data yaradılır. Bu verilər webə, data depolarına, analitik yığınlarına və borularına həqiqətən, düşünmək çətin olan bir ölçüdə daxil olur. Amma burada qapı var: daha çox data daha yaxşı data demək deyil! O zaman hər şeyin həqiqəti yansıdığını düşünmək, ya da ilk növbədə buna inanmaq real deyildir. Şirkətlər hala biznes qərarları, automatizasiya və AI-düşünən çağrıları qəbul edirlər. Data ilə. Bu Bir neçə ildir ki, bu problemlər həll olunmayıb, bir neçə ildir ki, bu problemlər həll olunmayacaq, bir neçə ildir ki, bu problemlər həll olunmayacaq. Bu, LLM-lərin halüsinasiyası, AI agentləri təkəbbürlü, lakin yanlış cavablar verir və veritabanları ürəyində sükutlandırır. Ən çox real dünyada problem model, alətlər və ya implementasiya deyil. Klassik analitik iş aksiyası və ya tamamilə bağımsız bir AI agentlə çalışırsanız, hər şey qaynaq verilərinin keyfiyyətinə bağlıdır. Tədbirlər Kontekstidir Verifikasiya Əgər bilmədiyiniz Verilən məlumatlar və ya Bu prosesin nəticələri realist hesab edilə bilməz. Niyə Nə vaxt Bu da həqiqi sorğu. Beləliklə, nə demək olar ki, bu, bir prosesə uyğun, bir prosesə uyğun, bir prosesə uyğun, bir prosesə uyğun gəlməliyik? Beləliklə, nə demək olar ki, bu, bir prosesə uyğun, bir prosesə uyğun, bir prosesə uyğun, bir prosesə uyğun gəlməliyik? Orada ki, bu “Bakı”ya getdik! – “Bakı”ya getdik Search and Extract Search and Extract: Nədir və Niyə Çözümdür “A” və “Extra” İnternetdən aktualdır, verifikasiya edilə bilər və kontekstli olan məlumatları almaq üçün prosesdir. strukturda basitdir, lakin praktikada çox effektivdir. De facto standartlar Ən yüksək səviyyədə, iki ayrı aşamada işləyir: Sistem Google kimi arama motorlarında canlı bir web arama işlətir ki, bu, veriliş üçün ən relevant və güvenilir kaynakları tapsın və bu, veriliş üçün açıq kaynaklardan gələn və aktualdır. Belə ki, sistem ən vacib URL-ləri tanımlayır, bu saytları ziyarət edir və bunlardan ən faydalı içərini və ya verileri ala bilər.Bu, saytdan analiz edilən faktlar, statistikalar, definisiyalar və ya strukturlu məlumatlar da daxil edə bilər. Bu model, AI agentləri kimi AI-ya bağlı uygulamalarda çox faydalıdır. VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. RAG sistemləri RAG sistemləri "Search and Extract" modelinin sonuncu amacı, toplanan məlumatların şurası olduğundan emin olmaqla, modern data problemlərinə cavab verməkdir: Təsadüfi olaraq, cərimələnmiş public web verilişləri son web aramalarından gəlir, bu da ən son məlumatları və xəbərləri daxil edə bilər. Kontekstüel : Bilgilər arama sorğusundakı temaları ilə yaxından uyğundur. Verifikasiya edilə bilər, çünki verilər doğrudan spesifik web sayfalarından gəlir, hər kəsin ziyarət və kontrol edə biləcəyi URL-lər vardır. Search and Extract necə işləyir? “Search and Extract” dərəcə aşağıdaki iş aksiyası ilə təsvir edilə bilər: Bu iş aksiyası üçün giriş, aradan qaldırılabilir temaların bir listəsidir.Bu tipik olaraq dokumentlardan, veritabanlardan və ya AI/ML vasitəsilə verilmiş məlumat kaynağından çıxarılır.Bu, AI-nin inkişafında, veritaban verifikasiyası, RAG iş aksiyası və ya derin araşdırma proqramlarında yayılan şeydir. Ondan bağımsızdır ki, arama imkanları “Search” komponentinə göndərilir, orada bir SERP API Solutions target arama motorlarında automatik web arama işlərini yerinə yetirir. arama rezultatlarını əldə etdikdən sonra, ya qaytarılan bütün web sayfaları gözləyə bilərsiniz, ya da yalnız AI/ML və ya şiddətli kurallar (yani, sayfaları spesifik domenlardan, dillərdən və ya digər kriteriyalardan saxlayın) istifadə edərək ən relevant olanları filtrə bilərsiniz. Bir çox arama sorğularını bir dəfə (bir neçə sorğuda ya da bir neçə sayfa üçün) hədəfləndirməkdə, özünüzə uyğun bir re-ranking algoritması çalışmaq lazımdır. Google və ya hər hansı bir arama motoru tərəfindən sağlanan sıralama SEO üçün optimləşdirilmişdir, bu sizin istifadə işiniz üçün nəyi göstərməyəcəkdir. Seçilmiş URL-lər sonra “Extract” noduya göndərilir, orada bir web scraping servisi hər bir sayfa daxil edər və əsas məlumatı çıxarır. Bundan sonra, “Search” və “Extract” fazalarında iştirak edən xidmətləri araşdırmalıyıq! İstirahət “Google”, “Bing”, “DuckDuckGo”, “Baidu” və “Yandex” kimi arama motorları SERP-ləri (Search Engine Results Pages) limitləri və CAPTCHA-ları ilə automatik cərrahiyyəsini önləyir. “Search” fazını yerinə yetirmək üçün ən güvenli yol SERP API çözümünü istifadə etməkdir.Bu xidmətlər sənin üçün scalability və anti-bot ölçümlərini işləmək üçün yaradılmış infrastrukturla buludda arama işlərini başlatmaq üçün terminalləri açıqlayır. O, 195 ölkədən 150 milyondan çox IP-nin proxy şəbəkəsi ilə dünya çapında araşdırmalarını dəstəkləyir, JSON-da tam olaraq parsed SERP verilərini qaytarır, bir çox sayda Pageination seçenekləri təqdim edir və standart HTTP istəklərini istifadə edən hər hansı bir data və ya ML pipeline ilə bütünlükləri və 50-dən çox AI agent framework və iş proseslərini dəstəkləyir. Bright Data API-nin yaradılması Bright Data API-nin yaradılması Daha çox, Bright Data’nın SERP API-si sizə paralel olaraq bir neçə arama sorğusunu davam etdirə bilər. Bu, “Arama” fazasında binlərca nəticə ala bilərsiniz. Daha sonra, “Arama və Ekstrakt” prosesinin sonrakı aşamalarında (daha əvvəl deyildiyi kimi) ehtiyacınıza görə onları filtrə və yenidən sıralayabilirsiniz. Dərslər ️ Hər bir web sitesinin fərqli olmasıdır və hətta bir və ya bir-birinə daxil olan sayfalardır ki, bir-birini göstərmək, bir-birini göstərmək, bir-birini göstərmək, bir-birini göstərmək, bir-birini göstərmək, bir-birini göstərmək, bir-birini göstərmək, bir-birini göstərmək, bir-birini göstərmək, bir-birini göstərmək, bir-birini göstərmək, bir-birini göstərmək, bir-birini göstərmək, bir-birini göstərmək, bir-birini göstərmək, bir-birini göstərmək, bir-birini göstərmək, bir-birini göstərmək, bir-birini göstərmək, bir-birini göstərmək, bir-birini göstərmək, bir-birini göstərmək, bir-birini göstərmək, bir-birini göstərmək, bir-bir Bu, üçüncü tərəflərin xidmətlərinə ehtiyac var ki, web-saytlarının içərisine, nə qədər qorunanlar olsa da, və scalability ehtiyacınız olmasa da, güvenli olaraq daxil olmanıza imkan verin. Web Unlocker API: Herhangi bir public web saytıya asanlıqla daxil olan API, blokları, CAPTCHAs, parmak izi və proxy rotasiyasını otomatik olaraq işləyir. Browser API: Puppeteer, Selenium, Playwright və digər automatizasiya çerçevələri ilə uyğundur, içərisində CAPTCHA çözümü və automatik proxy yönetimi var. Web Unlocker API proqramı Web Unlocker API proqramı İnternet API İnternet API Web Unlocker, ya çirkin HTML və ya AI hazır Markdown (a İhtiyacınız olan verilərə erişmək üçün interaksiyaya və ya avtomatikliyə ehtiyacı olan dinamik sitələr üçün, Browser API daha yaxşıdır. great data format for LLM ingestion LLM ingestion üçün böyük data formatı Bu iki Solutions xəritədə, “Search and Extract” workflow-un “Extract” etiyinə ehtiyac olan hər şeyi əhatə edir. Python-da arama və iş aksiyası necə hazırlanır Python-da realist “Search and Extract” iş aksiyası necə qurulacağını öyrənin: Araşdırma faizi üçün, Bright Data'nın SERP API-ni canlı web araşdırmalarını davam etdirmək üçün istifadə edəcəksiniz. Ekstrakt fazası üçün, seçilən sayfalardan içərini alma və analiz etmək üçün Web Unlocker API-yə təvəkkül edəcəksiniz. Aşağıda introvertajı izləyin! Əvvəllər Bu tutorluq bölməsini izləmək üçün, sizə baxın: Python 3.9 və daha çox yerdə yüklənir. Bir SERP API zonu və bir Web Unlocker API zonu ilə konfigürə edilmiş Bright Data hesabı, API-nizin yanında. Əgər Bright Data’nın SERP API və ya Web Unlocker API məhsulları ilə necə başlayacağını bilmirsənsə, resmi dokumentasiyanı izləyin: SERP API-nin yaradılması Bright Data’nın Unlocker API SERP API-nin yaradılması SERP API-nin yaradılması Bright Data’nın Unlocker API Bright Data’nın Unlocker API Bundan sonra, sizin SERP API zonunuzu Web Unlocker API bölməsinə : serp_api web_unlocker Buna görə də, təbii ki, “Full JSON” modunda “Data Format” bölməsində konfigürasiya tablosu qurulur: serp_api Beləliklə, Bright Data SERP API parsed SERP nəticələri JSON formatında qaytarır, onları filtr etmək və yenidən sıralama asanlaşdırır. Son olaraq, Bu, yukarıda deyilən xidmətlərin istəklərini doğrulamak üçün istifadə ediləcək! generate your Bright Data API key Bright Data API Key-nin yaradılması Prosesi sürətləndirmək üçün, sizə virtual bir çevrimiçi Python proqnozunun hazır olduğunu varsayırıq. Step #1: API vasitəsilə Bright Data Services Access hazırlayın “Bright Data” servislərinə bağlanmanın ən asan yolu doğrudan API-nə daxil olmaqdır.Birincisi, AIOHTTP kimi async hazır bir HTTP müştəri yükləyin: pip install aiohttp Daha sonra, SERP API və Web Unlocker API-ni çağırmaq üçün aşağıdaki iki funksiya tanımlayın: # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() İŞİD Bu funksiya Bright Data SERP API-yə bağlanır ki, Google-da aramalar aparılsın və parsed JSON SERP rezultatları ( hesabınızda konfigürasiya edildiyi kimi) alınsın. fetch_serp() Buna görə də, İnternetdən istifadə etmək üçün “Bright Data Web Unlocker” API-yə bağlanır və bu API-ni “Markdown” kimi konfigurasiya edir. fetch_page() VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Xatırladaq ki, bir neçə ildir ki, bu problemlər həll olunmasa, bir neçə ildir ki, bu problemlər həll olunmalıdır. Note Artıq sizə “Search” və “Extract” fəsilləri təqdim etmək üçün inşaat blokları var. funksiyaları : async import asyncio async def main(): # "Search and Extract" logic... # Run the async main function asyncio.run(main()) Step #2: Ekstrakt fazını yerinə yetirin Düşünürəm ki, MCP entegrasiyalarına təvəkkül edən AI agentləriniz var və protokolun gelecekdə nəyi dəyişə biləcəyini, hansı yeni funksiyaların istifadə ediləcəyini və s. göstərmək istəyirsiniz. Normal LLM-lər bu işdə çox kömək edə bilməzlər, MCP nisbətən yenidir və əksəriyyəti modellər daha yaşlı verilər üzərində öyrənilmişdir. "new version of MCP" SERP API-ni çağırın, bu araşdırma üçün parsed Google SERP rezultatlarını almaq üçün: # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) Şeirlərin arxasında, bu Bir neçə ildir ki, bu problemlər həll olunacaq, bir neçə ildir ki, bu problemlər həll olunacaq. İstehsalçı istifadə . fetch_serp() fetch_serp() asyncio.gather() “SERP” API-nin hər bir sorğuda 10 nəticə qaytarır, lakin 100 nəticəyə qədər qaytarmaq üçün konfigürə edilə bilər. Note “Google” “Python” sözlükləri kimi “Google SERP” nəticələrini qaytarır. Atribütlər : fetch_serp() organic serp_ranking_results = serp_results.get("organic", []) Arama sonuçlarını yazdırın və belə bir çıxışı alacaqsınız: Qrupun hər bir elementinin Google-da “MCP-nin yeni versiyasını” arzulayaraq ala biləcəyiniz nəticəyə necə uyğunlaşdığını gözləyin: Step #3: İlginç URL-ləri filtr etmək "SERP API çağırması tərəfindən qaytarılan bütün SERP rezultatlarından, "SERP API çağırması"nın ən yaxşı 3 nəticəsi ilə ilgiliyiniz var. "Domain" (MCP spesifikasiya üçün resmi domen) "Google"ın orijinal sıralamasını da qorumak istədiyiniz sıralama olaraq düşünün. Əsas səhifə.io Əsas səhifə.io Onları aşağıda filtr etmək lazımdır: # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_data_results: page_url = result.get("url") if "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) # Stop once reaching 3 results if len(page_url) == 3: break Beləliklə, “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”in “Qəbələ”in “Qəbələ”in “Qəbələ”in “Qəbələ”in “Qəbələ”in “Qəbələ”in “Qəbələ”in”in “Qəbələ”in”in “Qəbələ” [ "http://blog.modelcontextprotocol.io/posts/2025-11-25-first-mcp-anniversary/", "https://modelcontextprotocol.io/development/roadmap", "https://modelcontextprotocol.io/specification/2025-11-25" ] Bu saytlardan xəbərlər çəkmək zamanı! Step #4: Ekstrakt fazını yerinə yetirin Kullanmaq üçün Web Unlocker API-ni çağırmaq və üç seçilən saytı paralel olaraq xilas etmək: fetch_page() tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) : Kullanıcı interaksiyasına ehtiyacı olan dinamik bir site ilə işləyirsinizsə, Browser API- ilə bütünleştirilmiş Playwright kimi bir browser automatizasiya texnologiya ilə verileri çıxartın. Note Hər bir sayının içərisini içərisində olan bir matris olacaq. markdown_pages = [page for page in web_page_results] Müştərilər üçün “Markdown” sisteminin yaradılacağına baxın: for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") Bu vəziyyətdə, ürəklər belədir: Bu, hər bir hədəf sayının Markdown versiyasına aiddir, bu da Web Unlocker API-nin hər hansı anti-bot və ya anti-qorxutma müddəti olmasına baxmayaraq, web verilişini uğurla davam etdirə biləcəyini göstərir. Bu yenilikçi, kontekstual və verifikasiya edilə bilən məlumatları gözləyin, daha çox analiz üçün saxlayın, işləmək üçün bir LLM-ə göndərin, daha geniş araşdırmalarla davam etdirin, ya da bir çox digər istifadə məsələlərinə təsvir edin. Adım #5: Kodun tamamlanması Sonuncu versiyası isə belədir: # pip install aiohttp import asyncio import aiohttp import urllib.parse import json # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() async def main(): # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_results.get("organic", []): page_url = result.get("link") if page_url and "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) if len(pages_of_interest) == 3: break print("Pages to scrape:", pages_of_interest) # Extract phase: Scrape pages concurrently tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) # Access the content from each page markdown_pages = [page for page in web_page_results] print("Scraped page contents:") for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") # AI processing, RAG pipelines, or further workflows... # Run the async main function asyncio.run(main()) Bright Data API-nin hazır məhsullarına görə, Python kodunun 50-dən az satırında effektiv, korporasiyalı, istehsal hazır “Search and Extract” iş yolunu həyata keçirə bilərsiniz! Sonrakı Bu postda, nə üçün veritabanları və AI iş aksiyaları güncellenmiş, kontekstual və inanılmaz məlumatlara bağlıdır.Günün sonunda, daha yaxşı girişlər, özellikle AI-düşünən sistemlərdə, daha yaxşı çıkışlara səbəb olur! Bu məlumatları toplamağın bir yoludur. İnformasiya sisteminin standartlaşdırılması üçün yüksək qiymətli və verifikasiya edilə bilər. Arama motorlarının aradan qaldırılması ilə bağlı araşdırma aparılır Faza ən relevant nəticələrdən strukturlu məlumat çəkir. İncəsənət və ekstrakt İstirahət Dərslər ️ Bu yazı boyunca göstərildiyi kimi, Bright Data kimi AI-ya hazır bir web scraping platforması istifadə etmək bu iş prosesini praktik və ölçülə bilər. Web Solutions xəritədə Start a Bright Data free trial today Bu gün “Bright Data” testinə başlayın Bu yazı HackerNoon Business Blogging programı tərəfindən yayımlanmışdır. Bu yazı Via Programın HackerNoon Biznes Blog