Szukaj i wyodrębnij: Dlaczego ten wzorzec AI ma znaczenie, samouczek i przykład

Większość agentów sztucznej inteligencji, rurociągów ML, przepływów pracy wzbogacających sztuczną inteligencję, głębokich systemów badawczych i maszyn do podejmowania decyzji opartych na danych nie zawiodą, ponieważ modele są złe. W szczególności dane mają tendencję do bycia przestarzałymi, poza kontekstem, niezweryfikowalnymi lub wszystkimi trzema naraz.To jest główny problem. W tym artykule zobaczysz, co W rzeczywistości oznacza, jak to działa pod kapturem, dlaczego ma to znaczenie bardziej niż większość ludzi myśli, i jak wdrożyć go od końca do końca za pomocą konkretnego przykładu! Wyszukiwanie i ekstrakt Potrzeba świeżych, kontekstowych i wiarygodnych, weryfikowalnych informacji Według Statista, około 402,74 miliona terabajtów danych jest generowanych każdego dnia Te dane przenikają do sieci, magazynów danych, stosów analitycznych i rurociągów w skali, o której szczerze mówiąc trudno się domyślić. Ale oto łapówka: więcej danych nie oznacza lepszych danych! W tej ilości nierealne jest założenie, że wszystko odzwierciedla rzeczywistość – lub że można mu nawet zaufać w pierwszej kolejności... Przedsiębiorstwa wciąż podejmują decyzje biznesowe, automatyzację i połączenia oparte na sztucznej inteligencji i danych. Tego A gdy źródło jest przestarzałe, niekompletne lub po prostu błędne ... wgląd zbudowany na nim nie może być wiarygodny. Właśnie dlatego LLM-y halucynują, agenci AI dają przekonujące, ale nieprawidłowe odpowiedzi, a rurociągi danych cicho zawiodły w produkcji. W większości przypadków w świecie rzeczywistym problemem nie jest model, narzędzie lub wdrożenie. Niezależnie od tego, czy używasz klasycznego przepływu pracy analityki, czy w pełni autonomicznego agenta AI, wszystko zależy od jakości danych źródłowych. Świeże Kontekst Sprawdzanie W końcu, jeśli nie wiesz Dane pochodzą z lub Zostało to zebrane, nie można realistycznie ufać wynikowi. gdzie Kiedy To jest prawdziwe pytanie. Jak niezawodnie odzyskać informacje, które są aktualne, istotne dla określonego zadania i prawdopodobnie związane z jego źródłem? Jak niezawodnie odzyskać informacje, które są aktualne, istotne dla określonego zadania i prawdopodobnie związane z jego źródłem? To właśnie tam, gdzie Wejdźmy do schroniska! - Wejdźmy do schroniska! Search and Extract Wyszukiwanie i wyodrębnianie: co to jest i dlaczego jest rozwiązaniem „Wyszukiwanie i wyodrębnianie” jest Proces pobierania aktualnych, weryfikowalnych i bogatych w kontekst informacji z sieci Web jest prosty w strukturze, ale niezwykle skuteczny w praktyce. De facto standardy Na wysokim poziomie działa w dwóch odrębnych krokach: Wyszukiwanie: System wykonuje wyszukiwanie na żywo w wyszukiwarkach, takich jak Google, aby znaleźć najbardziej odpowiednie i wiarygodne źródła dla danego zapytania. Wyciąg: Z wyników wyszukiwania system identyfikuje najbardziej odpowiednie adresy URL, odwiedza te strony i pobiera z nich najbardziej przydatne treści lub dane. Może to obejmować fakty, statystyki, definicje lub ustrukturyzowane informacje analizowane z strony. Ten wzorzec jest szczególnie przydatny w aplikacjach związanych z AI, takich jak agenci AI, Również jest stosowany do tradycyjnych maszyn do uczenia się, weryfikacji faktów i rurociągów wzbogacania danych. Systemy RAG Systemy RAG Ostatecznym celem wzorca „Szukaj i wyodrębnij” jest rozwiązanie współczesnych wyzwań związanych z danymi, zapewniając, że zebrane informacje są: Świeże, ponieważ skrapione publiczne dane internetowe pochodzą z ostatnich wyszukiwań internetowych, które mogą zawierać najnowsze informacje i wiadomości. Kontekstualne, ponieważ informacje są ściśle powiązane z tematami określonymi w zapytaniu wyszukiwania. Sprawdzalne, ponieważ dane pochodzą bezpośrednio z określonych stron internetowych, z adresami URL, które każdy może odwiedzić i sprawdzić. Jak działa wyszukiwanie i ekstrakcja? Na wysokim poziomie „Wyszukiwanie i wyodrębnianie” można podsumować następującym przepływem pracy: Wstępem do tego przepływu pracy jest lista tematów wyszukiwalnych.To są zazwyczaj kontekstowo wyodrębnione z dokumentów, zbiorów danych lub danych źródeł informacji za pomocą AI / ML. To jest to, co zwykle występuje w AI wzbogacania, weryfikacji danych, RAG przepływów pracy lub głębokich aplikacji badawczych. Niezależnie od źródła, wyszukiwane tematy są przekazywane do komponentu „Wyszukiwanie”, gdzie rozwiązanie API SERP wykonuje zautomatyzowane wyszukiwania internetowe na docelowych wyszukiwarkach.Po pobraniu wyników wyszukiwania można albo rozważyć wszystkie zwrócony strony internetowe, albo filtrować tylko najbardziej odpowiednie strony za pomocą AI/ML lub ścisłych zasad (np. utrzymywanie stron z określonych domen, języków lub innych kryteriów). Podczas ukierunkowywania wielu zapytań wyszukiwania jednocześnie (czy to różnych zapytań, czy wielu stron dla tego samego zapytania), może być konieczne uruchomienie niestandardowego algorytmu re-rankingowego.Ranking dostarczany przez Google lub dowolną wyszukiwarkę jest zoptymalizowany dla SEO, co może nie odzwierciedlać tego, co jest ważne dla Twojego przypadku użytkowania. Wybrane adresy URL są następnie wysyłane do węzła „Extract”, gdzie usługa skrapienia stron internetowych uzyskuje dostęp do każdej strony i wyodrębnia główne informacje. Następnie przyjrzyjmy się usługom, które wchodzą w grę w fazie „Szukaj” i „Wyodrębnij” odpowiednio! Wyszukiwanie Wyszukiwarki takie jak Google, Bing, DuckDuckGo, Baidu i Yandex chronią swoje SERP (Strony wyników wyszukiwarek) z limitami stóp procentowych i CAPTCHA, aby zapobiec automatycznemu skrapaniu. Najbardziej niezawodnym sposobem przeprowadzenia fazy „Wyszukiwania” jest użycie rozwiązania API SERP. Te usługi narażają punkty końcowe, aby wyzwalać zadania wyszukiwania w chmurze przy użyciu infrastruktury zaprojektowanej do obsługi skalowalności i środków antybotowych dla Ciebie. Obsługuje globalne wyszukiwania za pośrednictwem sieci proxy obejmującej ponad 150 milionów adresów IP w 195 krajach, może zwracać w pełni analizowane dane SERP w JSON, oferuje wiele opcji paginacji i obsługuje integrację z dowolnymi danymi lub rurociągiem ML przy użyciu standardowych żądań HTTP, a także ponad 50 ramy agentów AI i przepływy pracy. Serp API dla jasnych danych Serp API dla jasnych danych Ponadto API SERP firmy Bright Data pozwala uruchomić nieograniczoną liczbę zapytań o wyszukiwanie równolegle. Oznacza to, że możesz uzyskać tysiące wyników podczas fazy „Szukaj”. Następnie możesz filtrować i ponownie klasyfikować je zgodnie z Twoimi potrzebami na późniejszych etapach ogólnego procesu „Szukaj i wyodrębnij” (jak wspomniano wcześniej). Wyciąg ️ Powodem jest to, że każda strona jest inna, a nawet strony w obrębie tej samej domeny mogą podążać za różnym renderowaniem, wizualizacją danych i logiką odzyskiwania. To sprawia, że programowy dostęp do ich zawartości jest dość trudny. Wymaga to usług stron trzecich, które pozwalają na niezawodny dostęp do zawartości stron internetowych, niezależnie od tego, jak są one chronione i niezależnie od potrzeb w zakresie skalowalności. Web Unlocker API: API, które bez wysiłku uzyskuje dostęp do każdej publicznej strony internetowej, automatycznie obsługując blokady, CAPTCHA, odciski palców i rotację proxy. API przeglądarki: W pełni hostowana przeglądarka w chmurze zgodna z Puppeteer, Selenium, Playwright i innymi ramami automatyzacji, z wbudowanym rozwiązaniem CAPTCHA i zautomatyzowanym zarządzaniem proxy. Rozwiązanie Unlocker API Rozwiązanie Unlocker API przeglądarka API przeglądarka API Web Unlocker jest idealny do pobierania zawartości strony, zarówno w surowym HTML, jak i gotowym na AI Markdown. Dla dynamicznych witryn, które wymagają interakcji lub automatyzacji, aby uzyskać dostęp do potrzebnych danych, API przeglądarki jest lepszym rozwiązaniem. świetny format danych dla LLM ingestion świetny format danych dla LLM ingestion Razem te dwa rozwiązania obejmują wszystko, czego potrzeba do etapu „Wyodrębnij” przepływu pracy „Wyszukiwanie i wyodrębnianie”. Jak wdrożyć wyszukiwanie i wyodrębnić przepływ pracy w Pythonie Dowiedz się, jak wdrożyć realistyczny przepływ pracy "Wyszukiwanie i wyodrębnianie" w Pythonie: Na etapie wyszukiwania będziesz korzystać z API SERP Bright Data, aby uruchomić żywe wyszukiwania internetowe. W fazie ekstraktu, będziesz polegać na API Web Unlocker, aby pobrać i analizować zawartość z wybranych stron. Śledźcie wstęp poniżej! Wymagania Aby śledzić wraz z tą sekcją samouczki, upewnij się, że masz: Python 3.9+ został zainstalowany lokalnie. Konto Bright Data skonfigurowane z strefą API SERP i strefą API Web Unlocker wraz z kluczem API. Jeśli nie znasz, jak zacząć korzystać z API SERP firmy Bright Data lub produktów API Web Unlocker, postępuj zgodnie z oficjalną dokumentacją: Wprowadzenie do SERP API Wprowadzenie do API Bright Data’s Unlocker Wprowadzenie do SERP API Wprowadzenie do SERP API Wprowadzenie do API Bright Data’s Unlocker Wprowadzenie do API Bright Data’s Unlocker Od teraz będziemy odwoływać się do strefy API SERP jako i do strefy API Web Unlocker jako : serp_api web_unlocker Ponadto upewnij się, że strefa jest skonfigurowana w trybie „Full JSON” w sekcji „Data Format” w tabeli konfiguracji: serp_api W ten sposób API Bright Data SERP zwróci analizowane wyniki SERP w formacie JSON, ułatwiając ich filtrowanie i ponowne klasyfikowanie. Na koniec, Będzie to wykorzystywane do uwierzytelniania żądań do wyżej wymienionych usług! Generuj klucz API Bright Data Generuj klucz API Bright Data Aby przyspieszyć proces, zakłada się, że masz już projekt Python zainstalowany z wirtualnym środowiskiem. Krok #1: Przygotuj się do dostępu do usług Bright Data za pośrednictwem API Najprostszym sposobem na połączenie się z usługami Bright Data jest bezpośrednio za pośrednictwem jego API. Po pierwsze, zainstaluj asynchronicznie gotowego klienta HTTP, takiego jak AIOHTTP: pip install aiohttp Następnie zdefiniuj następujące dwie funkcje, aby wywołać API SERP i API Web Unlocker, odpowiednio: # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() o funkcja łączy się z API Bright Data SERP, aby wykonać wyszukiwania Google i uzyskać analizowane wyniki JSON SERP (jak skonfigurowane na koncie). fetch_serp() Podobnie łączy się z API Bright Data Web Unlocker, aby pobrać strony internetowe. Konfigurowanie wyjścia jako Markdown, który jest idealny do wchłaniania do LLM. fetch_page() Aby uzyskać więcej informacji na temat argumentów, parametrów i sposobu nazywania tych dwóch interfejsów API, zapoznaj się z dokumentami! : W produkcji unikaj hardcodowania klucza API Bright Data. Zamiast tego załaduj go z zmiennej środowiska. Note Teraz masz bloki budowlane do wdrożenia fazy „Szukaj” i „Wyodrębnij” w Funkcje : async import asyncio async def main(): # "Search and Extract" logic... # Run the async main function asyncio.run(main()) Krok #2: Wykonaj fazę ekstrakcji Załóżmy, że masz agentów sztucznej inteligencji, którzy opierają się na integracji MCP i chcą opracować raport pokazujący, jak przyszłe zmiany protokołu mogą na nich wpłynąć, jakie nowe funkcje będą dostępne i tak dalej. Regularne LLM nie może wiele pomóc z tym zadaniem, ponieważ MCP jest stosunkowo nowy i większość modeli zostały przeszkolone na starszych danych. "new version of MCP" Call the SERP API to retrieve parsed Google SERP results for that search query: # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) Za kulisami, za funkcja nazywa API SERP za pomocą podanego zapytania wyszukiwania. Jeśli potrzebujesz obsługiwać wiele zapytań, możesz zadzwonić Konkurencyjnie korzystając . fetch_serp() fetch_serp() asyncio.gather() : Domyślnie API SERP zwraca 10 wyników na zapytanie, ale można go skonfigurować, aby zwracać do 100 wyników. Note zwraca analizowane wyniki Google SERP jako słownik Python. i atrybutów: fetch_serp() organic serp_ranking_results = serp_results.get("organic", []) Wydrukuj wyniki wyszukiwania, a otrzymasz wyjście podobne do tego: Zauważ, jak każdy element w arenie odpowiada dokładnie wynikowi, który otrzymasz, wyszukując „nową wersję MCP” w Google: Krok #3: Filtruj adresy URL zainteresowania Ze wszystkich wyników SERP zwracanych przez połączenie API SERP zakładaj, że jesteś zainteresowany do 3 najlepszych wyników z " Domena (oficjalna domena specyfikacji MCP).Również rozważmy oryginalny ranking Google jako ranking, który chcesz zachować. Wzór protokołu.io Wzór protokołu.io Filtruj je w następujący sposób: # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_data_results: page_url = result.get("url") if "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) # Stop once reaching 3 results if len(page_url) == 3: break Rezultatem będzie lista adresów URL do uzyskania dostępu podczas fazy „Extract”.W tym biegu identyfikowane adresy URL to: [ "http://blog.modelcontextprotocol.io/posts/2025-11-25-first-mcp-anniversary/", "https://modelcontextprotocol.io/development/roadmap", "https://modelcontextprotocol.io/specification/2025-11-25" ] Czas wyodrębnić informacje z tych stron! Krok #4: Wykonaj fazę ekstrakcji Użyj tego Funkcja wywołać Web Unlocker API i skrapać trzy wybrane strony równolegle: fetch_page() tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) : Jeśli masz do czynienia z witryną dynamiczną, która wymaga interakcji użytkownika, wyodrębnij z niej dane za pomocą technologii automatyzacji przeglądarki, takiej jak Playwright, zintegrowanej z API przeglądarki. Note Rezultatem będzie matryca zawierająca zawartość każdej strony docelowej. Dostęp do odblokowanej zawartości Markdown z każdej strony za pomocą: markdown_pages = [page for page in web_page_results] Sprawdź, czy array rzeczywiście zawiera Markdown stron docelowych: for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") W tym przypadku wyjściem jest: Odpowiada to wersji Markdown każdej docelowej strony, co oznacza, że API Web Unlocker było w stanie pomyślnie wykonać ekstrakcję danych internetowych, niezależnie od wszelkich środków anty-bot lub anty-scraping. Biorąc pod uwagę te świeże, kontekstowe i weryfikowalne dane, przechowuj je do dalszej analizy, przekazuj je do LLM do przetwarzania, użyj ich do wykrywania dodatkowych tematów zainteresowania, kontynuuj głębsze badania lub stosuj je do wielu innych przypadków użytkowania. Krok #5: Wypełnij kod Ostateczną wersją tego przykładu jest: # pip install aiohttp import asyncio import aiohttp import urllib.parse import json # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() async def main(): # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_results.get("organic", []): page_url = result.get("link") if page_url and "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) if len(pages_of_interest) == 3: break print("Pages to scrape:", pages_of_interest) # Extract phase: Scrape pages concurrently tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) # Access the content from each page markdown_pages = [page for page in web_page_results] print("Scraped page contents:") for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") # AI processing, RAG pipelines, or further workflows... # Run the async main function asyncio.run(main()) Dzięki gotowym do użycia produktom API Bright Data możesz wdrożyć efektywny, przedsiębiorczy, gotowy do produkcji przepływ pracy „Szukaj i wyodrębnij” w mniej niż 50 wierszach kodu Python! konkluzji W tym poście przyjrzałeś się, dlaczego rurociągi danych i przepływy pracy AI zależą od aktualnych, kontekstowych i wiarygodnych informacji. Jednym z wiarygodnych sposobów zbierania tych danych jest Model AI, który skutecznie stał się standardowym podejściem do uzyskania dostępu do wysokiej jakości, weryfikowalnych danych internetowych. automatyzuje odkrywanie w wyszukiwarkach, podczas gdy faza czerpie z najbardziej istotnych wyników zorganizowane informacje. Wyszukiwanie i ekstrakt Wyszukiwanie Wyciąg ️ Jak pokazano w tym artykule, wykorzystanie gotowej na sztuczną inteligencję platformy do skrapienia stron internetowych, takiej jak Bright Data, sprawia, że wdrażanie tego przepływu pracy jest zarówno praktyczne, jak i skalowalne. i odkryj wszystkie swoje rozwiązania danych internetowych! Start a Bright Data free trial today Rozpocznij bezpłatny test Bright Data już dziś Ten artykuł został opublikowany za pośrednictwem programu HackerNoon Business Blogging. Ten artykuł został opublikowany za pośrednictwem programu HackerNoon Business Blogging.