Suche und Auszug: Warum dieses AI-Muster zählt, Tutorial und Beispiel

Die meisten KI-Agenten, ML-Pipelines, AI-Anreicherungs-Workflows, tiefe Forschungssysteme und datengesteuerte Entscheidungsmaschinen scheitern nicht, weil die Modelle schlecht sind. Insbesondere neigen die Daten dazu, veraltet, aus dem Kontext, nicht verifizierbar oder alle drei gleichzeitig zu sein. Das ist das Kernproblem. In diesem Artikel werden Sie sehen, was In der Tat bedeutet, wie es unter der Kappe funktioniert, warum es mehr zählt, als die meisten Leute denken, und wie man es mit einem konkreten Beispiel end-to-end implementiert! Suche und Extrakt Die Notwendigkeit frischer, kontextueller und vertrauenswürdiger, verifizierbarer Informationen Laut Statista werden täglich rund 402,74 Millionen Terabyte an Daten erzeugt. Diese Daten fließen ins Web, in Datenspeicher, Analysestacks und Pipelines in einem Maßstab, über den es ehrlich gesagt schwierig ist, zu reden. Aber hier ist der Fang: Mehr Daten bedeutet nicht bessere Daten! Bei diesem Volumen ist es unrealistisch, anzunehmen, dass alles die Realität widerspiegelt - oder dass es sogar an erster Stelle vertraut werden kann ... Unternehmen treffen immer noch geschäftliche Entscheidungen, Automatisierungen und KI-gesteuerte Anrufe basierend auf Die Daten. Das Und wenn die Quelle veraltet, unvollständig oder einfach falsch ist ... die auf ihr aufgebauten Erkenntnisse können nicht zuverlässig sein. Genau deshalb halluzinieren LLMs, KI-Agenten geben überzeugende, aber falsche Antworten und Datenleitungen scheitern in der Produktion. In den meisten realen Fällen ist das Problem nicht das Modell, die Tools oder die Implementierung. Egal, ob Sie einen klassischen Analyse-Workflow oder einen vollständig autonomen KI-Agenten ausführen, alles hängt von der Qualität der Quelldaten ab. Frisch Kontext Verifizierbar Schließlich, wenn Sie nicht wissen, Die Daten stammen von oder Es wurde gesammelt, man kann dem Ergebnis nicht realistisch vertrauen. wo wenn Das ist die wahre Frage. Wie können Sie zuverlässig Informationen abrufen, die aktuell sind, für eine bestimmte Aufgabe relevant sind und nachweislich an ihre Quelle gebunden sind? Wie können Sie zuverlässig Informationen abrufen, die aktuell sind, für eine bestimmte Aufgabe relevant sind und nachweislich an ihre Quelle gebunden sind? Das ist, wo die Pattern kommt herein! lasst uns es brechen. Search and Extract Search and Extract: Was es ist und warum es die Lösung ist „Search and Extract“ ist eine Prozess zum Abrufen aktueller, verifizierbarer und kontextreicher Informationen aus dem Web . Es ist strukturell einfach, aber in der Praxis äußerst effektiv. De facto Standard Auf hoher Ebene funktioniert es in zwei unterschiedlichen Schritten: Das System führt eine Live-Websuchung auf Suchmaschinen wie Google durch, um die relevantesten und vertrauenswürdigsten Quellen für eine bestimmte Abfrage zu finden. Extrakt: Aus den Suchergebnissen identifiziert das System die relevantesten URLs, besucht diese Seiten und holt daraus die nützlichsten Inhalte oder Daten ab. Dies kann Fakten, Statistiken, Definitionen oder strukturierte Informationen umfassen, die von der Seite analysiert wurden. Dieses Muster ist besonders nützlich in AI-bezogenen Anwendungen, wie AI-Agenten, Darüber hinaus ist es für traditionelles maschinelles Lernen, Faktenprüfung und Datenanreicherungspipelines anwendbar. Agentische RAG Systeme Agentische RAG Systeme Das endgültige Ziel des Musters „Suche und extrahiere“ ist es, die modernen Datenprobleme anzugehen, indem sichergestellt wird, dass die gesammelten Informationen: Frisch , da die gesammelten öffentlichen Web-Daten aus jüngsten Web-Suchen stammen, die die neuesten Informationen und Nachrichten enthalten können. Kontextuell , da die Informationen eng mit den in der Suchabfrage angegebenen Themen übereinstimmen. Verifizierbar , da die Daten direkt von bestimmten Webseiten stammen, mit URLs, die jeder besuchen und überprüfen kann. Wie funktioniert Search and Extract? Auf einer hohen Ebene kann „Suchen und Extrahieren“ mit dem folgenden Workflow zusammengefasst werden: Diese werden in der Regel kontextuell aus Dokumenten, Datensätzen oder gegebenen Informationsquellen mit Hilfe von AI/ML extrahiert. Unabhängig von der Quelle werden die gesuchbaren Themen an die „Suche“-Komponente weitergeleitet, wo eine SERP-API-Lösung automatisierte Websuchungen auf den Ziel-Suchmaschinen durchführt.Nachdem Sie die Suchergebnisse abgerufen haben, können Sie entweder alle zurückgegebenen Webseiten in Betracht ziehen oder nur die relevantesten Filtern mit AI/ML oder strengen Regeln filtern (z.B. Seiten aus bestimmten Domains, Sprachen oder anderen Kriterien behalten). Wenn Sie mehrere Suchanfragen gleichzeitig ansprechen (ob verschiedene Abfragen oder mehrere Seiten für dieselbe Abfrage), müssen Sie möglicherweise einen benutzerdefinierten Re-Ranking-Algorithmus ausführen.Das Ranking von Google oder jeder Suchmaschine ist für SEO optimiert, was möglicherweise nicht widerspiegelt, was für Ihren Nutzungsfall wichtig ist. Die ausgewählten URLs werden dann an den Knoten "Extrakt" gesendet, wo ein Web-Scraping-Dienst auf jede Seite zugreift und die wichtigsten Informationen extrahiert. Lassen Sie uns anschließend die Dienste erkunden, die in den Phasen „Suchen“ und „Extrakt“ eingetreten sind! Suche Suchmaschinen wie Google, Bing, DuckDuckGo, Baidu und Yandex schützen ihre SERPs (Search Engine Results Pages) mit Rate Limits und CAPTCHAs, um automatisiertes Scraping zu verhindern. Der zuverlässigste Weg, um die "Suche" -Phase durchzuführen, ist die Verwendung einer SERP-API-Lösung.Diese Dienste exponieren Endpunkte, um Suchaufgaben in der Cloud mit einer Infrastruktur auszulösen, die entwickelt wurde, um Skalierbarkeit und Anti-Bot-Maßnahmen für Sie zu bewältigen. Es unterstützt globale Suchanfragen über ein Proxy-Netzwerk von mehr als 150 Millionen IPs in 195 Ländern, kann vollständig analysierte SERP-Daten in JSON zurückgeben, bietet viele Paginationsoptionen und unterstützt die Integration in jede Daten- oder ML-Pipeline mithilfe von Standard-HTTP-Anfragen sowie über 50+ AI-Agent-Frameworks und Workflows. Die SERP API von Bright Data Die SERP API von Bright Data Plus, die SERP-API von Bright Data ermöglicht es Ihnen, eine unbegrenzte Anzahl von Suchabfragen parallel auszuführen. Dies bedeutet, dass Sie während der "Suche" Phase Tausende von Ergebnissen abrufen können. Auszug ️ Der Grund ist, dass jede Website anders ist, und selbst Seiten innerhalb derselben Domäne können unterschiedlichen Rendering, Datenvisualisierung und Abruf Logik folgen. Dies macht programmatischen Zugriff auf ihre Inhalte ziemlich schwierig. Das erfordert Dienste von Drittanbietern, die es Ihnen ermöglichen, zuverlässig auf die Inhalte von Webseiten zuzugreifen, unabhängig davon, wie geschützt sie sind, und unabhängig von Ihren Skalierbarkeitsbedürfnissen. Web Unlocker API: Eine API, die auf jede öffentliche Webseite problemlos zugreift, Blockaden, CAPTCHAs, Fingerabdruck und Proxy-Rotation automatisch abwickelt. Browser API: Ein voll gehosteter Cloud-Browser, der mit Puppeteer, Selenium, Playwright und anderen Automatisierungs-Frameworks kompatibel ist, mit integriertem CAPTCHA-Lösungs- und automatisiertem Proxy-Management. Web-Unlocker mit API Web-Unlocker mit API Browser Feuer Browser Feuer Web Unlocker ist ideal für das Abrufen von Seiteninhalten, entweder in Roh-HTML oder AI-ready Markdown (ein Für dynamische Websites, die Interaktion oder Automatisierung erfordern, um auf die benötigten Daten zuzugreifen, ist die Browser API besser geeignet. großes Datenformat für LLM Ingestion großes Datenformat für LLM Ingestion Zusammen decken diese beiden Lösungen alles ab, was für die „Extrakt“-Phase eines „Suchen und Extrakt“-Workflows erforderlich ist. So implementieren und extrahieren Sie einen Workflow in Python Erfahren Sie, wie Sie einen realistischen Workflow "Suchen und extrahieren" in Python implementieren: Für die Suchphase verwenden Sie die SERP-API von Bright Data, um Live-Websuchungen durchzuführen. Für die Extract-Phase verlassen Sie sich auf die Web Unlocker API, um Inhalte von den ausgewählten Seiten abzurufen und zu analysieren. Folgen Sie der Einführung unten! Voraussetzungen Um zusammen mit diesem Tutorial-Abschnitt zu folgen, stellen Sie sicher, dass Sie: Python 3.9+ ist lokal installiert. Ein Bright Data-Konto, das mit einer SERP-API-Zone und einer Web Unlocker-API-Zone zusammen mit Ihrem API-Schlüssel konfiguriert wurde. Wenn Sie nicht wissen, wie Sie mit der SERP-API von Bright Data oder den Web Unlocker-API-Produkten anfangen können, folgen Sie der offiziellen Dokumentation: Einführung in die SERP API Einführung in die Bright Data Unlocker API Einführung in die SERP API Einführung in die SERP API Einführung in die Bright Data Unlocker API Einführung in die Bright Data Unlocker API Von nun an verweisen wir auf Ihre SERP API-Zone als und zu Ihrer Web Unlocker API-Zone als : serp_api web_unlocker Stellen Sie außerdem sicher, dass die Die Zone ist im „Full JSON“-Modus im Abschnitt „Data Format“ innerhalb der Konfigurationstabelle konfiguriert: serp_api Auf diese Weise wird die Bright Data SERP API geprüfte SERP-Ergebnisse im JSON-Format zurückgeben, wodurch sie einfacher zu filtern und neu zu rangieren sind. und schließlich, Das wird verwendet, um Anfragen zu den oben genannten Diensten zu authentifizieren! generate your Bright Data API key Generieren Sie Ihren Bright Data API-Schlüssel Um den Prozess zu beschleunigen, gehen wir davon aus, dass Sie bereits ein Python-Projekt mit einer virtuellen Umgebung eingerichtet haben. Schritt #1: Bereiten Sie sich auf den Zugriff auf klare Datendienste über API vor Der einfachste Weg, um sich mit den Diensten von Bright Data zu verbinden, ist direkt über seine API. Zuerst installieren Sie einen asynchronen HTTP-Client wie AIOHTTP: pip install aiohttp Als nächstes definieren Sie die folgenden zwei Funktionen, um die SERP API und die Web Unlocker API zu rufen: # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() Die Funktion verbindet sich mit der Bright Data SERP API, um Google-Suchen durchzuführen und geprüfte JSON SERP-Ergebnisse abzurufen (wie in Ihrem Konto konfiguriert). fetch_serp() Ähnlich auch verbindet sich mit der Bright Data Web Unlocker API, um Webseiten abzuholen. Konfigurieren der Ausgabe als Markdown, die ideal für die Einnahme in LLMs ist. fetch_page() Weitere Informationen zu den Argumenten, Parametern und dem Aufruf dieser beiden APIs finden Sie in den Docs! : Bei der Produktion vermeiden Sie die Hardcodierung Ihres Bright Data API-Schlüssels. Note Jetzt haben Sie die Bausteine für die Implementierung der „Suche“ und „Extrakt“ Phasen in Die Funktion: async import asyncio async def main(): # "Search and Extract" logic... # Run the async main function asyncio.run(main()) Schritt #2: Führen Sie die Extraktionsphase durch Angenommen, Sie haben KI-Agenten, die auf MCP-Integrationen angewiesen sind, und möchten einen Bericht erstellen, in dem gezeigt wird, wie zukünftige Änderungen im Protokoll sie beeinflussen könnten, welche neuen Funktionen verfügbar sein werden und so weiter. Regelmäßige LLMs können bei dieser Aufgabe nicht viel helfen, da MCP relativ neu ist und die meisten Modelle auf älteren Daten geschult wurden. "new version of MCP" Rufen Sie die SERP-API an, um geprüfte Google SERP-Ergebnisse für diese Suchabfrage abzurufen: # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) Hinter den Kulissen, die Funktion ruft die SERP API mithilfe der angegebenen Suchabfrage an. Wenn Sie mehrere Abfragen bearbeiten müssen, können Sie Wettbewerbsfähig nutzen . fetch_serp() fetch_serp() asyncio.gather() : Standardmäßig gibt die SERP-API 10 Ergebnisse pro Abfrage zurück, kann aber so konfiguriert werden, dass sie bis zu 100 Ergebnisse zurückgibt. Note Google SERP-Ergebnisse als Python-Wörterbuch zurückgibt. Das Attribut: fetch_serp() organic serp_ranking_results = serp_results.get("organic", []) Drucken Sie die Suchergebnisse, und Sie sollten eine ähnliche Ausgabe erhalten: Beachten Sie, wie jedes Element im Array genau dem Ergebnis entspricht, das Sie erhalten würden, wenn Sie auf Google nach "neue Version von MCP" suchen: Schritt #3: Filtern Sie die URLs von Interesse Von allen SERP-Ergebnissen, die durch den SERP-API-Anruf zurückgegeben werden, gehen wir davon aus, dass Sie an bis zu den Top-3-Ergebnissen aus dem " "Domain (die offizielle Domain für die MCP-Spezifikation).Lassen Sie uns auch das ursprüngliche Ranking von Google als das Ranking betrachten, das Sie beibehalten möchten. modelcontextprotocol.io Modellkontextprotokoll.io Filtern Sie sie wie folgt: # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_data_results: page_url = result.get("url") if "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) # Stop once reaching 3 results if len(page_url) == 3: break Das Ergebnis wird eine Liste von URLs sein, auf die Sie während der Phase "Extrakt" zugreifen müssen. [ "http://blog.modelcontextprotocol.io/posts/2025-11-25-first-mcp-anniversary/", "https://modelcontextprotocol.io/development/roadmap", "https://modelcontextprotocol.io/specification/2025-11-25" ] Zeit, Informationen von diesen Seiten zu extrahieren! Schritt #4: Führen Sie die Extraktionsphase durch Verwenden Sie die Funktion, um die Web Unlocker API zu rufen und die drei ausgewählten Seiten parallel zu kratzen: fetch_page() tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) : Wenn Sie mit einer dynamischen Website zu tun haben, die Benutzerinteraktion erfordert, extrahieren Sie Daten aus ihr mit einer Browser-Automatisierungstechnologie wie Playwright, die mit der Browser-API integriert ist. Note Das Ergebnis wird ein Array sein, das den Inhalt jeder Zielseite enthält. Zugriff auf den unverschlossenen Markdown-Inhalt von jeder Seite mit: markdown_pages = [page for page in web_page_results] Überprüfen Sie, ob das Array tatsächlich die Markdown der Zielseiten enthält: for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") In diesem Fall ist die Ausgabe: Das entspricht der Markdown-Version jeder zielgerichteten Seite, was bedeutet, dass die Web Unlocker API unabhängig von Anti-Bot- oder Anti-Scraping-Maßnahmen erfolgreich Web-Daten-Extraktion durchführen konnte. Angesichts dieser frischen, kontextuellen und verifizierbaren Daten speichern Sie sie für weitere Analysen, übergeben Sie sie an einen LLM zur Verarbeitung, verwenden Sie sie, um zusätzliche Themen von Interesse zu erkennen, gehen Sie mit tieferer Forschung fort oder wenden Sie sie auf viele andere Verwendungsfälle an. Schritt #5: Vollständiger Code Die endgültige Version des Beispiels lautet: # pip install aiohttp import asyncio import aiohttp import urllib.parse import json # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() async def main(): # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_results.get("organic", []): page_url = result.get("link") if page_url and "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) if len(pages_of_interest) == 3: break print("Pages to scrape:", pages_of_interest) # Extract phase: Scrape pages concurrently tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) # Access the content from each page markdown_pages = [page for page in web_page_results] print("Scraped page contents:") for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") # AI processing, RAG pipelines, or further workflows... # Run the async main function asyncio.run(main()) Dank der Bright Data API-fertigen Produkte können Sie in weniger als 50 Zeilen Python-Code einen effektiven, unternehmerischen und produktionsfertigen Workflow „Search and Extract“ implementieren! Schlussfolgerung In diesem Beitrag haben Sie untersucht, warum Datenleitungen und KI-Workflows auf aktuelle, kontextuelle und vertrauenswürdige Informationen angewiesen sind.Am Ende des Tages führen bessere Eingänge zu besseren Ausgängen, insbesondere in AI-gestützten Systemen! Eine zuverlässige Möglichkeit, diese Daten zu sammeln, ist durch die AI-Muster, der effektiv zu einem Standardansatz für den Zugriff auf hochwertige, verifizierbare Webdaten geworden ist. Phase automatisiert Entdeckung über Suchmaschinen, während die Phase zieht strukturierte Informationen aus den relevantesten Ergebnissen. Suche und Extrakt Suche Auszug ️ Wie in diesem Artikel gezeigt, macht die Verwendung einer AI-fertigen Web-Scraping-Plattform wie Bright Data die Implementierung dieses Workflows sowohl praktisch als auch skalierbar. und erkunden Sie alle seine Web-Daten-Lösungen! Starten Sie heute eine kostenlose Testversion von Bright Data Starten Sie heute eine kostenlose Testversion von Bright Data Dieser Artikel wird über das HackerNoon Business Blogging Programm veröffentlicht. Dieser Artikel wurde veröffentlicht via Das Programm. HackerNoon Business Blogging