Търсене и извличане: Защо този модел на AI има значение, уроци и примери

Повечето агенти на ИИ, ML тръбопроводи, работни потоци за обогатяване на ИИ, дълбоки изследователски системи и двигатели за вземане на решения, базирани на данни, не се провалят, защото моделите са лоши. По-конкретно, данните са склонни да бъдат остарели, извън контекста, непроверими или всичките три наведнъж.Това е основният проблем. В тази статия ще видите какво Всъщност това означава, как работи под капака, защо има значение повече, отколкото повечето хора мислят, и как да го изпълняваме от край на край с конкретен пример! Търсене и екстракт Необходимостта от свежа, контекстуална и надеждна, проверима информация Според Statista, всеки ден се генерират около 402,74 милиона терабайта данни. Тези данни се вливат в мрежата, складове за данни, аналитични стекове и тръбопроводи в мащаб, който е трудно да се разсъждава. Но тук е уловът: повече данни не означава по-добри данни! При този обем е нереалистично да се предположи, че всичко отразява реалността – или че може дори да се вярва на първо място... Предприятията все още вземат бизнес решения, автоматизация и повиквания, базирани на AI на данните. Това И когато източникът е остарял, непълен или просто погрешен ... прозренията, изградени върху него, не могат да бъдат надеждни. Ето защо LLM халюцинират, агентите на ИИ дават убедителни, но неправилни отговори, а тръбопроводи за данни тихо се провалят в производството. В повечето реални случаи проблемът не е моделът, инструментите или изпълнението. Независимо дали изпълнявате класически аналитичен работен поток или напълно автономен агент на AI, всичко зависи от качеството на източните данни. Свежо Контекст Проверка В края на краищата, ако не знаете Данните идват от или Не може да се вярва реалистично на резултата. къде когато Това е истинският въпрос. Как да извлечете надеждно информация, която е актуална, релевантна за конкретна задача и доказано е свързана с нейния източник? Как да извлечете надеждно информация, която е актуална, релевантна за конкретна задача и доказано е свързана с нейния източник? Това е мястото, където Моделът се появява!Да се разпадне. Search and Extract Търсене и извличане: какво е това и защо е решението „Търсене и извличане“ е Процесът за извличане на актуална, проверима и богата на контекст информация от мрежата е прост по структура, но изключително ефективен на практика. De facto стандарти На високо ниво, тя работи в две различни стъпки: Търсене: Системата извършва онлайн търсене в търсачките като Google, за да намери най-подходящите и надеждни източници за дадена заявка. От резултатите от търсенето системата идентифицира най-подходящите URL адреси, посещава тези страници и извлича от тях най-полезно съдържание или данни.Това може да включва факти, статистика, дефиниции или структурирана информация, анализирана от страницата. Този модел е особено полезен в приложения, свързани с AI, като например AI агенти, Също така е приложим към традиционните тръбопроводи за машинно обучение, проверка на фактите и обогатяване на данни. Агентни RAG системи Агентни RAG системи Крайната цел на модела "Търсене и извличане" е да се справят с предизвикателствата на съвременните данни, като се гарантира, че събраната информация е: Свежо , тъй като изтритите публични уеб данни идват от последните уеб търсения, които могат да включват най-новата информация и новини. Контекстуално, тъй като информацията е тясно съобразена с темите, посочени в заявката за търсене. Проверяеми, тъй като данните идват директно от конкретни уеб страници, с URL адреси, които всеки може да посети и провери. Как работи търсенето и извличането? На високо ниво "Търсене и извличане" може да се обобщи със следния работен поток: Входът за този работен поток е списък от търсени теми. Те обикновено се извличат контекстуално от документи, набори от данни или дадени източници на информация, използващи AI / ML. Това е, което обикновено се случва в AI обогатяване, проверка на данни, RAG работни потоци или приложения за дълбоки изследвания. Независимо от източника, търсените теми се прехвърлят към компонента "Търсене", където решение на SERP API извършва автоматизирани уеб търсения в целевите търсачки.След извличане на резултатите от търсенето, можете или да разгледате всички върнати уеб страници, или да филтрирате само най-подходящите, като използвате AI / ML или строги правила (например, да държите страниците от конкретни домейни, езици или други критерии). Когато насочвате няколко заявки за търсене наведнъж (независимо дали са различни заявки или няколко страници за една и съща заявка), може да се наложи да изпълните персонализиран алгоритъм за пренареждане.Ранглистата, предоставена от Google или всяка търсачка, е оптимизирана за SEO, което може да не отразява това, което е важно за вашия случай на използване. Избраните URL адреси след това се изпращат до възела "Извличане", където услуга за извличане на уеб достъп до всяка страница и извлича основната информация. След това нека разгледаме услугите, които влизат в игра в фазите „Търсене“ и „Извличане“ съответно! Търсене Търсачките като Google, Bing, DuckDuckGo, Baidu и Yandex защитават своите SERPs (страници с резултати от търсенето) с лимити и CAPTCHAs, за да предотвратят автоматизираното изтриване. Най-надеждният начин за изпълнение на фазата "Търсене" е чрез използване на решение за SERP API. Тези услуги разкриват крайните точки, за да задействат задачи за търсене в облака, като използват инфраструктура, предназначена да се справят с мащабируемостта и анти-ботовите мерки за вас. Той поддържа глобални търсения чрез прокси мрежа от повече от 150 милиона IP адреси в 195 страни, може да върне напълно анализирани SERP данни в JSON, предлага много опции за странициране и поддържа интеграция във всякакви данни или ML тръбопроводи, използвайки стандартни HTTP искания, както и над 50+ рамки и работни потоци на AI агенти. API на Bright Data API на Bright Data Освен това, SERP API на Bright Data ви позволява да изпълнявате неограничен брой заявки за търсене паралелно. Това означава, че можете да изтеглите хиляди резултати по време на фазата "Търсене". След това можете да ги филтрирате и пренаредите според нуждите си в по-късните етапи на общия процес "Търсене и извличане" (както бе споменато по-рано). Екстракт ️ Уеб извличането на данни е по-трудната част. Причината е, че всеки уебсайт е различен, а дори и страниците в същия домейн могат да следват различно представяне, визуализация на данни и логика за извличане. Това прави програмния достъп до тяхното съдържание доста труден. Това изисква услуги на трети страни, които ви позволяват надеждно да получите достъп до съдържанието на уеб страниците, независимо от това колко защитени са те и независимо от вашите нужди за мащабиране. Web Unlocker API: API, който получава достъп до всяка обществена уеб страница без усилие, като автоматично обработва блокове, CAPTCHAs, пръстови отпечатъци и ротация на прокси. Пълно хостван облачен браузър, съвместим с Puppeteer, Selenium, Playwright и други рамки за автоматизация, с вградено решение на CAPTCHA и автоматизирано управление на прокси. Уеб Unlocker API Уеб Unlocker API Браузър API Браузър API Web Unlocker е идеален за извличане на съдържание на страница, било то в суров HTML или AI-ready Markdown (а За динамични сайтове, които изискват взаимодействие или автоматизация, за да получите достъп до данните, от които се нуждаете, браузърният API е по-подходящ. голям формат на данни за LLM инжектиране голям формат на данни за LLM инжектиране Заедно тези две решения обхващат всичко необходимо за етапа "Извличане" на работния поток "Търсене и извличане". Как да реализирате търсене и извличане на работен поток в Python Научете как да реализирате реалистичен работен поток "Търсене и извличане" в Python: За фазата на търсене ще използвате SERP API на Bright Data, за да изпълнявате онлайн търсения. За фазата на извличане ще разчитате на API на Web Unlocker, за да изтеглите и анализирате съдържанието от избраните страници. Следвайте въведението по-долу! Предпоставки За да следвате заедно с този раздел за уроци, уверете се, че имате: Python 3.9+ е инсталиран локално. Bright Data акаунт, конфигуриран с SERP API зона и Web Unlocker API зона, заедно с вашия API ключ. Ако не сте запознати с начина, по който можете да започнете да използвате SERP API или Web Unlocker API продукти на Bright Data, следвайте официалната документация: Въведение в SERP API Въведение в API Unlocker на Bright Data Въведение в SERP API Въведение в SERP API Въведение в API Unlocker на Bright Data Въведение в API Unlocker на Bright Data Отсега нататък ще се позоваваме на вашата SERP API зона като и към вашия Web Unlocker API зона като : serp_api web_unlocker Освен това се уверете, че зона е конфигурирана в режим "Пълна JSON" в раздела "Формат на данни" в таблицата за конфигуриране: serp_api По този начин Bright Data SERP API ще върне анализираните SERP резултати в JSON формат, което ги прави по-лесни за филтриране и прекласиране. И накрая, Това ще се използва за удостоверяване на заявки за гореспоменатите услуги! генериране на вашия Bright Data API ключ генериране на вашия Bright Data API ключ За да ускорим процеса, ще приемем, че вече имате създаден проект на Python с виртуална среда. Стъпка #1: Подгответе се за достъп до услуги за ясни данни чрез API Най-лесният начин да се свържете с услугите на Bright Data е директно чрез неговия API. Първо, инсталирайте асинхронно готов HTTP клиент като AIOHTTP: pip install aiohttp След това дефинирайте следните две функции, за да се обадите на SERP API и Web Unlocker API, съответно: # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() на функцията се свързва с API на Bright Data SERP за извършване на търсения в Google и извличане на анализирани резултати от JSON SERP (както е конфигурирано във вашия акаунт). fetch_serp() По същия начин, се свързва с API на Bright Data Web Unlocker за извличане на уеб страници.Конфигуриране на изхода като Markdown, което е идеално за поглъщане в LLMs. fetch_page() За повече информация за аргументите, параметрите и как да се обадите на тези два API-та, посетете доките! : В производството избягвайте хардкодирането на API ключа за ясни данни. Вместо това го заредете от променлива на околната среда. Note Сега имате блоковете за изграждане, за да изпълните фазите "Търсене" и "Извличане" в Функцията : async import asyncio async def main(): # "Search and Extract" logic... # Run the async main function asyncio.run(main()) Стъпка #2: Изпълнете фазата на екстракт Да предположим, че имате AI агенти, които разчитат на MCP интеграции и искате да създадете доклад, показващ как бъдещите промени в протокола могат да ги повлияят, какви нови функции ще бъдат налични и т.н. Редовните LLMs не могат да помогнат много с тази задача, тъй като MCP е сравнително нов и повечето модели са били обучени на по-стари данни. "new version of MCP" Обадете се на SERP API, за да изтеглите анализирани резултати от Google SERP за тази заявка за търсене: # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) Зад сцената, на функцията извиква SERP API, като използва предоставената заявка за търсене. Ако трябва да се справяте с няколко заявки, можете да Конкурентно използване . fetch_serp() fetch_serp() asyncio.gather() По подразбиране SERP API връща 10 резултата на заявка, но може да бъде конфигуриран да връща до 100 резултата. Note връща анализираните резултати от Google SERP като речник на Python. Атрибути : fetch_serp() organic serp_ranking_results = serp_results.get("organic", []) Отпечатайте резултатите от търсенето и трябва да получите изход, подобен на този: Забележете как всеки елемент в масивата съответства точно на резултата, който ще получите, като търсите за "нова версия на MCP" в Google: Стъпка #3: Филтрирайте URL адресите от интерес От всички SERP резултати, върнати от SERP API повикване, да предположим, че се интересувате от до топ 3 резултати от " ” домейн (официалният домейн за спецификацията на MCP). Също така, нека разгледаме първоначалното класиране на Google като класирането, което искате да запазите. МоделКонтекстПротокол.io МоделКонтекстПротокол.io Филтрирайте ги както следва: # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_data_results: page_url = result.get("url") if "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) # Stop once reaching 3 results if len(page_url) == 3: break Резултатът ще бъде списък на URL адресите, които трябва да бъдат достъпни по време на фазата "Извличане". [ "http://blog.modelcontextprotocol.io/posts/2025-11-25-first-mcp-anniversary/", "https://modelcontextprotocol.io/development/roadmap", "https://modelcontextprotocol.io/specification/2025-11-25" ] Време е да извлечете информация от тези страници! Стъпка #4: Изпълнете фазата на екстракт Използвайте този функцията да се обади на Web Unlocker API и да изтриете трите избрани страници паралелно: fetch_page() tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) : Ако се занимавате с динамичен сайт, който изисква потребителско взаимодействие, извлечете данни от него, като използвате технология за автоматизация на браузъра като Playwright, интегрирана с браузърния API. Note Резултатът ще бъде мащаб, съдържащ съдържанието на всяка целева страница. Достъп до разблокираното Markdown съдържание от всяка страница с: markdown_pages = [page for page in web_page_results] Проверете дали мащабът действително съдържа Markdown на целевите страници: for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") В този случай изходът е: Това съответства на версията Markdown на всяка целева страница, което означава, че Web Unlocker API е в състояние да извърши успешно извличане на уеб данни, независимо от каквито и да е анти-ботове или анти-изтриване мерки на място. Като се имат предвид тези свежи, контекстуални и проверими данни, съхранявайте ги за по-нататъшен анализ, предайте ги на LLM за обработка, използвайте ги, за да откриете допълнителни теми от интерес, продължете с по-задълбочени изследвания или да ги приложите към много други случаи на употреба. Стъпка #5: Попълнете кода Окончателната версия на примера е: # pip install aiohttp import asyncio import aiohttp import urllib.parse import json # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() async def main(): # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_results.get("organic", []): page_url = result.get("link") if page_url and "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) if len(pages_of_interest) == 3: break print("Pages to scrape:", pages_of_interest) # Extract phase: Scrape pages concurrently tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) # Access the content from each page markdown_pages = [page for page in web_page_results] print("Scraped page contents:") for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") # AI processing, RAG pipelines, or further workflows... # Run the async main function asyncio.run(main()) Благодарение на продуктите, готови за API на Bright Data, можете да реализирате ефективен, бизнес клас, готов за производство работен поток "Търсене и извличане" в по-малко от 50 реда Python код! Заключението В тази публикация разгледахте защо тръбопроводите за данни и работните потоци на ИИ зависят от актуална, контекстуална и надеждна информация.В крайна сметка, по-добрите входове водят до по-добри изходи, особено в системи, задвижвани от ИИ! Един надежден начин за събиране на тези данни е чрез AI модел, който ефективно се превърна в стандартен подход за достъп до висококачествени, проверими уеб данни. Фаза автоматизира откриването в търсачките, докато Фазата извлича структурирана информация от най-подходящите резултати. Търсене и екстракт Търсене Екстракт ️ Както е показано в тази статия, използването на AI-подготвена платформа за извличане на уеб като Bright Data прави прилагането на този работен поток както практически, така и мащабируемо. и разгледайте всичките си решения за уеб данни! Започнете безплатен пробен период на Bright Data днес Започнете безплатен пробен период на Bright Data днес Тази статия е публикувана чрез програмата HackerNoon Business Blogging. Тази статия е публикувана чрез Програмата . Бизнес блог за хакери