Пошук та витяг: чому цей зразок AI має значення, підручник та приклад

Більшість агентів штучного інтелекту, трубопроводів ML, робочих процесів збагачення штучного інтелекту, систем глибокого дослідження та двигунів прийняття рішень, заснованих на даних, не виходять з ладу тому, що моделі погані. Зокрема, дані мають тенденцію бути застарілими, поза контекстом, неперевірними або всіма трьома одночасно. У цій статті ви побачите, що Насправді це означає, як це працює під капотом, чому це важливо більше, ніж думає більшість людей, і як реалізувати його з кінцем на кінці з конкретним прикладом! Пошук і екстракт Необхідність свіжої, контекстуальної та надійної, перевіримої інформації За даними Statista, щодня генерується приблизно 402,74 мільйона терабайт даних. Ці дані проникають в веб-сайти, склади даних, аналітичні стеки та трубопроводи в масштабах, про які чесно кажучи важко говорити. Але ось улов: більше даних не означає кращих даних! При такому обсязі нереально вважати, що все відображає реальність, або що йому навіть можна довіряти в першу чергу... Підприємства все ще приймають бізнес-рішення, автоматизацію та виклики, орієнтовані на AI дані . Цей І коли джерело застаріло, неповне, або просто неправильно... уявлення, побудовані на ньому, не можуть бути надійними. Саме тому LLM галюцинують, агенти штучного інтелекту дають переконливі, але неправильні відповіді, а трубопроводи даних тихо провадять у виробництві. У більшості реальних випадків проблема не в моделі, інструментах або реалізації, це вхідні дані! Незалежно від того, працюєте ви з класичним аналітичним робочим процесом або повністю автономним агентом AI, все залежить від якості джерельних даних. Свіжі Контекст Перевірка Адже якщо ви не знаєте Дані надходять від або Це було зібрано, ви не можете реалістично довіряти результату. де Коли Це справжнє питання. Як надійно отримати інформацію, яка є актуальною, актуальною для конкретного завдання і, можливо, пов'язана з його джерелом? Як надійно отримати інформацію, яка є актуальною, актуальною для конкретного завдання і, можливо, пов'язана з його джерелом? Саме там, де Пам’ятник прийшов, давайте розбиваємо його. Search and Extract Пошук і витяг: що це таке і чому це рішення «Пошук і витяг» є Процес отримання оновленої, перевіримої та контекстної інформації з веб-сайту - це простий у структурі, але надзвичайно ефективний на практиці. Де-факто стандарти На високому рівні він працює в двох різних етапах: Пошук: система виконує онлайн-пошук на пошукових системах, таких як Google, щоб знайти найбільш актуальні та надійні джерела для даного запиту. Витяг: З результатів пошуку система визначає найбільш відповідні URL-адреси, відвідує ці сторінки і отримує найбільш корисний контент або дані з них.Це може включати факти, статистику, визначення або структуровану інформацію, проаналізовану з сторінки. Ця модель особливо корисна в додатках, пов'язаних з AI, таких як агенти AI, Також він застосовується до традиційних трубопроводів машинного навчання, перевірки фактів та збагачення даних. agentic RAG systems Агентські системи RAG Кінцева мета шаблону «Пошук і вилучення» полягає в тому, щоб вирішити сучасні проблеми даних, гарантуючи, що зібрана інформація є: Свіжі , так як скреблені публічні веб-дані походять з останніх веб-пошуків, які можуть включати в себе останню інформацію та новини. Контекстуальний, оскільки інформація тісно узгоджується з темами, зазначеними в пошуковому запиті. Перевіряється, оскільки дані походять безпосередньо з конкретних веб-сторінок, з URL-адресами, які кожен може відвідати і перевірити. Як працює пошук і вилучення? На високому рівні «Пошук і витяг» можна підсумовувати наступним робочим процесом: Вхід для цього робочого процесу - це список пошукових тем. Вони, як правило, контекстуально витягуються з документів, наборів даних або даних джерел інформації за допомогою AI / ML. Це те, що зазвичай відбувається в галузі збагачення AI, перевірки даних, робочих процесів RAG або глибоких досліджень. Незалежно від джерела, пошукові теми передаються до компоненту "Пошук", де рішення SERP API виконує автоматизовані веб-пошуки на цільових пошукових системах.Після отримання результатів пошуку ви можете або розглянути всі повернуті веб-сторінки, або фільтрувати тільки найбільш відповідні за допомогою AI / ML або строгих правил (наприклад, зберігати сторінки з конкретних доменів, мов або інших критеріїв). При орієнтуванні на декілька пошукових запитів одночасно (будь то різні запити або декілька сторінок для одного запиту), вам може знадобитися запустити власний алгоритм перекладання. Рейтинг, що надається Google або будь-якою пошуковою системою, оптимізований для SEO, що може не відображати те, що важливо для вашого випадку використання. Вибрані URL-адреси потім надсилаються до вузла "Витягти", де сервіс веб-скребків отримує доступ до кожної сторінки та витягує основну інформацію. Далі розглянемо послуги, які вступають в дію у фазах «Пошук» та «Витягти» відповідно! Пошук Пошукові двигуни, такі як Google, Bing, DuckDuckGo, Baidu і Yandex захищають свої SERPs (сторінки результатів пошукових систем) з обмеженнями ставки та CAPTCHAs, щоб запобігти автоматичному скрапінгу. Найбільш надійний спосіб виконання фази "Пошук" - це використання рішення SERP API. Ці сервіси викривають кінцеві точки, щоб запустити пошукові завдання в хмарі, використовуючи інфраструктуру, призначену для обробки масштабуваності та заходів проти ботів для вас. Він підтримує глобальні пошуки через проксі-мережу з більш ніж 150 мільйонами IP-адресів у 195 країнах, може повернути повністю проаналізовані дані SERP в JSON, пропонує багато варіантів пагінації та підтримує інтеграцію в будь-які дані або ML трубопровід за допомогою стандартних запитів HTTP, а також понад 50 рамків та робочих потоків агентів AI. Сервіс API для яскравих даних Сервіс API для яскравих даних Крім того, API SERP Bright Data дозволяє запускати необмежену кількість пошукових запитів паралельно. Це означає, що ви можете отримати тисячі результатів під час фази «Пошук». Потім, ви можете фільтрувати і перекладувати їх відповідно до ваших потреб на пізніх етапах загального процесу «Пошук і вилучення» (як згадувалося раніше). Екстракт ️ Причина полягає в тому, що кожен веб-сайт різний, і навіть сторінки в межах одного домену можуть слідувати різному рендерингу, візуалізації даних та логіці пошуку. Це ускладнює програмний доступ до їх вмісту. Це вимагає послуг третіх сторін, які дозволяють надійно отримати доступ до вмісту веб-сторінок, незалежно від того, наскільки вони захищені, і незалежно від ваших потреб у розширюваності. Web Unlocker API: API, який отримує доступ до будь-якої публічної веб-сторінки без зусиль, автоматично обробляючи блоки, CAPTCHAs, відбитки пальців та обертання проксі. API браузера: повністю хостирований хмарний браузер, сумісний з Puppeteer, Selenium, Playwright та іншими рамками автоматизації, з вбудованим вирішенням CAPTCHA та автоматизованим управлінням проксі. Програма Web Unlocker API Програма Web Unlocker API Браузер API Браузер API Web Unlocker ідеально підходить для пошуку контенту сторінки, будь то в сирому HTML або готовий AI Markdown (а Для динамічних сайтів, які вимагають взаємодії або автоматизації для доступу до даних, які вам потрібні, API браузера краще підходить. great data format for LLM ingestion Великий формат даних для LLM ingestion Разом ці два рішення охоплюють все, що потрібно для етапу «Витягти» робочого процесу «Пошук і витяг». Як реалізувати пошук і витяг робочого процесу в Python Дізнайтеся, як реалізувати робочий процес «Пошук і вилучення» в Python: Для фази пошуку ви будете використовувати API SERP Bright Data, щоб запустити онлайн-пошуки. Для фази екстрактування ви покладатиметеся на API Web Unlocker для завантаження та аналізу вмісту з обраних сторінок. Слідкуйте за введенням нижче! передумови Щоб слідувати разом з цим розділом, переконайтеся, що у вас є: Python 3.9+ встановлений локально. Обліковий запис Bright Data, налаштований з зоною API SERP і зоною API Web Unlocker, а також ключем API. Якщо ви не знайомі з тим, як почати з API-серп Bright Data або продуктів API Web Unlocker, дотримуйтесь офіційної документації: Введення в SERP API Введення в API Unlocker Bright Data Введення в SERP API Введення в SERP API Введення в API Unlocker Bright Data Введення в API Unlocker Bright Data Відтепер ми будемо посилатися на вашу зону API SERP як і до зони API Web Unlocker як : serp_api web_unlocker Крім того, переконайтеся, що зона налаштована в режимі "Повний JSON" в розділі "Формат даних" всередині таблиці конфігурації: serp_api Таким чином, API Bright Data SERP поверне проаналізовані результати SERP у форматі JSON, що полегшить їх фільтрування та перекладання. І нарешті, Це буде використовуватися для автентифікації запитів на послуги, згадані вище! Створення Bright Data API Key Створення Bright Data API Key Щоб прискорити процес, ми припустимо, що у вас вже є налаштований проект Python з віртуальним середовищем. Крок #1: Підготовка до доступу до сервісів яскравих даних за допомогою API Найпростіший спосіб підключення до сервісів Bright Data - це безпосередньо через його API. Спочатку встановлюйте асинхронний клієнт HTTP, наприклад AIOHTTP: pip install aiohttp Далі визначте наступні дві функції для виклику API SERP і API Web Unlocker відповідно: # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() ТІ Функція підключається до API Bright Data SERP для виконання пошуків Google та отримання результатів JSON SERP (як налаштовано у вашому обліковому записі). fetch_serp() Аналогічно Підключення до API Bright Data Web Unlocker для отримання веб-сторінок.Конфігурування виходу як Markdown, що ідеально підходить для введення в LLM. fetch_page() Щоб дізнатися більше про аргументи, параметри і як викликати ці два API, зверніться до документів! : У виробництві уникайте жорсткого кодування ключа API Bright Data, замість цього завантажуйте його з змінної середовища. Note Тепер у вас є будівельні блоки для реалізації фаз «Пошук» і «Витягти» в функції : async import asyncio async def main(): # "Search and Extract" logic... # Run the async main function asyncio.run(main()) Крок #2: Виконайте фазу екстракту Припустимо, що у вас є агенти AI, які покладаються на інтеграції MCP, і ви хочете створити звіт, який покаже, як майбутні зміни в протоколі можуть вплинути на них, які нові функції будуть доступні і так далі. Регулярні LLM не можуть багато допомогти з цим завданням, оскільки MCP є відносно новим і більшість моделей були навчені на старих даних. "new version of MCP" Виклик API SERP, щоб отримати результати Google SERP для цього пошукового запиту: # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) За сценами, на функція викликає API SERP за допомогою запропонованого пошукового запиту. Якщо вам потрібно обробляти кілька запитів, ви можете викликати Конкурентоспроможне використання . fetch_serp() fetch_serp() asyncio.gather() : За замовчуванням API SERP повертає 10 результатів на запит, але його можна налаштувати на повернення до 100 результатів. Note повертає результати Google SERP як словник Python. Доступ до рейтингу за допомогою Атрибути : fetch_serp() organic serp_ranking_results = serp_results.get("organic", []) Натисніть результати пошуку, і ви повинні отримати вихід, схожий на цей: Зверніть увагу, як кожен елемент в матриці відповідає точно результату, який ви отримаєте, шукаючи "нову версію MCP" в Google: Крок #3: Фільтруйте URL-адреси за інтересами З усіх результатів SERP, що повертаються за допомогою виклику API SERP, припустимо, що ви зацікавлені в перших 3 результатах з " Також, давайте розглянемо оригінальний рейтинг Google як рейтинг, який ви хочете зберегти. Модельконтекстпротокол.io Модельконтекстпротокол.io Фільтруйте їх наступним чином: # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_data_results: page_url = result.get("url") if "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) # Stop once reaching 3 results if len(page_url) == 3: break Результатом буде список URL-адресів, до яких можна отримати доступ під час фази «Витягти». [ "http://blog.modelcontextprotocol.io/posts/2025-11-25-first-mcp-anniversary/", "https://modelcontextprotocol.io/development/roadmap", "https://modelcontextprotocol.io/specification/2025-11-25" ] Час витягувати інформацію з цих сторінок! Крок #4: Виконайте фазу екстракту Використовуйте функція, щоб викликати API Web Unlocker і паралельно скребнути три обраних сторінок: fetch_page() tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) : Якщо ви маєте справу з динамічним сайтом, який вимагає взаємодії користувачів, витягніть з нього дані за допомогою технології автоматизації браузера, наприклад Playwright, інтегрованої з API браузера. Note Результатом буде матриця, що містить вміст кожної цільової сторінки. Доступ до розблокованого контенту Markdown з кожної сторінки за допомогою: markdown_pages = [page for page in web_page_results] Переконайтеся, що матриця дійсно містить Markdown цільових сторінок: for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") У цьому випадку вихід є: Це відповідає версії Markdown кожної цільової сторінки, що означає, що API Web Unlocker зміг успішно виконувати вилучення веб-даних, незалежно від будь-яких анти-ботів або анти-скребків заходів на місці. З огляду на ці свіжі, контекстні та перевіряються дані, зберігайте їх для подальшого аналізу, передайте їх LLM для обробки, використовуйте їх для виявлення додаткових тем, що цікавлять вас, продовжуйте більш глибокі дослідження або застосуйте їх до багатьох інших випадків використання. Крок #5: Повний код Остання версія прикладу: # pip install aiohttp import asyncio import aiohttp import urllib.parse import json # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() async def main(): # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_results.get("organic", []): page_url = result.get("link") if page_url and "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) if len(pages_of_interest) == 3: break print("Pages to scrape:", pages_of_interest) # Extract phase: Scrape pages concurrently tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) # Access the content from each page markdown_pages = [page for page in web_page_results] print("Scraped page contents:") for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") # AI processing, RAG pipelines, or further workflows... # Run the async main function asyncio.run(main()) Завдяки продуктам, готовим до API Bright Data, ви можете впровадити ефективний, підприємницький, готовий до виробництва робочий процес «Пошук і вилучення» менш ніж в 50 рядках коду Python! Висновок У цій статті ви розглянули, чому трубопроводи даних та робочі процеси штучного інтелекту залежать від оновленої, контекстної та надійної інформації. Надійним способом збирання цих даних є AI-образ, який ефективно став стандартним підходом до доступу до високоякісних, перевіряються веб-даних. Фаза автоматизує відкриття через пошукові системи, тоді як Фаза витягує структуровану інформацію з найбільш актуальних результатів. Пошук і екстракт Пошук Екстракт ️ Як показано протягом всієї цієї статті, використання готової до штучного інтелекту платформи веб-скребків, як Bright Data, робить впровадження цього робочого процесу як практичним, так і масштабованим. І досліджуйте всі його рішення для веб-даних! Почніть безкоштовну пробну версію Bright Data сьогодні Почніть безкоштовну пробну версію Bright Data сьогодні Ця стаття опублікована за допомогою програми HackerNoon Business Blogging. Ця стаття опублікована за допомогою програми HackerNoon Business Blogging.