Пребарување и извлекување: Зошто овој модел на АИ е важен, туториал и пример

Повеќето агенти за вештачка интелигенција, ML цевки, работни процеси за збогатување на вештачката интелигенција, длабоки истражувачки системи и мотори за донесување одлуки врз основа на податоци не пропаѓаат затоа што моделите се лоши. Конкретно, податоците имаат тенденција да бидат застарени, надвор од контекст, непроверени, или сите три одеднаш.Тоа е главниот проблем. Во оваа статија ќе видите што Всушност, тоа значи, како работи под капакот, зошто е важно повеќе отколку што повеќето луѓе мислат, и како да се имплементира од крај до крај со конкретен пример! Пребарување и екстракција Потребата од свежи, контекстуални и доверливи, провериви информации Според Statista, околу 402,74 милиони терабајти податоци се генерираат секој ден. Овие податоци влегуваат во мрежата, складиштата на податоци, аналитичките стекови и цевките на скала за која е искрено тешко да се размислува. Но, тука е улогата: повеќе податоци не значи подобри податоци! На тој обем, нереално е да се претпостави дека сè ја рефлектира реалноста - или дека може дури и да се верува на прво место ... Претпријатијата сè уште донесуваат деловни одлуки, автоматизација и повици насочени кон АИ врз основа на на податоци. Тоа И кога изворот е застарен, нецелосен или едноставно погрешен ... увид изграден врз него не може да биде сигурен. Тоа е токму зошто LLMs халуцинации, АИ агенти даваат убедливи, но погрешни одговори, и податочни цевки тивко не успеваат во производството. Во повеќето реални случаи, проблемот не е моделот, алатката или имплементацијата. Без разлика дали користите класичен работен тек за аналитика или целосно автономен агент за вештачка интелигенција, сè зависи од квалитетот на изворните податоци. Свежо Контекст Верификација На крајот на краиштата, ако не знаете податоците доаѓаат од или Тоа беше собрано, не можете реално да верувате на резултатот. Каде Кога Тоа е вистинското прашање. Како веродостојно да ги преземете информациите кои се актуелни, релевантни за одредена задача и докажано се поврзани со нејзиниот извор? Како веродостојно да ги преземете информациите кои се актуелни, релевантни за одредена задача и докажано се поврзани со нејзиниот извор? Тоа е местото каде што Паттерн влегува! да го скршиме. Search and Extract Пребарување и екстракција: што е тоа и зошто е решение „Пребарување и екстракција“ е Процесот за преземање на актуелни, верификувани и контекстуално богати информации од мрежата е едноставен во структурата, но исклучително ефикасен во пракса. Де факто стандарди На високо ниво, таа работи во два различни чекори: Пребарување: Системот врши пребарување во живо на интернет на пребарувачите како Google за да ги најде најрелевантните и доверливи извори за дадено барање. Екстракт: Од резултатите од пребарувањето, системот ги идентификува најрелевантните URL адреси, ги посетува тие страници и ги презема најкорисните содржини или податоци од нив. Ова може да вклучува факти, статистика, дефиниции или структурирани информации анализирани од страницата. Овој модел е особено корисен во апликации поврзани со АИ, како што се АИ агенти, Исто така, тоа е применливо за традиционалните машинско учење, проверка на фактите и цевки за збогатување на податоци. agentic RAG systems Агентски RAG системи Крајната цел на образецот "Пребарување и извлекување" е да се одговори на современите предизвици на податоците со обезбедување на собраните информации: Свежо , како што избришани јавни веб податоци доаѓаат од неодамнешните веб пребарувања, кои може да вклучуваат најновите информации и вести. Контекстуално, бидејќи информациите се тесно усогласени со темите наведени во пребарувањето. Верификувани, бидејќи податоците потекнуваат директно од одредени веб-страници, со URL адреси кои секој може да ги посети и провери. Како работи пребарувањето и екстракцијата? На високо ниво, „Пребарување и извлекување“ може да се сумира со следниот работен тек: Влезот за овој работен тек е листа на теми кои можат да се пребаруваат.Овие се генерално контекстуално извлечени од документи, збирки на податоци или дадени извори на информации со користење на АИ / МЛ. Тоа е она што обично се случува во збогатување на АИ, верификација на податоци, RAG работни процеси или длабоки истражувачки апликации. Без оглед на изворот, темите што може да се пребаруваат се пренесуваат на компонентата „Пребарување“, каде што решението на SERP API врши автоматски веб пребарувања на целните пребарувачи.По пребарувањето на резултатите од пребарувањето, можете или да ги разгледате сите вратени веб-страници или да ги филтрирате само најрелевантните со користење на AI/ML или строги правила (на пример, да ги задржите страниците од специфични домени, јазици или други критериуми). Кога насочувате повеќе пребарувања одеднаш (без разлика дали се различни пребарувања или повеќе страници за истата пребарување), можеби ќе треба да покренете сопствен алгоритам за ре-рангирање. рангирањето обезбедено од Google или било кој пребарувач е оптимизирано за оптимизација, што може да не го одразува она што е важно за вашиот случај на употреба. Избраните URL-адреси потоа се испраќаат до јазолот "Извлечете", каде што услугата за веб-скапење пристапува до секоја страница и ги извлекува главните информации. Следно, ајде да ги истражиме услугите кои влегуваат во игра во фазите "Пребарување" и "Извлекување" соодветно! Пребарување Пребарувачите како Google, Bing, DuckDuckGo, Baidu и Yandex ги штитат своите SERPs (страници со резултати од пребарувачот) со ограничувања на стапката и CAPTCHAs за да се спречи автоматското гребење. Овие услуги ги изложуваат крајните точки за да ги активираат задачите за пребарување во облакот користејќи инфраструктура дизајнирана да се справи со мерките за скалабилност и анти-бот за вас. Поддржува глобални пребарувања преку прокси мрежа од повеќе од 150 милиони IP-адреси во 195 земји, може да врати целосно испитани SERP податоци во JSON, нуди многу опции за страницирање и поддржува интеграција во било кој податок или ML-провод со користење на стандардни HTTP барања, како и повеќе од 50 рамки за АИ агенти и работни процеси. Серп API на Bright Data Серп API на Bright Data Покрај тоа, SERP API на Bright Data ви овозможува да извршувате неограничен број на пребарувања паралелно. Ова значи дека можете да добиете илјадници резултати за време на фазата "Пребарување". Потоа, можете да ги филтрирате и повторно да ги рангирате според вашите потреби во подоцнежните фази на целокупниот процес "Пребарување и екстракција" (како што споменавме порано). Екстракт ️ Причината е дека секој веб-сајт е различен, па дури и страниците во истиот домен можат да следат различни рендери, визуелизација на податоци и логика за пребарување. Ова го прави програматскиот пристап до нивната содржина доста тежок. Тоа бара услуги од трети страни кои ви овозможуваат да пристапите до содржината на веб-страниците, без оглед на тоа колку се заштитени, и без оглед на вашите потреби за скалабилност. Web Unlocker API: API кој пристапува до секоја јавна веб-страница без напор, автоматски обработува блокови, CAPTCHAs, отпечатоци на прсти и ротација на прокси. Прелистувач API: целосно хостиран облак прелистувач компатибилен со Puppeteer, Selenium, Playwright и други рамки за автоматизација, со вградено CAPTCHA решавање и автоматско управување со прокси. Web Unlocker API за пребарување Web Unlocker API за пребарување Прелистувачот API Прелистувачот API Web Unlocker е идеален за пребарување на содржината на страницата, или во суров HTML или AI-ready Markdown (а За динамични сајтови кои бараат интеракција или автоматизација за да пристапите до податоците што ви се потребни, прелистувачот API е подобро одговара. одличен формат на податоци за LLM ингестија одличен формат на податоци за LLM ингестија Заедно, овие две решенија покриваат сè што е потребно за фазата „Извлечете“ на работниот тек „Пребарување и извлекување“. Како да имплементирате пребарување и извлекување на работен тек во Python Научете како да имплементирате реалистичен работен тек "Пребарување и извлекување" во Python: За фазата на пребарување, ќе го користите SERP API на Bright Data за да извршите пребарувања во живо. За фазата на извлекување, ќе се потпрете на API-то на Web Unlocker за да преземете и анализирате содржина од избраните страници. Следете го воведот подолу! Предуслови За да го следите овој дел од туторијалот, бидете сигурни дека имате: Python 3.9+ е инсталиран локално. Bright Data сметка конфигурирана со SERP API зона и Web Unlocker API зона, заедно со вашиот API клуч. Ако не сте запознаени со тоа како да започнете со Bright Data SERP API или Web Unlocker API производи, следете ја официјалната документација: Вовед во SERP API Вовед во Bright Data’s Unlocker API Вовед во SERP API Вовед во SERP API Вовед во Bright Data’s Unlocker API Вовед во Bright Data’s Unlocker API Од сега натаму, ние ќе се однесуваме на вашата SERP API зона како и до вашата Web Unlocker API зона како : serp_api web_unlocker Исто така, бидете сигурни дека зоната е конфигурирана во режимот “Full JSON” во делот “Data Format” во внатрешноста на табелата за конфигурирање: serp_api На овој начин, API на Bright Data SERP ќе ги врати испитаните резултати од SERP во JSON формат, што ги прави полесни за филтрирање и повторно рангирање. На крајот, Тоа ќе се користи за аутентификација на барањата за услугите споменати погоре! генерирајте го вашиот Bright Data API клуч генерирајте го вашиот Bright Data API клуч За да го забрзаме процесот, ќе претпоставиме дека веќе имате Python проект поставен со виртуелна средина. Чекор #1: Подгответе се за пристап до услугите за светли податоци преку API Најлесен начин да се поврзете со услугите на Bright Data е директно преку својот API. Прво, инсталирајте асинхромен HTTP клиент како AIOHTTP: pip install aiohttp Следно, дефинирајте ги следните две функции за да го повикате SERP API и Web Unlocker API, соодветно: # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() на функцијата се поврзува со Bright Data SERP API за да изврши пребарување на Google и да ги преземе резултатите од JSON SERP (како што е конфигурирано во вашата сметка). fetch_serp() Исто така, се поврзува со Bright Data Web Unlocker API за да добие веб страници. Конфигурирање на излезот како Markdown, што е идеално за ингестија во LLMs. fetch_page() За повеќе информации за аргументите, параметрите и како да ги повикате овие два API-а, погледнете ги документите! : Во производството, избегнувајте да го хардкодирате вашиот API клуч за светли податоци. Note Одлично! Сега имате градежни блокови за имплементација на фазите "Пребарување" и "Извлечете" во Функција на: async import asyncio async def main(): # "Search and Extract" logic... # Run the async main function asyncio.run(main()) Чекор #2: Извршете ја фазата на екстракција Да претпоставиме дека имате АИ агенти кои се потпираат на MCP интеграции и сакате да произведете извештај кој покажува како идните промени во протоколот би можеле да влијаат на нив, кои нови функции ќе бидат достапни и така натаму. Редовните LLMs не можат да помогнат многу со таа задача, бидејќи MCP е релативно нов и повеќето модели беа обучени на постари податоци. "new version of MCP" Повикнете го SERP API за да преземете испитани резултати од Google SERP за тоа пребарување: # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) Зад сцената, на функцијата го повикува SERP API користејќи го наведениот пребарувач. Ако треба да се справите со повеќе пребарувања, можете да Конкурентно користење . fetch_serp() fetch_serp() asyncio.gather() По дефолт, SERP API враќа 10 резултати по прашање, но може да се конфигурира да врати до 100 резултати. Note враќа испишани резултати од Google SERP како Python речник. Атрибути на: fetch_serp() organic serp_ranking_results = serp_results.get("organic", []) Отпечатете ги резултатите од пребарувањето, и треба да добиете излез сличен на овој: Забележете како секој елемент во низата точно одговара на резултатот што ќе го добиете со пребарување за "нова верзија на MCP" на Google: Чекор #3: Филтрирајте ги URL адресите од интерес Од сите резултати на SERP вратени од SERP API повик, претпоставете дека сте заинтересирани за до првите 3 резултати од " Доменот (официјалниот домен за спецификацијата на MCP). Исто така, ајде да го разгледаме оригиналниот ранг на Google како ранг што сакате да го зачувате. modelcontextprotocol.io Контекст на протоколот.io Филтрирајте ги како што следува: # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_data_results: page_url = result.get("url") if "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) # Stop once reaching 3 results if len(page_url) == 3: break Резултатот ќе биде листа на URL адреси за пристап за време на фазата "Извлечете". [ "http://blog.modelcontextprotocol.io/posts/2025-11-25-first-mcp-anniversary/", "https://modelcontextprotocol.io/development/roadmap", "https://modelcontextprotocol.io/specification/2025-11-25" ] Време е да се извлечат информации од овие страници! Чекор # 4: Извршете ја фазата на екстракција Користете го функција за да го повикате Web Unlocker API и да ги изгребате трите избрани страници паралелно: fetch_page() tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) : Ако се занимавате со динамичен сајт кој бара корисничка интеракција, извлечете податоци од него користејќи технологија за автоматизација на прелистувачот како Playwright, интегрирана со API на прелистувачот. Note Резултатот ќе биде матрица која ја содржи содржината на секоја целна страница. Пристап до отклучената содржина на Markdown од секоја страница со: markdown_pages = [page for page in web_page_results] Проверете дали матрицата всушност содржи Markdown на целните страници: for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") Во овој случај, излезот е: Тоа одговара на Markdown верзијата на секоја таргетирана страница, што значи дека Web Unlocker API беше во можност да изврши веб екстракција на податоци успешно, без оглед на какви било анти-бот или анти-скрепинг мерки на место. Имајќи ги предвид овие свежи, контекстуални и провериви податоци, зачувајте ги за понатамошна анализа, пренесете ги на LLM за обработка, користете ги за да откриете дополнителни теми од интерес, продолжете со подлабоки истражувања или да ги примените на многу други случаи на употреба. Чекор #5: Пополнете го кодот Конечната верзија на примерот е: # pip install aiohttp import asyncio import aiohttp import urllib.parse import json # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() async def main(): # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_results.get("organic", []): page_url = result.get("link") if page_url and "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) if len(pages_of_interest) == 3: break print("Pages to scrape:", pages_of_interest) # Extract phase: Scrape pages concurrently tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) # Access the content from each page markdown_pages = [page for page in web_page_results] print("Scraped page contents:") for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") # AI processing, RAG pipelines, or further workflows... # Run the async main function asyncio.run(main()) Благодарение на Bright Data API-подготвени производи, можете да имплементирате ефикасен, enterprise-grade, производство-подготвени "Пребарување и екстракција" работен тек во помалку од 50 линии на Python код! Заклучок Во овој пост, погледнавте зошто цевките за податоци и работниот тек на вештачката интелигенција зависат од ажурирани, контекстуални и доверливи информации. Еден сигурен начин да се соберат овие податоци е преку AI модел, кој ефикасно стана стандарден пристап за пристап до висококвалитетни, верификувани веб податоци. Фаза автоматски откривање на пребарувачите, додека Фазата извлекува структурирани информации од најрелевантните резултати. Пребарување и екстракција Пребарување Екстракт ️ Како што е прикажано во текот на овој напис, користењето на AI-подготвена платформа за веб-скапење како Bright Data го прави имплементацијата на овој работен тек практична и скалабилна. И истражувајте ги сите нивни решенија за веб податоци! Започнете ја бесплатната пробна верзија на Bright Data денес Започнете ја бесплатната пробна верзија на Bright Data денес Оваа статија е објавена преку програмата HackerNoon Business Blogging. Оваа статија е објавена преку програмата HackerNoon Business Blogging.