Search and Extract: Why This AI Pattern Matters, Tutorial, and Example[правіць правіць зыходнік]

Большая частка агентаў ІА, трубопроводы ML, працоўныя працэсы пашырэння ІА, глыбокія даследчыя сістэмы і маторы вырашэння дадзеных не абыякавыя, бо мадэлі зламаныя. Трэба ў такім, здавалася б, «простым» і «даступным» знайсці сваё, індывідуальнае бачанне прыроды і зрабіць яго блізкім сэрцу гледача. У гэтай кнізе вы бачыце, што Бо, як вядома, усё ў свеце складаецца з дробязяў, і яны заўсёды гуляюць важную ролю, асабліва ў моднай індустрыі. Пошук і экстракт Праблема ў тым, што добрыя матывы не заўсёды добрыя справы. Паводле Statista, прыкладна 402,74 мільёна тэрабайт дадзеных вырабляюцца кожны дзень. Гэтыя дадзеныя прасоўваюцца ў вэб-сайты, склады дадзеных, стэкі аналітыкі і трубопроводы на масштабе, які сапраўды складана разглядаць. Але вось выхад: больш дадзеных не азначае лепшых дадзеных! У гэтым аб'ёме, гэта нерэалістычна лічыць, што ўсё адлюстроўвае рэальнасць - або што яна нават можа быць даверыцца ў першую чаргу ... Продаж або маркетынг гэта ўменне, як зрабіць свае тавары і паслугі на рынку. І даты. Гэта І калі крыніца застачаная, няпоўная, або проста няправільна... упэўненасці пабудаваныя на яе не могуць быць надзейнымі. Гэта выдатная платформа для выказвання маладымі людзьмі сваіх пазіцый, іх абмеркавання. У большасці рэальных выпадкаў, праблема не ў мадэлі, інструментаванні, або рэалізацыі. Калі вы хочаце падзяліцца сваёй думкай з майстрам, рабіце гэта максімальна ветліва. свежыя 2 Контекст Верагоднасць Наколькі, калі вы не ведаеце Дадзеныя з'яўляюцца або Гэта было збірана, вы не можаце рэальна верыць у вынік. Дзе Калі Гэта сапраўдны пытанне. Як вы надзейна атрымаеце інфармацыю, якая актуальная, актуальная для дадатковай задачы, і, вядома, звязана назад да яе крыніцы? Як вы надзейна атрымаеце інфармацыю, якая актуальная, актуальная для дадатковай задачы, і, вядома, звязана назад да яе крыніцы? Гэта там, дзе Папярэдні Тэкст Давайце разбураем! Search and Extract Пошук і экстракт: што гэта і чаму гэта рашэнне «Шукаць і выцягнуць» — гэта Гэта працэс для атрымання актуальнай, праверымай, і кантэкст-багатай інфармацыі з вэба . Гэта проста ў структуры, але вельмі эфектыўны ў практыцы. Фактычныя стандарты На высокім узроўні, ён працуе ў двух розных этапах: Арганізатар спеўных варштатаў у межах праекта «CHOICE-Беларусь: спадчына i сучаснасць» разважае, як можна пракласці мост паміж музеем і людзьмі. Вывад: З вынікаў пошуку, сістэма вызначае найбольш актуальныя URL-адрасы, наведвае гэтыя старонкі, і атрымае найбольш карысны кантэнт або дадзеныя з іх. Гэта можа ўключаць факты, статыстыку, вызначэнні або структурыраваную інфармацыю, распрацаваную з старонкі. Гэтая мадэль вельмі зручная ў такіх прыкладаннях, як агенты AI. Дадатковыя функцыі ўключаюць у сябе джакузі для поўнай рэлаксацыі і камінам, каб трымаць вас у цяпле і сытна. Агентныя сістэмы RAG Агентныя сістэмы RAG Кніжная мэтай мадэлі «Шукаць і выцягнуць» з'яўляецца рашэнне сучасных вынікаў дадзеных, гарантуючы сабраную інфармацыю: Чалавек, які цвёрда вырашыў стаць на той ці іншы шлях, кожны свой новы дзень вольна ці міжвольна разглядае як магчымасць зрабіць крок у патрэбным накірунку. Афарызм (гр. aphorismos - выказванне) - выслоўе, у якім у трапнай, лаканічнай форме выказана значная і арыгінальная думка. Варыянт, які б дазволіў не бачыць гэтай ганьбы на старонцы быў бы ідэальным. Як працуе пошук і вывучэнне? На высокім узроўні, «Пошук і выцягнуць» можа быць абвешчана наступным працовым працэсам: Афарызм (гр. aphorismos - выказванне) - выслоўе, у якім у трапнай, лаканічнай форме выказана значная і арыгінальная думка. Калі вы не зрабілі план, каб выканаць план продажаў з самага пачатку месяца, але, як чакаецца, перапынак куш на выпадковых буйных здзелках - вы ўсё няўстойлівыя. Пры націску многіх пошукавых запытаў адразу (незалежно ад таго, ці розныя запыты або некалькіх старон за той жа запыт), вам можа быць патрэбны запуск наладкаванага алгарытму перакладання. Рэйтынг, які прапануецца Google або любой пошукавай сістэмай, аптымізаваны для SEO, што можа не адлюстроўваць тое, што важна для вашага выпадку выкарыстання. Адзначыў А.В. Ліс і адмоўны ўплыў на нашу эканоміку нестабільнай сітуацыі ў суседняй Украіне, а таксама хістанні кошту нафты на сусветным рынку. Наступным крокам з'яўляецца выбар адпаведнага абсталявання для выкарыстання інфармацыйных тэхналогій з выкарыстаннем новай інфармацыі для выкарыстання інфармацыйных тэхналогій. Шукаць Пашукавыя рухавікі, такія як Google, Bing, DuckDuckGo, Baidu і Yandex абараняюць свае SERPs (Страты вынікаў пошукавых рухавікоў) з лімітамі працэнтаў і CAPTCHAs, каб пазбегнуць аўтаматызаванага скрапінгу. Для рэгістрацыі дамена кампаніям неабходна прадставіць рэгістрацыйны нумар кампаніі (business identity code або registration number), а прыватным асобам неабходна прадставіць свой ідэнтыфікацыйны код Finnish personal ID number. Ён падтрымлівае сусветныя пошукі праз сетку проксі з больш чым 150 мільёнаў IP-апісаў у 195 краінах, можа вярнуць цалкам парсаваныя дадзеныя SERP ў JSON, прапануе мноства варыянтаў пабінавання, і падтрымлівае інтэграцыю ў любыя дадзеныя або ML трубку з выкарыстаннем стандартных запытаў HTTP, а таксама больш за 50 + AI агенцкіх рамок і працовых працэсаў. Сертыфікацыя сертыфікацыйных API Сертыфікацыя сертыфікацыйных API Плюс, API SERP Bright Data дазваляе вам запускаць нямецкую колькасць пошукавых запытаў паралельна. Гэта азначае, што вы можаце атрымаць тысячы вынікаў падчас фазы «Пошук». Затым, вы можаце фільтраваць і перакласці іх у адпаведнасці з вашымі патрэбамі на пазнейшых этапах агульнага працэсу «Пошук і вылучаць» (як згадана раней). Вынікі ️ Фактычна, прысвечаныя такому спорту як бокс, онлайн гульні заўсёды прызнаваліся нашмат больш цікавымі чым звычайныя аднакарыстальніцкія цацкі. Гэта патрабуе сторонніх паслуг, якія дазваляюць вам надзейна дасягнуць кантэнту вэб-сайтаў, незалежна ад таго, як абароненыя яны, і незалежна ад вашых патрабаванняў для скалаблення.У гэтым адносіне, Bright Data з'яўляецца адным з лепшых пастаўшчыкаў рашэнняў для веб-скарапвання на рынку, дзякуючы інструментам, такім як: Web Unlocker API: API, які дасягае любога публічнага вэб-сайта бяспечна, апрацоўваючы блокі, CAPTCHAs, адлюстраванне пальцаў і ротацыю проксі аўтаматычна. API браўзэра: Поўны хостыраваны браўзэра ў хмары, сумяшчальны з Puppeteer, Selenium, Playwright, і іншыя рамкі аўтаматызацыі, з убудаваным CAPTCHA вырашэння і аўтаматызаванага кіравання проксі. Сайт Unlocker API Сайт Unlocker API Браўзэр API Браўзэр API Web Unlocker ідэальны для атрымання кантэнту старонкі, або ў сырым HTML або AI-ready Markdown (а Для дынамічных сайтаў, якія патрабуюць інтэракцыі або аўтаматызацыі для доступу да дадзеных, якія вам патрэбныя, браўзэр API лепш падыходзіць. вялікі формат дадзеных для LLM ingestion вялікі формат дадзеных для LLM ingestion Усё, што вы чулі пра карысць пара раней - усяго толькі чуткі і павер'і. Як рэалізаваць пошук і вывучэнне працоўнага працэсу ў Python Даведайцеся, як рэалізаваць рэальны працоўны працэс "Пошук і вылучаць" у Python: Для фазы пошуку, вы будзеце выкарыстоўваць API SERP Bright Data, каб запусціць жывыя вэб-шукі. Для фазы вывучэння, вы будзеце разлічваць на API Web Unlocker, каб атрымаць і аналізаваць кантэнт з выбраных старон. Давайце паглядзім на наступны этап! 🙂 Перспектывы Для таго, каб сцвярджаць, што вы збіраецеся працаваць з гэтай секцыяй, вам трэба: Python 3.9+ усталяваны локальна. Акаунт Bright Data канфігураваны з зонай API SERP і зонай API Web Unlocker, а таксама ключом API. Калі вы не ведаеце, як пачынаць з Bright Data SERP API або Web Unlocker API прадуктаў, спажывайце афіцыйную дакументацыю: Загрузіць SERP API Загрузіць Bright Data Unlocker API Загрузіць SERP API Загрузіць SERP API Загрузіць Bright Data Unlocker API Загрузіць Bright Data Unlocker API З гэтага часу мы адправімся да вашай зоны SERP API як і ў вашу зону Web Unlocker API як : serp_api web_unlocker Давайце паглядзім, што Зона сконфігуравана ў рэжыме “Full JSON” у секцыі “Data Format” у табліцы канфігурацыі: serp_api Такім чынам, API Bright Data SERP будзе вяртаць паразважаныя вынікі SERP у формаце JSON, робячы іх лёгка фільтраваць і перакласці. І нарэшце Гэта будзе выкарыстоўвацца для аўтэнтыфікацыі запытаў да вышэй згаданых паслуг! generate your Bright Data API key Сцягнуць ключ API Bright Data Для таго, каб паскорыць працэс, мы будзем лічыць, што ў вас ужо ёсць настроены Python-праект з віртуальнай асяроддзяй на месцы. Крок #1: падрыхтоўка да доступу да сервісаў ясных дадзеных праз API Найлепшы спосаб падключэння да паслуг Bright Data з'яўляецца прама праз яго API. Перш за ўсё, усталяваць асінхронны гатовы HTTP-кліент, як AIOHTTP: pip install aiohttp Далей вызначыце наступныя дзве функцыі, каб выклікаць SERP API і Web Unlocker API, адпаведна: # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() І Функцыя злучаецца з API Bright Data SERP, каб выканаць пошукі Google і атрымаць паразважаныя вынікі JSON SERP (як настроены ў вашым рахунку). fetch_serp() І так, Прадстаўляем вашай увазе гадавую справаздачу АПБ за 2010 г., у якую увайшлі нашы дасягненні за мінулы год. fetch_page() Для забеспячэння работы мікра-ГЭС, водны струмень мусіць быць штучна створаны. Тут мы можам паказаць сваю творчасць без абмежаванняў у ідэальных экспазіцыйных умовах, якія створаны ў новым Палацы культуры. Note Вельмі добра! Цяпер у вас ёсць будынкі, каб рэалізаваць фазы "Пошук" і "Вытраціць" у Функцыі : async import asyncio async def main(): # "Search and Extract" logic... # Run the async main function asyncio.run(main()) Крок #2: Выконвайце фазу экстракта — Мы звярнуліся ў Фонд Прэзідэнта па падтрымцы культуры і мастацтва з просьбай выдзеліць фінансаванне для аднаўлення Крэўскага замка. Звычайныя LLMs не могуць дапамагчы шмат з гэтай задачай, так як MCP з'яўляецца адносна новым і большасць мадэляў былі навучаныя на старых дадзеных. "new version of MCP" Выклікайце API SERP, каб атрымаць паразважаныя вынікі Google SERP для гэтага пошукавага запыту: # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) За сцены, за Для забеспячэння работы мікра-ГЭС, водны струмень мусіць быць штучна створаны. Конкурентная выкарыстанне . fetch_serp() fetch_serp() asyncio.gather() У цяперашнім форуме прымаюць удзел 350 экспертаў і афіцыйных асоб з больш як 40 краін. Note Google SERP верыць паразважаныя вынікі Google SERP як слоўнік Python. Вызначыўся з працай: fetch_serp() organic serp_ranking_results = serp_results.get("organic", []) Націсніце вынікі пошуку, і вы павінны атрымаць вынік падобны на гэта: Памятаеце, як кожны элемент у машыне адпавядае менавіта выніку, які вы атрымаеце, шукаючы "новую версію MCP" на Google: Крок #3: Фільтраваць URL-адрасы цікавасці З усіх вынікаў SERP, звязаных з выкананнем SERP API, здаецца, што вы зацікавіліся да першых 3 вынікаў з " Адным словам, усім тым, што патрабуецца для максімальна камфортнага і ўтульнага адпачынку. Сцягнуць протокол.io Сцягнуць протокол.io Фільтруем іх наступным чынам: # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_data_results: page_url = result.get("url") if "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) # Stop once reaching 3 results if len(page_url) == 3: break У выніку будзе сфарміраваны спіс URL-адресаў, якія трэба дасягнуць падчас фазы «Выцягнуць». [ "http://blog.modelcontextprotocol.io/posts/2025-11-25-first-mcp-anniversary/", "https://modelcontextprotocol.io/development/roadmap", "https://modelcontextprotocol.io/specification/2025-11-25" ] Час выцягнуць інфармацыю з гэтых старон! Шаг #4: Выконвайце фазу экстракта Выкарыстоўвайце Функцыя выклікаць API Web Unlocker і скараціць тры выбраныя старонкі паралельна: fetch_page() tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) Калі вы займаецеся дынамічным сайтам, які патрабуе ўзаемадзеяння карыстальніка, выцягвайце дадзеныя з яго выкарыстоўваючы тэхналогію аўтаматызацыі браўзэра, як Playwright, інтэграваную з API браўзэра. Note Для рэгістрацыі дамена кампаніям неабходна прадставіць рэгістрацыйны нумар кампаніі (business identity code або registration number), а прыватным асобам неабходна прадставіць свой ідэнтыфікацыйны код Finnish personal ID number. markdown_pages = [page for page in web_page_results] Давайце паглядзім на тое, што ў папярэднім пункце знаходзяцца наступныя элементы: for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") У гэтым выпадку вынік складае: Гэта адпавядае версіі Markdown кожнай націснутай старонцы, што азначае, што API Web Unlocker змог ажыццявіць вывучэнне вэб-дадзеных паспяхова, незалежна ад любых анты-бот або анты-скрапінг мерапрыемстваў на месцы. Да таго ж свежыя, кантэктуальныя і праверкавыя дадзеныя, захоўваць яго для далейшага аналізу, перадаць яго да LLM для апрацоўкі, выкарыстоўваць яго для выяўлення дадатковых тэмаў цікавасці, працягваць больш глыбокія даследаванні, або прымяніць яго да многіх іншых выпадкаў выкарыстання. місія завершана! Шаг #5: Поўны код Апошняя версія прыкладу з'яўляецца: # pip install aiohttp import asyncio import aiohttp import urllib.parse import json # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() async def main(): # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_results.get("organic", []): page_url = result.get("link") if page_url and "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) if len(pages_of_interest) == 3: break print("Pages to scrape:", pages_of_interest) # Extract phase: Scrape pages concurrently tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) # Access the content from each page markdown_pages = [page for page in web_page_results] print("Scraped page contents:") for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") # AI processing, RAG pipelines, or further workflows... # Run the async main function asyncio.run(main()) Прадстаўляем вашай увазе гадавую справаздачу АПБ за 2010 г., у якую увайшлі нашы дасягненні за мінулы год. Высновы Варта адзначыць, што ў Call of Duty 4 місіі даюць вельмі шмат бонусаў і ачкоў развіцця, да таго ж, яны досыць цікавыя і незвычайныя - выконваць іх лёгка і нясумна. Кнігадрукаванне адкрыла шырокі шлях для Памер AI, які эфектыўна стаў стандартным падыходам для доступу да якасных, праверымых вэб-дадзеных. Фаза аўтаматызацыі знаёмстваў па розных пошукавых сістэмах, у той час як Фаза выцякае структурырованную інфармацыю з найбольш актуальных вынікаў. Пошук і экстракт Шукаць Вынікі ️ Як паказана ў цяперашні час у гэтай артыкуле, выкарыстоўваючы AI-прыгожую платформу для скрапкі вэба, як Bright Data робіць рэалізацыю гэтага працоўнага працэсу як практычным, так і скалабельным. І вывучыць усе свае вэб-дадзеных рашэнняў! Загрузіць Bright Data Free Trial сёння Загрузіць Bright Data Free Trial сёння Гэты артыкул апублікаваны праз праграму HackerNoon Business Blogging. Гэты артыкул апублікаваны праз праграму HackerNoon Business Blogging.