Search and Extract: Why This AI Pattern Matters, Tutorial, උදාහරණයක්

බොහෝ AI නියෝජිතයින්, ML pipelines, AI ආකර්ෂණය workflows, deep research systems, and data-driven decision engines fail not because the models are bad. විශේෂයෙන්, දත්ත පැරණි, සබැඳියකින් තොරව, තහවුරු නොකළ හැකි, හෝ එක් වරක් සියලු තුනම වේ.එය මූලික ප්රශ්නයයි. මේ ලිපියෙන් ඔබ දකින්නේ කුමක්ද ඇත්තටම අදහස් කරන්නේ, එය කොප්පුව යටතේ ක්රියා කරන්නේ කෙසේද, බොහෝ දෙනෙකු හිතන තරමට එය වැදගත් වන්නේ ඇයි, සහ එය සැබෑ උදාහරණයක් සමඟ අවසානයෙන් අවසානය දක්වා ක්රියාත්මක කරන්නේ කෙසේද! Search සහ Extract නිශ්චිත, විශ්වාසදායක, සහතික කළ හැකි තොරතුරු සඳහා අවශ්යතාවය Statista විසින් සෑම දිනකම 402.74 million terabytes දත්ත නිෂ්පාදනය කරන ලදී. මෙම දත්ත අන්තර්ජාලය, දත්ත ගබඩා, විශ්ලේෂණය කට්ටයන්, සහ පයිප්ලයින් වෙත එළඹෙන්නේ, එය අවංකව තේරුම් ගැනීමට අපහසු වේ. නමුත් මෙන්න දඩයම: වැඩි දත්ත වඩා හොඳ දත්ත නොවේ! ඒ පොතේදී, සෑම දෙයක්ම සැබෑ බව ප්රදර්ශනය කරන බව අනුමාන කිරීම අසාර්ථකයි - හෝ එය මුලින්ම විශ්වාස කළ හැකි බව පවා... සමාගම් තවමත් ව්යාපාරික තීරණ, ස්වයංක්රියාකාරකම් සහ AI ආකෘති ඇමතුම් මත පදනම්ව කරයි දත්ත ඒ එවිට මූලාශ්රය පැරණි වන විට, අතුරුදහන් වන විට, හෝ සරලවම වැරදි නම් ... එහි ඉහළට ගොඩනැගුණු දර්ශන විශ්වාසදායක විය නොහැක. මේ නිසාම LLMs හූනිනු ඇත, AI නියෝජිතයන් විශ්වාසදායක නමුත් වැරදි පිළිතුරු ලබා දෙයි, සහ දත්ත පයිප්ලයින් නිහඬව නිෂ්පාදනය තුළ අසාර්ථක වේ. සැබෑ ලෝකයේ බොහෝ අවස්ථාවලදී, ගැටලුව ආකෘතිය, මෙවලම හෝ යෙදුම නොවේ. ඔබ සම්පූර්ණයෙන්ම ස්වයංක්රීය AI නියෝජිතයක් හෝ සම්ප්රදායික විශ්ලේෂණ වැඩපිළිවෙළක් ක්රියාත්මක කරනවාද, සියල්ල මූලාශ්ර දත්තවල ගුණාත්මකභාවය මත රඳා පවතී. ශීත සංකල්පය පරීක්ෂා කළ හැකි අන්තිමේදී, ඔබ නොදන්නා නම් දත්ත පැමිණියේ හෝ එය රැස් කර ඇති අතර, ඔබට ප්රතිඵලය සැබෑවටම විශ්වාස කළ නොහැකිය. කොහෙද කවදා ඒක තමයි ඇත්ත ප් රශ්නය. ඔබ නිශ්චිත කාර්යය සඳහා අදාළ වන, යාවත්කාලීන වන තොරතුරු සහ එහි මූලාශ් රයට තහවුරු කර ඇති බව විශ්වාසවන්තව ලබා ගන්නේ කෙසේද? ඔබ නිශ්චිත කාර්යය සඳහා අදාළ වන, යාවත්කාලීන වන තොරතුරු සහ එහි මූලාශ් රයට තහවුරු කර ඇති බව විශ්වාසවන්තව ලබා ගන්නේ කෙසේද? එතන තමයි The පර්ෆියුම් එක ඇතුළට එනවා.අපි ඒක අයින් කරමු. Search and Extract Search and Extract: එය කුමක්ද සහ ඇයි එය විසඳුම “Search and Extract” යනු අන්තර්ජාලයෙන් යාවත්කාලීන, විනිශ්චය කළ හැකි හා පරිගණක ධනවත් තොරතුරු ලබාගැනීමේ ක්රියාවලිය .It is simple in structure, but extremely effective in practice. De facto සම්මතය ඉහළ මට්ටමක, එය වෙනස් පියවර දෙකකින් ක්රියා කරයි: Search: මෙම පද්ධතිය Google වැනි සෙවුම් යන්ත්රවල සජීවී වෙබ් සෙවුම් ක්රියාත්මක කරන්නේ දත්ත ප්රශ්නය සඳහා වඩාත් වැදගත් සහ විශ්වාසදායක මූලාශ්ර සොයා ගැනීමටයි.This helps the data pipeline start with information that is current and comes from clear sources. පිටපත: සෙවුම් ප්රතිඵල වලින්, පද්ධතිය වඩාත් අදාළ URLs හඳුනා ගනී, එම පිටු සංචාරය කරයි, සහ ඒවාගෙන් වඩාත් ප්රයෝජනවත් අන්තර්ගතය හෝ දත්ත ලබා ගනී.This may include facts, statistics, definitions, or structured information analyzed from the page.The retrieved data then becomes the grounded, trusted basis for the downstream steps in the pipeline. මෙම ආකෘතිය විශේෂයෙන් AI සම්බන්ධ යෙදුම්, එවැනි AI නියෝජිතයන්, , සහ ව්යාපාරික මට්ටමේ AI වැඩපිළිවෙළ.එසේම, එය සම්ප්රදායික යන්ත්ර ඉගෙනීම, සාක්ෂි පරීක්ෂා කිරීම, සහ දත්ත ආයෝජනය පයිප්ලයින් සඳහා අදාළ වේ. agentic RAG systems RAG පද්ධති "සංස්කරණය සහ පිටපත් කිරීම" ආකෘතියේ අවසාන ඉලක්කය, රැස් කරන ලද තොරතුරු සහතික කිරීමෙන් නවීන දත්ත අභියෝගවලට ප්රතිකාර කිරීමයි: ප්රවෘත්ති , ප්රවෘත්ති වෙබ් දත්ත නවතම වෙබ් සෙවුම් වලින් පැමිණෙන අතර, එය නවතම තොරතුරු සහ පුවත් ඇතුළත් කළ හැකිය. පරිච්ඡේදගත , තොරතුරු සෙවුම් ප්රශ්නයෙහි සඳහන් මාතෘකා සමඟ සමීපව අනුකූල වන නිසා. පරීක්ෂා කළ හැකි නිසා, දත්ත සෘජුවම නිශ්චිත වෙබ් පිටු වලින් පැමිණෙන අතර, ඕනෑම කෙනෙකුට දකින්න සහ පරීක්ෂා කළ හැකිය. Search and Extract වැඩ කරන්නේ කෙසේද? උසස් මට්ටමකදී, "සංස්කරණය සහ පිටපත් කිරීම" පහත දැක්වෙන රැකියාව ක්රියාවලිය සමඟ සකස් කළ හැක: මෙම රැකියාව ක්රියාවලිය සඳහා ඇතුළත් වන්නේ සොයන්න පුළුවන් මාතෘකා ලැයිස්තුවකි.මේවා සාමාන් යයෙන් ලේඛන, දත්ත සමුදායන් හෝ AI / ML භාවිතා කරන තොරතුරු මූලාශ්ර වලින් සකස් කර ඇත.එය සාමාන් යයෙන් AI ආයෝජනය, දත්ත තහවුරු කිරීම, RAG රැකියාව ක්රියාවලිය හෝ ගැඹුරු පර්යේෂණ යෙදුම්වල සිදු වන දේ වේ. මූලාශ්රය වෙනුවට, සෙවුම් කළ හැකි මාතෘකා "සංස්කරණය" අංගයට මාරු කරනු ලැබේ, එහිදී SERP API විසඳුම ඉලක්කය සෙවුම් යන්ත්රයේ ස්වයංක්රීය වෙබ් සෙවුම් සිදු කරයි. සෙවුම් ප්රතිඵල ලබා ගැනීමෙන් පසු, ඔබ සියලුම ආපසු ලැබුණු වෙබ් පිටුවන්ට සැලකිලිමත් විය හැකිය හෝ AI / ML හෝ දැඩි නීති භාවිතා කිරීමෙන් වඩාත් වැදගත් වෙබ් පිටුවන්ට පමණක් ෆයිල්ටර් කළ හැකිය (උදාහරණයක් ලෙස, පිටුවන්ට නිශ්චිත ප්රදේශ, භාෂා හෝ වෙනත් ප්රතිපත්ති වලින් තබා ගන්න). බොහෝ සෙවුම් ප්රශ්න එකපාරට ඉලක්ක කරන විට (විශේෂ ප්රශ්න හෝ එකම ප්රශ්නය සඳහා බොහෝ පිටු) ඔබට Custom re-ranking ආකෘතිය ක්රියාත්මක කිරීමට අවශ්ය විය හැකිය.Google හෝ ඕනෑම සෙවුම් යන්ත්රය විසින් සපයන ranking SEO සඳහා ආකෘති කර ඇත, එය ඔබගේ භාවිතය සඳහා වැදගත් දේ ප්රදර්ශනය නොවිය හැකිය. තෝරාගත් URLs ඉන්පසු "Extract" නෝඩ් වෙත යැවීමේදී, සෑම පිටුවකටම පිවිසෙන වෙබ් scraping සේවා සහ ප්රධාන තොරතුරු ඉවත් කරයි. ඊළඟට, “අපි” සහ “අපි” යන කොටස් වලදී ක් රීඩා කරන සේවා සොයා බලමු! සොයන්න Google, Bing, DuckDuckGo, Baidu, සහ Yandex වැනි සෙවුම් යන්ත්ර ඔවුන්ගේ SERPs (සංස්කරණ යන්ත්ර ප්රතිඵල පිටු) සහ CAPTCHAs විසින් ස්වයංක්රීය scraping වළක්වා ගැනීමට ආරක්ෂා කරයි. "සංස්කරණය" පියවර ක්රියාත්මක කිරීමට වඩාත් විශ්වාසදායක ක්රමයක් වන්නේ SERP API විසඳුමක් භාවිතා කිරීමයි.මේ සේවා ඔබ වෙනුවෙන් ප්රමාණවත්ත්වය හා anti-bot ප්රතිපත්තිය ක්රියාත්මක කිරීම සඳහා සැලසුම් කර ඇති මූලාශ්රය භාවිතා කිරීම සඳහා මුද්දරයේ සෙවුම් කාර්යයන් ක්රියාත්මක කිරීම සඳහා අවසාන ස්ථාන ප්රකාශ කරයි. එය ලබා ගත හැකි වඩාත් සම්පූර්ණ වෙබ් සෙවුම් සේවා වලින් එකක් වේ.එය 195 රටවල මිලියන 150 කට වඩා වැඩි IP හි ප්රොක්සි ජාලය හරහා ගෝලීය සෙවුම් සහාය කරයි, JSON හි සම්පූර්ණයෙන්ම පැකේජ කරන ලද SERP දත්ත ආපසු ලබා ගත හැකිය, බොහෝ පිගිනීම විකල්ප ලබා දෙයි, සහ සම්මත HTTP ඉල්ලීම් භාවිතා කිරීමෙන් ඕනෑම දත්ත හෝ ML පයිප්ලයින් ඇතුළත් කිරීම සහ 50 කට වඩා වැඩි AI නියෝජිත ව්යුහයන් සහ වැඩ ක්රියාවලි. Bright Data’s SERP API Bright Data හි SERP API Plus, Bright Data's SERP API ඔබට සීමා නොකළ ප්රශ්න සංඛ්යාවක් සමන්විතව ක්රියාත්මක කිරීමට ඉඩ සලසයි.මේ නිසා ඔබට "සංස්කරණය" පියවර තුළ ප්රතිඵල දහස් ගණනක් ලබා ගත හැකිය.එවිට, ඔබ "සංස්කරණය" ක්රියාවලියෙහි පසුතැවිලි පියවරවල ඔබේ අවශ්යතා අනුව ඒවා සැපයුම් කිරීමට සහ නැවත ප්රමාණය කිරීමට හැකි වේ (අද සඳහන් කළ පරිදි). අකුරු ️ සෑම වෙබ් අඩවියක්ම වෙනස් වන අතර, එකම ප්රදේශයේ ඇතුළත් පිටු පවා විවිධ rendering, data-visualization සහ retrieval logic අනුගමනය කළ හැකිය.This makes programmatically accessing their content quite difficult.On top of that, sites tend to adopt anti-scraping measures to protect their valuable public web data. ඒ සඳහා ඔබට වෙබ් පිටුවන්ගේ අන්තර්ගතයට විශ්වාසදායකව ප්රවේශ වීමට ඉඩ සලසන තුන්වන පාර්ශව සේවා අවශ්ය වේ, ඒවා කොතරම් ආරක්ෂිත වුවත්, සහ ඔබගේ ප්රමාණවත් අවශ්යතා කොපමණවත්. Web Unlocker API: ඕනෑම පොදු වෙබ් පිටුවකට පහසුවෙන් ප්රවේශ වන API, ස්වයංක්රීයව බ්ලැක්ස්, CAPTCHAs, ඇඟිලි පින්තූර සහ ප්රොක්සි රෝටීයතාව ක්රියාත්මක කරයි. බ්රවුසර API: Puppeteer, Selenium, Playwright සහ අනෙකුත් ස්වයංක්රීයතා frameworks සමඟ අනුකූල වන සම්පූර්ණයෙන්ම hosted cloud browser, ඇතුළත් CAPTCHA විසඳුම් සහ ස්වයංක්රීය ප්රොක්සි කළමනාකරණය. වෙබ් Unlocker API වෙබ් Unlocker API බ්රවුසර් API බ්රවුසර් API Web Unlocker වෙබ් අඩවියේ අන්තර්ගතය ලබා ගැනීම සඳහා පරිපූර්ණ වේ, Raw HTML හෝ AI-ready Markdown (A) ඔබට අවශ් ය දත්ත වෙත ප්රවේශ වීමට සන්නිවේදනය හෝ ස්වයංක්රීයතාවය අවශ්ය වන දෛනික වෙබ් අඩවි සඳහා, බ්රවුසර API වඩාත් ගැලපෙන වේ. great data format for LLM ingestion LLM ingestion සඳහා විශාල දත්ත ආකෘතිය මෙම විසඳුම් දෙකම එකට, "සංස්කරණය සහ පිටපත් කිරීම" වැඩපිළිවෙළේ "පරික්ෂා කිරීම සහ පිටපත් කිරීම" පියවර සඳහා අවශ්ය සෑම දෙයක්ම ඇතුළත් වේ. Python හි Search and Extract Workflow ක්රියාත්මක කරන්නේ කෙසේද Python හි සැබෑ "සංස්කරණය සහ පිටපත් කිරීම" වැඩපිළිවෙළ ක්රියාත්මක කරන්නේ කෙසේද යන්න ඉගෙන ගන්න: සෙවුම් වේලාව සඳහා, ඔබ Bright Data හි SERP API භාවිතා කරනු ඇත සජීවී වෙබ් සෙවුම් ක්රියාත්මක කිරීමට. Extract පියවර සඳහා, ඔබ තෝරාගත් පිටු වලින් අන්තර්ගතය ලබා ගැනීමට සහ විශ්ලේෂණය කිරීමට Web Unlocker API මත රඳා පවතී. පහත ප් රදර්ශනය අනුගමනය කරන්න! කොන්දේසි මෙම ඉඟි කොටස සමඟ අනුගමනය කිරීම සඳහා, ඔබ ඇති බව තහවුරු කරන්න: Python 3.9+ ස්ථාපිත කර ඇත. SERP API ප්රදේශය සහ Web Unlocker API ප්රදේශය සහිත Bright Data ගිණුමක් සහ ඔබේ API කුලියට එකතු කර ඇත. Bright Data හි SERP API හෝ Web Unlocker API නිෂ්පාදන සමඟ ආරම්භ කිරීමට ඔබ නොදන්නා නම්, නිල ලේඛන අනුගමනය කරන්න: SERP API වෙත ප්රවේශ වීම Bright Data හි Unlocker API SERP API වෙත ප්රවේශ වීම SERP API වෙත ප්රවේශ වීම Bright Data හි Unlocker API Bright Data හි Unlocker API දැන් සිට, අපි ඔබගේ SERP API ප්රදේශය වෙත යොමු වනු ඇත ඔබගේ Web Unlocker API zone එකට : serp_api web_unlocker එසේම, වග බලා ගන්න පරිගණක තැපැල් ඇතුළේ “Data Format” කොටසෙහි “Full JSON” තත්වයට සකස් කර ඇත: serp_api මේ ආකාරයෙන්, Bright Data SERP API විසින් JSON ආකෘතිය තුළ පැසෙල් කරන ලද SERP ප්රතිඵල ආපසු ලබා දෙයි, ඒවා ෆිල්ටර් කිරීම හා නැවත ප්රමාණය කිරීම පහසු කරයි. අවසාන වශයෙන්, මෙය ඉහත සඳහන් සේවාවන් සඳහා ඉල්ලීම් ඔප්පු කිරීම සඳහා භාවිතා කරනු ඇත! generate your Bright Data API key Bright Data API Key නිර්මාණය කිරීම මෙම ක්රියාවලිය වේගවත් කර ගැනීම සඳහා, ඔබ දැනටමත් සජීවී පරිසරයක් සහිත Python ව්යාපෘතියක් ස්ථාපනය කර ඇති බව අපි අනුමත කරමු. පියවර #1: API හරහා Bright Data Services වෙත ප්රවේශ වීමට සූදානම් වන්න Bright Data සේවා වලට සම්බන්ධ වීමට පහසුම ක් රමය වන්නේ එහි API හරහා ය.පළමුව, AIOHTTP වැනි async-ready HTTP සේවාදායකයක් ස්ථාපනය කරන්න: pip install aiohttp ඊළඟට, SERP API සහ Web Unlocker API ඇමතුම් කිරීමට පහත සඳහන් කාර්යයන් දෙකක් සකස් කරන්න: # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() ඒ ක්රියාකාරිත්වය Bright Data SERP API සමඟ සම්බන්ධ වේ Google සෙවුම් ක්රියාත්මක කිරීම සහ JSON SERP ප්රතිඵල (ඔබේ ගිණුමේ සකස් කරන පරිදි) ලබා ගැනීම සඳහා. fetch_serp() එසේම, Bright Data Web Unlocker API වෙත සම්බන්ධ වේ වෙබ් පිටුව ලබා ගැනීම සඳහා. ප්රතිඵල Markdown ලෙස සකස් කිරීම, LLMs ඇතුළත් කිරීම සඳහා පරිපූර්ණ වේ. fetch_page() අමුද් රව් ය, ප්රමාණයන් සහ මෙම API දෙක ඇමතුම් කිරීමට ආකාරය පිළිබඳ වැඩි විස්තර සඳහා, docs වෙත යොමු කරන්න! : නිෂ්පාදන දී, ඔබේ Bright Data API යතුර hardcoding නොකරන්න. Note Great! දැන් ඔබට “Search” සහ “Extract” වේලාවන් ක්රියාත්මක කිරීමට ගොඩනැගිල්ලක් ඇත. ක් රියාමාර්ග : async import asyncio async def main(): # "Search and Extract" logic... # Run the async main function asyncio.run(main()) පියවර #2: Extract පියවර ක්රියාත්මක කරන්න ඔබ MCP සම්මතයන් මත පදනම් වූ AI නියෝජිතයන් ඇති අතර, ප්රොටෝලයේ අනාගත වෙනස්වීම් ඒවාට බලපෑම් කළ හැකි ආකාරය, නව ක්රියාකාරකම් ලබා ගත හැකි වනු ඇතැයි පෙන්වන වාර්තාවක් නිෂ්පාදනය කිරීමට අවශ්ය වනු ඇත. සාමාන්ය LLMs මෙම කාර්යය සමඟ බොහෝ උදව් කළ නොහැක, MCP සමීපව නව වන අතර බොහෝ ආකෘති පැරණි දත්ත මත පුහුණු කර ඇත. "new version of MCP" මෙම සෙවුම් ප්රශ්නය සඳහා Google SERP ප්රතිඵල ලබා ගැනීමට SERP API අමතන්න: # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) වේදිකාව පිටුපස, The SERP API එකෙන් සන්නිවේදනය කරන්න.ඔබට අවශ් ය නම් සන්නිවේදනය කරන්න. තරඟකාරී භාවිතය . fetch_serp() fetch_serp() asyncio.gather() : සම්මත වශයෙන්, SERP API සෑම ප්රශ්නයකටම ප්රතිඵල 10ක් ලබා දෙයි, නමුත් එය ප්රතිඵල 100ක් දක්වා ලබා දීමට සැකසුම් කළ හැකිය. Note Google SERP ප්රතිඵල Python වචනය ලෙස ලබා දෙයි. අනුමැතිය : fetch_serp() organic serp_ranking_results = serp_results.get("organic", []) ප්රතිඵල මුද්රණය කරන්න, ඔබ මේ වැනි ප්රතිඵල ලබා ගත යුතුය: පරිමාණයේ සෑම අමුද් රව් යයක්ම Google හි "MCP නව අනුවාදය" සොයමින් ඔබට ලැබෙන ප්රතිඵලයට නිවැරදිව ගැලපෙන ආකාරය අවබෝධ කරන්න: පියවර #3: උනන්දුවක් ඇති URLs Filter SERP API ඇමතුම මගින් ආපසු ලැබෙන සියලුම SERP ප්රතිඵල වලින්, ඔබ ප්රමුඛ ප්රතිඵල 3 දක්වා උනන්දුවක් දක්වනවා. ” domain (MCP විශේෂාංගය සඳහා නිල domain) .We also consider Google’s original ranking as the ranking you want to preserve. මාතෘකාවProtocol.io මාතෘකාවProtocol.io පහත දැක්වෙන ආකාරයට Filter කරන්න: # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_data_results: page_url = result.get("url") if "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) # Stop once reaching 3 results if len(page_url) == 3: break මෙම ප්රතිඵලයක් වන්නේ "අවසා ගැනීම" වේලාව තුළ ප්රවේශ විය යුතු URL ලැයිස්තුවක් වනු ඇත. [ "http://blog.modelcontextprotocol.io/posts/2025-11-25-first-mcp-anniversary/", "https://modelcontextprotocol.io/development/roadmap", "https://modelcontextprotocol.io/specification/2025-11-25" ] මේ පිටු වලින් තොරතුරු ලබා ගැනීමට කාලය! පියවර #4: Extract පියවර ක්රියාත්මක කරන්න පාවිච්චි කරන්න Web Unlocker API අමතන්න සහ තෝරාගත් පිටුවන් තුනක් සකස් කරන්න: fetch_page() tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) : ඔබ පරිශීලක සන්නිවේදන අවශ්ය වේ දෛනික වෙබ් අඩවිය සමඟ කටයුතු කරන්නේ නම්, Playwright වැනි බ්රවුසර ඔන්ලයින් තාක්ෂණය භාවිතා කිරීමෙන් දත්ත ඉවත් කරන්න, බ්රවුසර API සමඟ ඇතුළත් වේ. Note ප්රතිඵලයක් වන්නේ සෑම ඉලක්ක පිටුවේ අන්තර්ගතය ඇතුළත් වන අර්ධයක් වනු ඇත.Access the unlocked Markdown content from each page with: markdown_pages = [page for page in web_page_results] මාතෘකාව සැබවින්ම ඉලක්ක පිටුවන්ගේ Markdown ඇතුළත් බව තහවුරු කරන්න: for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") මේ අවස්ථාවේදී ප් රතිඵලය වන්නේ: එය සෑම ඉලක්ක පිටුවකටම Markdown අනුවාදයට ගැළපෙන අතර, Web Unlocker API සාර්ථකව වෙබ් දත්ත අයින් කිරීම සිදු කළ හැකි බව අදහස් කරන්නේ, ඕනෑම anti-bot හෝ anti-scraping ක්රමයක් නොමැතිව. මෙම නව, සබැඳි, සහ පරීක්ෂා කළ හැකි දත්ත ලබා දී, එය වැඩිදුර විශ්ලේෂණය සඳහා තබා, පරිශීලක කිරීම සඳහා LLM වෙත යැවීම, උනන්දුවක් ඇති අමතර මාතෘකා හඳුනා ගැනීම සඳහා එය භාවිතා, වඩාත් ගැඹුරු පර්යේෂණ දිගටම, හෝ වෙනත් බොහෝ භාවිත ප්රශ්න සඳහා එය භාවිතා කරන්න. පියවර #5: සම්පූර්ණ කේතය උදාහරණයේ අවසාන අනුවාදය වන්නේ: # pip install aiohttp import asyncio import aiohttp import urllib.parse import json # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() async def main(): # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_results.get("organic", []): page_url = result.get("link") if page_url and "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) if len(pages_of_interest) == 3: break print("Pages to scrape:", pages_of_interest) # Extract phase: Scrape pages concurrently tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) # Access the content from each page markdown_pages = [page for page in web_page_results] print("Scraped page contents:") for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") # AI processing, RAG pipelines, or further workflows... # Run the async main function asyncio.run(main()) Bright Data API-ක සූදානම් නිෂ්පාදන සමඟ, ඔබට නිෂ්පාදන සූදානම්, ව්යාපාරික මට්ටමේ "සංස්කරණය සහ ආකෘතිය" වැඩපිළිවෙළ ක්රියාත්මක කර ගත හැකිය Python කේතය 50 කට වඩා අඩු රේඛාවකින්! ප් රතිඵල මෙම ලිපිය තුළ, ඔබ දත්ත pipelines සහ AI වැඩ ප්රවණතා යාවත්කාලීන, පරිගණක, සහ විශ්වාසදායක තොරතුරු මත රඳා පවතී ඇයි බලන්න. මෙම දත්ත රැස් කිරීම සඳහා විශ්වාසදායක ක්රමයක් වන්නේ AI ආකෘතිය, ක්රියාත්මකව උසස් තත්ත්වයේ, තහවුරු කළ හැකි වෙබ් දත්ත වෙත ප්රවේශ කිරීම සඳහා සම්මත ප්රවේශයක් බවට පත් වී ඇත. සෙවුම් එන්ජින් වල නිරීක්ෂණය කරන අතර, මෙම ප්රතිඵල වඩාත් වැදගත් ප්රතිඵල වලින් සංයුක්ත තොරතුරු ලබා දෙයි. Search සහ Extract සොයන්න අකුරු ️ මෙම ලිපිය තුළ පෙන්වනු ලැබේ පරිදි, Bright Data වැනි AI සූදානම් අන්තර්ජාල ස්කැප්ටින් පද්ධතිය භාවිතා කිරීම මෙම රැකියාව ක්රියාත්මක කිරීම ප්රයෝජනවත් හා පුළුල් කර ගත හැකිය. සහ එහි සියලු වෙබ් දත්ත විසඳුම් පරීක්ෂා! Start a Bright Data free trial today Bright Data Free Trial අද ආරම්භ කරන්න මෙම ලිපිය HackerNoon Business Blogging වැඩසටහන හරහා ප්රකාශයට පත් කර ඇත. මෙම ලිපිය HackerNoon Business Blogging වැඩසටහන හරහා ප්රකාශයට පත් කර ඇත.