ምርምር እና ውጭ: ይህ AI ሞዴል ምን ያህል ነው, ቶቶሪል, እና ምሳሌ

አብዛኞቹ ኤች ኤች ኤች ኤች, ML Pipelines, AI enrichment workflows, deep research systems, and data-driven decision engines don’t fail because the models are bad. በአጠቃላይ, ውሂብ በአብዛኛው ጊዜ የተመሠረተ ነው, የኮንክቶፕ, ያልተፈቀደ, ወይም ከሁለት ጊዜ ሁሉ. ይህ ዋና ችግር ነው. በዚህ ጽሑፍ ውስጥ ምን ይመልከቱ በእርግጥ ማለት ነው, እንዴት ወደ ካፒታል በመስመር ላይ ይሰራል, ነገር ግን አብዛኞቹ ሰዎች የሚፈልጉት በላይ ምን ያህል, እና እንዴት አንድ ትክክለኛ ምሳሌ ጋር መተግበሪያ መጨረሻ ወደ መጨረሻ ይጠቀማል! ምርምር እና ውጭ የምስክር ወረቀት, ደህንነቱ የተጠበቀ እና ማረጋገጫ የሚፈልጉ መረጃ በ Statista መሠረት, በየቀኑ በ 402.74 ሚሊዮን terabytes ውሂብ የተሰራ ነው ይህ ውሂብ በድር ላይ, ውሂብ መክተቻዎች, analytics stacks, እና pipelines ላይ በይነገጽ ላይ ይሰጣል. ነገር ግን እዚህ ትኩረት ነው: ተጨማሪ ውሂብ ጥሩ ውሂብ አይደለም! በዚህ ስዕል ላይ, ሁሉም ነገር ምናልባት ምናልባት ምናልባት ምናልባት ምናልባት ምናልባት ምናልባት ምናልባት ያረጋግጣል. ኩባንያዎች ደግሞ የንግድ ልምድ, አውቶማቲክስ, እና AI-driven calls ላይ የተመሠረተ ነው. ውሂብ ይህ እና አንድ ምንጮች ከባድ, የማይዝግ, ወይም ብቻ ከባድ ከባድ ነው ጊዜ ... ከባድ ላይ የተገነባው መውሰድ ተስማሚ ሊሆን አይችልም. እነርሱ ብቻ አስተማማኝ ይሆናል, ነገር ግን በእርግጥ በባድ! ይህ ብቻ የ LLMs, የ AI መተግበሪያዎች አስቸጋሪ ነገር ግን ያልተፈቀደ መልስ ይሰጣሉ, እና ውሂብ ቧንቧዎች በሽታም ምርት ውስጥ ተለዋዋጭ ነው. አብዛኞቹ እውነተኛ ሁኔታዎች ውስጥ, ችግር ሞዴል, መሣሪያዎች ወይም መተግበሪያ አይደለም. ይህ input data ነው! የ Classic analytics workflow ወይም አንድ ሙሉ በሙሉ ራስ-ሰር AI Agent ይጠቀማሉ, ሁሉም ነገር የኃይል ውሂብ ጥራት ላይ የተወሰነ ነው. አረንጓዴ መቆጣጠሪያ መጨረሻም, እርስዎ አይታወቁም ውሂብ ከሆኑ ወይም ይህ ምንድን ነው, እርስዎ ውጤታማ ሊሆን አይችልም. እንዴት ጊዜ ይህ እውነተኛ ጥያቄ ነው. እንዴት ትክክለኛውን መረጃ ማግኘት ይችላሉ, ይህም በአሁኑ ጊዜ ነው, አንድ ትክክለኛ ተግባር ጋር ተስማሚ ነው, እና በእርግጥ ወደ ምንጭ ጋር የተገናኙ ነው? እንዴት ትክክለኛውን መረጃ ማግኘት ይችላሉ, ይህም በአሁኑ ጊዜ ነው, አንድ ትክክለኛ ተግባር ጋር ተስማሚ ነው, እና በእርግጥ ወደ ምንጭ ጋር የተገናኙ ነው? ይህ የትኛው መኖሪያ ቤት መኖሪያ ቤት መኖሪያ ቤት መኖሪያ ቤት መኖሪያ ቤት መኖሪያ ቤት መኖሪያ ቤት መኖሪያ ቤት Search and Extract ማግኘት እና መውሰድ: ይህ ምን ነው እና ለምን ይህ መፍትሔ ነው “የተግበሪያ እና ውጭ” አንድ ነው የድር ላይ የቅርብ ጊዜ, ማረጋገጥ ይችላሉ, እና ጥንካሬ መረጃ ለማግኘት ሂደት . ይህ በዋናነት ቀላል, ነገር ግን በዋናነት በጣም ውጤታማ ነው. በእርግጥ መደበኛ በከፍተኛ ደረጃ ላይ, ይህ ሁለት ልዩ ደረጃዎች ውስጥ ይሰራል: ይህ ስርዓት በ Google እንደ የሽያጭ መሣሪያዎች ላይ የመስመር ላይ የመስመር ላይ የመስመር ላይ ማመልከቻ ይጠቀማል. ይህ ውሂብ ቧንቧንቧው የግል መረጃ ጋር ለመጀመር ይረዳል. የሙከራ ውጤቶች ከ, ስርዓት በጣም ተስማሚ URLs ይሰጣል, እነዚህ ገጾች ይጎብኙ, እና ከ እነርሱ ላይ በጣም አስፈላጊ ቁጥጥር ወይም ውሂብ ማግኘት ይችላሉ. ይህ ገጽ ላይ የተመሠረተ ወረቀት, ስቴትስቲክስ, ባህሪያት, ወይም የተመሠረተ መረጃ ያካትታል ሊሆን ይችላል. የሙከራ ውሂብ ከዚያም የፓይፕሊን ውስጥ የመጨረሻ ደረጃዎች ለማግኘት የተመሠረተ, አስተማማኝ ውሂብ ሊሆን ይችላል. ይህ ሞዴል በእያንዳንዱ AI-related መተግበሪያዎች, እንደ AI agents, እና የንግድ ደረጃ AI workflows. Also, it is applicable to traditional machine learning, fact-checking, and data enrichment pipelines. RAG ስርዓቶች RAG ስርዓቶች የ "የተግበሪያ እና ውጭ" ሞዴል መጨረሻው መጨረሻው መጨረሻው መጨረሻው መጨረሻው መጨረሻው መጨረሻው መጨረሻው መጨረሻው መጨረሻው መጨረሻው መጨረሻው መጨረሻው መጨረሻው መጨረሻው መጨረሻው መጨረሻው መጨረሻው መጨረሻው መጨረሻው መጨረሻው መጨረሻው መጨረሻው መጨረሻው መጨረሻው መጨረሻው መጨረሻው መጨረሻው መጨረሻው መጨረሻው መጨረሻው መጨረሻው መጨረሻው መጨረሻው መጨረሻው መጨረሻው መጨረሻው መጨረሻው መጨረሻው. የምስክር ወረቀት ቻይና ቻይና ቻይና ቻይና ቻይና ቻይና ቻይና ቻይና ቻይና ቻይና ቻይና ቻይና ቻይና ቻይና ቻይና ቻይና ቻይና የኮንክቴክቲክ , መረጃ በቁማር ላይ የተወሰነ ጥያቄዎች ጋር ተስማሚ ነው. የምስክር ወረቀት , በይነገጽ በይነገጽ በይነገጽ በይነገጽ በይነገጽ በይነገጽ በይነገጽ በይነገጽ በይነገጽ በይነገጽ በይነገጽ በይነገጽ በይነገጽ በይነገጽ . እንዴት ማመልከቻ እና ማከማቻ ይሰራል? በከፍተኛ ደረጃ ላይ, "የተግበሪያ እና ውጭ" የሚከተለው የሥራ ሂደት ጋር ያካትታል: ይህ የሥራ ፍጥነት ለማግኘት ውሂብ አንድ ዝርዝር ነው. እነዚህ አብዛኛውን ጊዜ የ Dokuments, Datasets, ወይም AI / ML በመጠቀም የተወሰነ መረጃ ምንጮች ከኮንክቶቶቶቲክ ውጭ ያካትታሉ. ይህ በአጠቃላይ በ AI ጥቅል, ውሂብ ማረጋገጫ, RAG workflows, ወይም ጥልቅ ምርምር መተግበሪያዎች ውስጥ ይሆናል. ማንኛውም ምንጮች ነው, የቁማር ገጾች ወደ "የቁማር" ክፍሎች ይሰጣሉ, በ SERP API መፍትሔ በ target search engines ላይ አውቶማቲክ አውቶማቲክ ገጾች ይሰጣል. የቁማር ውጤቶች ለመውሰድ በኋላ, እርስዎ ሁሉንም የተመሠረተ የድር ገጾች መውሰድ ይችላሉ ወይም በ AI / ML ወይም ጠንካራ ግምገማዎች በመጠቀም በጣም ተስማሚ የድር ገጾች ብቻ ማጣሪያ ይችላሉ (እን.ኤ.ኤ., ገጾች የተወሰነ ገጾች, ቋንቋዎች ወይም ሌሎች ግምገማዎች). ከሁሉም ጥያቄዎች ወይም ከሁሉም ገጾች ለሁሉም ገጾች (አንድ ጊዜ ከሁሉም ጥያቄዎች ወይም ከሁሉም ገጾች ለሁሉም ገጾች) በመተግበሪያ ጊዜ, እርስዎ የ Google ወይም ከሁሉም የሽያጭ መሣሪያዎች በመተግበሪያ ላይ የተመሠረተ ዝርዝር ለ SEO የተሻሻለው ሊሆን ይችላል. በ "Extract" አዝማሚያ ወደ የተመሠረተ URLs ይሰጣሉ, በዚያ አንድ የድር መቁረጥ አገልግሎት እያንዳንዱ ገጽ ላይ ያግኙ እና ዋና መረጃን ያግኙ. ይህ የተመሠረተ ውሂብ ቀዝቃዛ, የኮንክቶቲክ እና የሚፈልጉትን መሠረት ማረጋገጥ ይችላሉ. ቀጣይ, በ "የተግበሪያ" እና "የተግበሪያ" ደረጃዎች ውስጥ ተጫዋች አገልግሎቶችን ይመልከቱ! እንደ Google, Bing, DuckDuckGo, Baidu, እና Yandex እንደ የ Such Engine Results Pages (SERPs) እና CAPTCHAs ለመከላከያ ለመከላከያ የኮምፒውተር መቁረጫ ይጠቀማሉ ፡፡ በዚህ ምክንያት, የ SERPs መቁረጫ ለመሞከር የሚፈልጉትን የኮምፒውተር መቁረጫ ቦቶዎች በአብዛኛው ጊዜ መቁረጫ ናቸው የ "የተግበሪያ" ደረጃ ለመጀመር በጣም አስተማማኝ መንገድ የ SERP API መፍትሔ ይጠቀማል. እነዚህ አገልግሎቶች በኮምፒውተር ውስጥ የኮምፒውተር ሥራዎችን ለመጀመር መጨረሻን ይሰጣሉ. በ 195 አገሮች ውስጥ ከ 150 ሚሊዮን IPs በላይ በዓለም አቀፍ የኮክሲ አውታረ መረብ በመጠቀም የዓለም አቀፍ የኮክሲ ማመልከቻዎችን ያቀርባል, በ JSON ውስጥ ሙሉ በሙሉ የተመሠረተ SERP ውሂብ ማመልከቻ ይችላሉ, ብዙ ገጽ ማመልከቻ አማራጮች ይሰጣሉ, እና መደበኛ HTTP ጥያቄዎች በመጠቀም ማንኛውም ውሂብ ወይም ML ፓይፕሊን ውስጥ መተግበሪያዎችን ያቀርባል, እንዲሁም ከ 50+ የ AI አግኝተዋል ብራንድ እና workflows ያቀርባል. Bright Data የ SERP API አጠቃቀም Bright Data የ SERP API አጠቃቀም በተጨማሪም, Bright Data's SERP API ይሰጣል, እርስዎ በተደጋጋጋሚ የቁማር ፍለጋዎች አንድ አነስተኛ ቁጥር መጀመር ይችላሉ. ይህ ማለት በ "የቁማር" ፍለጋ ውስጥ ብዙ ውጤቶችን ማግኘት ይችላሉ. ከዚያም, በ "የቁማር እና መቁረጥ" ሂደት (እነዚህ በፊት የተወሰነ) የቅርብ ጊዜ ደረጃዎች ውስጥ እርስዎ ፍላጎትዎን መሠረት ማጣሪያ እና ማተም ይችላሉ. አግኙን ️ ሁሉም የድር ጣቢያዎች የተለያዩ ናቸው, እና ደግሞ ተመሳሳይ መኖሪያ ቤት ውስጥ ገጾች የተለያዩ ንድፍ, ውሂብ-የተመልከት, እና ውሂብ መውሰድ ትክክለኛነት የሚከተሉ ይችላሉ. ይህ የኮምፒውተር ቁጥጥር ለማግኘት በጣም አስቸጋሪ ነው. በተጨማሪም, ጣቢያዎች አስፈላጊ የግል የድር ውሂብ ለመጠበቅ መከላከያ መተግበሪያዎች መተግበሪያዎች ይጠቀማሉ. ይህ የድር ገጾች ንጥረትን በእርግጥ ማረጋገጥ ይችላሉ, እና የእርስዎን ፍላጎቶች በከፍተኛ ፍጥነት ይፈልጋሉ. በዚህ መስመር ላይ, Bright Data በገበያ ላይ ምርጥ የድር መቁረጥ መፍትሔ አቅራቢዎች መካከል አንዱ ነው, እንደ መሳሪያዎች: Web Unlocker API: እያንዳንዱ የግል የድር ገጽን በቀላሉ ያግኙን, ብልኮች, CAPTCHAs, መግቢያ እና proxy rotation ራስ-ሰር ያግኙን. መተግበሪያ API: በ Puppeteer, Selenium, Playwright እና ሌሎች አውቶማቲክ ቅርጸቶች ጋር ተኳሃኝ ሙሉ በሙሉ የተመሠረተ የኮምፒውተር መተግበሪያ, የተመሠረተ CAPTCHA መፍትሔ እና አውቶማቲክ proxy አስተዳደር ያቀርባል. የድር Unlocker API የድር Unlocker API አግኝተዋል አግኝተዋል Web Unlocker በ HTML ወይም AI-ready Markdown (a) ውስጥ ገጽ ይዘት ለማግኘት ትክክለኛ ነው. የዲሚኒካዊ ጣቢያዎች የሚፈልጉትን ውሂብ ለማግኘት መተግበሪያ ወይም አውቶማቲክነት የሚፈልጉትን ጣቢያዎች ለ, Browser API የተሻለ ነው. great data format for LLM ingestion ለ LLM ingestion ጥሩ መረጃ ቅርጸት እነዚህ ሁለት መፍትሔዎች አብዛኛውን ጊዜ የ "የተግበሪያ" workflow "የተግበሪያ" workflow "የተግበሪያ" workflow "የተግበሪያ" workflow "የተግበሪያ" workflow "የተግበሪያ" workflow "የተግበሪያ" workflow "የተግበሪያ" workflow "የተግበሪያ" workflow "የተግበሪያ" workflow "የተግበሪያ" workflow "የተግበሪያ" workflow "የተግበሪያ" workflow "የተግበሪያ" workflow "የተግበሪያ" workflow "የተግበሪያ" workflow "የተግበሪያ" workflow "የተግበሪያ" workflow "የተግበሪያ" workflow "የተግበሪያ" workflow " በ Python ውስጥ የ Workflow ማግኘት እና ማውረድ እንዴት እንደሚቻል በ Python ውስጥ አንድ እውነተኛ "የተግበሪያ እና ውጭ" workflow እንዴት መተግበሪያ እንደሚቻል ያንብቡ: የሽያጭ ደረጃ ለ, Bright Data's SERP API ይጠቀማል live web searches ለመጀመር. የ Extract ደረጃ ለ, የ Web Unlocker API ይጠቀማል እና ከክፍያ ገጾች ውሂብ ለማግኘት. ዝቅተኛ መጀመሪያ ላይ ይመልከቱ! ግምገማዎች በዚህ tutorial ክፍል ጋር ተከተል ለማረጋገጥ, እርስዎ አለን: Python 3.9+ በአካባቢው ላይ የተጫኑ ነው. አንድ የ SERP API አካባቢ እና አንድ Web Unlocker API አካባቢ ጋር የተመሠረተ Bright Data መለያ, እንዲሁም የእርስዎ የ API Key ጋር. Bright Data's SERP API ወይም Web Unlocker API ምርቶች ጋር መጀመር እንዴት እንደሚፈልጉ ከሆነ, የክፍያ ወረቀት ይመልከቱ: የ SERP API አጠቃቀም Bright Data’s Unlocker API መተግበሪያዎች የ SERP API አጠቃቀም የ SERP API አጠቃቀም Bright Data’s Unlocker API መተግበሪያዎች Bright Data’s Unlocker API መተግበሪያዎች አሁን ጀምሮ, የእርስዎን SERP API አካባቢን እንደ ይመልከቱ እና በ Web Unlocker API አካባቢ እንደ : serp_api web_unlocker በተጨማሪም ያረጋግጡ የ "Full JSON" ሞዴል በ "Data Format" ክፍል ውስጥ በ Configuration Table ውስጥ ይመዝገቡ: serp_api በዚህ መንገድ, Bright Data SERP API በ JSON ቅርጸት የተመሠረተ SERP ውጤቶች ይመልከቱ, እነሱን ማጣሪያ እና re-ranking ቀላል ያደርጋል. መጨረሻም . ይህ ከላይ የተወሰነ አገልግሎቶችን ለማረጋገጥ ይጠቀማል! የእርስዎ Bright Data API Key ለመፍጠር የእርስዎ Bright Data API Key ለመፍጠር የፕሮጀክት ፍጥነት ለማግኘት, የ Python ፕሮጀክት በይነገጽ ላይ የተመሠረተ ነው. ደረጃ #1: በ API በኩል ብርሃን ውሂብ አገልግሎቶች ለመግዛት ይመዝገቡ በመጀመሪያ, እንደ AIOHTTP እንደ የ HTTP ደንበኞች መጫን: pip install aiohttp ቀጣይ, የ SERP API እና የ Web Unlocker API ይደውሉ የሚከተሉት ሁለት ተግባሮች ያካትታል: # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() የ አጠቃቀም በ Google searches ይሰራል እና በ JSON SERP ውጤቶችን (እርስዎ መለያ ውስጥ የተመሠረተ) ማውረድ ይችላሉ. fetch_serp() ተመሳሳይ, የ Bright Data Web Unlocker API ወደ የድር ገጾች ለማግኘት ይገናኙ. ውፅዓት እንደ Markdown ለመፍጠር, ይህም LLMs ውስጥ መውሰድ የሚፈልጉት ነው. fetch_page() ተጨማሪ መረጃዎች, ፓራሚተሮች, እና እነዚህ ሁለት APIs እንዴት ይደውሉ, በ docs ይመልከቱ! : ምርት ውስጥ, የ Bright Data API Key hardcoding መከላከያ ይችላሉ. instead, load it from an environment variable. Note አሁን በ "የተግበሪያ" እና "የተግበሪያ" ክፍሎች ለመተግበሪያ ላይ መዋቅር ክፍሎች አላቸው ተግባር : async import asyncio async def main(): # "Search and Extract" logic... # Run the async main function asyncio.run(main()) ደረጃ #2: የ extract ደረጃ ይሰራል እርስዎ የ MCP መተግበሪያዎች ላይ የተመሠረተ የቴክኒካዊ መሐንዲሶች አለዎት እና የፕሮቶኮል ውስጥ የሚከተሉትን ልማት እንዴት ሊሆን ይችላል, ማንኛውም አዲስ ባህሪያት ማግኘት ይሆናል, ወዘተ ማረጋገጫን ይፈልጋሉ. መደበኛ LLMs በዚህ ሥራ ላይ ብዙ እርዳታ አይችልም, MCP ተመሳሳይ አዲስ ነው እና አብዛኛዎቹ ሞዴሎች ከብዙ ጊዜ የቅርብ ጊዜ ውሂብ ላይ የተጠናቀቀ ነበር. "new version of MCP" የ SERP API ይደውሉ, ይህ የ Google SERP ውጤቶችን ለማግኘት: # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) ከባድ ስዕሎች, የ የ SERP API መተግበሪያው በመጠቀም የተመሠረተ የሽያጭ ጥያቄ ይጠቀማል. ከብዙ ጥያቄዎችን ለማስተካከል የሚፈልጉ ከሆነ, ይደውሉ የኮምፒዩተር መጠቀም . fetch_serp() fetch_serp() asyncio.gather() : የተመሠረተ ጊዜ, SERP API እያንዳንዱ ጥያቄ ላይ 10 ውጤቶችን ይሰጣል, ነገር ግን እስከ 100 ውጤቶችን ይሰጣል. Note የ Google SERP ውጤቶች እንደ Python የኮምፒውተር ይመልከቱ. አግኝቷል : fetch_serp() organic serp_ranking_results = serp_results.get("organic", []) የሽያጭ ውጤቶች ይታያል, እና እንደዚህ ተመሳሳይ ውፅዓት ያገኛሉ: በ Google ላይ "የ MCP አዲስ ስሪት" ለመፈለግ የሚፈልጉት ውጤት በእያንዳንዱ ዘዴን እንዴት ተመሳሳይ ነው ያውቃሉ: ደረጃ #3: Interest URLs ማጣሪያ በ SERP API Call የተመሠረተ ሁሉንም SERP ውጤቶች ውስጥ, ከ "የ" ከ "የ" ከ "የ" ከ "የ" ከ "የ" ከ "የ" ከ "የ" ከ "የ" ከ "የ" ከ "የ" ከ "የ" ከ "የ" ከ "የ" ከ "የ" ከ "የ" ከ "የ" ከ "የ" ከ "የ" ከ "የ" ከ "የ" ከ "የ" ከ "የ" ከ" ከ "የ" ከ "የ" ከ" ከ "የ" ከ "የ" ከ "የ" ከ" ከ "የ" ከ "የ" ከ "የ" ከ" ከ "የ" ከ "የ" ከ "የ" ከ" ከ "" “Domain” (MCP ስኬታማዊው የ MCP ስኬታማዊው ስኬታማነት) በተጨማሪም, የ Google የመጀመሪያው ደረጃ እንደ እርስዎ ለመጠበቅ የሚፈልጉት ደረጃ ይመልከቱ. modelcontextprotocol.io አጠቃቀም modelcontextprotocol.io አጠቃቀም እነዚህን ቅርጸት ይመዝገቡ: # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_data_results: page_url = result.get("url") if "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) # Stop once reaching 3 results if len(page_url) == 3: break በ "Extract" ደረጃ ውስጥ መግዛት የሚፈልጉ URLs ዝርዝር ይሆናል. በዚህ ጊዜ, የተመሠረተ URLs ናቸው: [ "http://blog.modelcontextprotocol.io/posts/2025-11-25-first-mcp-anniversary/", "https://modelcontextprotocol.io/development/roadmap", "https://modelcontextprotocol.io/specification/2025-11-25" ] የዚህ ገጾች ከ መረጃ ማውረድ ጊዜ! ደረጃ #4: የ extract ደረጃ ይሰራል አጠቃቀም የ "Web Unlocker API" ይደውሉ እና በ 3 የተመሠረተ ገጾች ጋር ተለዋዋዋጭ ይሸፍናል: fetch_page() tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) : እርስዎ ተጠቃሚ መተግበሪያዎችን ያስፈልጋቸዋል የዲሚኒክ ጣቢያ ጋር ተስማሚ ከሆነ, Playwright እንደ browser automation ቴክኖሎጂ ይጠቀማል, በ Browser API ጋር ተስማሚ. ተጨማሪ መመሪያ ለማግኘት, የdocs ይመልከቱ. Note እያንዳንዱ ገጽዎን ውሂብ ያካትታሉ. የ Markdown ውሂብ እያንዳንዱ ገጽዎን ያካትታሉ: markdown_pages = [page for page in web_page_results] ከባድ ገጾች በ Markdown መለያዎችን ያካትታሉ: for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") በዚህ ሁኔታ, ውፅዓት ነው: ይህ እያንዳንዱ የተመሠረተ ገጽ የ Markdown ስሪት ጋር ተስማሚ ነው, ይህም Web Unlocker API ማንኛውም የ anti-bot ወይም anti-scraping መተግበሪያዎችን በማንኛውም, የድር ውሂብ ማውረድ ውጤታማ ሊሆን ይችላል. ይህ ቀዝቃዛ, ግምገማዎች, እና ማረጋገጥ ይችላሉ ውሂብ ያካትታሉ, ተጨማሪ ልምድ ለማግኘት ያተኮሩ, መተግበሪያ ለ LLM ይሰጣሉ, ተጨማሪ ጥያቄዎች ለማግኘት ይጠቀማሉ, ተጨማሪ ምርምር ጋር ይጀምራል, ወይም ሌሎች ብዙ ውሂብ ሁኔታዎች ላይ ያተኮሩ. ደረጃ #5: ሙሉ ኮድ ምሳሌው መጨረሻው ስሪት ነው: # pip install aiohttp import asyncio import aiohttp import urllib.parse import json # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() async def main(): # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_results.get("organic", []): page_url = result.get("link") if page_url and "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) if len(pages_of_interest) == 3: break print("Pages to scrape:", pages_of_interest) # Extract phase: Scrape pages concurrently tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) # Access the content from each page markdown_pages = [page for page in web_page_results] print("Scraped page contents:") for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") # AI processing, RAG pipelines, or further workflows... # Run the async main function asyncio.run(main()) የ Bright Data API-የተግበሪያ ተስማሚ ምርቶች ጋር, በ Python ኮድ ከ 50 መስመሮች ውስጥ ውጤታማ, የንግድ ደረጃ, ምርት-የተግበሪያ ተስማሚ "የተግበሪያ እና ውጭ" የሥራ ሂደት መተግበሪያ ይችላሉ! መጨረሻው በዚህ ልጥፍ ውስጥ, የ Data Pipelines እና የ AI workflows በይነገጽ, በጽሑፍ እና በይነገጽ መረጃ ላይ የተመሠረተ ምን ያህል ይመልከቱ. በመጨረሻም, የተሻለ መተግበሪያዎች በይነገጽ ስርዓቶች በይነገጽ የተሻለ መተግበሪያዎችን ያደርጋሉ! ይህ መረጃ ለማግኘት አንድ ተስማሚ መንገድ ነው የ AI ሞዴል, ይህም ከፍተኛ ጥራት, ማረጋገጥ የሚችል የድር ውሂብ ለማግኘት ውጤታማ አንድ መደበኛ መተግበሪያ ነው. የሽያጭ መሣሪያዎች ላይ የሽያጭ መሣሪያዎች ይጠቀማሉ, ነገር ግን የፕላስቲክ ልምድ በጣም አስፈላጊ ውጤቶች ላይ የተመሠረተ መረጃ ያካትታል. ምርምር እና ውጭ አግኙን ️ በዚህ ጽሑፍ ውስጥ የሚታወቀው እንደ, Bright Data እንደ አንድ AI-የተቀየቅ የድር መቁረጥ መድረክ በመጠቀም ይህ workflow መተግበሪያን ተስማሚ እና ተስማሚ ነው. እና ሁሉንም የድር መረጃ መፍትሔዎችን ይመልከቱ! Start a Bright Data free trial today የ Bright Data ነፃ ፈተናን ዛሬ ይጀምራል ይህ ጽሑፍ በ HackerNoon Business Blogging ፕሮግራም በኩል የተለጠፈው ነው. ይህ ጽሑፍ በ ፕሮጀክቶች የኮርፖሬሽን ጦማር