البحث والتخزين: لماذا يهم هذا نموذج AI ، والمحاضرات والمثال

معظم شركات الذكاء الاصطناعي، والطائرات ML، والطرق العملية لتعزيز الذكاء الاصطناعي، والأنظمة البحثية العميقة، والحركات القرار التي تدير البيانات لا تنجح لأن النماذج سيئة. وبالطبع، فإن البيانات ترغب في أن تكون قديمة، خارج السياق، غير قابلة للتحقق، أو كل ثلاثة في وقت واحد.هذا هو المشكلة الأساسية. في هذه المقالة سوف ترى ما يعني في الواقع، كيف يعمل تحت القفص، لماذا يهم أكثر من معظم الناس يعتقدون، وكيفية تنفيذها في نهاية المطاف مع مثال ملموس! البحث و استخراج الحاجة إلى معلومات آمنة وموضوعية وموثوقة ومحققة وبحسب Statista، يتم إنتاج 402.74 مليون تريابايت من البيانات كل يوم. هذه البيانات تدفق إلى شبكة الإنترنت، والمخزونات البيانات، والمخزونات التحليلية، والأقمار الصناعية على نطاق من الصعب حقا التفكير فيه. ولكن هنا هو المقصود: المزيد من البيانات لا يعني البيانات أفضل! في هذا القسم ، من غير الواقعي أن نعتقد أن كل شيء يمثل الواقع - أو أنه يمكن حتى أن يكون موثوقا في البداية ... لا تزال الشركات تتخذ القرارات التجارية والإتصالات التلقائية والاتصالات التي تديرها الذكاء الاصطناعي على أساس البيانات هذه وعندما تكون المصدر مسبوقًا أو غير كافيًا أو خطأً بسيطًا، فإن الإدراك الذي تم إنشاؤه لا يمكن أن يكون موثوقًا. هذا هو بالضبط السبب في أن الماجستير في إدارة البيانات يهتمون، والشركات في الهندسة الذكية تمنح الإجابة الإيجابية لكنها غير صحيحة، والطائرات البيانات لا تزال في الإنتاج. في معظم الحالات الحقيقية ، ليس المشكلة في النموذج أو الأدوات أو التطبيق. سواء كنت تتعامل مع تدفق عمل تحليلات الكلاسيكية أو وكالة AI مستقلة بالكامل، كل شيء يعتمد على جودة البيانات المصدرة. أزهار السياق التحقق من بعد كل شيء، إذا كنت لا تعرف هذه البيانات جاءت من أو تم جمعها ، لا يمكنك الاعتماد على النتيجة بشكل واقعي. أين عندما هذا السؤال الحقيقي. كيف تتمكن من العثور على معلومات موثوقة تلقائيا، ذات الصلة مع وظيفة معينة، وتتعلق بالتأكيد من مصدرها؟ كيف تتمكن من العثور على معلومات موثوقة تلقائيا، ذات الصلة مع وظيفة معينة، وتتعلق بالتأكيد من مصدرها؟ هذا هو المكان الذي ماذا تريدين؟ إزالة النسخ! Search and Extract البحث والتخزين: ما هو ولماذا هو الحل "البحث والتحميل" هو عملية للحصول على معلومات حديثة، قابلة للتحقق، ومترابطة من شبكة الإنترنت . المعايير في الواقع في المستوى العالي، فإنه يعمل في خطوات منفصلة: البحث: يقوم النظام بإجراء البحث على شبكة الإنترنت الحية على محركات البحث مثل Google لتحديد المصادر الأكثر إثارة للاهتمام والموثوق بها لمسألة معينة. استخراج: من النتائج البحثية، يحدد النظام الأكثر أهمية URL، يزور هذه الصفحات، ويحصل على المحتوى أو البيانات الأكثر فاعلية منها.هذا قد يشمل حقائق، الإحصاءات، الإحصاءات، أو المعلومات الهيكلية التي تم تحليلها من الصفحة. هذا النموذج مفيد بشكل خاص في التطبيقات ذات الصلة بالأجهزة الذكية، مثل العلامات الذكية. وتستخدم أيضاً لتطبيقات التعلم الآلي التقليدية، والتحقق من الحقيقة، والهبوط في البيانات. أنظمة RAG أنظمة RAG الهدف النهائي من نموذج "بحث وإزالة" هو حل التحديات البيولوجية الحديثة من خلال التأكد من أن المعلومات التي يتم جمعها هي: أسرع ، حيث تأتي البيانات العامة على شبكة الإنترنت من البحثات على شبكة الإنترنت الأخيرة ، والتي يمكن أن تشمل أحدث المعلومات والأخبار. معادلة ، لأن المعلومات متوافقة بشكل وثيق مع الموضوعات المحددة في سؤال البحث. يمكن التحقق من ذلك ، حيث تأتي البيانات مباشرة من صفحات الويب المحددة ، مع URLs التي يمكن لأي شخص الوصول إليها والتحقق منها. كيف يعمل البحث والتخزين؟ على المستوى العالي ، يمكن جمع "بحث وإخراج" مع عملية العمل التالية: يتم استخراجها بشكل عام من الوثائق أو مجموعات البيانات أو مصادر معلومات معينة باستخدام AI / ML. هذا هو ما يحدث عادة في إثراء الذكاء الاصطناعي، والتحقق من البيانات، وتطبيقات عمل RAG، أو التطبيقات البحثية العميقة. بغض النظر عن المصدر ، يتم نقل المواضيع التي يمكن البحث عنها إلى جزء "البحث" ، حيث يقوم حل API SERP بتحقيق البحث الإلكتروني التلقائي على محركات البحث الهدفية. بعد إرسال نتائج البحث ، يمكنك أيضًا النظر في جميع صفحات الويب المرسلة أو تسجيل فقط هذه المواقع ذات الصلة باستخدام AI / ML أو قواعد صارمة (على سبيل المثال ، الحفاظ على صفحات من مراكز محددة أو لغات أو معايير أخرى). عند التركيز على العديد من الأسئلة البحثية في وقت واحد (مثل الأسئلة المختلفة أو صفحات متعددة على نفس الأسئلة) ، قد تحتاج إلى تشغيل ألغاز إعادة تقييم مخصصة. يتم إرسال البريد الإلكتروني المختار إلى القفص "استخراج"، حيث يتوفر خدمة استخراج الويب على كل صفحة واستخراج المعلومات الرئيسية. بعد ذلك ، دعونا نستعرض الخدمات التي تأتي في اللعبة في مراحل "البحث" و "الخروج" ، على التوالي! البحث محركات البحث مثل Google ، Bing ، DuckDuckGo ، Baidu ، و Yandex حماية SERPs (صفحات نتائج محركات البحث) مع الحد الأدنى من الأسعار و CAPTCHAs لتجنب التغييرات التلقائية. الطريقة الأكثر موثوقية لإجراء المرحلة "البحث" هي باستخدام حل API SERP. هذه الخدمات تظهر نقاط النهاية لتشغيل المهام البحثية في الزاوية باستخدام البنية التحتية التي تم تصميمها لتنفيذ إجراءات التوسع والتحكم بالبنوك الخاصة بك. ويعزز البحث العالمي من خلال شبكة بروكس من أكثر من 150 مليون IP في 195 بلدا، ويمكن أن يعود البيانات SERP المحددة بالكامل في JSON، ويقدم العديد من خيارات التصفح، ويعزز التكامل في أي بيانات أو خطوط ML باستخدام طلبات HTTP القياسية، فضلا عن أكثر من 50 إطارًا ومركبات عمل المنشآت الذكية. API SERP لـ Bright Data API SERP لـ Bright Data وبالإضافة إلى ذلك، فإن API SERP من Bright Data يتيح لك تشغيل عدد لا محدود من طلبات البحث في الوقت نفسه. وهذا يعني أنه يمكنك العثور على الآلاف من النتائج خلال مرحلة "البحث". ثم يمكنك مسحها وتحديدها وفقا لمتطلباتك في مراحل لاحقة من عملية "البحث والتخزين" بشكل عام (كما ذكرت سابقا). إخراج ️ إن استخراج البيانات على شبكة الإنترنت هو الجزء الأكثر صعوبة. السبب هو أن كل موقع على شبكة الإنترنت مختلف، وحتى الصفحات داخل نفس المجال يمكن أن تتبع التصوير المختلف، وتصوير البيانات، والتحقق المنطقي. هذا يجعل الوصول ببرنامجية إلى محتوياتها صعوبة للغاية. بالإضافة إلى ذلك، فإن المواقع ترغب في اتخاذ تدابير مكافحة الحفر للحماية من بيانات شبكة الإنترنت العامة القيمة. هذا يتطلب خدمات من طرف ثالث تتيح لك الوصول إلى المحتوى من صفحات الويب بشكل موثوق، بغض النظر عن مدى حمايةها، وبغض النظر عن احتياجاتك في التوسع. Web Unlocker API: API الذي يصل إلى أي صفحة ويب عامة بسهولة، وتتعامل مع البلوك، CAPTCHAs، إصبع الأصابع، والتركيز على بروكس تلقائيًا. API المتصفح: متصفح برمجي كامل متوافق مع Puppeteer، Selenium، Playwright، وفرق التحكم الأخرى، مع حل CAPTCHA المدمج وإدارة بروكس تلقائيا. تحميل Web Unlocker API تحميل Web Unlocker API بروتوكول API بروتوكول API Web Unlocker مثالي للاستفادة من محتوى الصفحات ، سواء في HTML خام أو Markdown المعدل AI ( بالنسبة إلى المواقع الديناميكية التي تتطلب التفاعل أو التمويل لتسجيل الوصول إلى البيانات التي تحتاجها ، فإن API Browser هو الأفضل. نموذج البيانات الكبير لـ LLM ingestion نموذج البيانات الكبير لـ LLM ingestion معًا ، تغطي هذه الحلول كل ما تحتاجه لخطوة "استخراج" من عملية عمل "بحث واستخراج". كيفية تنفيذ عملية البحث والتخزين في Python تعلم كيفية تنفيذ تدفق عمل "بحث واستخراج" واقعي في Python: لمرحلة البحث ، ستستخدم API SERP من Bright Data لإجراء البحث على شبكة الإنترنت الحية. لمرحلة استخراج ، ستعتمد على API Web Unlocker للحصول على محتوى من الصفحات المختارة. اقرأ المقال التالي أدناه! متطلبات لمتابعة هذه القسم الدراسي، تأكد من أنك لديك: Python 3.9+ يتم تثبيتها المحليًا. حساب البيانات الشهيرة المصممة مع منطقة API SERP و منطقة API Web Unlocker ، جنبا إلى جنب مع مفتاح API الخاص بك. إذا كنت لا تعرف كيفية البدء مع API SERP من Bright Data أو منتجات API Web Unlocker ، اتبع الوثائق الرسمية: إدراج في SERP API تطوير API Unlocker لـ Bright Data إدراج في SERP API إدراج في SERP API تطوير API Unlocker لـ Bright Data تطوير API Unlocker لـ Bright Data من الآن ، سنقوم بإدراج منطقة API SERP الخاصة بك ك و إلى منطقة API Web Unlocker الخاص بك كما : serp_api web_unlocker أيضا، تأكد من أن يتم تثبيت منطقة في وضع “Full JSON” في القسم “Data Format” داخل جدول التثبيت: serp_api بهذه الطريقة ، سوف يعود API Bright Data SERP النتائج SERP المحددة في شكل JSON ، مما يجعلها أسهل للتركيب والتصنيف مرة أخرى. في النهاية ، سوف يتم استخدامها لتحديد الطلبات إلى الخدمات المذكورة أعلاه! إنتاج مفتاح Bright Data API الخاص بك إنتاج مفتاح Bright Data API الخاص بك لتسريع هذه العملية ، سنرى أن لديك بالفعل مشروع Python مع بيئة إلكترونية في مكانها. الخطوة #1: استعداد للتوصل إلى خدمات البيانات الشهيرة من خلال API أسهل طريقة للتواصل مع خدمات Bright Data هي مباشرة من خلال API. أولاً، تثبيت عميل HTTP مستعد مثل AIOHTTP: pip install aiohttp بعد ذلك، تحدد الميزات التالية لبحث API SERP و API Web Unlocker، على التوالي: # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() ذاك تتصل الميزات إلى API Bright Data SERP لتنفيذ البحثات في Google وتسجيل نتائج JSON SERP المحددة (كما تم تخصيصها في حسابك). fetch_serp() كذلك ، يتصل إلى API Bright Data Web Unlocker للحصول على صفحات الويب. تشكيل النتائج ك Markdown ، والذي هو مثالي للاستخدام في LLMs. fetch_page() للحصول على مزيد من المعلومات حول العناوين والخصائص وكيفية استدعاء هذه APIين، انقر فوق الأدوات! : في الإنتاج ، تجنب تشفير مفتاح API Bright Data الخاص بك ، بدلاً من ذلك ، قم بتحميلها من متغيرات البيئة. Note جيدة! الآن لديك البلاستيك لتنفيذ مراحل "البحث" و "تخزين" في وظيفة : async import asyncio async def main(): # "Search and Extract" logic... # Run the async main function asyncio.run(main()) الخطوة #2: اجتذاب المرحلة دعونا نتوقع أن يكون لديك أطباء الذكاء الاصطناعي الذين يعتمدون على التكاملات MCP ويريدون إنتاج تقرير يظهر كيف يمكن أن تؤثر التغييرات المستقبلية في بروتوكولهم، أي ميزات جديدة ستكون متاحة، وما إلى ذلك. لا يمكن أن تساعد LLM المعتادة بشكل كبير مع هذه المهمة ، لأن MCP جديدًا تقريبًا ، كما تم تدريب معظم النماذج على البيانات القديمة ، وبالتالي ، تحتاج إلى موضوع البحث مثل: "new version of MCP" اتصل ببرنامج SERP API لتسجيل نتائج Google SERP المختبرة للبحث: # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) خلف السيناريوهات ، يتم إدخال الميزات إلى API SERP باستخدام سؤال البحث المذكور.إذا كنت بحاجة إلى معالجة العديد من الأسئلة، يمكنك إدخال استخدام المنافسة . fetch_serp() fetch_serp() asyncio.gather() : بصورة أساسية ، يعود API SERP إلى 10 نتائج لكل استفسار ، ولكن يمكن إعدادها لتعود إلى ما يصل إلى 100 نتائج. Note يعود النتائج Google SERP التي تم تحليلها ككتاب Python. الخصائص : fetch_serp() organic serp_ranking_results = serp_results.get("organic", []) طباعة نتائج البحث ، وكنت بحاجة إلى الحصول على النتائج مثل هذا: ملاحظة كيف تتوافق كل عنصر في مجموعة مع النتيجة التي ستحصل عليها من خلال البحث عن "إصدار جديد من MCP" على Google: الخطوة #3: تسجيل URL من الاهتمام من جميع النتائج SERP التي يتم إرسالها من خلال الدعوة إلى API SERP ، دعونا نتوقع أن تكون مهتمًا في ما يصل إلى أفضل 3 النتائج من " "المنطقة" (المنطقة الرسمية لمتصفح MCP) أيضا، دعونا نفكر في التصنيف الأصلي لـ Google كالتصنيف الذي ترغب في الحفاظ عليه. modelcontextprotocol.io نموذجالبرنامج.io فلترها كما يلي: # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_data_results: page_url = result.get("url") if "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) # Stop once reaching 3 results if len(page_url) == 3: break سيكون النتيجة قائمة من البريد الإلكتروني التي يمكن الوصول إليها خلال مرحلة "الخروج".في هذه العملية ، فإن البريد الإلكتروني المحدد هو: [ "http://blog.modelcontextprotocol.io/posts/2025-11-25-first-mcp-anniversary/", "https://modelcontextprotocol.io/development/roadmap", "https://modelcontextprotocol.io/specification/2025-11-25" ] حان الوقت لإزالة المعلومات من هذه الصفحات! الخطوة #4: اجتياز المرحلة الاستخراجية استخدامه وظيفة إرسال API Web Unlocker وتخزين ثلاثة صفحات مختارة في الشكل التالي: fetch_page() tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) : إذا كنت تتعامل مع موقع ديناميكي يتطلب التفاعل المستخدمي، استخراج البيانات من ذلك باستخدام تكنولوجيا تكنولوجيا التحكم في المتصفح مثل Playwright، التي يتم دمجها مع API Browser. Note سيكون النتيجة مجموعة تحتوي على المحتوى من كل صفحة الهدف. الوصول إلى المحتوى Markdown المغلقة من كل صفحة مع: markdown_pages = [page for page in web_page_results] تأكد من أن المجموعة تحتوي على تحديد الصفحات الأساسية: for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") في هذه الحالة ، فإن الناتج هو: هذا يتوافق مع إصدار Markdown لكل صفحة الهدف ، مما يعني أن API Web Unlocker كان قادرًا على تنفيذ استخراج البيانات على شبكة الإنترنت بنجاح ، بغض النظر عن أي تدابير مكافحة البوتات أو مكافحة الحفر. نظرًا إلى هذه البيانات السريعة والموضوعية والمحكمة، قم بتخزينها لمزيد من التحليل، وإرسالها إلى LLM للتعامل معها، واستخدامها لتحديد المواضيع الإضافية من الاهتمام، والاستمرار في البحوث العميقة، أو تطبيقها إلى العديد من حالات الاستخدام الأخرى. الخطوة الخامسة: الكود الكامل النسخة النهائية من المثال هو: # pip install aiohttp import asyncio import aiohttp import urllib.parse import json # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() async def main(): # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_results.get("organic", []): page_url = result.get("link") if page_url and "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) if len(pages_of_interest) == 3: break print("Pages to scrape:", pages_of_interest) # Extract phase: Scrape pages concurrently tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) # Access the content from each page markdown_pages = [page for page in web_page_results] print("Scraped page contents:") for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") # AI processing, RAG pipelines, or further workflows... # Run the async main function asyncio.run(main()) بفضل منتجات Bright Data API مستعدة، يمكنك تنفيذ عملية عمل فعالة، من نوعها في الشركات، مستعدة للإنتاج "بحث وتخزين" في أقل من 50 صفحة من رمز Python! النتيجة في هذه المقالة، شاهدت لماذا تعتمد قنوات البيانات وطبقات العمل الذكية على المعلومات المتجددة والموضوعية والموثوق بها.في النهاية، يؤدي الدخول الأفضل إلى نتائج أفضل، وخاصة في الأنظمة التي تديرها الذكاء الاصطناعي! طريقة موثوقة لتجميع هذه البيانات هي من خلال نموذج الذكاء الاصطناعي، الذي أصبح بشكل فعال نهجًا لمواصلة الوصول إلى بيانات شبكة الإنترنت ذات جودة عالية ويمكن التحقق منها. تلقائياً، تلقائياً، تلقائياً، تلقائياً، تلقائياً. الفصل يجلب المعلومات الهيكلية من أكثر النتائج ذات الصلة. البحث و استخراج البحث إخراج ️ كما أظهرت في هذه المقالة ، فإن استخدام منصة إزالة الشبكة ذاتية القيادة الذاتية مثل Bright Data يجعل تنفيذ هذا تدفق العمل فعالًا ومتناسقًا. استكشاف جميع حلول البيانات على شبكة الإنترنت! بدء تجربة تجريبية مجانية لـ Bright Data اليوم بدء تجربة تجريبية مجانية لـ Bright Data اليوم يتم نشر هذه المقالة من خلال برنامج HackerNoon Business Blogging. يتم نشر هذه المقالة من خلال برنامج HackerNoon Business Blogging.