البحث والتخزين: لماذا يهم هذا نموذج AI ، والمحاضرات والمثال

معظم شركات الذكاء الاصطناعي، والطائرات ML، والطرق العملية لتعزيز الذكاء الاصطناعي، والأنظمة البحثية العميقة، والحركات القرار التي تدير البيانات لا تنجح لأن النماذج سيئة. وبالطبع، فإن البيانات ترغب في أن تكون قديمة، خارج السياق، غير قابلة للتحقق، أو كل ثلاثة في وقت واحد.هذا هو المشكلة الأساسية. في هذه المقالة سوف ترى ما يعني في الواقع، كيف يعمل تحت القفص، لماذا يهم أكثر من معظم الناس يعتقدون، وكيفية تنفيذها في نهاية المطاف مع مثال ملموس! البحث و استخراج الحاجة إلى معلومات آمنة وموضوعية وموثوقة ومحققة وبحسب Statista، يتم إنتاج 402.74 مليون تريابايت من البيانات كل يوم. هذه البيانات تدفق إلى شبكة الإنترنت، والمخزونات البيانات، والمخزونات التحليلية، والأقمار الصناعية على نطاق من الصعب حقا التفكير فيه. ولكن هنا هو المقصود: المزيد من البيانات لا يعني البيانات أفضل! في هذا القسم ، من غير الواقعي أن نعتقد أن كل شيء يمثل الواقع - أو أنه يمكن حتى أن يكون موثوقا في البداية ... لا تزال الشركات تتخذ القرارات التجارية والإتصالات التلقائية والاتصالات التي تديرها الذكاء الاصطناعي على أساس البيانات هذه وعندما تكون المصدر مسبوقًا أو غير كافيًا أو خطأً بسيطًا، فإن الإدراك الذي تم إنشاؤه لا يمكن أن يكون موثوقًا. هذا هو بالضبط السبب في أن الماجستير في إدارة البيانات يهتمون، والشركات في الهندسة الذكية تمنح الإجابة الإيجابية لكنها غير صحيحة، والطائرات البيانات لا تزال في الإنتاج. في معظم الحالات الحقيقية ، ليس المشكلة في النموذج أو الأدوات أو التطبيق. سواء كنت تتعامل مع تدفق عمل تحليلات الكلاسيكية أو وكالة AI مستقلة بالكامل، كل شيء يعتمد على جودة البيانات المصدرة. أزهار السياق التحقق من بعد كل شيء، إذا كنت لا تعرف هذه البيانات جاءت من أو تم جمعها ، لا يمكنك الاعتماد على النتيجة بشكل واقعي. أين عندما هذا السؤال الحقيقي. كيف تتمكن من العثور على معلومات موثوقة تلقائيا، ذات الصلة مع وظيفة معينة، وتتعلق بالتأكيد من مصدرها؟ كيف تتمكن من العثور على معلومات موثوقة تلقائيا، ذات الصلة مع وظيفة معينة، وتتعلق بالتأكيد من مصدرها؟ هذا هو المكان الذي ماذا تريدين؟ إزالة النسخ! Search and Extract البحث والتخزين: ما هو ولماذا هو الحل "البحث والتحميل" هو عملية للحصول على معلومات حديثة، قابلة للتحقق، ومترابطة من شبكة الإنترنت . المعايير في الواقع في المستوى العالي، فإنه يعمل في خطوات منفصلة: البحث: يقوم النظام بإجراء البحث على شبكة الإنترنت الحية على محركات البحث مثل Google لتحديد المصادر الأكثر إثارة للاهتمام والموثوق بها لمسألة معينة. استخراج: من النتائج البحثية، يحدد النظام الأكثر أهمية URL، يزور هذه الصفحات، ويحصل على المحتوى أو البيانات الأكثر فاعلية منها.هذا قد يشمل حقائق، الإحصاءات، الإحصاءات، أو المعلومات الهيكلية التي تم تحليلها من الصفحة. هذا النموذج مفيد بشكل خاص في التطبيقات ذات الصلة بالأجهزة الذكية، مثل العلامات الذكية. وتستخدم أيضاً لتطبيقات التعلم الآلي التقليدية، والتحقق من الحقيقة، والهبوط في البيانات. agentic RAG systems agentic RAG systems الهدف النهائي من نموذج "بحث وإزالة" هو حل التحديات البيولوجية الحديثة من خلال التأكد من أن المعلومات التي يتم جمعها هي: أسرع ، حيث تأتي البيانات العامة على شبكة الإنترنت من البحثات على شبكة الإنترنت الأخيرة ، والتي يمكن أن تشمل أحدث المعلومات والأخبار. معادلة ، لأن المعلومات متوافقة بشكل وثيق مع الموضوعات المحددة في سؤال البحث. يمكن التحقق من ذلك ، حيث تأتي البيانات مباشرة من صفحات الويب المحددة ، مع URLs التي يمكن لأي شخص الوصول إليها والتحقق منها. كيف يعمل البحث والتخزين؟ على المستوى العالي ، يمكن جمع "بحث وإخراج" مع عملية العمل التالية: يتم استخراجها بشكل عام من الوثائق أو مجموعات البيانات أو مصادر معلومات معينة باستخدام AI / ML. هذا هو ما يحدث عادة في إثراء الذكاء الاصطناعي، والتحقق من البيانات، وتطبيقات عمل RAG، أو التطبيقات البحثية العميقة. بغض النظر عن المصدر ، يتم نقل المواضيع التي يمكن البحث عنها إلى جزء "البحث" ، حيث يقوم حل API SERP بتحقيق البحث الإلكتروني التلقائي على محركات البحث الهدفية. بعد إرسال نتائج البحث ، يمكنك أيضًا النظر في جميع صفحات الويب المرسلة أو تسجيل فقط هذه المواقع ذات الصلة باستخدام AI / ML أو قواعد صارمة (على سبيل المثال ، الحفاظ على صفحات من مراكز محددة أو لغات أو معايير أخرى). عند التركيز على العديد من الأسئلة البحثية في وقت واحد (مثل الأسئلة المختلفة أو صفحات متعددة على نفس الأسئلة) ، قد تحتاج إلى تشغيل ألغاز إعادة تقييم مخصصة. يتم إرسال البريد الإلكتروني المختار إلى القفص "استخراج"، حيث يتوفر خدمة استخراج الويب على كل صفحة واستخراج المعلومات الرئيسية. بعد ذلك ، دعونا نستعرض الخدمات التي تأتي في اللعبة في مراحل "البحث" و "الخروج" ، على التوالي! البحث Search engines like Google, Bing, DuckDuckGo, Baidu, and Yandex protect their SERPs (Search Engine Results Pages) with rate limits and CAPTCHAs to prevent automated scraping. Because of that, scraping bots that try to fetch SERPs directly are often blocked. 🚫 الطريقة الأكثر موثوقية لإجراء المرحلة "البحث" هي باستخدام حل API SERP. هذه الخدمات تظهر نقاط النهاية لتشغيل المهام البحثية في الزاوية باستخدام البنية التحتية التي تم تصميمها لتنفيذ إجراءات التوسع والتحكم بالبنوك الخاصة بك. ويعزز البحث العالمي من خلال شبكة بروكس من أكثر من 150 مليون IP في 195 بلدا، ويمكن أن يعود البيانات SERP المحددة بالكامل في JSON، ويقدم العديد من خيارات التصفح، ويعزز التكامل في أي بيانات أو خطوط ML باستخدام طلبات HTTP القياسية، فضلا عن أكثر من 50 إطارًا ومركبات عمل المنشآت الذكية. API SERP لـ Bright Data API SERP لـ Bright Data Plus, Bright Data’s SERP API lets you run an unlimited number of search queries in parallel. This means you can retrieve thousands of results during the “Search” phase. Then, you can filter and re-rank them according to your needs in the later stages of the overall “Search and Extract” process (as mentioned earlier). إخراج ️ إن استخراج البيانات على شبكة الإنترنت هو الجزء الأكثر صعوبة. السبب هو أن كل موقع على شبكة الإنترنت مختلف، وحتى الصفحات داخل نفس المجال يمكن أن تتبع التصوير المختلف، وتصوير البيانات، والتحقق المنطقي. هذا يجعل الوصول ببرنامجية إلى محتوياتها صعوبة للغاية. بالإضافة إلى ذلك، فإن المواقع ترغب في اتخاذ تدابير مكافحة الحفر للحماية من بيانات شبكة الإنترنت العامة القيمة. هذا يتطلب خدمات من طرف ثالث تتيح لك الوصول إلى المحتوى من صفحات الويب بشكل موثوق، بغض النظر عن مدى حمايةها، وبغض النظر عن احتياجاتك في التوسع. : An API that accesses any public web page effortlessly, handling blocks, CAPTCHAs, fingerprinting, and proxy rotation automatically. تحميل Web Unlocker API API المتصفح: متصفح برمجي كامل متوافق مع Puppeteer، Selenium، Playwright، وفرق التحكم الأخرى، مع حل CAPTCHA المدمج وإدارة بروكس تلقائيا. تحميل Web Unlocker API Web Unlocker API بروتوكول API بروتوكول API Web Unlocker مثالي للاستفادة من محتوى الصفحات ، سواء في HTML خام أو Markdown المعدل AI ( بالنسبة إلى المواقع الديناميكية التي تتطلب التفاعل أو التمويل لتسجيل الوصول إلى البيانات التي تحتاجها ، فإن API Browser هو الأفضل. نموذج البيانات الكبير لـ LLM ingestion نموذج البيانات الكبير لـ LLM ingestion معًا ، تغطي هذه الحلول كل ما تحتاجه لخطوة "استخراج" من عملية عمل "بحث واستخراج". How to Implement a Search and Extract Workflow in Python تعلم كيفية تنفيذ تدفق عمل "بحث واستخراج" واقعي في Python: لمرحلة البحث ، ستستخدم API SERP من Bright Data لإجراء البحث على شبكة الإنترنت الحية. لمرحلة استخراج ، ستعتمد على API Web Unlocker للحصول على محتوى من الصفحات المختارة. اقرأ المقال التالي أدناه! Prerequisites لمتابعة هذه القسم الدراسي، تأكد من أنك لديك: Python 3.9+ يتم تثبيتها المحليًا. حساب البيانات الشهيرة المصممة مع منطقة API SERP و منطقة API Web Unlocker ، جنبا إلى جنب مع مفتاح API الخاص بك. إذا كنت لا تعرف كيفية البدء مع API SERP من Bright Data أو منتجات API Web Unlocker ، اتبع الوثائق الرسمية: إدراج في SERP API تطوير API Unlocker لـ Bright Data إدراج في SERP API إدراج في SERP API تطوير API Unlocker لـ Bright Data Introduction to Bright Data’s Unlocker API من الآن ، سنقوم بإدراج منطقة API SERP الخاصة بك ك و إلى منطقة API Web Unlocker الخاص بك كما : serp_api web_unlocker أيضا، تأكد من أن يتم تثبيت منطقة في وضع “Full JSON” في القسم “Data Format” داخل جدول التثبيت: serp_api بهذه الطريقة ، سوف يعود API Bright Data SERP النتائج SERP المحددة في شكل JSON ، مما يجعلها أسهل للتركيب والتصنيف مرة أخرى. Lastly, 🔑. That’ll be used to authenticate requests to the services mentioned above! generate your Bright Data API key إنتاج مفتاح Bright Data API الخاص بك To speed up the process, we’ll presume you already have a Python project set up with a virtual environment in place. الخطوة #1: استعداد للتوصل إلى خدمات البيانات الشهيرة من خلال API أسهل طريقة للتواصل مع خدمات Bright Data هي مباشرة من خلال API. أولاً، تثبيت عميل HTTP مستعد مثل AIOHTTP: pip install aiohttp بعد ذلك، تحدد الميزات التالية لبحث API SERP و API Web Unlocker، على التوالي: # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() ذاك تتصل الميزات إلى API Bright Data SERP لتنفيذ البحثات في Google وتسجيل نتائج JSON SERP المحددة (كما تم تخصيصها في حسابك). fetch_serp() كذلك ، يتصل إلى API Bright Data Web Unlocker للحصول على صفحات الويب. تشكيل النتائج ك Markdown ، والذي هو مثالي للاستخدام في LLMs. fetch_page() للحصول على مزيد من المعلومات حول العناوين والخصائص وكيفية استدعاء هذه APIين، انقر فوق الأدوات! : في الإنتاج ، تجنب تشفير مفتاح API Bright Data الخاص بك ، بدلاً من ذلك ، قم بتحميلها من متغيرات البيئة. Note جيدة! الآن لديك البلاستيك لتنفيذ مراحل "البحث" و "تخزين" في وظيفة : async import asyncio async def main(): # "Search and Extract" logic... # Run the async main function asyncio.run(main()) الخطوة #2: اجتذاب المرحلة دعونا نتوقع أن يكون لديك أطباء الذكاء الاصطناعي الذين يعتمدون على التكاملات MCP ويريدون إنتاج تقرير يظهر كيف يمكن أن تؤثر التغييرات المستقبلية في بروتوكولهم، أي ميزات جديدة ستكون متاحة، وما إلى ذلك. Regular LLMs cannot help much with that task, as MCP is relatively new and most models were trained on older data. Thus, you need a search topic like: "new version of MCP" Call the SERP API to retrieve parsed Google SERP results for that search query: # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) خلف السيناريوهات ، يتم إدخال الميزات إلى API SERP باستخدام سؤال البحث المذكور.إذا كنت بحاجة إلى معالجة العديد من الأسئلة، يمكنك إدخال concurrently using . fetch_serp() fetch_serp() asyncio.gather() : By default, the SERP API returns 10 results per query, but it can be configured to return up to 100 results. Note يعود النتائج Google SERP التي تم تحليلها ككتاب Python. الخصائص : fetch_serp() organic serp_ranking_results = serp_results.get("organic", []) طباعة نتائج البحث ، وكنت بحاجة إلى الحصول على النتائج مثل هذا: ملاحظة كيف تتوافق كل عنصر في مجموعة مع النتيجة التي ستحصل عليها من خلال البحث عن "إصدار جديد من MCP" على Google: الخطوة #3: تسجيل URL من الاهتمام Out of all SERP results returned by the SERP API call, assume you’re interested in up to the top 3 results from the “ "المنطقة" (المنطقة الرسمية لمتصفح MCP) أيضا، دعونا نفكر في التصنيف الأصلي لـ Google كالتصنيف الذي ترغب في الحفاظ عليه. نموذجالبرنامج.io نموذجالبرنامج.io Filter them as follows: # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_data_results: page_url = result.get("url") if "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) # Stop once reaching 3 results if len(page_url) == 3: break سيكون النتيجة قائمة من البريد الإلكتروني التي يمكن الوصول إليها خلال مرحلة "الخروج".في هذه العملية ، فإن البريد الإلكتروني المحدد هو: [ "http://blog.modelcontextprotocol.io/posts/2025-11-25-first-mcp-anniversary/", "https://modelcontextprotocol.io/development/roadmap", "https://modelcontextprotocol.io/specification/2025-11-25" ] حان الوقت لإزالة المعلومات من هذه الصفحات! الخطوة #4: اجتياز المرحلة الاستخراجية استخدامه وظيفة إرسال API Web Unlocker وتخزين ثلاثة صفحات مختارة في الشكل التالي: fetch_page() tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) : If you’re dealing with a dynamic site that requires user interaction, extract data from it using a browser automation technology like Playwright, integrated with the Browser API. For more guidance, take a look at the docs. Note سيكون النتيجة مجموعة تحتوي على المحتوى من كل صفحة الهدف. الوصول إلى المحتوى Markdown المغلقة من كل صفحة مع: markdown_pages = [page for page in web_page_results] Verify that the array actually contains the Markdown of the target pages: for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") في هذه الحالة ، فإن الناتج هو: هذا يتوافق مع إصدار Markdown لكل صفحة الهدف ، مما يعني أن API Web Unlocker كان قادرًا على تنفيذ استخراج البيانات على شبكة الإنترنت بنجاح ، بغض النظر عن أي تدابير مكافحة البوتات أو مكافحة الحفر. Given this fresh, contextual, and verifiable data, store it for further analysis, pass it to an LLM for processing, use it to detect additional topics of interest, continue with deeper research, or apply it to many other use cases. Mission complete! الخطوة الخامسة: الكود الكامل النسخة النهائية من المثال هو: # pip install aiohttp import asyncio import aiohttp import urllib.parse import json # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() async def main(): # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_results.get("organic", []): page_url = result.get("link") if page_url and "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) if len(pages_of_interest) == 3: break print("Pages to scrape:", pages_of_interest) # Extract phase: Scrape pages concurrently tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) # Access the content from each page markdown_pages = [page for page in web_page_results] print("Scraped page contents:") for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") # AI processing, RAG pipelines, or further workflows... # Run the async main function asyncio.run(main()) بفضل منتجات Bright Data API مستعدة، يمكنك تنفيذ عملية عمل فعالة، من نوعها في الشركات، مستعدة للإنتاج "بحث وتخزين" في أقل من 50 صفحة من رمز Python! النتيجة في هذه المقالة، شاهدت لماذا تعتمد قنوات البيانات وطبقات العمل الذكية على المعلومات المتجددة والموضوعية والموثوق بها.في النهاية، يؤدي الدخول الأفضل إلى نتائج أفضل، وخاصة في الأنظمة التي تديرها الذكاء الاصطناعي! طريقة موثوقة لتجميع هذه البيانات هي من خلال نموذج الذكاء الاصطناعي، الذي أصبح بشكل فعال نهجًا لمواصلة الوصول إلى بيانات شبكة الإنترنت ذات جودة عالية ويمكن التحقق منها. تلقائياً، تلقائياً، تلقائياً، تلقائياً، تلقائياً. الفصل يجلب المعلومات الهيكلية من أكثر النتائج ذات الصلة. البحث و استخراج البحث Extract ⛏️ As shown throughout this article, using an AI-ready web scraping platform like Bright Data makes implementing this workflow both practical and scalable. and explore all its web data solutions! Start a Bright Data free trial today Start a Bright Data free trial today يتم نشر هذه المقالة من خلال برنامج HackerNoon Business Blogging. يتم نشر هذه المقالة من خلال برنامج مدونات الأعمال HackerNoon