Search and Extract: Why This AI Pattern Matters, Tutorial, and Example

רוב סוכני ה-AI, צינורות ML, זרימי עבודה העשירים את ה-AI, מערכות מחקר עמוקות ומנועי החלטות מבוססי נתונים לא נכשלו כי המודלים גרועים. באופן ספציפי, הנתונים נוטים להיות מעודכנים, מחוץ לקשר, בלתי ניתן לאמת, או כל השלושה בבת אחת.זה הבעיה הבסיסית. במאמר זה תראו מה למעשה, זה אומר, איך זה עובד תחת הכובע, למה זה חשוב יותר מאשר רוב האנשים חושבים, וכיצד ליישם את זה סוף סוף עם דוגמה קונקרטית! חיפוש ומוצא הצורך במידע טרי, קונסקטואלי ואמין, מאומת על פי Statista, 402.74 מיליון טרהבייט של נתונים נוצרים מדי יום. נתונים אלה זורמים לתוך האינטרנט, מחסני נתונים, חבילות אנליטיקה, וצינורות בקנה מידה שקשה לומר בכנות. אבל הנה ההצלחה: יותר נתונים לא אומר נתונים טובים יותר! באותו טווח, זה לא מציאותי להניח שכל דבר משקף את המציאות – או שאפילו אפשר לסמוך עליה במקום הראשון... חברות עדיין מקבלות החלטות עסקיות, אוטומציות ושיחות מבוססות על AI נתונים זה וכאשר המקור מיושן, לא מלא, או פשוט טועה פשוט ... התובנות שנבנו עליו לא יכול להיות אמין. זוהי בדיוק הסיבה מדוע LLMs לשמוע, סוכני AI לתת תשובות משכנעות אבל לא נכונות, ו צינורות נתונים בשקט להיכשל בייצור. ברוב המקרים בעולם האמיתי, הבעיה אינה המודל, הכלים או היישום. בין אם אתה מפעיל זרימת עבודה אנליטית קלאסית או סוכן AI אוטונומי לחלוטין, הכל תלוי באיכות הנתונים המקור. טריים הקשר בודק אחרי הכל, אם אתה לא יודע הנתונים מגיעים או זה היה אוסף, אתה לא יכול לסמוך על התוצאה באופן מציאותי. איפה מתי זו השאלה האמיתית. כיצד ניתן להשיג באופן אמין מידע שהוא מעודכן, רלוונטי למשימה מסוימת, וניתן להוכיח שהוא מחובר למקור? כיצד ניתן להשיג באופן אמין מידע שהוא מעודכן, רלוונטי למשימה מסוימת, וניתן להוכיח שהוא מחובר למקור? זהו המקום שבו הפורמט מגיע!בואו נפרק את זה. Search and Extract Search and Extract: מה זה ולמה זה הפתרון “חיפוש וחיפוש” הוא תהליך של איסוף מידע מעודכן, ניתן לאמת, עשיר בהקשר מהאינטרנט הוא פשוט במבנה, אך יעיל ביותר בפועל. De facto סטנדרטים ברמה גבוהה, הוא פועל בשני צעדים נפרדים: חיפוש: המערכת מבצעת חיפוש אינטרנט חי במנועי חיפוש כמו Google כדי למצוא את המקורות הרלוונטיים והאמינים ביותר עבור שאלה נתונה. תמצית: מתוך תוצאות החיפוש, המערכת מזהה את כתובות ה-URL הרלוונטיות ביותר, מבקרת בדפים אלה ומחזירה מהם את התוכן או הנתונים המועילים ביותר.זה עשוי לכלול עובדות, סטטיסטיקות, הגדרות או מידע מובנה שנבדק מהדף. דפוס זה שימושי במיוחד ביישומים הקשורים ל- AI, כגון סוכנים AI, בנוסף, הוא חל על לימוד מכונה מסורתי, בדיקה של עובדות, ו צינורות להעשיר נתונים. מערכות RAG מערכות RAG המטרה הסופית של דפוס "חיפוש ומחלץ" היא להתמודד עם האתגרים של הנתונים המודרניים על ידי הבטחת המידע שנאסף הוא: טריים , כמו נתוני האינטרנט הציבורי נזרק מחיפושים אחרונים באינטרנט, אשר יכול לכלול את המידע והחדשות האחרונים. בהקשר זה, מכיוון שהמידע מתואם באופן הדוק עם הנושאים שצוינו בפרוייקט החיפוש. ניתן לאמת, שכן הנתונים מגיעים ישירות מדפי אינטרנט ספציפיים, עם כתובות URL שכולם יכולים לבקר ולבדוק. איך Search and Extract עובד? ברמה גבוהה, ניתן לסכם את "חיפוש ומחלץ" עם זרימת העבודה הבאה: הכניסה עבור זרימת העבודה הזאת היא רשימה של נושאים שניתן לחפש.בדרך כלל הם מופקרים מסמכים, קבוצות נתונים, או מקורות מידע נתונים באמצעות AI / ML.זה מה שקורה בדרך כלל בעשיית AI, אימות נתונים, זרימת עבודה RAG, או יישומים של מחקר עמוק. ללא קשר למקור, הנושאים שאפשר לחפש מועברים לרכיב "חיפוש", שם פתרון API SERP מבצע חיפושים אוטומטיים באינטרנט במנועי החיפוש היעד.אחרי שקיבלת את תוצאות החיפוש, תוכל לשקול את כל דפי האינטרנט שהוחזרו או לסנן רק את הדפים הרלוונטיים ביותר באמצעות AI / ML או כללים קפדניים (לדוגמה, שמירה על דפים מתוך תחומים ספציפיים, שפות או קריטריונים אחרים). בעת מיקוד חיפושים מרובים בו זמנית (אם זה שאלות שונות או דפים מרובים עבור אותה שאלה), ייתכן שיהיה עליך להפעיל אלגוריתם מיוחד של דירוג מחדש.הדירוג המסופק על ידי Google או כל מנוע חיפוש הוא אופטימי עבור SEO, אשר לא יכול לשקף מה חשוב למקרה השימוש שלך. כתובות ה-URL שנבחרו נשלחות לאחר מכן לחלק "חלץ", שם שירות סריקת אינטרנט נכנס לכל דף ומוציא את המידע העיקרי. לאחר מכן, בואו נבחן את השירותים המופיעים בשלבי "חיפוש" ו"חלץ" בהתאמה! חיפוש מנועי החיפוש כמו Google, Bing, DuckDuckGo, Baidu, ו Yandex להגן על SERPs שלהם (דפים תוצאות מנוע החיפוש) עם גבולות שיעור ו CAPTCHAs כדי למנוע סריקה אוטומטית. הדרך האמינה ביותר לבצע את שלב "חיפוש" היא באמצעות פתרון API SERP. השירותים האלה חושפים נקודות קצה כדי להפעיל משימות חיפוש בענן באמצעות תשתית שנועדה לטפל באפשרויות הגדלה ואנטי-בוט עבורכם. הוא תומך בחיפושים גלובליים באמצעות רשת פרוקיס של יותר מ-150 מיליון כתובות IP ברחבי 195 מדינות, יכול להחזיר נתונים SERP שנבדקו במלואם ב- JSON, מציע אפשרויות רבות של דפדפנים, ותומך באינטגרציה בכל נתונים או צינור ML באמצעות בקשות HTTP סטנדרטיות, כמו גם יותר מ-50 מסגרות סוכני AI ותהליכים עבודה. API SERP של Bright Data API SERP של Bright Data בנוסף, API SERP של Bright Data מאפשר לך להפעיל מספר בלתי מוגבל של שאילתות חיפוש במקביל. זה אומר שאתה יכול לקבל אלפי תוצאות במהלך שלב "חיפוש". תגיות ️ החילוץ של נתונים באינטרנט הוא החלק הקשה ביותר.הסיבה לכך היא שכל אתר אינטרנט שונה, ואפילו דפים באותו תחום יכולים לעקוב אחר ביצועים שונים, ויזואליזציה של נתונים ורוגיקה של חיפוש.זה הופך את הגישה התוכנתית לתוכן שלהם למורכבות למדי.בנוסף לכך, אתרי אינטרנט נוטים לאמץ אמצעים אנטי-קריסה כדי להגן על הנתונים הציבוריים היקרים שלהם. זה דורש שירותים של צד שלישי המאפשרים לך לגשת באופן אמין לתוכן של דפי אינטרנט, לא משנה כמה מוגנים הם, ולא משנה את הצרכים הגמישות שלך. Web Unlocker API: API שמגיעה לכל דף אינטרנט ציבורי בקלות, מתמודדת עם בלוקים, CAPTCHAs, טביעת אצבע, ו- proxy rotation באופן אוטומטי. API של דפדפן: דפדפן ענן המארח במלואו, תואם עם Puppeteer, Selenium, Playwright ופרמגמים אוטומטיים אחרים, עם פתרון CAPTCHA מובנה וניהול פרוקיסי אוטומטי. אתר Unlocker API אתר Unlocker API דפדפן API דפדפן API Web Unlocker הוא אידיאלי לקבלת תוכן דף, בין אם ב-HTML גלם או מוכן AI Markdown (א) עבור אתרים דינמיים הדורשים אינטראקציה או אוטומציה כדי לגשת לנתונים הדרושים, API הדפדפן מתאים יותר. פורמט נתונים גדול עבור LLM ingestion פורמט נתונים גדול עבור LLM ingestion יחד, שתי הפתרונות האלה מכסות את כל מה שנדרש לשלב "מחיקה" של זרימת העבודה "חיפוש ומחיקה". כיצד ליישם חיפוש ומחלץ זרימת עבודה ב- Python למד כיצד ליישם זרימת עבודה מציאותית "חיפוש ומחלץ" ב- Python: בשלב החיפוש, תשתמש API SERP של Bright Data כדי להפעיל חיפושים באינטרנט חי. בשלב החילוץ, תתבסס על ה-Web Unlocker API כדי להוריד ולפרסם תוכן מהדפים שנבחרו. עקוב אחר ההקדמה למטה! התנאים כדי לעקוב אחר חלק ההוראה הזה, ודא שיש לך: Python 3.9+ מותקן באופן מקומי. חשבון Bright Data מוגדר עם אזור API SERP ו- Web Unlocker API, יחד עם מפתח API שלך. אם אינך מכיר כיצד להתחיל עם API SERP של Bright Data או מוצרי API של Web Unlocker, בצע את התיעוד הרשמי: תגית: SERP API עקבו אחרי Bright Data Unlocker API תגית: SERP API תגית: SERP API עקבו אחרי Bright Data Unlocker API עקבו אחרי Bright Data Unlocker API מעתה ואילך, אנו מתייחסים לאזור API SERP שלך כ אזור ה-Web Unlocker API : serp_api web_unlocker כמו כן, ודא כי אזור זה מוגדר במצב "Full JSON" בסעיף "Data Format" בתוך טבלת ההגדרות: serp_api בדרך זו, API של Bright Data SERP יחזיר תוצאות SERP מעודכנות בפורמט JSON, מה שהופך אותן קלות יותר לסנן ולדרג מחדש. לבסוף , זה ישמש לאמת בקשות לשירותים שהוזכרו לעיל! הגדרת מפתח API Bright Data הגדרת מפתח API Bright Data כדי להאיץ את התהליך, נניח שיש לך כבר פרויקט Python מותקן עם סביבת וירטואלית במקום. שלב #1: התכוננו לגשת לשירותי נתונים בהירים באמצעות API הדרך הקלה ביותר להתחבר לשירותי Bright Data היא ישירות באמצעות ה-API שלה. pip install aiohttp לאחר מכן, להגדיר את שתי הפונקציות הבאות כדי להתקשר ל- SERP API ו- Web Unlocker API, בהתאמה: # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() The הפונקציה מתחברת ל-Bright Data SERP API כדי לבצע חיפושים ב-Google ולחפש תוצאות JSON SERP שנבדקו (כפי שהוגדרו בחשבון שלך). fetch_serp() כמו כן, הוא מתחבר ל- Bright Data Web Unlocker API כדי לאסוף דפי אינטרנט.Configuring the output as Markdown, which is ideal for ingestion into LLMs. fetch_page() לקבלת מידע נוסף על ארגומנטים, פרמטרים וכיצד להתקשר לשני API אלה, ראה את המסמכים! בתהליך הייצור, הימנעו מלהכתיב את מפתח ה- API Bright Data במקום להוריד אותו ממשתנה סביבתי. Note עכשיו יש לך את הבניינים ליישם את השלבים "חיפוש" ו" לחלץ" ב תפקוד : async import asyncio async def main(): # "Search and Extract" logic... # Run the async main function asyncio.run(main()) שלב #2: לבצע את שלב החילוץ נניח שיש לך סוכני AI המסתמכים על אינטגרציות MCP ורוצים לייצר דוח המראה כיצד שינויים עתידיים בפרוטוקול עשויים להשפיע עליהם, אילו תכונות חדשות יהיו זמינות, וכן הלאה. LLM רגיל לא יכול לעזור הרבה עם המשימה הזאת, כמו MCP הוא חדש יחסית ורוב המודלים היו מאומנים על נתונים ישנים. "new version of MCP" התקשר ל- SERP API כדי לקבל תוצאות Google SERP שנבדקו עבור שאלת החיפוש: # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) מאחורי הסצנות, ה הפונקציה קוראת ל- SERP API באמצעות השאילתת החיפוש המוצעת.אם אתה צריך לטפל בשאלות מרובות, באפשרותך להתקשר שימוש תחרותי . fetch_serp() fetch_serp() asyncio.gather() כברירת מחדל, API SERP מחזיר 10 תוצאות לשאילתה, אך ניתן להגדיר אותה כדי להחזיר עד 100 תוצאות. Note החזרת תוצאות Google SERP כמו מילון Python. תכונות : fetch_serp() organic serp_ranking_results = serp_results.get("organic", []) להדפיס את תוצאות החיפוש, ואתה צריך לקבל תוצאת דומה לזה: שימו לב כיצד כל אלמנט במסדרון מתאים בדיוק לתוצאה שתקבלו על ידי חיפוש "גרסה חדשה של MCP" ב- Google: שלב #3: לסנן את ה-URL של עניין מתוך כל תוצאות SERP שהוחזרו על ידי שיחת API SERP, נניח שאתה מעוניין עד 3 התוצאות העליונות מ " כמו כן, בואו נחשוב על הדירוג המקורי של Google כמו הדירוג שברצונך לשמור. תגית: פרוטוקול IO תגית: פרוטוקול IO לסנן אותם כדלקמן: # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_data_results: page_url = result.get("url") if "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) # Stop once reaching 3 results if len(page_url) == 3: break התוצאה תהיה רשימה של כתובות URL לגישה במהלך שלב "חלץ". [ "http://blog.modelcontextprotocol.io/posts/2025-11-25-first-mcp-anniversary/", "https://modelcontextprotocol.io/development/roadmap", "https://modelcontextprotocol.io/specification/2025-11-25" ] הגיע הזמן לחלץ מידע מהדפים האלה! שלב #4: לבצע את שלב החילוץ השתמשו ב פונקציה להתקשר ל-Web Unlocker API ולגרד את שלושת הדפים שנבחרו במקביל: fetch_page() tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) : אם אתה מתמודד עם אתר דינמי הדורש אינטראקציה משתמש, לחלץ נתונים ממנו באמצעות טכנולוגיית אוטומציה דפדפן כמו Playwright, משולב עם API הדפדפן. Note התוצאה תהיה תבנית המכילה את התוכן של כל דף היעד.הגישה לתוכן Markdown שלא נסגר מכל דף באמצעות: markdown_pages = [page for page in web_page_results] בדוק אם המסדרון מכיל למעשה את Markdown של הדפים היעד: for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") במקרה זה, התוצאה היא: זה מתאים לגירסת Markdown של כל דף ממוקד, מה שאומר שה-Web Unlocker API היה מסוגל לבצע חיסול נתונים אינטרנט בהצלחה, ללא קשר לכל אמצעי אנטי-בוט או אנטי-החיסול במקומו. בהתחשב נתונים טריים, קונסקטואליים ואמתניים אלה, לשמור אותו לניתוח נוסף, להעביר אותו LLM לעיבוד, להשתמש בו כדי לזהות נושאים נוספים של עניין, להמשיך עם מחקר מעמיק יותר, או ליישם אותו במקרים רבים אחרים של שימוש. שלב #5: הקוד המלא הגרסה הסופית של הדוגמה היא: # pip install aiohttp import asyncio import aiohttp import urllib.parse import json # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() async def main(): # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_results.get("organic", []): page_url = result.get("link") if page_url and "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) if len(pages_of_interest) == 3: break print("Pages to scrape:", pages_of_interest) # Extract phase: Scrape pages concurrently tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) # Access the content from each page markdown_pages = [page for page in web_page_results] print("Scraped page contents:") for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") # AI processing, RAG pipelines, or further workflows... # Run the async main function asyncio.run(main()) הודות למוצרים מוכנים ל- API של Bright Data, תוכלו ליישם זרימת עבודה יעילה, ברמה ארגונית, מוכנה לייצור "חיפוש ומחיקה" בפחות מ-50 שורות של קוד Python! מסקנה במאמר זה, הסתכלת על הסיבה מדוע צינורות נתונים ותהליכי עבודה של AI תלויים במידע מעודכן, קונצרטקטיבי ואמין, ובסופו של דבר, כניסות טובות יותר מובילות ליצירות טובות יותר, במיוחד במערכות מבוססות AI! אחת הדרכים האמינות לאסוף נתונים אלה היא באמצעות דפוס ה-AI, שהפך למעשה לגישה סטנדרטית לגישה לנתונים באיכות גבוהה וניתן לאמת. מנוע החיפוש מתמקד במנוע החיפוש, בעוד השלב מוציא מידע מובנה מהתוצאות הרלוונטיות ביותר. חיפוש ומוצא חיפוש תגיות ️ כפי שמוצג במאמר זה, שימוש בפלטפורמת סריקת אינטרנט מוכנה ל- AI כמו Bright Data הופך את יישום זרימת העבודה הזאת ליעילה וגדולה. ולחקור את כל פתרונות הנתונים האינטרנט שלה! Start a Bright Data free trial today עקבו אחרי Bright Data Free Trial Today מאמר זה פורסם באמצעות תוכנית HackerNoon Business Blogging. מאמר זה פורסם דרך התכנית HackerNoon Business Blogging