
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 د "متخصصانو" هوش مصنوعي ممکن است فکر کنند بازیابی داده برای RAG حل شده است به محض اینکه سیستم API جستجوی عامل یک جستجوی کش شده را اجرا کند. به نظر خوب می رسد، اما واقعیت این است که این رویکرد به طرز دردناکی محدود است... بازار به سرعت حرکت می کند، زیرا هر ثانیه تریلیون ها بایت اطلاعات جدید در سراسر جهان ظاهر می شود. تکیه بر داده های قدیمی برای بینش فوری کافی نیست. راه حل چیست؟ عاملان هوش مصنوعی را به ابزارهایی برای کشف منابع تازه و متنی از وب مجهز کنید (🤫  : اینجاست که یک API کشف وارد می شود!) اسپویلر در این مقاله، خواهید دید که چرا کشف زنده وب برای عاملان هوش مصنوعی حیاتی است و چگونه با بینش های عملی به آن دست یابید. بیایید شروع کنیم! چرا جستجوی کش شده کافی نیست بیشتر تیم های هوش مصنوعی فرض می کنند که به محض اینکه یک شاخص یا جستجوی کش شده در جای خود قرار گرفت، بازیابی را حل کرده اند. شما اسناد خود، صفحات کراول شده خود، پایگاه داده براق خود را دارید. همه به طور مرتب ذخیره شده، آماده ارائه به عاملان هوش مصنوعی، گردش کارها یا خطوط لوله شما! مشکل اینجاست:   به خصوص در چشم انداز امروز که به شدت متصل و ابتدا دیجیتالی است. 🌐 جهان ساکن نمی ایستد... صفحات جدید ظاهر می شوند، روندها شعله ور می شوند و محو می شوند، منابع خاصی ظاهر می شوند، و محتوای موجود به روز می شود، گاهی اوقات چندین بار در روز (یا حتی هر چند ثانیه! ⏱️). در چنین محیطی که تشنه اطلاعات است، اگر عامل هوش مصنوعی شما هنوز از کراول دیروز یا شاخص هفته گذشته (حتی از موتورهای جستجوگر قابل اعتماد مانند گوگل) استفاده می کند،  به طور کامل نسبت به تمام اطلاعات تازه و مرتبط کور است! تکیه صرف بر جستجوی کش شده/شاخص شده مانند تلاش برای مسیریابی در شهری با نقشه قدیمی است 🗺️. مطمئناً، شما پاسخ هایی دریافت خواهید کرد، اما خیابان ها، میانبر ها و نقاط داغ جدیدی را که بیشترین اهمیت را دارند از دست خواهید داد. دانش فوری نیاز به  ! دارد (که نمی توان آن را توسط یک سیستم API جستجوی عامل عمومی مدیریت کرد، بلکه نیاز به   دارد، همانطور که به زودی خواهید دید...) کشف وب API کشف اختصاصی کشف منبع یک الزام درجه یک برای دقت فوری هوش مصنوعی است اینگونه فکر کنید: اگر عامل هوش مصنوعی شما منابع جدیدی را کشف نمی کند، در حال حدس زدن است (حتی اگر مطمئن به نظر برسد!) به هر حال، بیشتر خطوط لوله بازیابی برای آنچه از قبل شناخته شده است بهینه می شوند: صفحات شاخص شده از موتورهای جستجو، نتایج جستجوی کش شده، و دامنه های از پیش تایید شده یا شناخته شده. این کارآمد است، اما دقیق نیست... 😬 کشف خودکار منبع به طور مستقیم دقت را به سه روش کلیدی بهبود می بخشد: 
 
 
 
 🌍  : شواهد مرتبط ترین معمولاً   یا چند نتیجه اول جستجوی شاخص شده قرار دارد. این شامل وبلاگ های خاص، انجمن های اجتماعی، سایت های خبری منطقه ای، مستندات تازه، یا صفحات فرود جدیدی است که دیروز وجود نداشته اند، هنوز در نتایج برتر گوگل ظاهر نشده اند، یا به طور عمدی توسط شرکت ها مدفون شده اند. وقتی فقط به جستجوی کش شده تکیه می کنید، این سیگنال ها کاملاً نامرئی باقی می مانند. افزایش پوشش خارج از مجموعه داده های موجود شما 👀  : سیستم های کش شده هنگام تغییر جهان به آرامی از کار می افتند. صفحات قیمت گذاری جدید، سیاست های به روز شده و رویدادهای مهم نقاط شکست رایج هستند. عاملان هوش مصنوعی که فعالانه پیوندهای مرتبط را از منابع جدید کشف می کنند، می توانند با ظهور اطلاعات جدید سازگار شوند، به جای اینکه در دانش قدیمی گیر کنند. کاهش نقاط کور ✅  : همه خطوط لوله هوش مصنوعی فقط در مورد یافتن پاسخ نیستند. در برخی موارد، این بیشتر در مورد تأیید آن پاسخ در برابر آخرین منابع موجود است. کشف زنده وب همراه با بازیابی در زمان واقعی به عاملان هوش مصنوعی اجازه می دهد تا ادعاها را با استفاده از داده های قابل اعتماد و فعلی بررسی کنند و در واقعیت باقی بمانند. تأیید اضافی خلاصه اینکه، ارائه کشف وب به عاملان هوش مصنوعی (نه فقط یک API جستجوی عامل عمومی که به پایگاه داده شما متصل شده یا اولین نتیجه را در موتور جستجو هدف قرار می دهد) یک ویژگی اضافی نیست. این اساس  کسب فوری دانش است! برای درک بهتر موضوع و چالش های موجود، به جداول خلاصه مقایسه زیر نگاهی بیندازید... 💭 داده های کش شده و ایستا در مقابل داده های کشف شده و زنده 
 
 
 
 
 
 
 
 
 
 
 
 
 داده های کش شده و ایستا 
 داده های کشف شده و زنده 
 
 
 
 
 طبیعت 
 ایستا. یک بار بازیابی می شود یا هر از گاهی در یک برنامه زمان بندی تکراری به روز می شود. 
 پویا. در زمان واقعی از وب هنگام نیاز به داده ها کشیده می شود. 
 
 
 
 
 پوشش 
 محدود به منابع شناخته شده و از پیش شاخص شده. محتوای جدید و خاص را از دست می دهد. 
 به طور پویا به صفحات جدید، منابع نوظهور و محتوای به روز شده گسترش می یابد. 
 
 
 
 
 قابلیت انطباق 
 هنگام تغییر جهان دچار مشکل می شود. نیاز به کراول یا شاخص گذاری مجدد دستی دارد. 
 بلافاصله با به روز رسانی ها، رویدادهای جدید و شرایط متغیر سازگار می شود. 
 
 
 
 
 نقاط کور 
 خطر بالای شکست های خاموش زمانی که داده های مرتبط خارج از کش قرار دارند. 
 شکاف های پنهان به لطف توانایی کشف پیوندهای مرتبط. 
 
 
 
 
 بهترین برای 
 پایگاه های دانش ایستا و اسناد داخلی. 
 عاملان هوش مصنوعی آگاه به بازار و در زمان واقعی که نیاز به دقت فوری دارند. منابع شناخته شده در مقابل داده های کشف 
 
 
 
 
 
 
 
 
 
 
 
 
 منابع شناخته شده (سیستم های کش شده) 
 داده های کشف شده (در پرواز) 
 
 
 
 
 انتخاب منبع 
 در بیشتر موارد، ثابت و از پیش تعریف شده. منابع از قبل انتخاب شده اند (یا به موقعیت های برتر در موتورهای جستجو مانند گوگل محدود می شوند). 
 پویا و انطباقی. منابع به طور خودکار توسط عامل هوش مصنوعی در زمان پرس و جو کشف می شوند. 
 
 
 
 
 ذخیره سازی 
 در پایگاه های داده، کش ها، دیسک ها و غیره ذخیره می شود. 
 هنگام کشف، مستقیماً به کش عامل هوش مصنوعی اضافه می شود. 
 
 
 
 
 قالب داده 
 جداول رابطه ای، فایل ها، متن و فرمت های مشابه. 
 معمولاً فرمت های بهینه شده برای LLM  . مانند JSON و Markdown 
 
 
 
 
 مدل کشف 
 کشف واقعی وجود ندارد. بازیابی به جستجو در منابع شاخص شده یا کش شده بستگی دارد. 
 کشف فعال پیوندها، صفحات و منابع مرتبط در وب زنده. 
 
 
 
 
 تازگی 
 به برنامه های کراول یا شاخص گذاری بستگی دارد. اغلب قدیمی است. 
 در زمان واقعی. داده ها وضعیت فعلی وب را منعکس می کنند. چگونه کشف وب در عمل در یک سیستم هوش مصنوعی عامل کار می کند بازیابی داده در عاملان هوش مصنوعی معمولاً از طریق RAG ( ) اتفاق می افتد. RAG با ارائه اطلاعات صحیح به LLM ها، پاسخ ها را بهبود می بخشد و دقت پاسخ را از طریق زمینه سازی متنی بهبود می بخشد. تولید تقویت شده با بازیابی در یک راه اندازی سنتی جستجوی کش شده/شاخص شده، سیستم شما به یک API جستجوی عامل اختصاصی متکی است. سیستم نتایجی را که بر اساس پرس و جوی کاربر مرتبط به نظر می رسند، بازیابی می کند. داده ها یا به یک پایگاه داده محلی وارد می شوند یا از موتورهای جستجوگر مانند گوگل بازیابی می شوند، معمولاً اولین نتایج را هدف قرار می دهند... منطقی به نظر می رسد، درست است؟ خروجی محدود به هر چیزی است که موتور جستجو قبلاً کراول کرده و در رتبه اول قرار داده است، یا هر چیزی که سیستم دانش شما از قبل می داند و ذخیره کرده است. این بدان معناست که  . بینش هایی که می توانید از منابع کش شده یا شاخص شده استخراج کنید، به دلیل طراحی محدود شده اند پایگاه های داده برداری و الگوریتم های شباهت در پشت صحنه دخیل هستند، اما نکته اینجاست. مشکل اصلی واضح است: این نوع سیستم کشف دانش محدود است. این  . ما به رویکرد بهتری نیاز داریم! نمی تواند صفحات یا منابع جدید و نوظهور را به طور فعال کشف کند چرا یک سیستم کشف منبع عامل راه حل است وارد سیستم   شوید. در اینجا، یک یا چند عامل هوش مصنوعی مسئول   هستند. این نحوه عملکرد آن در عمل است: کشف عامل شکار فعالانه منابع جدید و مرتبط در وب زنده 
 
 
 
  و آنها را روی یک سیستم کشف لینک اختصاصی اجرا کنید، که صدها لینک را برمی گرداند (از جمله بسیاری از منابعی که قبلاً در نظر نگرفته اید) 🔍. پرس و جوی کاربر را به پرس و جوهای جستجو ترجمه کنید لینک هایی را انتخاب کنید که بیشترین احتمال داشتن اطلاعات با ارزش بالا را دارند 🎯. به آنها دسترسی پیدا کرده و محتوا را در قالبی که LLM ها می توانند پردازش کنند بازیابی کنید 📝. به طور خلاصه، سیستم از طریق   حلقه می زند (فرآیندی که خیلی دور از الگوی محبوب   نیست). این فراتر از جستجوی کش/شاخص ایستا است: عامل به طور پویا منابع جدیدی را پیدا می کند که ممکن است هرگز به فکر شاخص گذاری آنها نبوده اید (که اغلب بینش های مرتبط ترین را ثبت می کند! 😜) کشف، ارزیابی و کسب جستجو و استخراج هوش مصنوعی هنوز متقاعد نشده اید؟ به متخصصان گوش دهید... https://www.youtube.com/watch?v=UYXQsd6tQ0M&embedable=true البته، هر عامل هوش مصنوعی (صرف نظر از اینکه با کدام LLM ها قدرت گرفته است) نمی تواند به تنهایی این کار را انجام دهد. این نیاز به ابزاری برای جستجوی وب و استخراج داده های ساختاریافته دارد. اینجاست که   وارد می شود! API کشف API جستجوی عامل هوش مصنوعی کافی نیست... راه حل یک API کشف است حالا که می دانید یک سیستم API جستجوی عامل معمولی کافی نیست، چه چیزی گم شده است؟ 🤔 قطعه گمشده در پازل عامل هوش مصنوعی ابزاری است که به عاملان اجازه می دهد به طور خودکار منابع جدید را کشف کرده و اطلاعات مرتبط را از آنها استخراج کنند. این دقیقاً همان چیزی است که یک API کشف در مورد آن است! بنابراین این ابزار واقعاً به عامل هوش مصنوعی شما چه می دهد؟ این آن را قادر می سازد تا: 
 
 
 برای لینک های دقیق، به روز و متنی بر اساس یک پرس و جوی جستجو، وب را جستجو کنید. لیست طولانی از لینک ها (100+) را بر اساس هدف شما با استفاده از یکی از الگوریتم های رتبه بندی موجود برگردانید. با این لینک ها، می توانید به نتایج برتر اعتماد کنید یا آنها را بر اساس اهداف خود مجدداً رتبه بندی کنید. سپس، اطلاعات را از لینک های انتخاب شده استخراج کرده و آن را در   به عامل هوش مصنوعی خود تغذیه کنید. قالب آماده برای LLM به دنبال یک ارائه دهنده API کشف قابل اعتماد هستید؟ نیازی به جستجوی بیشتر از   ندارید! Bright Data Bright Data با لیست طولانی از   همراه است! راه حل های داده وب برای هوش مصنوعی این راه حل ها بر روی یک زیرساخت کاملاً مقیاس پذیر با   ساخته شده اند. پشتیبانی  ، فرمت های داده بهینه شده برای LLM و   را اضافه کنید. بیش از 150 میلیون پروکسی در 95 کشور، 99.99% آپتایم و 99.99% نرخ موفقیت 24/7 یکپارچه سازی بومی با بیش از 70 چارچوب هوش مصنوعی می خواهید بیشتر بدانید؟   را بررسی کنید! 🎓 نشست کشف وب نتیجه گیری در این پست، بررسی کردید که چرا جستجوی کش شده کافی نیست و چرا دادن توانایی کشف داده ها و منابع جدید از وب به عاملان هوش مصنوعی راه حل واقعی است. برای کسب دانش واقعاً روشنگر و منحصر به فرد، نمی توانید به داده های قدیمی و ایستا تکیه کنید! بهترین راه برای پیاده سازی کشف وب در زمان واقعی از طریق یک API کشف است. به هر حال، یک API جستجوی عامل هوش مصنوعی "سنتی" فقط می تواند داده های کش شده یا شاخص شده را پرس و جو کند، در حالی که عاملان هوش مصنوعی شما باید منابع جدیدی را کشف کنند تا واقعاً مؤثر باشند. همانطور که دیدید، Bright Data از سناریوهای کشف وب و همچنین طیف گسترده ای از خطوط لوله داده وب برای سیستم های هوش مصنوعی عامل پشتیبانی می کند. به لطف راه حل های ما، کشف وب در زمان واقعی هرگز آسان تر نبوده است! . بیایید داده های وب را برای همه، از جمله عاملان هوش مصنوعی، برای سیستم های هوشمندتر در دسترس قرار دهیم. تا بعد! با شروع یک دوره آزمایشی رایگان به ماموریت ما بپیوندید

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

This writer has a vested interest be it monetary, business, or otherwise, with 1 or more of the products or companies mentioned within.

دا غږ د کیسې په اصلي ژبه تولید شوی!

Why AI Agents Must Discover New Sources, Not Just Rely on Cached Search

About Author

تبصرې

hang tags

دا مقاله په کې وړاندې شوې وه

Related Stories

Beasts at Bay

Kindness is a Gift that Should Always be Paid Forward - Interview With Samiran Mondal

The shortest distance from idea to execution with Jim Rose of CircleCI

Stocks will be More Profitable than Crypto - Interview With Bryan Applegate

Beasts at Bay

Kindness is a Gift that Should Always be Paid Forward - Interview With Samiran Mondal

The shortest distance from idea to execution with Jim Rose of CircleCI

Stocks will be More Profitable than Crypto - Interview With Bryan Applegate

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps