Зад агентите со вештачка интелигенција: Инфраструктурата што ја поддржува автономијата

Повеќето описи на агенти за вештачка интелигенција и агентски системи се фокусираат на способноста на агентите да дејствуваат автономно, без интервенција на корисникот, во многу ситуации во случаите на наменети за употреба на агентите. Некои агенти работат со модел на човек во јамката, ангажирајќи го корисникот само кога ќе наиде на несигурност, но сепак делува автономно под типични и одредени околности. Со оглед на тоа што автономијата е примарна дефинирачка карактеристика на агентите за вештачка интелигенција, постојат можности за поддршка што им се потребни на агентите за да дејствуваат независно од внесувањето на корисникот. Во , идентификувавме четири барања за архитектури за агенсната вештачка интелигенција: претходен блог пост Способност да се дејствува во име на корисникот, вклучувајќи дозволи и автентификуван пристап до релевантните системи. Способност и пристап - Користење на расудување за донесување одлуки во рамките на структуриран мисловен процес - често дефиниран како синџир, дрво, график или алгоритам - што ги води дејствата на агентот. Расудување и планирање - Координација на повеќе делови, вклучително и потсетници, LLM, достапни извори на податоци, контекст, меморија, историја и извршување и статус на потенцијални дејства. Оркестрација на компоненти - Механизми за одржување на агентот фокусиран и ефективен, вклучувајќи заштитни мерки за избегнување грешки или обезбедување корисни дијагностички информации во случај на дефект. Заштитни огради - Секој од овие четири барања има различни инфраструктурни потреби. За способност и пристап, примарните потреби се софтверски интеграции и управување со акредитиви. Расудувањето и планирањето главно се поддржани од LLM и други модели на вештачка интелигенција. Темата на заштитните огради е огромна и честопати специфична за вклучените случаи на употреба, така што ќе ја зачуваме за идна статија. Овде, би сакал да се фокусирам на оркестрацијата и инфраструктурата потребна за поддршка на интелигентна оркестрација низ голем број подвижни делови и долга историја на податоци и контекст што би можеле да бидат потребни во времето на одлучување. Оркестрација на компоненти и улогата на контекстот во агентите на вештачката интелигенција Претпоставувајќи дека првите две барања погоре - вклучително способност, пристап, расудување и планирање - функционираат како што е планирано, главниот предизвик на оркестрацијата на компонентите се сведува на управување со знаење. Агентскиот систем треба да ја одржува свеста на различни нивоа: неговите основни задачи и цели, состојбата на различните релевантни системи, историјата на интеракции со корисникот и другите надворешни системи и потенцијално повеќе. Со LLM, ние го користиме концептот на „контекстен прозорец“ за да го опишеме множеството информации достапни за моделот, генерално во брзо време. Ова е различно од информациите содржани во самиот повик и исто така се разликува од интерниот сет на знаење на LLM што беше формиран за време на процесот на обука на моделот. Во долгите текстови, контекстните прозорци може да се сметаат како „неодамнешна историја“ на информации што му се достапни на LLM во брзо време - ова е имплицитно во архитектурата на LLM и поттикнувањата. На тој начин, повеќето LLM имаат еднодимензионален концепт на контекст, а постариот контекст едноставно паѓа од прозорецот со текот на времето. На агентите им треба пософистициран систем за управување со контекстот и знаењето, со цел да се осигураат дека најважниот или итниот контекст е приоритет, секогаш кога агентот треба да донесе одлука. Наместо единствен монолитен контекст, агентите за вештачка интелигенција мора да следат различни типови на контекст на различни нивоа на важност. Ова може да се спореди со меморијата во компјутерските системи, каде што различни типови на складирање - кеш, RAM и хард дискови - служат за различни цели врз основа на пристапноста и фреквенцијата на користење. За агентите со вештачка интелигенција, можеме концептуално да го структурираме контекстот на три примарни нивоа: Основната листа на задачи или цели на агентот. Ова секогаш треба да биде на врвот на умот, водејќи ги сите дејства. Примарен контекст – состојба на поврзани, релевантни системи и непосредна околина, вклучувајќи ресурси како системи за пораки, доводи на податоци, критични API или е-пошта и календари на корисникот. Директен контекст – Општо знаење, или какви било информации кои би можеле да бидат релевантни, но кои не се експлицитно дизајнирани да бидат основен дел од агенцискиот систем. Надворешниот контекст може да се обезбеди со нешто едноставно како пребарување на интернет или Википедија. Или, може да биде итно и комплицирано, како што се неочекувани фактори кои произлегуваат од вести или ажурирања од трета страна, кои бараат од агентот динамично да ги приспособи своите постапки. Надворешен контекст – Овие нивоа на контекст не се дефинитивни, линиите меѓу нив може да бидат многу нејасни, а има и други корисни начини за опишување на типови на контекст - но оваа концептуална структура е корисна за нашата дискусија овде. Инфраструктура за складирање за управување со контекст Потребите за складирање на агентите за вештачка интелигенција варираат во зависност од видот на контекстот што се управува. Секое ниво - примарен, директен и надворешен контекст - бара различни структури на податоци, механизми за пронаоѓање и фреквенции за ажурирање. Клучниот предизвик е да се обезбеди ефикасен пристап, долгорочна упорност и динамични ажурирања без преоптоварување на цевководот за обработка на агентот. Наместо да го третираат контекстот како монолитен ентитет, агентите за вештачка интелигенција имаат корист од хибридните архитектури за складирање кои ги комбинираат структурираните и неструктурираните модели на податоци. Ова овозможува брзо пребарување, семантичко пребарување и скалабилна упорност, осигурувајќи дека релевантниот контекст е достапен кога е потребно, притоа минимизирајќи ја непотребната обработка на податоци. Примарен контекст: Списоци со задачи и цели на агенти Примарниот контекст се состои од основните цели и активните задачи на агентот - основата што го поттикнува донесувањето одлуки. Оваа информација мора да биде постојана, високо структурирана и лесно да се бара, бидејќи ги води сите дејства на агентот. Потенцијални потреби за складирање: за структурирани списоци со задачи и хиерархии на цели. Трансакциски бази на податоци (клуч-вредност или складишта на документи) за поддршка на брзо пребарување на активни задачи. Индексирање со ниска латентност за да се обезбеди дека задачите го одразуваат напредокот во реално време. Ажурирањата засновани на настани Пример за имплементација на агент Асистентот за распоред кој управува со редот за задачи треба да складира: Постојани задачи (на пр. „Закажете состанок со Алекс“) со ажурирања на статусот. Историја на извршување (на пр. „Испратена почетна е-пошта, се чека одговор“). Приоритетите и зависностите, осигурувајќи дека најпрво се појавуваат итните задачи. Дистрибуираната, високо достапна продавница за податоци гарантира дека задачите се следат сигурно, дури и кога агентот обработува нови настани и ажурирања на контекстот. Директен контекст: Состојба на поврзани системи Директниот контекст ја вклучува моменталната состојба на релевантните системи - календари, платформи за пораки, API, бази на податоци и други извори на податоци во реално време. За разлика од примарниот контекст, директниот контекст е динамичен и често бара комбинација од структурирани и решенија за складирање во реално време. Потенцијални потреби за складирање: за дневници на настани и следење на статусот во реално време. Бази на податоци со временски серии за системски состојби до кои често се пристапува. Слоеви за кеширање за контекстуални прашања за неодамнешните интеракции. Векторско пребарување Пример за имплементација на агент: Агентот за вештачка интелигенција за поддршка на клиентите што ги следи живите интеракции на корисниците треба да складира: во продавница во меморија. Историја на разговори во реално време (на пр. детали за билетите за тековна поддршка) во база на податоци за временски серии. Состојба на сесија за надворешни пребарувања на системот, избегнувајќи непотребни прашања. API-одговор кешира Со структурирање директно складирање во контекст со комбинација од складишта на податоци чувствителни на време и долгорочни складишта, агентите за вештачка интелигенција можат да дејствуваат свесно за нивната околина без прекумерна латентност. Надворешен контекст: Пронаоѓање и адаптација на знаење Надворешниот контекст опфаќа општо знаење и неочекувани ажурирања од извори надвор од непосредната контрола на агентот. Ова може да се движи од барања за пребарување на барање до динамички внесени надворешни податоци, што бара флексибилен пристап за складирање и пронаоѓање. За разлика од примарните и директните контексти, кои се тесно поврзани со тековните задачи на агентот и поврзаните системи, надворешниот контекст е често неструктуриран, огромен и многу променлив по релевантност. Потенцијални размислувања за складирање: за постојан, структуриран референтен материјал. Продавници на документи и бази на знаење за барање големи збирки податоци на документи, внатрешни или надворешни. Векторско пребарување за да се добие релевантно знаење пред да се одговори. ) Зголемена генерација на пронаоѓање (RAG за ажурирања во реално време од надворешни извори на податоци. Проследување и преземање водени од настани Пример за имплементација на агент: Личниот асистент кој составува извештај за најновите научни откритија во истражувањето за климатските промени треба: од надворешни извори, филтрирање за релевантност врз основа на клучни зборови или векторска сличност. Враќање научни статии , идентификувајќи ги трендовите користејќи графикон на знаење. Анализирајте ги односите помеѓу трудовите користејќи проширена генерација за пронаоѓање базирана на LLM. Резимирајте ги клучните сознанија со претплата на доводи на публикации во реално време и извори на вести. Следете ги неодамнешните ажурирања Со структурирање на складирање на надворешен контекст околу брзото пронаоѓање и семантичка организација, агентите за вештачка интелигенција можат континуирано да се прилагодуваат на новите информации додека се осигуруваат дека добиените податоци остануваат релевантни, веродостојни и активна. Хибридно складирање за Агенти со вештачка интелигенција за контекстот Дизајнирањето на агенти за вештачка интелигенција кои се свесни за контекстот бара внимателен баланс помеѓу ефикасниот пристап до критичните информации и избегнувањето на преоптоварување на меморијата или обработката. Агентите за вештачка интелигенција мора да одлучат кога да складираат, преземаат и динамично обработуваат контекст за да го оптимизираат одлучувањето. Хибридната архитектура за складирање - интегрирајќи трансакциски, векторски, временски серии и модели управувани од настани - им овозможува на агентите со вештачка интелигенција да одржуваат истрајност на контекстот, ефикасноста на пронаоѓање и адаптивната интелигенција, од кои сите се клучни за автономија на размер. За да се постигне оваа рамнотежа потребни се структурирани стратегии во три клучни димензии: Контекстот до кој често се пристапува (на пр., активните состојби на задачи) треба да се наоѓа во складирање со ниска латентност, додека поретко потребното, но суштинското знаење (на пр. историски интеракции) треба да се добие на барање од долгорочно складирање. Латентност наспроти упорност - Задачите, целите и системските состојби имаат корист од структурираното складирање (на пр., бази на податоци со клуч-вредност или документи), додека поширокото пребарување на знаење бара неструктурирани вградувања и врски со графикони за ефективно да се долови контекстот. Структурирани наспроти неструктурирани податоци - Некои контексти бараат континуирано следење (на пр., живи одговори на API), додека други (на пр., претходни одлуки или извештаи) треба да се преземаат само кога се релевантни за тековната задача на агентот. Во реално време наспроти историска свест - Со оглед на овие различни типови на контексти, на агентите за вештачка интелигенција им треба структуриран пристап за складирање и пристап до информации. Потпирањето единствено на LLM контекстуалните прозорци е неефикасно, бидејќи ја ограничува способноста на агентот да следи долгорочни интеракции и ситуации кои се развиваат. Наместо тоа, контекстот треба постојано да се складира, динамички да се превзема и да се даде приоритет врз основа на релевантноста и итноста. Зачуван во трансакциски бази на податоци за структурирано следење и референциран во секој циклус на заклучоци. Примарен контекст (задачи и цели) - се одржува во реално време преку кеширање, складирање на временски серии или ажурирања управувани од настани. Директен контекст (состојба на системот и активни податоци) - Побаруван на барање преку векторско пребарување, проширена генерација на пронаоѓање (RAG) или претставување на знаење базирано на графикони. Надворешен контекст (знаење и динамични ажурирања) - Во пракса, моделите со повеќе нивоа на меморија кои комбинираат краткорочни кешови, постојани бази на податоци и механизми за надворешно пребарување се потребни за скалабилни архитектури на агенти со вештачка интелигенција. Со искористување на пристапот за хибридно складирање, агентите за вештачка интелигенција можат: Одржувајте за активните системи. ја свеста во реално време Добијте само кога е релевантно. историско знаење врз основа на потребите кои се развиваат. Динамично приспособете ги приоритетите Со интегрирање на овие стратегии за складирање, агентите за вештачка интелигенција можат да функционираат автономно, да ја задржат контекстуалната свест во текот на долги периоди и да реагираат динамично на новите информации - поставувајќи ја основата за навистина интелигентни и скалабилни агенциски системи. Хибридни решенија за складирање Спроведувањето на хибридна архитектура за складирање за агенти со вештачка интелигенција бара избирање на вистинските бази на податоци и алатки за складирање за ефикасно справување со различни типови контексти. Најдобриот избор зависи од фактори како што се барањата за латентност, приспособливост, компатибилност на структурата на податоци и механизми за пронаоѓање. Добро дизајнираниот систем за складирање агенти со вештачка интелигенција обично вклучува: Т за структурирано, постојано следење на задачите. рансакциони бази на податоци за следење на состојбата на системот во реално време. Складирање со временски серии и настани за флексибилен, неструктуриран пристап до податоци. Векторско пребарување и пребарување на знаење за брз пристап до краткорочна меморија. Кеширање и бази на податоци во меморијата Ајде внимателно да го разгледаме секој од овие елементи. Трансакциски и дистрибуирани бази на податоци Агентите за вештачка интелигенција бараат скалабилни, високо достапни трансакциски бази на податоци за веродостојно складирање задачи, цели и структурирани метаподатоци. Овие бази на податоци обезбедуваат дека примарниот контекст е секогаш достапен и ефикасно може да се бара. – Дистрибуирана NoSQL база на податоци дизајнирана за висока достапност и толеранција на грешки. Идеален за управување со структурирани списоци со задачи и следење на целите на агентите во обем. Apache Cassandra® Управувана база на податоци како услуга (DBaaS) изградена на Касандра, која обезбедува еластична приспособливост и мултирегионална репликација за апликации со вештачка интелигенција кои бараат висока издржливост. – DataStax Astra DB Популарна релациона база на податоци со силни гаранции за конзистентност, добро прилагодена за структурирани метаподатоци за агенти, постојани дневници за задачи и спроведување на политики. PostgreSQL – Складирање со временски серии и настани За следење на системот во реално време, на агентите со вештачка интелигенција им требаат бази на податоци оптимизирани за евидентирање, следење настани и упорност на состојбата. Водечка база на податоци за временски серии дизајнирана за брзо внесување и ефикасни прашања, што ја прави идеална за евидентирање на активноста на агентот со вештачка интелигенција и надградби на надворешниот систем. InfluxDB – Екстензија PostgreSQL оптимизирана за оптоварувања на временски серии, погодна за следење на промените во работните текови на агентите со вештачка интелигенција и системските настани. TimescaleDB – Платформа за пренос на податоци која им овозможува на агентите за вештачка интелигенција ефикасно да консумираат, обработуваат и реагираат на настани во реално време. Apache Kafka + kSQLDB – Лесно решение за справување со настани во реално време и редици за пораки, корисно за да се информираат агентите за вештачка интелигенција за новите ажурирања додека се случуваат. Redis Streams – Векторско пребарување за пребарување на знаење Агентите за вештачка интелигенција кои работат со неструктурирано знаење бараат ефикасни начини за складирање, пребарување и преземање вградувања за задачи како што се семантичко пребарување, совпаѓање на сличност и проширена генерација на пронаоѓање (RAG). Добро оптимизираниот систем за векторско пребарување им овозможува на агентите да се потсетат на релевантни минати интеракции, документи или факти без преоптоварување на меморијата или контекстните прозорци. Скалабилна, управувана векторска база на податоци изградена на Касандра, која нуди пребарување сличност со високи перформанси и мултимодално пребарување. Astra ја комбинира дистрибуираната еластичност со можностите за векторско пребарување, што го прави врвен избор за агентите со вештачка интелигенција кои треба ефикасно да ги обработуваат вградувањата додека обезбедуваат глобална приспособливост и висока достапност. DataStax Astra DB – Векторска база на податоци од облак, дизајнирана за семантичко пребарување и мултимодално пребарување на податоци. Поддржува хибридни методи за пребарување и добро се интегрира со графиконите на знаење, што го прави корисен за агентите за вештачка интелигенција кои се потпираат на контекстуално расудување. Weaviate – библиотека со отворен код за пребарување на најблискиот сосед со високи перформанси, често вградена во цевководи за вештачка интелигенција за брзо векторско пребарување на големи збирки податоци. Иако не е целосна база на податоци, FAISS обезбедува лесно, брзо решение за локално пребарување сличности. FAISS (Facebook AI Similarity Search) – Кеширање и складирање во меморија Агентите за вештачка интелигенција бараат пристап со мала латентност до често референциран контекст, што го прави кеширањето суштинска компонента на архитектурите за хибридно складирање. Продавница за клучеви во меморијата со високи перформанси, широко користена за краткорочно кеширање на контекст и управување со сесии во агенти за вештачка интелигенција. Redis – Едноставен, но ефективен дистрибуиран систем за кеширање кој обезбедува брз пристап до често користените податоци за агенти за вештачка интелигенција. Memcached – Со интегрирање на овие разновидни решенија за складирање, агентите со вештачка интелигенција можат ефикасно да управуваат со краткорочната меморија, постојаното знаење и ажурирањата во реално време, обезбедувајќи непречено донесување одлуки на ниво. Комбинацијата на трансакциски бази на податоци, складирање на временски серии, векторско пребарување и кеширање им овозможува на агентите да ја балансираат брзината, приспособливоста и контекстуалната свест, динамично прилагодувајќи се на новите влезови. Како што продолжуваат да се развиваат апликациите управувани со вештачка интелигенција, изборот на вистинската архитектура за хибридно складирање ќе биде од клучно значење за овозможување автономни, одговорни и интелигентни агенциски системи кои можат да работат сигурно во сложени и постојано променливи средини. Иднината на агентите со вештачка интелигенција со хибридни бази на податоци Како што системите за вештачка интелигенција стануваат покомплексни, хибридните бази на податоци ќе бидат клучни за управување со краткорочна и долгорочна меморија, структурирани и неструктурирани податоци и согледувања во реално време и историски. Напредокот во проширената генерација на пронаоѓање (RAG), семантичкото индексирање и дистрибуираните заклучоци ги прават агентите за вештачка интелигенција поефикасни, интелигентни и приспособливи. Идните агенти за вештачка интелигенција ќе се потпираат на брзо, скалабилно и складирање кое е свесно за контекстот за да одржуваат континуитет и да донесуваат информирани одлуки со текот на времето. Зошто хибридни бази на податоци? На агентите за вештачка интелигенција им требаат решенија за складирање кои ефикасно управуваат со различни типови на контекст, истовремено обезбедувајќи брзина, приспособливост и еластичност. Хибридните бази на податоци го нудат најдоброто од двата света - структурирани податоци со голема брзина со длабоко контекстуално пребарување - што ги прави основни за интелигентни системи со вештачка интелигенција. Тие поддржуваат векторско пребарување за долгорочно складирање на знаење, пребарување на трансакции со ниска латентност, ажурирања управувани од настани во реално време и дистрибуирана приспособливост за толеранција на грешки. Изградба на скалабилна инфраструктура за податоци за вештачка интелигенција За поддршка на интелигентни агенти за вештачка интелигенција, програмерите треба да дизајнираат архитектури за складирање што комбинираат повеќе модели на податоци за непречено управување со контекстот: складирајте семантички контекст заедно со структурирани метаподатоци за брзо пронаоѓање Векторско пребарување и колонообразни податоци - - проследувајте ажурирања во реално време за да ги задржите агентите на вештачката интелигенција свесни за промената на податоците Работни текови управувани од настани распоредете ги низ дистрибуирани мрежи за висока достапност и толеранција на грешки Глобални размери и еластичност - Со интегрирање на трансакциска обработка, векторско пребарување и ажурирања во реално време, обезбедуваат оптимална основа за меморија на агенти за вештачка интелигенција, свесност за контекстот и донесување одлуки. Како што се развиваат апликациите управувани од вештачка интелигенција, решенијата за хибридно складирање ќе бидат од суштинско значење за овозможување на автономни, богати со контекст ВИ агенти кои работат сигурно во динамични средини со интензивни податоци. хибридни бази на податоци како DataStax Astra DB Напишано од Брајан Годси, DataStax