Зад AI агентите: Инфраструктурата, която поддържа автономност

Повечето описания на AI агенти и агентни системи се фокусират върху способността на агентите да действат автономно, без намеса на потребителя, в много ситуации в случаите на предназначена употреба на агентите. Някои агенти работят с модел „човек в цикъла“, като ангажират потребителя само когато се натъкнат на несигурност, но въпреки това действат автономно при типични и определени обстоятелства. Тъй като автономията е основната дефинираща характеристика на AI агентите, съществуват поддържащи възможности, от които агентите се нуждаят, за да действат независимо от потребителския вход. в , идентифицирахме четири изисквания за агентни AI архитектури: по-ранна публикация в блога Способността да се действа от името на потребителя, включително разрешения и удостоверен достъп до съответните системи. Способност и достъп - Използване на разсъждения за вземане на решения в рамките на структуриран мисловен процес - често дефиниран като верига, дърво, графика или алгоритъм - който ръководи действията на агента. Разсъждение и планиране - Координиране на множество части, включително подкани, LLM, налични източници на данни, контекст, памет, история и изпълнението и състоянието на потенциални действия. Оркестрация на компоненти - Механизми за поддържане на агента фокусиран и ефективен, включително предпазни мерки за избягване на грешки или предоставяне на полезна диагностична информация в случай на повреда. Парапети - Всяко от тези четири изисквания има различни инфраструктурни нужди. За възможностите и достъпа основните нужди са софтуерни интеграции и управление на идентификационни данни. Разсъжденията и планирането се поддържат главно от LLMs и други AI модели. Темата за парапетите е обширна и често специфична за съответните случаи на употреба, така че ще я запазим за бъдеща статия. Тук бих искал да се съсредоточа върху оркестрацията и инфраструктурата, необходима за поддържане на интелигентна оркестрация в голям брой движещи се части и дълга история на данни и контекст, които може да са необходими по време на вземане на решение. Компонентна оркестрация и ролята на контекста в AI агентите Ако приемем, че първите две изисквания по-горе – включително способности, достъп, разсъждения и планиране – функционират по предназначение, основното предизвикателство на оркестрацията на компонентите се свежда до управление на знанието. Агентната система трябва да поддържа осведоменост на различни нива: нейните основни задачи и цели, състоянието на различни съответни системи, историята на взаимодействията с потребителя и други външни системи и потенциално повече. С LLM използваме концепцията за „прозорец на контекста“, за да опишем набора от информация, достъпна за модела, обикновено в момент на подкана. Това е различно от информацията, съдържаща се в самата подкана, а също и различно от вътрешния набор от знания на LLM, който е формиран по време на процеса на обучение на модела. В дългите текстове контекстните прозорци могат да се разглеждат като „скорошна история“ на информация, която е налична за LLM в момент на подкана – това се подразбира в архитектурата на LLM и подканите. По този начин повечето LLM имат едноизмерна концепция за контекст, а по-старият контекст просто изпада от прозореца с течение на времето. Агентите се нуждаят от по-сложна система за управление на контекста и знанията, за да се уверят, че най-важният или спешен контекст е приоритет, когато агентът трябва да вземе решение. Вместо единичен монолитен контекст, AI агентите трябва да проследяват различни типове контекст на различни нива на важност. Това може да се сравни с паметта в компютърните системи, където различните типове памет - кеш, RAM и твърди дискове - служат за различни цели въз основа на достъпността и честотата на използване. За AI агентите можем концептуално да структурираме контекста в три основни нива: основният списък със задачи или цели на агента. Това винаги трябва да е на първо място, да ръководи всички действия. Основен контекст – Състоянието на свързаните, подходящи системи и непосредствената среда, включително ресурси като системи за съобщения, емисии на данни, критични API или имейл и календари на потребителя. Директен контекст – Общи познания или всякаква информация, която може да е от значение, но която не е изрично проектирана да бъде основна част от агентната система. Външен контекст може да бъде предоставен от нещо толкова просто като търсене в интернет или Wikipedia. Или може да е спешно и сложно, като например неочаквани фактори, които възникват от новини или актуализации на трети страни, изискващи от агента да адаптира динамично своите действия. Външен контекст – Тези нива на контекст не са окончателни, линиите между тях могат да бъдат много размити и има други полезни начини за описване на типове контекст, но тази концептуална структура е полезна за нашето обсъждане тук. Инфраструктура за съхранение за управление на контекста Нуждите за съхранение на AI агентите варират в зависимост от типа контекст, който се управлява. Всяко ниво – първично, пряко и външен контекст – изисква различни структури от данни, механизми за извличане и честота на актуализиране. Ключовото предизвикателство е осигуряването на ефективен достъп, дългосрочна устойчивост и динамични актуализации без претоварване на тръбопровода за обработка на агента. Вместо да третират контекста като монолитен обект, AI агентите се възползват от хибридни архитектури за съхранение, които съчетават структурирани и неструктурирани модели на данни. Това позволява бързо търсене, семантично извличане и мащабируема устойчивост, като гарантира, че подходящият контекст е наличен, когато е необходимо, като същевременно минимизира излишната обработка на данни. Основен контекст: Списъци със задачи и цели на агента Основният контекст се състои от основните цели и активни задачи на агента - основата, която движи вземането на решения. Тази информация трябва да бъде постоянна, силно структурирана и лесно достъпна за запитване, тъй като ръководи всички действия на агента. Потенциални нужди от съхранение: за структурирани списъци със задачи и йерархии на цели. Транзакционни бази данни (ключ-стойност или хранилища на документи) за поддръжка на бързо търсене на активни задачи. Индексиране с ниска латентност за да се гарантира, че задачите отразяват напредъка в реално време. Актуализации, управлявани от събития, Примерна реализация на агент Асистентът за планиране, управляващ опашка със задачи, трябва да съхранява: Постоянни задачи (напр. „Насрочване на среща с Алекс“) с актуализации на състоянието. Хронология на изпълнението (напр. „Изпратен първоначален имейл, чакащ отговор“). Приоритети и зависимости, като се гарантира, че спешните задачи се появяват първи. Разпределеното хранилище на данни с висока достъпност гарантира, че задачите се проследяват надеждно, дори когато агентът обработва нови събития и контекстни актуализации. Директен контекст: Състояние на свързаните системи Директният контекст включва текущото състояние на съответните системи – календари, платформи за съобщения, API, бази данни и други източници на данни в реално време. За разлика от първичния контекст, директният контекст е динамичен и често изисква комбинация от структурирани решения и решения за съхранение в реално време. Потенциални нужди от съхранение: за регистрационни файлове на събития и проследяване на състоянието в реално време. Бази данни с времеви серии за често достъпни състояния на системата. Кеширащи слоеве за контекстуални заявки за скорошни взаимодействия. Векторно базирано извличане Примерно внедряване на агент: AI агент за поддръжка на клиенти, който проследява потребителските взаимодействия на живо, трябва да съхранява: в хранилище в паметта. История на разговорите в реално време (напр. подробности за текуща поддръжка) в база данни с времеви серии. Състояние на сесията за търсене на външна система, избягване на излишни заявки. Кеширане на отговорите на API Чрез структуриране на пряко контекстно съхранение с комбинация от чувствителни към времето и дългосрочни хранилища на данни, AI агентите могат да действат с съзнание за тяхната среда без прекомерно забавяне. Външен контекст: Извличане и адаптиране на знания Външният контекст включва общо знание и неочаквани актуализации от източници извън непосредствения контрол на агента. Това може да варира от заявки за търсене при поискване до динамично погълнати външни данни, което изисква гъвкав подход към съхранението и извличането. За разлика от първичния и директния контекст, които са тясно свързани с текущите задачи на агента и свързаните системи, външният контекст често е неструктуриран, обширен и силно променлив по отношение. Потенциални съображения за съхранение: за постоянен, структуриран справочен материал. Хранилища на документи и бази от знания за търсене на големи набори от данни от документи, вътрешни или външни. Векторно търсене за извличане на съответните знания преди отговор. ) Генериране с допълнено извличане (RAG за актуализации в реално време от външни източници на данни. Поточно предаване и управлявано от събития приемане Примерно внедряване на агент: Личен асистент, съставящ доклад за най-новите научни открития в изследването на изменението на климата, трябва да: от външни източници, като филтрирате за уместност въз основа на ключови думи или векторно сходство. Извличайте научни статии , идентифицирайки тенденциите с помощта на графика на знанието. Анализирайте връзките между документите с помощта на базирано на LLM генериране с разширено извличане. Обобщете ключови прозрения , като се абонирате за емисии на публикации в реално време и източници на новини. Проследявайте последните актуализации Чрез структуриране на съхранение на външен контекст около бързо извличане и семантична организация, агентите на AI могат непрекъснато да се адаптират към нова информация, като същевременно гарантират, че извлечените данни остават уместни, надеждни и приложими. Хибридно хранилище за съобразени с контекста AI агенти Проектирането на съобразени с контекста AI агенти изисква внимателен баланс между ефективен достъп до критична информация и избягване на претоварване на паметта или обработката. AI агентите трябва да решат кога да съхраняват, извличат и обработват динамично контекста, за да оптимизират вземането на решения. Хибридна архитектура за съхранение – интегрираща транзакционни, векторни, времеви серии и модели, управлявани от събития – позволява на AI агентите да поддържат постоянство на контекста, ефективност на извличане и адаптивен интелект, всички от които са от решаващо значение за автономността в мащаб. Постигането на този баланс изисква структурирани стратегии в три ключови измерения: Контекстът с често достъп (напр. състояния на активни задачи) трябва да се намира в хранилище с ниска латентност, докато по-рядко необходимите, но съществени знания (напр. исторически взаимодействия) трябва да се извличат при поискване от дългосрочно съхранение. Латентност срещу постоянство – Задачите, целите и състоянията на системата се възползват от структурирано съхранение (напр. ключ-стойност или бази данни с документи), докато по-широкото извличане на знания изисква неструктурирани вграждания и графични връзки за ефективно улавяне на контекста. Структурирани срещу неструктурирани данни – Някои контексти изискват непрекъснато наблюдение (напр. API отговори на живо), докато други (напр. предишни решения или доклади) трябва да се извличат само когато са подходящи за текущата задача на агента. Информираност в реално време срещу историческа осведоменост – Като се имат предвид тези различни видове контексти, AI агентите се нуждаят от структуриран подход за съхраняване и достъп до информация. Разчитането единствено на контекстни прозорци на LLM е неефективно, тъй като ограничава способността на агента да проследява дългосрочни взаимодействия и развиващи се ситуации. Вместо това контекстът трябва да се съхранява постоянно, да се извлича динамично и да се приоритизира въз основа на уместност и спешност. съхранява се в транзакционни бази данни за структурирано проследяване и се препраща към всеки цикъл на извод. Основен контекст (задачи и цели) - Поддържа се в реално време чрез кеширане, съхранение на времеви серии или управлявани от събития актуализации. Директен контекст (състояние на системата и активни данни) - Запитване при поискване чрез векторно търсене, генериране с разширено извличане (RAG) или представяне на знания, базирано на графики. Външен контекст (знание и динамични актуализации) - На практика многостепенните модели на паметта, комбиниращи краткосрочни кешове, постоянни бази данни и външни механизми за извличане, са необходими за мащабируеми архитектури на AI агенти. Използвайки хибриден подход за съхранение, AI агентите могат: Поддържайте за активните системи. информираност в реално време Извличайте само когато е уместно. исторически знания въз основа на променящите се нужди. Динамично коригирайте приоритетите Чрез интегрирането на тези стратегии за съхранение, AI агентите могат да функционират автономно, да поддържат контекстуална осведоменост за дълги периоди и да реагират динамично на нова информация – полагайки основата за наистина интелигентни и мащабируеми агентни системи. Хибридни решения за съхранение Прилагането на хибридна архитектура за съхранение за AI агенти изисква избор на правилните бази данни и инструменти за съхранение, за да се справят ефективно с различни видове контексти. Най-добрият избор зависи от фактори като изисквания за латентност, мащабируемост, съвместимост на структурата на данните и механизми за извличане. Добре проектираната система за съхранение на AI агент обикновено включва: за структурирано, постоянно проследяване на задачи. Транзакционни бази данни за мониторинг на състоянието на системата в реално време. Времеви серии и управлявано от събития съхранение за гъвкав, неструктуриран достъп до данни. Векторно търсене и извличане на знания за бърз достъп до краткосрочна памет. Кеширане и бази данни в паметта Нека разгледаме по-подробно всеки от тези елементи. Транзакционни и разпределени бази данни AI агентите изискват мащабируеми, високо достъпни транзакционни бази данни, за да съхраняват надеждно задачи, цели и структурирани метаданни. Тези бази данни гарантират, че първичният контекст е винаги наличен и ефикасно достъпен за запитване. – Разпределена NoSQL база данни, проектирана за висока достъпност и толерантност към грешки. Идеален за управление на структурирани списъци със задачи и проследяване на цели на агенти в мащаб. Apache Cassandra® управлявана база данни като услуга (DBaaS), изградена на Cassandra, осигуряваща еластична скалируемост и репликация в множество региони за AI приложения, изискващи висока издръжливост. – DataStax Astra DB Популярна релационна база данни със силни гаранции за съгласуваност, подходяща за структурирани метаданни на агенти, постоянни журнали на задачи и прилагане на правила. PostgreSQL – Времеви редове и управлявано от събития съхранение За наблюдение на системата в реално време, AI агентите се нуждаят от бази данни, оптимизирани за регистриране, проследяване на събития и постоянство на състоянието. Водеща база данни с времеви серии, предназначена за високоскоростно поглъщане и ефективни заявки, което я прави идеална за регистриране на активност на AI агент и актуализации на външна система. InfluxDB – Разширение на PostgreSQL, оптимизирано за времеви серии работни натоварвания, подходящо за проследяване на промените в работните процеси на AI агенти и системни събития. TimescaleDB – Платформа за стрийминг на данни, която позволява на AI агентите да консумират, обработват и реагират ефективно на събития в реално време. Apache Kafka + kSQLDB – Леко решение за обработка на събития в реално време и опашка за съобщения, полезно за информиране на AI агентите за новите актуализации, когато се случват. Redis Streams – Векторно търсене за извличане на знания AI агентите, работещи с неструктурирано знание, изискват ефективни начини за съхраняване, търсене и извличане на вграждания за задачи като семантично търсене, съпоставяне на сходство и генериране с разширено извличане (RAG). Добре оптимизирана система за векторно търсене позволява на агентите да си припомнят съответните минали взаимодействия, документи или факти, без да претоварват паметта или контекстните прозорци. мащабируема, управлявана векторна база данни, изградена на Cassandra, предлагаща високопроизводително търсене по подобие и мултимодално извличане. Astra съчетава разпределена устойчивост с възможности за векторно търсене, което го прави топ избор за AI агенти, които трябва да обработват вграждания ефективно, като същевременно гарантират глобална мащабируемост и висока достъпност. DataStax Astra DB – Базирана в облака векторна база данни, предназначена за семантично търсене и мултимодално извличане на данни. Той поддържа хибридни методи за търсене и се интегрира добре с графики на знания, което го прави полезен за AI агенти, които разчитат на контекстно разсъждение. Weaviate – Библиотека с отворен код за високоефективно търсене на най-близкия съсед, често вградена в AI тръбопроводи за бързо векторно търсене на големи масиви от данни. Въпреки че не е пълна база данни, FAISS предоставя леко, високоскоростно решение за търсене на локално сходство. FAISS (Facebook AI Similarity Search) – Кеширане и съхранение в паметта AI агентите изискват достъп с ниска латентност до често препращан контекст, което прави кеширането основен компонент на хибридните архитектури за съхранение. Високоефективно хранилище за ключ-стойност в паметта, широко използвано за краткосрочно контекстно кеширане и управление на сесии в AI агенти. Redis – проста, но ефективна система за разпределено кеширане, която осигурява бърз достъп до често използвани данни на AI агенти. Memcached – Чрез интегрирането на тези разнообразни решения за съхранение, AI агентите могат ефективно да управляват краткосрочната памет, постоянните знания и актуализациите в реално време, като гарантират безпроблемно вземане на решения в мащаб. Комбинацията от транзакционни бази данни, съхранение на времеви серии, векторно търсене и кеширане позволява на агентите да балансират скоростта, мащабируемостта и контекстната осведоменост, адаптирайки се динамично към новите входове. Тъй като приложенията, управлявани от изкуствен интелект, продължават да се развиват, изборът на правилната хибридна архитектура за съхранение ще бъде от решаващо значение за активирането на автономни, отзивчиви и интелигентни агентни системи, които могат да работят надеждно в сложни и непрекъснато променящи се среди. Бъдещето на AI агентите с хибридни бази данни Тъй като системите с изкуствен интелект стават все по-сложни, хибридните бази данни ще бъдат от решаващо значение за управлението на краткосрочната и дългосрочната памет, структурираните и неструктурираните данни и прозренията в реално време и историческите данни. Напредъкът в генерирането с допълнено извличане (RAG), семантичното индексиране и разпределеното заключение правят агентите на ИИ по-ефективни, интелигентни и адаптивни. Бъдещите AI агенти ще разчитат на бързо, мащабируемо и съобразено с контекста съхранение, за да поддържат непрекъснатост и да вземат информирани решения във времето. Защо хибридни бази данни? AI агентите се нуждаят от решения за съхранение, които ефективно управляват различни видове контекст, като същевременно гарантират скорост, мащабируемост и устойчивост. Хибридните бази данни предлагат най-доброто от двата свята – високоскоростни структурирани данни с дълбоко контекстно извличане – което ги прави основополагащи за интелигентни системи с изкуствен интелект. Те поддържат векторно базирано търсене за дългосрочно съхранение на знания, търсене на транзакции с ниска латентност, актуализации в реално време, управлявани от събития, и разпределена скалируемост за толерантност към грешки. Изграждане на мащабируема AI инфраструктура за данни За да поддържат интелигентни AI агенти, разработчиците трябва да проектират архитектури за съхранение, които комбинират множество модели на данни за безпроблемно управление на контекста: съхранявайте семантичен контекст заедно със структурирани метаданни за бързо извличане Векторно търсене и колонни данни – – предавайте поточно актуализации в реално време, за да информирате AI агентите за променящите се данни Работни потоци, управлявани от събития внедряване в разпределени мрежи за висока достъпност и толерантност към грешки Глобален мащаб и устойчивост – Чрез интегриране на транзакционна обработка, векторно търсене и актуализации в реално време, осигуряват оптималната основа за паметта на AI агента, осъзнаването на контекста и вземането на решения. Тъй като приложенията, управлявани от AI, се развиват, хибридните решения за съхранение ще бъдат от съществено значение за осигуряване на автономни, богати на контекст AI агенти, които работят надеждно в динамични среди с интензивно използване на данни. хибридни бази данни като DataStax Astra DB Написано от Brian Godsey, DataStax