Aiz AI aģentiem: infrastruktūra, kas atbalsta autonomiju

Lielākā daļa AI aģentu un aģentu sistēmu aprakstu ir vērsti uz aģentu spēju darboties autonomi, bez lietotāja iejaukšanās daudzās situācijās aģentu paredzētajos lietošanas gadījumos. Daži aģenti darbojas ar cilvēka cilpā modeli, iesaistot lietotāju tikai tad, kad viņi saskaras ar nenoteiktību, bet joprojām darbojas autonomi tipiskos un noteiktos apstākļos. Tā kā autonomija ir AI aģentu galvenā iezīme, aģentiem ir nepieciešamas atbalsta iespējas, lai tās varētu darboties neatkarīgi no lietotāja ievades. In , mēs noteicām četras prasības aģentu AI arhitektūrām: agrāks emuāra ieraksts spēja rīkoties lietotāja vārdā, tostarp atļaujas un autentificēta piekļuve attiecīgajām sistēmām. Iespēja un piekļuve — argumentācijas izmantošana, lai pieņemtu lēmumus strukturētā domāšanas procesā, kas bieži tiek definēts kā ķēde, koks, grafiks vai algoritms, kas virza aģenta darbības. Spriedums un plānošana — vairāku daļu, tostarp uzvedņu, LLM, pieejamo datu avotu, konteksta, atmiņas, vēstures, kā arī iespējamo darbību izpildes un statusa koordinēšana. Komponentu orķestrēšana — mehānismi, lai aģents būtu mērķtiecīgs un efektīvs, tostarp drošības pasākumi, lai izvairītos no kļūdām vai sniegtu noderīgu diagnostikas informāciju kļūmes gadījumā. Aizsargmargas — Katrai no šīm četrām prasībām ir atšķirīgas infrastruktūras vajadzības. Iespējas un piekļuves nodrošināšanai galvenās vajadzības ir programmatūras integrācija un akreditācijas datu pārvaldība. Spriešanu un plānošanu galvenokārt atbalsta LLM un citi AI modeļi. Aizsargmargu tēma ir plaša un bieži vien ir specifiska attiecīgajiem lietošanas gadījumiem, tāpēc mēs to saglabāsim nākamajā rakstā. Šeit es vēlētos koncentrēties uz orķestrēšanu un infrastruktūru, kas nepieciešama, lai atbalstītu inteliģentu orķestrēšanu daudzās kustīgās daļās un ilgu datu un konteksta vēsturi, kas varētu būt nepieciešami lēmuma pieņemšanas laikā. Komponentu orķestrēšana un konteksta loma AI aģentos Pieņemot, ka pirmās divas iepriekš minētās prasības, tostarp spējas, piekļuve, argumentācija un plānošana, darbojas, kā paredzēts, galvenais komponentu orķestrēšanas izaicinājums ir zināšanu pārvaldība. Aģentūras sistēmai ir jāsaglabā izpratne dažādos līmeņos: tās pamatuzdevumi un mērķi, dažādu attiecīgo sistēmu stāvoklis, mijiedarbības vēsture ar lietotāju un citām ārējām sistēmām un, iespējams, vairāk. Izmantojot LLM, mēs izmantojam “konteksta loga” jēdzienu, lai aprakstītu modelim pieejamo informācijas kopu, parasti tūlītējā laikā. Tas atšķiras no informācijas, kas ietverta pašā uzvednē, kā arī atšķiras no LLM iekšējās zināšanu kopas, kas tika izveidota modeļa apmācības procesa laikā. Garos tekstos konteksta logus var uzskatīt par informācijas “neseno vēsturi”, kas LLM ir pieejama tūlītējā laikā — tas ir netieši ietverts LLM arhitektūrā un uzvednē. Tādā veidā lielākajai daļai LLM ir viendimensionāls konteksta jēdziens, un vecāks konteksts laika gaitā vienkārši izkrīt no loga. Aģentiem ir nepieciešama sarežģītāka konteksta un zināšanu pārvaldības sistēma, lai pārliecinātos, ka vissvarīgākais vai steidzamākais konteksts tiek uzskatīts par prioritāti ikreiz, kad aģentam ir jāpieņem lēmums. Viena monolīta konteksta vietā AI aģentiem ir jāseko dažāda veida kontekstam ar dažādu svarīguma līmeni. To var salīdzināt ar atmiņu datorsistēmās, kur dažāda veida krātuve — kešatmiņa, RAM un cietie diski — kalpo dažādiem mērķiem atkarībā no pieejamības un lietošanas biežuma. AI aģentiem mēs varam konceptuāli strukturēt kontekstu trīs primārajos līmeņos: aģenta pamatuzdevumu saraksts vai mērķi. Tam vienmēr jābūt galvenajam, vadot visas darbības. Primārais konteksts — savienoto, atbilstošo sistēmu un tiešās vides stāvoklis, tostarp tādi resursi kā ziņojumapmaiņas sistēmas, datu plūsmas, kritiskās API vai lietotāja e-pasts un kalendāri. Tiešais konteksts — vispārīgas zināšanas vai jebkāda informācija, kas varētu būt svarīga, bet kas nav īpaši izstrādāta kā aģentu sistēmas galvenā sastāvdaļa. Ārējo kontekstu var nodrošināt kaut kas tik vienkāršs kā meklēšana internetā vai Wikipedia. Vai arī tas var būt steidzams un sarežģīts, piemēram, neparedzēti faktori, kas izriet no trešās puses ziņām vai atjauninājumiem, kuru dēļ aģentam ir dinamiski jāpielāgo savas darbības. Ārējais konteksts — Šie konteksta līmeņi nav galīgi, līnijas starp tiem var būt ļoti neskaidras, un ir arī citi noderīgi veidi, kā aprakstīt konteksta veidus, taču šī konceptuālā struktūra ir noderīga mūsu diskusijai šeit. Krātuves infrastruktūra konteksta pārvaldībai AI aģentu uzglabāšanas vajadzības atšķiras atkarībā no pārvaldītā konteksta veida. Katram līmenim — primārajam, tiešajam un ārējam kontekstam — ir nepieciešamas dažādas datu struktūras, izguves mehānismi un atjaunināšanas biežums. Galvenais izaicinājums ir nodrošināt efektīvu piekļuvi, ilgtermiņa noturību un dinamiskus atjauninājumus, nepārslogojot aģenta apstrādes cauruļvadu. Tā vietā, lai kontekstu uzskatītu par monolītu vienību, AI aģenti gūst labumu no hibrīda krātuves arhitektūras, kas apvieno strukturētus un nestrukturētus datu modeļus. Tas nodrošina ātru meklēšanu, semantisko izgūšanu un mērogojamu noturību, nodrošinot, ka atbilstošs konteksts ir pieejams, kad nepieciešams, vienlaikus samazinot lieko datu apstrādi. Primārais konteksts: uzdevumu saraksti un aģenta mērķi Primāro kontekstu veido aģenta galvenie mērķi un aktīvie uzdevumi — pamats, kas virza lēmumu pieņemšanu. Šai informācijai jābūt noturīgai, ļoti strukturētai un viegli pieprasāmai, jo tā nosaka visas aģenta darbības. Iespējamās uzglabāšanas vajadzības: strukturētiem uzdevumu sarakstiem un mērķu hierarhijām. Darījumu datu bāzes (atslēgu vērtību vai dokumentu krātuves) lai atbalstītu aktīvo uzdevumu ātru meklēšanu. Zema latentuma indeksācija, lai nodrošinātu, ka uzdevumi atspoguļo reāllaika progresu. Uz notikumiem balstīti atjauninājumi, Aģenta ieviešanas piemērs Plānošanas palīgam, kas pārvalda uzdevumu rindu, ir jāsaglabā: Pastāvīgi uzdevumi (piemēram, “Ieplānojiet tikšanos ar Aleksu”) ar statusa atjauninājumiem. Izpildes vēsture (piemēram, “Nosūtīts sākotnējais e-pasts, gaida atbildi”). Prioritātes un atkarības, nodrošinot steidzamus uzdevumus vispirms. Izkliedēta, ļoti pieejama datu krātuve nodrošina uzdevumu uzticamu izsekošanu, pat ja aģents apstrādā jaunus notikumus un konteksta atjauninājumus. Tiešais konteksts: savienoto sistēmu stāvoklis Tiešais konteksts ietver attiecīgo sistēmu pašreizējo stāvokli — kalendārus, ziņojumapmaiņas platformas, API, datu bāzes un citus reāllaika datu avotus. Atšķirībā no primārā konteksta tiešais konteksts ir dinamisks, un tam bieži ir nepieciešams strukturētu un reāllaika krātuves risinājumu kombinācija. Iespējamās uzglabāšanas vajadzības: notikumu žurnāliem un reāllaika statusa izsekošanai. Laika rindu datu bāzes bieži piekļūtiem sistēmas stāvokļiem. Kešatmiņas slāņi kontekstuālajiem vaicājumiem par nesenajām mijiedarbībām. Uz vektoriem balstīta izguve Aģenta ieviešanas piemērs: Klientu atbalsta AI aģentam, kas izseko reāllaika lietotāju mijiedarbību, ir jāsaglabā: atmiņas veikalā. Sarunu vēsture reāllaikā (piemēram, informācija par notiekošo atbalstu) laikrindu datu bāzē. Sesijas stāvoklis ārējai sistēmas meklēšanai, izvairoties no liekiem vaicājumiem. API atbilžu kešatmiņas Strukturējot tiešo konteksta krātuvi ar laika ziņā jutīgu un ilgtermiņa datu krātuvju kombināciju, AI aģenti var rīkoties, apzinoties savu vidi bez pārmērīgas latentuma. Ārējais konteksts: zināšanu iegūšana un pielāgošana Ārējais konteksts ietver vispārīgas zināšanas un negaidītus atjauninājumus no avotiem, kas nav aģenta tiešā kontrolē. Tas var būt no meklēšanas vaicājumiem pēc pieprasījuma līdz dinamiski uzņemtiem ārējiem datiem, kam nepieciešama elastīga pieeja uzglabāšanai un izguvei. Atšķirībā no primārajiem un tiešajiem kontekstiem, kas ir cieši saistīti ar aģenta pastāvīgajiem uzdevumiem un saistītajām sistēmām, ārējais konteksts bieži ir nestrukturēts, plašs un ļoti mainīgs pēc nozīmes. Iespējamie uzglabāšanas apsvērumi: pastāvīgam, strukturētam atsauces materiālam. Dokumentu krātuves un zināšanu bāzes lielu iekšējo vai ārējo dokumentu datu kopu vaicāšanai. Vektoru meklēšana lai pirms atbildes sniegšanas iegūtu atbilstošās zināšanas. ), Izguves papildināšana (RAG reāllaika atjauninājumiem no ārējiem datu avotiem. Straumēšana un uz notikumiem balstīta pārsūtīšana Aģenta ieviešanas piemērs: Personīgajam asistentam, kas sagatavo ziņojumu par jaunākajiem zinātniskajiem atklājumiem klimata pārmaiņu izpētē, ir nepieciešams: no ārējiem avotiem, filtrējot to atbilstību, pamatojoties uz atslēgvārdiem vai vektoru līdzību. Izgūstiet zinātniskos rakstus , identificējot tendences, izmantojot zināšanu grafiku. Analizējiet attiecības starp dokumentiem izmantojot uz LLM balstītu izguves paplašināto ģenerēšanu. Apkopojiet galvenos ieskatus, , abonējot reāllaika publikāciju plūsmas un ziņu avotus. Izsekojiet jaunākajiem atjauninājumiem Strukturējot ārējo konteksta krātuvi ap ātru izguvi un semantisko organizēšanu, AI aģenti var nepārtraukti pielāgoties jaunai informācijai, vienlaikus nodrošinot, ka izgūtie dati joprojām ir atbilstoši, ticami un izmantojami. Hibrīda krātuve kontekstu zinošiem AI aģentiem Kontekstu zinošu AI aģentu izstrādei nepieciešams rūpīgs līdzsvars starp efektīvu piekļuvi kritiskai informācijai un izvairīšanos no atmiņas vai apstrādes pārslodzes. AI aģentiem ir jāizlemj, kad dinamiski saglabāt, izgūt un apstrādāt kontekstu, lai optimizētu lēmumu pieņemšanu. Hibrīda krātuves arhitektūra, kurā ir integrēti darījumu, vektoru, laikrindu un notikumu vadīti modeļi, ļauj AI aģentiem saglabāt konteksta noturību, izguves efektivitāti un adaptīvo intelektu, kas viss ir ļoti svarīgi autonomijai mērogā. Lai sasniegtu šo līdzsvaru, ir vajadzīgas strukturētas stratēģijas trīs galvenajās dimensijās: bieži piekļūtam kontekstam (piemēram, aktīviem uzdevumu stāvokļiem) ir jāatrodas zema latentuma krātuvē, savukārt retāk nepieciešamās, bet būtiskas zināšanas (piemēram, vēsturiskās mijiedarbības) pēc pieprasījuma ir jāizgūst no ilgtermiņa krātuves. Latentums pret noturību — uzdevumi, mērķi un sistēmas stāvokļi gūst labumu no strukturētas krātuves (piemēram, atslēgu-vērtību vai dokumentu datu bāzes), savukārt plašākai zināšanu izguvei ir nepieciešamas nestrukturētas iegulšanas un diagrammu attiecības, lai efektīvi uztvertu kontekstu. Strukturēti un nestrukturēti dati — dažos kontekstos ir nepieciešama nepārtraukta uzraudzība (piemēram, reāllaika API atbildes), savukārt citi (piemēram, iepriekšējie lēmumi vai ziņojumi) ir jāizgūst tikai tad, ja tie ir saistīti ar aģenta pašreizējo uzdevumu. Reāllaika un vēsturiskā izpratne — Ņemot vērā šos dažādos kontekstu veidus, AI aģentiem ir nepieciešama strukturēta pieeja informācijas glabāšanai un piekļuvei. Paļaušanās tikai uz LLM konteksta logiem ir neefektīva, jo tā ierobežo aģenta spēju izsekot ilgtermiņa mijiedarbībai un mainīgajām situācijām. Tā vietā konteksts ir pastāvīgi jāsaglabā, dinamiski jāizgūst un jānosaka prioritātes, pamatojoties uz atbilstību un steidzamību. tiek glabāts darījumu datu bāzēs strukturētai izsekošanai un norādīts katrā secinājumu ciklā. Primārais konteksts (uzdevumi un mērķi) — tiek uzturēts reāllaikā, izmantojot kešatmiņu, laikrindu krātuvi vai uz notikumu balstītus atjauninājumus. Tiešais konteksts (sistēmas stāvoklis un aktīvie dati) — vaicājums tiek veikts pēc pieprasījuma, izmantojot vektoru meklēšanu, izguves paplašināto ģenerēšanu (RAG) vai uz diagrammu balstītu zināšanu attēlojumu. Ārējais konteksts (zināšanas un dinamiski atjauninājumi) — Praksē mērogojamām AI aģentu arhitektūrām ir nepieciešami daudzpakāpju atmiņas modeļi, kas apvieno īstermiņa kešatmiņas, pastāvīgas datu bāzes un ārējos izguves mehānismus. Izmantojot hibrīda krātuves pieeju, AI aģenti var: Uzturiet par aktīvajām sistēmām. reāllaika izpratni iegūstiet tikai tad, ja tas ir nepieciešams. Vēsturiskās zināšanas pamatojoties uz mainīgajām vajadzībām. Dinamiski pielāgojiet prioritātes, Integrējot šīs uzglabāšanas stratēģijas, AI aģenti var darboties autonomi, ilgstoši saglabāt kontekstuālo izpratni un dinamiski reaģēt uz jaunu informāciju, tādējādi radot pamatu patiesi inteliģentām un mērogojamām aģentu sistēmām. Hibrīda uzglabāšanas risinājumi Lai ieviestu hibrīda krātuves arhitektūru AI aģentiem, ir jāizvēlas pareizās datu bāzes un krātuves rīki, lai efektīvi apstrādātu dažāda veida kontekstus. Labākā izvēle ir atkarīga no tādiem faktoriem kā latentuma prasības, mērogojamība, datu struktūras saderība un izguves mehānismi. Labi izstrādāta AI aģentu uzglabāšanas sistēma parasti ietver: T strukturētai, pastāvīgai uzdevumu izsekošanai. ranakciju datu bāzes reāllaika sistēmas stāvokļa uzraudzībai. Laika rindas un notikumu vadīta krātuve elastīgai, nestrukturētai piekļuvei datiem. Vektoru meklēšana un zināšanu izguve ātrai piekļuvei īstermiņa atmiņai. Kešatmiņas un atmiņas datu bāzes Apskatīsim katru no šiem elementiem tuvāk. Darījumu un izplatītās datu bāzes AI aģentiem ir nepieciešamas mērogojamas, ļoti pieejamas darījumu datu bāzes, lai uzticami uzglabātu uzdevumus, mērķus un strukturētus metadatus. Šīs datu bāzes nodrošina, ka primārais konteksts vienmēr ir pieejams un efektīvi vaicājams. – izplatīta NoSQL datu bāze, kas paredzēta augstai pieejamībai un kļūdu tolerancei. Ideāli piemērots strukturētu uzdevumu sarakstu pārvaldībai un aģenta mērķu izsekošanas mērogā. Apache Cassandra® pārvaldīta datu bāze kā pakalpojums (DBaaS), kas veidota uz Cassandra, nodrošinot elastīgu mērogojamību un vairāku reģionu replikāciju AI lietojumprogrammām, kurām nepieciešama augsta izturība. — DataStax Astra DB populāra relāciju datu bāze ar stingrām konsekvences garantijām, kas ir labi piemērota strukturētu aģentu metadatiem, pastāvīgiem uzdevumu žurnāliem un politikas ieviešanai. PostgreSQL — Laika sēriju un notikumu balstīta krātuve Sistēmas reāllaika uzraudzībai AI aģentiem ir vajadzīgas datu bāzes, kas optimizētas reģistrēšanai, notikumu izsekošanas un stāvokļa noturībai. vadošā laikrindu datu bāze, kas paredzēta ātrgaitas saņemšanai un efektīviem vaicājumiem, padarot to ideāli piemērotu AI aģenta darbību un ārējo sistēmas atjauninājumu reģistrēšanai. InfluxDB — PostgreSQL paplašinājums, kas optimizēts laikrindu darba slodzēm, piemērots AI aģenta darbplūsmu un sistēmas notikumu izmaiņu izsekošanai. TimescaleDB — straumēšanas datu platforma, kas ļauj AI aģentiem efektīvi patērēt, apstrādāt un reaģēt uz notikumiem reāllaikā. Apache Kafka + kSQLDB — viegls risinājums notikumu apstrādei reāllaikā un ziņojumu rindai, kas ir noderīgs, lai AI aģenti būtu informēti par jauniem atjauninājumiem, tiklīdz tie notiek. Redis Streams — Vector Search for Knowledge Retrieval AI aģentiem, kas strādā ar nestrukturētām zināšanām, ir nepieciešami efektīvi veidi, kā uzglabāt, meklēt un izgūt iegulšanu tādiem uzdevumiem kā semantiskā meklēšana, līdzības noteikšana un izguves paplašinātā ģenerēšana (RAG). Labi optimizēta vektoru meklēšanas sistēma ļauj aģentiem atsaukt atmiņā būtisku pagātnes mijiedarbību, dokumentus vai faktus, nepārslogojot atmiņu vai konteksta logus. mērogojama, pārvaldīta vektoru datubāze, kas veidota uz Cassandra, piedāvājot augstas veiktspējas līdzību meklēšanu un multimodālu izguvi. Astra apvieno sadalīto noturību ar vektoru meklēšanas iespējām, padarot to par labāko izvēli AI aģentiem, kuriem nepieciešams efektīvi apstrādāt iegulšanu, vienlaikus nodrošinot globālu mērogojamību un augstu pieejamību. DataStax Astra DB — mākoņdatošanas vektoru datubāze, kas paredzēta semantiskai meklēšanai un multimodālai datu izguvei. Tā atbalsta hibrīdās meklēšanas metodes un labi integrējas ar zināšanu grafikiem, padarot to noderīgu AI aģentiem, kuri paļaujas uz kontekstuālu argumentāciju. Weaviate — atvērtā pirmkoda bibliotēka augstas veiktspējas tuvāko kaimiņu meklēšanai, kas bieži ir iegulta AI konveijeros ātrai vektoru meklēšanai lielās datu kopās. Lai gan FAISS nav pilna datubāze, tas nodrošina vieglu, ātrdarbīgu risinājumu vietējai līdzības meklēšanai. FAISS (Facebook AI līdzību meklēšana) — Kešatmiņa un krātuve atmiņā AI aģentiem ir nepieciešama zema latentuma piekļuve bieži izmantotajam kontekstam, padarot kešatmiņu par būtisku hibrīda krātuves arhitektūras sastāvdaļu. augstas veiktspējas atslēgu vērtību krātuve atmiņā, ko plaši izmanto īslaicīgai konteksta kešatmiņai un sesiju pārvaldībai AI aģentos. Redis — vienkārša, bet efektīva izplatīta kešatmiņas sistēma, kas nodrošina ātru piekļuvi bieži izmantotajiem AI aģenta datiem. Memcached — Integrējot šos dažādos uzglabāšanas risinājumus, AI aģenti var efektīvi pārvaldīt īstermiņa atmiņu, pastāvīgas zināšanas un reāllaika atjauninājumus, nodrošinot netraucētu lēmumu pieņemšanu plašā mērogā. Darījumu datu bāzu, laikrindu krātuves, vektoru meklēšanas un kešatmiņas kombinācija ļauj aģentiem līdzsvarot ātrumu, mērogojamību un kontekstuālo izpratni, dinamiski pielāgojoties jaunām ievadēm. Tā kā AI vadītas lietojumprogrammas turpina attīstīties, pareizas hibrīda krātuves arhitektūras izvēle būs ļoti svarīga, lai nodrošinātu autonomas, atsaucīgas un inteliģentas aģentu sistēmas, kas var droši darboties sarežģītās un pastāvīgi mainīgās vidēs. AI aģentu nākotne ar hibrīdām datu bāzēm Tā kā mākslīgā intelekta sistēmas kļūst arvien sarežģītākas, hibrīda datu bāzes būs ļoti svarīgas īstermiņa un ilgtermiņa atmiņas, strukturētu un nestrukturētu datu, kā arī reāllaika un vēsturisko ieskatu pārvaldīšanai. Sasniegumi izguves paplašinātajā ģenerēšanā (RAG), semantiskajā indeksēšanā un izkliedēto secinājumu izdarīšanā padara AI aģentus efektīvākus, viedākus un adaptīvākus. Nākotnes AI aģenti paļausies uz ātru, mērogojamu un kontekstam atbilstošu krātuvi, lai saglabātu nepārtrauktību un pieņemtu pārdomātus lēmumus laika gaitā. Kāpēc hibrīdās datu bāzes? AI aģentiem ir nepieciešami krātuves risinājumi, kas efektīvi pārvalda dažāda veida kontekstu, vienlaikus nodrošinot ātrumu, mērogojamību un noturību. Hibrīdās datu bāzes piedāvā labāko no abām pasaulēm — ātrdarbīgus strukturētus datus ar dziļu kontekstuālu izguvi — padarot tās par pamatu viedām AI sistēmām. Tie atbalsta uz vektoriem balstītu meklēšanu ilgtermiņa zināšanu glabāšanai, zema latentuma darījumu uzmeklēšanu, reāllaika notikumu izraisītus atjauninājumus un sadalītu mērogojamību kļūdu tolerancei. Mērogojamas AI datu infrastruktūras izveide Lai atbalstītu viedos AI aģentus, izstrādātājiem ir jāveido uzglabāšanas arhitektūras, kas apvieno vairākus datu modeļus netraucētai konteksta pārvaldībai. saglabājiet semantisko kontekstu kopā ar strukturētiem metadatiem ātrai izguvei Vektoru meklēšana un kolonnu dati — — straumējiet reāllaika atjauninājumus, lai AI aģenti būtu informēti par mainīgajiem datiem Uz notikumiem balstītas darbplūsmas izvietojiet sadalītos tīklos, lai nodrošinātu augstu pieejamību un kļūdu toleranci Globālais mērogs un noturība — Integrējot darījumu apstrādi, vektoru meklēšanu un reāllaika atjauninājumus, nodrošina optimālu pamatu AI aģenta atmiņai, konteksta izpratnei un lēmumu pieņemšanai. Attīstoties AI vadītām lietojumprogrammām, hibrīda krātuves risinājumi būs būtiski, lai nodrošinātu autonomus, kontekstam bagātus AI aģentus, kas uzticami darbojas dinamiskā, datu ietilpīgā vidē. hibrīdas datu bāzes, piemēram, DataStax Astra DB Autors Braiens Godsijs, DataStax