Darrere dels agents d'IA: la infraestructura que dóna suport a l'autonomia

La majoria de les descripcions d'agents d'IA i sistemes d'agent se centren en la capacitat dels agents d'actuar de manera autònoma, sense intervenció de l'usuari, en moltes situacions en els casos d'ús prevists pels agents. Alguns agents operen amb un model human-in-the-loop, implicant l'usuari només quan es troben amb incertesa, però encara actuen de manera autònoma en circumstàncies típiques i determinades. Com que l'autonomia és la principal característica que defineix els agents d'IA, hi ha capacitats de suport que els agents necessiten per actuar de manera independent de l'entrada de l'usuari. En , vam identificar quatre requisits per a les arquitectures d'IA agentic: una entrada anterior al blog la capacitat d'actuar en nom de l'usuari, inclosos els permisos i l'accés autenticat als sistemes rellevants. Capacitat i accés: Utilitzar el raonament per prendre decisions dins d'un procés de pensament estructurat, sovint definit com una cadena, arbre, gràfic o algorisme, que guia les accions de l'agent. Raonament i planificació - coordinació de múltiples parts, incloses les indicacions, els LLM, les fonts de dades disponibles, el context, la memòria, l'historial i l'execució i l'estat d'accions potencials. Orquestració de components: mecanismes per mantenir l'agent concentrat i eficaç, incloses les garanties per evitar errors o proporcionar informació útil de diagnòstic en cas de fallada. Baranes: Cadascun d'aquests quatre requisits té necessitats d'infraestructura diferents. Per a la capacitat i l'accés, les necessitats principals són integracions de programari i gestió de credencials. El raonament i la planificació estan recolzats principalment per LLM i altres models d'IA. El tema de les baranes és ampli i sovint específic per als casos d'ús implicats, així que ho guardarem per a un article futur. Aquí, m'agradaria centrar-me en l'orquestració i la infraestructura necessària per donar suport a l'orquestració intel·ligent en un gran nombre de parts mòbils i una llarga història de dades i context que es poden necessitar en el moment de la decisió. L'orquestració de components i el paper del context en els agents d'IA Suposant que els dos primers requisits anteriors (inclosos l'habilitat, l'accés, el raonament i la planificació) funcionen com es pretén, el principal repte de l'orquestració de components es redueix a la gestió del coneixement. El sistema agent ha de mantenir la consciència en una varietat de nivells: les seves tasques i objectius principals, l'estat de diversos sistemes rellevants, l'historial d'interaccions amb l'usuari i altres sistemes externs, i potencialment més. Amb els LLM, utilitzem el concepte de "finestra de context" per descriure el conjunt d'informació disponible per al model, generalment en un moment puntual. Això és diferent de la informació continguda a la sol·licitud en sí i també diferent del conjunt de coneixements interns del LLM que es va formar durant el procés de formació del model. En els textos llargs, les finestres de context es poden considerar com un "historial recent" de la informació que està disponible per al LLM en el moment de l'indicació, això està implícit en l'arquitectura dels LLM i les indicacions. D'aquesta manera, la majoria dels LLM tenen un concepte unidimensional de context, i el context més antic simplement cau fora de la finestra amb el temps. Els agents necessiten un sistema més sofisticat de gestió del context i del coneixement, per tal de garantir que el context més important o urgent es prioritza, sempre que l'agent necessiti prendre una decisió. En lloc d'un únic context monolític, els agents d'IA han de fer un seguiment de diferents tipus de context amb diferents nivells d'importància. Això es pot comparar amb la memòria dels sistemes informàtics, on els diferents tipus d'emmagatzematge (la memòria cau, la memòria RAM i els discs durs) tenen diferents propòsits segons l'accessibilitat i la freqüència d'ús. Per als agents d'IA, podem estructurar conceptualment el context en tres nivells principals: la llista de tasques o objectius principals de l'agent. Això ha de ser sempre el més important, guiant totes les accions. Context primari: l'estat dels sistemes connectats i rellevants i de l'entorn immediat, inclosos recursos com ara sistemes de missatgeria, fonts de dades, API crítiques o el correu electrònic i els calendaris d'un usuari. Context directe: Coneixement general, o qualsevol informació que pugui ser rellevant, però que no està dissenyada explícitament per ser una part bàsica del sistema agent. El context extern podria ser proporcionat per alguna cosa tan simple com una cerca a Internet o a la Viquipèdia. O bé, podria ser urgent i complicat, com ara factors inesperats que sorgeixen de notícies o actualitzacions de tercers, que requereixin que l'agent adapti les seves accions de manera dinàmica. Context extern – Aquests nivells de context no són definitius, les línies entre ells poden ser molt borroses i hi ha altres maneres útils de descriure els tipus de context, però aquesta estructura conceptual és útil per a la nostra discussió aquí. Infraestructura d'emmagatzematge per a la gestió del context Les necessitats d'emmagatzematge dels agents d'IA varien segons el tipus de context que es gestiona. Cada nivell (context primari, directe i extern) requereix diferents estructures de dades, mecanismes de recuperació i freqüències d'actualització. El repte clau és garantir l'accés eficient, la persistència a llarg termini i les actualitzacions dinàmiques sense sobrecarregar la canalització de processament de l'agent. En lloc de tractar el context com una entitat monolítica, els agents d'IA es beneficien d'arquitectures d'emmagatzematge híbrids que combinen models de dades estructurats i no estructurats. Això permet cerques ràpides, recuperació semàntica i persistència escalable, assegurant que el context rellevant estigui disponible quan sigui necessari alhora que es minimitza el processament de dades redundant. Context primari: llistes de tasques i objectius de l'agent El context principal consisteix en els objectius bàsics de l'agent i les tasques actives, la base que impulsa la presa de decisions. Aquesta informació ha de ser persistent, altament estructurada i de fàcil consulta, ja que guia totes les accions de l'agent. Necessitats potencials d'emmagatzematge: per a llistes de tasques estructurades i jerarquies d'objectius. Bases de dades transaccionals (clau-valor o magatzems de documents) per donar suport a cerques ràpides de tasques actives. Indexació de baixa latència per garantir que les tasques reflecteixin el progrés en temps real. Actualitzacions basades en esdeveniments Exemple d'implementació d'un agent Un assistent de programació que gestiona una cua de tasques ha d'emmagatzemar: Tasques persistents (p. ex., "Programar una reunió amb l'Àlex") amb actualitzacions d'estat. Historial d'execucions (p. ex., "Enviat correu electrònic inicial, esperant resposta"). Prioritats i dependències, assegurant que les tasques urgents surtin primer. Un magatzem de dades distribuït i d'alta disponibilitat garanteix que les tasques es facin un seguiment fiable, fins i tot quan l'agent processa nous esdeveniments i actualitzacions de context. Context directe: estat dels sistemes connectats El context directe inclou l'estat actual dels sistemes rellevants: calendaris, plataformes de missatgeria, API, bases de dades i altres fonts de dades en temps real. A diferència del context primari, el context directe és dinàmic i sovint requereix una combinació de solucions d'emmagatzematge estructurades i en temps real. Necessitats potencials d'emmagatzematge: per a registres d'esdeveniments i seguiment de l'estat en temps real. Bases de dades de sèries temporals per als estats del sistema d'accés freqüent. Capes de memòria cau per a consultes contextuals sobre interaccions recents. Recuperació basada en vectors Exemple d'implementació de l'agent: Un agent d'AI d'atenció al client que fa un seguiment de les interaccions dels usuaris en directe ha d'emmagatzemar: en una botiga a la memòria. Historial de converses en temps real (p. ex., detalls del bitllet d'assistència en curs) en una base de dades de sèries temporals. Estat de la sessió per a cerques de sistemes externs, evitant consultes redundants. Memòries cau de resposta de l'API En estructurar l'emmagatzematge de context directe amb una combinació de magatzems de dades sensibles al temps i a llarg termini, els agents d'IA poden actuar amb consciència del seu entorn sense una latència excessiva. Context extern: Recuperació i Adaptació del Coneixement El context extern inclou el coneixement general i les actualitzacions inesperades de fonts fora del control immediat de l'agent. Això podria anar des de consultes de cerca sota demanda fins a dades externes ingerides dinàmicament, que requereixen un enfocament flexible per a l'emmagatzematge i la recuperació. A diferència dels contextos primaris i directes, que estan estretament lligats a les tasques en curs de l'agent i als sistemes connectats, el context extern sovint és desestructurat, ampli i de rellevància molt variable. Consideracions potencials d'emmagatzematge: per a material de referència persistent i estructurat. Magatzems de documents i bases de coneixement per consultar grans conjunts de dades de documents, interns o externs. Cerca vectorial per obtenir el coneixement rellevant abans de respondre. ) Generació augmentada amb recuperació (RAG per a actualitzacions en temps real de fonts de dades externes. Transmissió en temps real i ingesta basada en esdeveniments Exemple d'implementació de l'agent: Un assistent personal que elabori un informe sobre els darrers descobriments científics en investigació sobre el canvi climàtic ha de: de fonts externes, filtrant per rellevància en funció de paraules clau o similitud de vectors. Recupereu articles científics , identificant tendències mitjançant un gràfic de coneixement. Analitzar les relacions entre articles mitjançant la generació augmentada per la recuperació basada en LLM. Resumiu les idees clau subscrivint-vos a fonts de notícies i fonts de notícies en temps real. Feu un seguiment de les actualitzacions recents Mitjançant l'estructuració de l'emmagatzematge de context extern al voltant de la recuperació ràpida i l'organització semàntica, els agents d'IA poden adaptar-se contínuament a la nova informació alhora que garanteixen que les dades recuperades segueixen sent rellevants, creïbles i accionables. Emmagatzematge híbrid per a agents d'IA conscients del context Dissenyar agents d'IA conscients del context requereix un equilibri acurat entre l'accés eficient a la informació crítica i evitar la sobrecàrrega de memòria o de processament. Els agents d'IA han de decidir quan emmagatzemar, recuperar i processar el context de manera dinàmica per optimitzar la presa de decisions. Una arquitectura d'emmagatzematge híbrida, que integra models transaccionals, vectorials, de sèries temporals i basats en esdeveniments, permet als agents d'IA mantenir la persistència del context, l'eficiència de recuperació i la intel·ligència adaptativa, tot això crucial per a l'autonomia a escala. Aconseguir aquest equilibri requereix estratègies estructurades en tres dimensions clau: el context d'accés freqüent (p. ex., estats de tasques actius) hauria de residir en un emmagatzematge de baixa latència, mentre que els coneixements necessaris amb menys freqüència però essencials (p. ex., interaccions històriques) s'han de recuperar a demanda de l'emmagatzematge a llarg termini. Latència versus persistència: les tasques, els objectius i els estats del sistema es beneficien de l'emmagatzematge estructurat (p. ex., bases de dades clau-valor o documents), mentre que la recuperació de coneixement més àmplia requereix incrustacions no estructurades i relacions de gràfics per capturar el context de manera eficaç. Dades estructurades versus dades no estructurades: alguns contextos requereixen un seguiment continu (per exemple, respostes d'API en directe), mentre que d'altres (per exemple, decisions o informes previs) només s'han de recuperar quan siguin rellevants per a la tasca actual de l'agent. Consciència en temps real versus històrica: Tenint en compte aquests diferents tipus de contextos, els agents d'IA necessiten un enfocament estructurat per emmagatzemar i accedir a la informació. Confiar només en finestres de context de LLM és ineficient, ja que limita la capacitat de l'agent per fer un seguiment de les interaccions a llarg termini i de les situacions en evolució. En lloc d'això, el context s'ha d'emmagatzemar de manera persistent, recuperar-lo dinàmicament i prioritzar segons la rellevància i la urgència. Emmagatzemat en bases de dades transaccionals per al seguiment estructurat i referenciat en cada cicle d'inferència. Context primari (tasques i objectius) - es manté en temps real mitjançant memòria cau, emmagatzematge de sèries temporals o actualitzacions basades en esdeveniments. Context directe (estat del sistema i dades actives): consulta sota demanda mitjançant la cerca vectorial, la generació augmentada per la recuperació (RAG) o la representació de coneixement basada en gràfics. Context extern (coneixement i actualitzacions dinàmiques): A la pràctica, es requereixen models de memòria multinivell que combinen memòria cau a curt termini, bases de dades persistents i mecanismes de recuperació externs per a arquitectures escalables d'agents d'IA. Aprofitant un enfocament d'emmagatzematge híbrid, els agents d'IA poden: Mantenir dels sistemes actius. la consciència en temps real Recuperar només quan sigui pertinent. coneixement històric en funció de les necessitats en evolució. Ajustar dinàmicament les prioritats Mitjançant la integració d'aquestes estratègies d'emmagatzematge, els agents d'IA poden funcionar de manera autònoma, mantenir la consciència del context durant llargs períodes i respondre de manera dinàmica a la nova informació, assentant les bases per a sistemes agentics realment intel·ligents i escalables. Solucions d'emmagatzematge híbrid La implementació d'una arquitectura d'emmagatzematge híbrida per als agents d'IA requereix seleccionar les bases de dades i les eines d'emmagatzematge adequades per gestionar diferents tipus de contextos de manera eficient. La millor opció depèn de factors com ara els requisits de latència, l'escalabilitat, la compatibilitat de l'estructura de dades i els mecanismes de recuperació. Un sistema d'emmagatzematge d'agents d'IA ben dissenyat normalment inclou: per al seguiment de tasques estructurat i persistent. Bases de dades transaccionals per al seguiment de l'estat del sistema en temps real. Emmagatzematge basat en sèries temporals i esdeveniments per a un accés flexible i no estructurat a les dades. Cerca de vectors i recuperació de coneixement per a un accés ràpid a la memòria a curt termini. Emmagatzematge en memòria cau i bases de dades a la memòria Fem una ullada més de prop a cadascun d'aquests elements. Bases de dades transaccionals i distribuïdes Els agents d'IA requereixen bases de dades transaccionals escalables i altament disponibles per emmagatzemar tasques, objectius i metadades estructurades de manera fiable. Aquestes bases de dades garanteixen que el context primari estigui sempre disponible i que es pugui consultar de manera eficient. : una base de dades NoSQL distribuïda dissenyada per a una alta disponibilitat i tolerància a errors. Ideal per gestionar llistes de tasques estructurades i el seguiment d'objectius de l'agent a escala. Apache Cassandra® una base de dades gestionada com a servei (DBaaS) construïda a Cassandra, que proporciona escalabilitat elàstica i replicació multiregional per a aplicacions d'IA que requereixen una gran durabilitat. : DataStax Astra DB una base de dades relacional popular amb fortes garanties de coherència, molt adequada per a metadades d'agents estructurats, registres de tasques persistents i aplicació de polítiques. PostgreSQL: Emmagatzematge de sèries temporals i esdeveniments Per a la supervisió del sistema en temps real, els agents d'IA necessiten bases de dades optimitzades per al registre, el seguiment d'esdeveniments i la persistència de l'estat. una base de dades líder de sèries temporals dissenyada per a la ingestió d'alta velocitat i consultes eficients, la qual cosa la fa ideal per registrar l'activitat de l'agent d'IA i les actualitzacions externes del sistema. InfluxDB: una extensió PostgreSQL optimitzada per a càrregues de treball de sèries temporals, adequada per fer el seguiment dels canvis en els fluxos de treball de l'agent d'IA i els esdeveniments del sistema. TimescaleDB: una plataforma de dades en temps real que permet als agents d'IA consumir, processar i reaccionar als esdeveniments en temps real de manera eficient. Apache Kafka + kSQLDB: una solució lleugera per a la gestió d'esdeveniments en temps real i la cua de missatges, útil per mantenir els agents d'IA al corrent de les noves actualitzacions a mesura que succeeixen. Redis Streams: Cerca vectorial per a la recuperació de coneixement Els agents d'IA que treballen amb coneixement no estructurat requereixen maneres eficients d'emmagatzemar, cercar i recuperar incrustacions per a tasques com la cerca semàntica, la concordança de semblança i la generació augmentada per la recuperació (RAG). Un sistema de cerca vectorials ben optimitzat permet als agents recordar interaccions, documents o fets passats rellevants sense sobrecarregar la memòria o les finestres de context. una base de dades vectorials gestionada i escalable basada en Cassandra, que ofereix cerca de similitud d'alt rendiment i recuperació multimodal. Astra combina la resiliència distribuïda amb les capacitats de cerca de vectors, la qual cosa la converteix en la millor opció per als agents d'IA que necessiten processar incrustacions de manera eficient alhora que garanteixen una escalabilitat global i una alta disponibilitat. DataStax Astra DB: una base de dades vectorial nativa del núvol dissenyada per a la cerca semàntica i la recuperació de dades multimodal. Admet mètodes de cerca híbrids i s'integra bé amb els gràfics de coneixement, cosa que el fa útil per als agents d'IA que es basen en el raonament contextual. Weaviate: una biblioteca de codi obert per a la cerca de veí més proper d'alt rendiment, sovint incrustada en canalitzacions d'IA per a cerques de vectors ràpides en grans conjunts de dades. Tot i que no és una base de dades completa, FAISS ofereix una solució lleugera i d'alta velocitat per a la cerca de similitud local. FAISS (Facebook AI Similarity Search): Emmagatzematge a la memòria cau i emmagatzematge a la memòria Els agents d'IA requereixen un accés de baixa latència al context de referència freqüent, fent de la memòria cau un component essencial de les arquitectures d'emmagatzematge híbrid. un magatzem de valor-clau en memòria d'alt rendiment, molt utilitzat per a la memòria cau del context a curt termini i la gestió de sessions als agents d'IA. Redis: un sistema de memòria cau distribuït senzill però eficaç que proporciona un accés ràpid a les dades de l'agent d'IA d'ús freqüent. Memcached: Mitjançant la integració d'aquestes diverses solucions d'emmagatzematge, els agents d'IA poden gestionar de manera eficient la memòria a curt termini, el coneixement persistent i les actualitzacions en temps real, garantint una presa de decisions perfecta a escala. La combinació de bases de dades transaccionals, emmagatzematge de sèries temporals, cerca vectorial i memòria cau permet als agents equilibrar la velocitat, l'escalabilitat i la consciència contextual, adaptant-se de manera dinàmica a les noves entrades. A mesura que les aplicacions basades en IA continuen evolucionant, la selecció de l'arquitectura d'emmagatzematge híbrida adequada serà crucial per habilitar sistemes agents autònoms, sensibles i intel·ligents que puguin funcionar de manera fiable en entorns complexos i en constant canvi. El futur dels agents d'IA amb bases de dades híbrides A mesura que els sistemes d'IA es facin més complexos, les bases de dades híbrides seran crucials per gestionar la memòria a curt i llarg termini, les dades estructurades i no estructurades i la informació històrica i en temps real. Els avenços en la generació augmentada per la recuperació (RAG), la indexació semàntica i la inferència distribuïda fan que els agents d'IA siguin més eficients, intel·ligents i adaptatius. Els futurs agents d'IA confiaran en un emmagatzematge ràpid, escalable i conscient del context per mantenir la continuïtat i prendre decisions informades al llarg del temps. Per què bases de dades híbrides? Els agents d'IA necessiten solucions d'emmagatzematge que gestionen de manera eficient diferents tipus de context alhora que garanteixen velocitat, escalabilitat i resiliència. Les bases de dades híbrides ofereixen el millor dels dos mons: dades estructurades d'alta velocitat amb recuperació contextual profunda, fent-les fonamentals per als sistemes intel·ligents d'IA. Admeten la cerca basada en vectors per a l'emmagatzematge de coneixement a llarg termini, cerques transaccionals de baixa latència, actualitzacions en temps real basades en esdeveniments i escalabilitat distribuïda per a la tolerància a errors. Construcció d'una infraestructura de dades d'IA escalable Per donar suport als agents intel·ligents d'IA, els desenvolupadors haurien de dissenyar arquitectures d'emmagatzematge que combinin diversos models de dades per a una gestió del context perfecta: emmagatzema el context semàntic juntament amb metadades estructurades per a una recuperació ràpida Cerca vectorial i dades en columna: : transmeteu actualitzacions en temps real per mantenir els agents d'IA al corrent del canvi de dades Fluxos de treball basats en esdeveniments implementeu-vos a través de xarxes distribuïdes per a una alta disponibilitat i tolerància a errors Escala global i resiliència: En integrar el processament transaccional, la cerca vectorial i les actualitzacions en temps real, proporcionar la base òptima per a la memòria de l'agent d'IA, la consciència del context i la presa de decisions. A mesura que evolucionen les aplicacions basades en IA, les solucions d'emmagatzematge híbrids seran essencials per permetre agents d'IA autònoms i rics en context que funcionin de manera fiable en entorns dinàmics i intensius de dades. bases de dades híbrides com DataStax Astra DB Escrit per Brian Godsey, DataStax