Adam Bellemare, Tecnólogo Principal de Confluent El surgimiento de la IA generativa ha resurgido una pregunta debatida durante mucho tiempo: ¿cómo obtienes a tus sistemas y servicios los datos que necesitan para hacer sus trabajos? Mientras que más comúnmente se pide a los microservicios y a la población de un lago de datos, la IA generativa ha empujado su camino al frente de esta lista. El problema clave para acceder a los datos es que los servicios que crean el registro original de los datos no son necesariamente los más adecuados para alojar el acceso ad hoc a los datos. Su servicio puede ser perfectamente capaz de realizar sus responsabilidades empresariales reales, pero no es capaz de servir esos datos a los clientes potenciales. Si bien puede exponer los datos usando una interfaz, el servicio puede no ser capaz de manejar el volumen de consultas, o los tipos de consultas que se esperan. Los analistas de datos se encontraron con este problema hace décadas, donde el sistema original de registros (un ) no podía proporcionar la potencia y el rendimiento necesarios para casos de uso analítico. Un ingeniero de datos extraería los datos del sistema original de registro y lo cargaría en Mientras que las herramientas y tecnologías han cambiado a lo largo de las décadas, el gesto sigue siendo el mismo: copiar datos del espacio operativo al espacio analítico. Base de datos OLTP Bases de datos OLAP Fig 1 Un trabajo sencillo Extract-Transform-Load (ETL) copia los datos del dominio operativo al dominio analítico. FIG 1 Los microservicios tienen el mismo problema. ¿Cómo obtienen los datos que necesitan? Una opción común es una consulta directa al sistema de registro original, a través de HTTP, SOAP o RPC, por ejemplo. Similar al caso del analista de datos, se aplican las mismas limitaciones ya que el servicio no es capaz de manejar los patrones de acceso, los requisitos de latencia y la carga impuesta por otros servicios dependientes. Actualizar los sistemas para manejar los nuevos requisitos puede no ser razonable, teniendo en cuenta la complejidad, los recursos limitados y los requisitos competitivos. FIG 2: Otros servicios necesitarán los datos para resolver sus propios casos de uso empresarial, lo que resultará en una red de conexiones punto a punto. FIG 2: El cruce de la cuestión es que Este requisito abierto complica las cosas porque el servicio debe hacer un buen trabajo cumpliendo con sus responsabilidades comerciales directas, y también debe apoyar patrones de acceso a los datos más allá de sus casos de uso comercial directo. the services that create the data must also provide access to it for external systems La aplicación que creó los datos también es responsable de cumplir las consultas de datos a petición de todos los demás servicios. Fig 3:  La solución para proporcionar acceso a datos a servicios, sistemas y AIs es una , responsable únicamente de la circulación y distribución de datos en toda una organización. En la actualidad (a veces también conocido como ) de dedicated data communications layer data streaming event streaming En resumen, sus servicios publican datos empresariales importantes en flujos de datos duraderos, escalables y reproducibles.Otros servicios que necesitan esos datos pueden suscribirse a los flujos de datos relevantes, consumir los datos y reaccionar a ellos según sus necesidades empresariales. Una capa de comunicación de datos dedicada, proporcionada por flujos de datos, simplifica el intercambio de datos en toda la organización. Fig 4:  El streaming de datos le permite alimentar servicios de cualquier tamaño (micro o macro), cubrir sus lagos de datos y otros puntos finales analíticos, y alimentar aplicaciones y servicios de IA en todo su negocio. Los servicios no tienen que escribir todos sus datos en el flujo de datos, solo lo que es útil para otros.Un buen lugar para comenzar es investigar las solicitudes que un servicio maneja, como las solicitudes de GET, ya que ilustran los tipos de datos que se solicitan comúnmente a otros.También, hable con sus colegas, ya que tendrán una buena idea de los tipos de datos que sus servicios necesitan para realizar sus tareas. Otros servicios leen los datos de los flujos de datos y reaccionan a él actualizando sus propias tiendas estatales, aplicando su propia lógica empresarial y generando resultados que también pueden publicar a su propio flujo. Ya no solicitan datos ad hoc del servicio del productor - en cambio, obtienen todos sus datos a través del flujo de datos, incluyendo nuevos datos, datos borrados y cambios realizados en los datos. Dado que ya no solicitan datos en demanda, deben mantener una réplica del estado que les importa dentro de sus propios almacenes de datos. (Nota: No necesitan almacenar TODOS los datos, solo los campos que les importan) El consumidor se hace el único responsable de sus propias métricas de rendimiento, siempre que los datos estén disponibles en el flujo de datos. El streaming de datos ofrece beneficios significativos para los microservicios, la IA y la analítica. Hace que los datos estén disponibles para cualquier sistema, proceso o servicio que lo necesite. Los datos escritos en flujos se pueden hacer ampliamente disponibles en toda su organización.El servicio de productor escribe los datos una vez, y los consumidores pueden leer los datos tantas veces como necesiten.Tenga en cuenta que el almacenamiento en disco y en la nube barato le permite mantener los datos en flujo durante el tiempo que necesite (incluido el almacenamiento infinito!) Simplifica las dependencias entre los productores y los consumidores.El productor ya no es responsable de servir los patrones de consulta de los que dependen de sus datos.El consumidor ya no depende del rendimiento de computación y almacenamiento del productor para servir a sus necesidades comerciales.Usted reduce significativamente la cantidad de conexiones punto a punto en su negocio, en lugar de depender de producir conjuntos de datos reutilizables y autoactualizables. Desconexión: Los servicios de consumo pueden tolerar interrupciones de los productores sin degradación significativa del servicio, aunque el flujo de datos ya no se actualizará y eventualmente quedará inactivado.Además, puede modificar y reemplazar a los productores sin afectar a los consumidores existentes, ya que permanecen acoplados sólo en los flujos de eventos Sistemas operativos de potencia (basados en OLTP): los flujos de datos le permiten construir servicios (micro) orientados a eventos que consumen datos y escriben sus propios datos a los flujos. Potencia tanto en tiempo real como en análisis de lotes: Analytics puede utilizar los mismos flujos de datos para análisis en tiempo real, o como fuente para construir tablas de Iceberg o Delta para análisis de lotes. Los flujos de datos permiten la generación aumentada de baja latencia (RAG) y la construcción de contextos, por lo que sus consultas de IA siempre tienen la información más relevante y actualizada.Además, el campo emergente de los agentes de IA se beneficia de los mismos patrones de comunicación basados en eventos que sirven a los microservicios basados en eventos. Corregir los datos malos una vez, propagarlos en todas partes: Puedes corregir los datos malos en la fuente y propagarlos a través del flujo de datos a todos los consumidores a continuación. Todavía puede utilizar conexiones de solicitud/respuesta punto a punto. No es una proposición de todo o nada. Puede migrar gradualmente algunos servicios y cargas de trabajo a la transmisión de datos, mientras que otros se basan en sus arquitecturas de solicitud-respuesta existentes. Los flujos de datos le permiten impulsar operaciones, análisis e IA, todo desde la misma fuente de datos. Como capa de comunicación de datos, facilita que sus colegas y sus servicios encuentren y utilicen los datos que necesitan para sus casos de uso empresarial. Uno de los últimos grandes beneficios es un beneficio estratégico. Este es un poco más difícil de cuantificar, pero es indudablemente uno de los más importantes. Al invertir en una capa de transmisión de datos, abre una amplia gama de posibilidades para poner en funcionamiento sus datos. Apache Kafka, una elección popular para la transmisión de datos, ofrece una amplia gama de conectores para integrarse con todo tipo de sistemas y servicios. Ya no está limitado a usar solo las AI que están integradas con su oferta de lago de datos, o las que están conectadas al proveedor de servicios de nube que almacena todos sus datos analíticos. En lugar de eso, puede probar fácilmente modelos de todo tipo de proveedores a medida que se vuelven disponibles, dándole una ventaja de primera mano en aprovechar las últimas herramientas. Pensar sobre los datos, cómo acceder a ellos y cómo llegar a donde deben estar siempre ha sido un desafío, especialmente para la división operativa / analítica. Pero el advenimiento de GenAI lo ha hecho aún más importante, añadiendo aún más peso e importancia a la solución de este problema antiguo. En su corazón está un principio simple - deje que sus servicios empresariales se centren en sus casos de uso empresarial, y deje que la capa de comunicación de datos proporcione datos a todos los que lo necesitan a través de la transmisión de datos de baja latencia.

This story contains new, firsthand information uncovered by the writer.

Este audio es producido en el idioma original de la historia!

Cómo impulsar AI, Analytics y microservicios utilizando los mismos datos

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

Creación de productos criptográficos centrados en el usuario: la importancia de los comentarios de los clientes

Las capas invisibles: por qué las entrevistas con los usuarios son un activo irremplazable

La fuga rápida del sistema Claude Sonnet 3.5: un análisis forense

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

Creación de productos criptográficos centrados en el usuario: la importancia de los comentarios de los clientes

Las capas invisibles: por qué las entrevistas con los usuarios son un activo irremplazable

La fuga rápida del sistema Claude Sonnet 3.5: un análisis forense

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps