Por Adam Bellemare, Tecnólogo Chefe da Confluent O surgimento da IA generativa ressuscitou uma pergunta há muito debatida: como você obtém seus sistemas e serviços os dados que eles precisam para fazer seus trabalhos?Enquanto o mais comumente perguntado por microsserviços e povoando um lago de dados, a IA generativa empurrou seu caminho para a frente desta lista. O principal problema para acessar dados é que os serviços que criam o registro original de dados não são necessariamente os mais adequados para hospedar o acesso ad-hoc a ele. O seu serviço pode ser perfeitamente capaz de executar suas responsabilidades de negócios reais, mas não é capaz de servir esses dados a potenciais clientes. Enquanto você pode expor os dados usando uma interface, o serviço pode não ser capaz de lidar com o volume de consulta, ou os tipos de consultas que são esperados. Os analistas de dados entraram neste problema décadas atrás, onde o sistema original de registros (um ) não poderia fornecer a potência e o desempenho necessários para casos de uso analítico. Um engenheiro de dados extrairia os dados do sistema original de registro e o carregaria em Embora as ferramentas e tecnologias tenham mudado ao longo das décadas, a essência permanece a mesma: copiar dados do espaço operacional para o espaço analítico. Base de dados OLTP Base de dados OLAP FIG 1 Uma tarefa simples Extract-Transform-Load (ETL) copiando dados do domínio operacional para o domínio analítico. FIG 1 Microservices têm o mesmo problema.Como eles obtêm os dados que precisam?Uma opção comum é uma consulta direta para o sistema original de registro, via HTTP, SOAP ou RPC, por exemplo.Similar ao caso do analista de dados, as mesmas limitações se aplicam uma vez que o serviço é incapaz de lidar com os padrões de acesso, requisitos de latência e carga colocada sobre ele por outros serviços dependentes.Atualização dos sistemas para lidar com os novos requisitos pode não ser razoável, considerando a complexidade, recursos limitados e requisitos concorrentes. Figura 2: Outros serviços exigirão os dados para resolver seus próprios casos de uso de negócios, resultando em uma rede de conexões ponto a ponto. Figura 2: O ponto crucial da questão é que Este requisito aberto complica as coisas porque o serviço deve fazer um bom trabalho cumprindo suas responsabilidades de negócios diretos, e também deve apoiar padrões de acesso a dados além de seus casos de uso de negócios diretos. the services that create the data must also provide access to it for external systems O aplicativo que criou os dados também é responsável por cumprir as consultas de dados sob demanda de todos os outros serviços. Fig 3:  A solução para fornecer acesso de dados a serviços, sistemas e AI é uma responsável apenas pela circulação e distribuição de dados em toda a organização. que, por vezes, também é conhecido como e) o dedicated data communications layer data streaming event streaming Em suma, seus serviços publicam dados empresariais importantes em fluxos de dados duráveis, escaláveis e reproduzíveis. Outros serviços que precisam desses dados podem assinar os fluxos de dados relevantes, consumir os dados e reagir a eles de acordo com suas necessidades empresariais. Uma camada de comunicação de dados dedicada, fornecida por fluxos de dados, simplifica a troca de dados em toda a sua organização. Fig 4:  O streaming de dados permite que você forneça serviços de qualquer tamanho (micro ou macro), preencha seus lagos de dados e outros endpoints analíticos e forneça aplicativos e serviços de IA em todo o seu negócio. Os serviços não precisam escrever todos os seus dados para o fluxo de dados, apenas o que é útil para os outros. Um bom lugar para começar é investigar os pedidos que um serviço lida, como pedidos GET, pois eles ilustram os tipos de dados comumente solicitados de outros. Outros serviços lêem os dados dos fluxos de dados e reagem a eles atualizando suas próprias lojas estaduais, aplicando sua própria lógica de negócios e gerando resultados que eles também podem publicar em seu próprio fluxo. Eles não pedem mais dados ad hoc do serviço do produtor - em vez disso, eles obtêm todos os seus dados através do fluxo de dados, incluindo novos dados, dados excluídos e alterações feitas aos dados. Uma vez que eles não pedem mais dados sob demanda, eles devem manter uma réplica do estado que eles se importam dentro de suas próprias lojas de dados. (Nota: Eles não precisam armazenar TODOS os dados, apenas os campos que eles se importam) O consumidor torna-se o único responsável pelas suas próprias métricas de desempenho, desde que os dados estejam disponíveis no fluxo de dados. O streaming de dados oferece benefícios significativos para microsserviços, IA e análise. Os dados escritos em fluxos podem ser amplamente disponibilizados em toda a sua organização.O serviço do produtor escreve os dados uma vez, e os consumidores podem ler os dados quantas vezes precisarem.Note que o armazenamento em disco barato e na nuvem permite manter os dados no fluxo durante o tempo que você precisar (incluindo retenção infinita!) Simplifica as dependências entre produtores e consumidores.O produtor não é mais responsável por atender os padrões de consulta daqueles que dependem de seus dados.O consumidor não depende mais do desempenho de computação e armazenamento do produtor para atender às suas necessidades de negócios.Você reduz significativamente a quantidade de conexões ponto-a-ponto em toda a sua empresa, dependendo em vez disso de produzir conjuntos de dados reutilizáveis e auto-atualizáveis. Desconexão: os serviços de consumo podem tolerar interrupções do produtor sem degradação significativa do serviço, embora o fluxo de dados não seja mais atualizado e eventualmente se torne estável.Além disso, você pode modificar e substituir produtores sem afetar os consumidores existentes, pois eles permanecem acoplados apenas nos fluxos de eventos Sistemas operativos de potência (baseados em OLTP): os fluxos de dados permitem que você crie serviços (micro) orientados por eventos que consomem dados e escrevam seus próprios dados para fluxos. O Analytics pode usar os mesmos fluxos de dados para análise em tempo real, ou como fonte para a construção de tabelas Iceberg ou Delta para análise baseada em lote. Fuel Gen AI e agentes de IA: Os mesmos fluxos também podem alimentar a IA geradora. Os fluxos de dados permitem a geração aumentada de baixa latência (RAG) e a construção de contextos, para que suas consultas de IA tenham sempre as informações mais relevantes e atualizadas. Corrigir dados ruins uma vez, propagá-los em todos os lugares: Você pode corrigir dados ruins na fonte e propagá-los através do fluxo de dados para todos os consumidores a jusante.Enquanto existem algumas nuances sobre como lidar com dados ruins em eventos, existem muitas maneiras de impedir que dados ruins entrem, e para corrigir se isso acontecer. Você ainda pode usar conexões de solicitação/resposta ponto-a-ponto. Não é uma proposição de tudo ou nada. Você pode migrar gradualmente alguns serviços e cargas de trabalho para streaming de dados, deixando outros confiarem em suas arquiteturas de solicitação-resposta existentes. Como uma camada de comunicação de dados, torna mais fácil para seus colegas e seus serviços para encontrar e usar os dados que eles precisam para seus casos de uso de negócios. One of the last major benefits is a strategic benefit. This one is a bit more difficult to quantify, but it is undoubtedly one of the most important. By investing in a data streaming layer, you open up a wide range of possibilities for putting your data to work. Apache Kafka, a popular choice for data streaming, offers a wide range of connectors for integrating with all kinds of systems and services. You’re no longer restricted to only using AIs that are integrated with your data lake offering, or those attached to the cloud service provider that is storing all your analytical data. Instead, you can easily trial models from all sorts of providers as they become available, giving you a first-mover advantage in leveraging the latest tools.  Pensar sobre dados, como acessá-los e como levá-los para onde eles precisam estar sempre foi um desafio, particularmente para a divisão operacional / analítica. Mas o advento da GenAI tornou-o ainda mais importante, acrescentando ainda mais peso e importância para resolver este problema antigo. Em seu coração está um princípio simples - deixe seus serviços de negócios se concentrar em seus casos de uso de negócios, e deixe a camada de comunicação de dados fornecer dados para todos aqueles que precisam por meio de streaming de dados de baixa latência.

This story contains new, firsthand information uncovered by the writer.

Este áudio é produzido no idioma original da história!

Como impulsionar AI, Analytics e Microservices usando os mesmos dados

About Author

COMENTARIOS

Rótulos

ESTE ARTIGO FOI APRESENTADO EM

Related Stories

Toque para ganhar: Telegram pode integrar os próximos 10 bilhões de usuários criptográficos antes de Solana

Quer ganhar um concurso de redação do HackerNoon? Aqui está o que os vencedores do concurso #crypto-api recomendam

Navegando pelas águas: desenvolvendo aplicações RAG de nível de produção com data lakes

Digital Nomads Ouçam: O que você precisa saber sobre o novo visto DTV da Tailândia

Toque para ganhar: Telegram pode integrar os próximos 10 bilhões de usuários criptográficos antes de Solana

Quer ganhar um concurso de redação do HackerNoon? Aqui está o que os vencedores do concurso #crypto-api recomendam

Navegando pelas águas: desenvolvendo aplicações RAG de nível de produção com data lakes

Digital Nomads Ouçam: O que você precisa saber sobre o novo visto DTV da Tailândia

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps