Os LLMs estão transformando os aplicativos de IA: veja como

A inteligência artificial é a mudança de paradigma mais transformadora desde que a internet se consolidou em 1994. E tem muitas corporações, compreensivelmente, lutando para infundir a IA na maneira como fazem negócios.

Uma das maneiras mais importantes de isso acontecer é por meio de IA generativa e modelos de linguagem grande (LLMs), e é muito além de pedir ao ChatGPT para escrever uma postagem sobre um tópico específico para um blog corporativo ou até mesmo para ajudar a escrever código.

Na verdade, os LLMs estão rapidamente se tornando parte integrante da pilha de aplicativos.

Construir interfaces de IA generativas como o ChatGPT — “agentes” — sobre um banco de dados que contém todos os dados necessários e pode “falar a língua” dos LLMs é o futuro (e, cada vez mais, o presente ) dos aplicativos móveis.

O nível de interação dinâmica, o acesso a grandes quantidades de dados públicos e proprietários e a capacidade de adaptação a situações específicas tornam os aplicativos criados em LLMs poderosos e envolventes de uma forma que não estava disponível até recentemente.

E a tecnologia evoluiu rapidamente na medida em que praticamente qualquer pessoa com o banco de dados certo e as APIs certas pode criar essas experiências. Vamos dar uma olhada no que está envolvido.

Como a IA generativa revoluciona a maneira como os aplicativos funcionam

Quando algumas pessoas ouvem “agente” e “IA” na mesma frase, elas pensam no chatbot simples que experimentaram como uma janela pop-up que pergunta como ele pode ajudar quando visitam um site de comércio eletrônico.

Mas os LLMs podem fazer muito mais do que responder com simples prompts de conversação e respostas extraídas de um FAQ.

Quando eles têm acesso aos dados certos, os aplicativos criados nos LLMs podem gerar maneiras muito mais avançadas de interagir conosco, fornecendo informações com curadoria especializada que são mais úteis, específicas, ricas - e muitas vezes incrivelmente prescientes.

Aqui está um exemplo.

Você deseja construir um deck em seu quintal, então abre o aplicativo móvel de sua loja de materiais de construção e pede que ele crie uma lista de compras.

Como o aplicativo está conectado a um LLM como o GPT-4 e a várias fontes de dados (o próprio catálogo de produtos da empresa, estoque da loja, informações do cliente e histórico de pedidos, juntamente com várias outras fontes de dados), ele pode informar facilmente o que você precisará concluir seu projeto de bricolage.

Mas pode fazer muito mais.

Se você descrever as dimensões e recursos que deseja incorporar ao seu deck, o aplicativo pode oferecer ferramentas de visualização e auxílios de design. Como ele conhece seu código postal, ele pode informar quais lojas nas proximidades têm os itens de que você precisa em estoque.

Ele também pode, com base nos dados do seu histórico de compras, sugerir que você pode precisar de um empreiteiro para ajudá-lo no trabalho – e fornecer informações de contato de profissionais perto de você.

Em seguida, ele pode dizer a você, com base em variáveis como a quantidade de tempo que leva para secar a mancha do deck (mesmo incorporando as tendências climáticas sazonais de onde você mora) e quanto tempo levará até que você possa realmente ter aquela festa de aniversário em seu deck que você tem planejado.

O aplicativo também pode ajudar e fornecer informações sobre uma série de outras áreas relacionadas, incluindo detalhes sobre os requisitos de licença do projeto e o efeito da construção no valor de sua propriedade. Tem mais perguntas?

O aplicativo pode ajudá-lo em cada etapa do caminho como um assistente útil que leva você aonde deseja ir.

Usar LLMs em seu aplicativo é difícil, certo?

Isso não é ficção científica. Muitas organizações, incluindo alguns dos maiores clientes da DataStax, estão trabalhando em vários projetos que incorporam IA generativa no momento.

Mas esses projetos não são apenas do domínio de grandes empresas estabelecidas; eles não exigem vasto conhecimento sobre aprendizado de máquina ou ciência de dados ou treinamento de modelo de ML.

Na verdade, construir aplicativos baseados em LLM requer pouco mais do que um desenvolvedor que possa fazer uma chamada de banco de dados e uma chamada de API.

Construir aplicativos que podem fornecer níveis de contexto personalizado inéditos até recentemente é uma realidade que pode ser realizada por qualquer pessoa que tenha o banco de dados certo, algumas linhas de código e um LLM como o GPT-4.

LLMs são muito simples de usar. Eles pegam o contexto (muitas vezes chamado de “prompt”) e produzem uma resposta. Portanto, a construção de um agente começa pensando em como fornecer o contexto certo ao LLM para obter a resposta desejada.

De um modo geral, esse contexto vem de três lugares: a pergunta do usuário, os prompts predefinidos criados pelo desenvolvedor do agente e os dados provenientes de um banco de dados ou outras fontes (veja o diagrama abaixo).

O contexto fornecido pelo usuário normalmente é simplesmente a pergunta que ele insere no aplicativo.

A segunda parte pode ser fornecida por um gerente de produto que trabalhou com um desenvolvedor para descrever a função que o agente deve desempenhar (por exemplo, “Você é um agente de vendas prestativo que está tentando ajudar os clientes no planejamento de seus projetos; inclua um lista de produtos relevantes em suas respostas”).

Finalmente, o terceiro balde de contexto fornecido inclui dados externos extraídos de seus bancos de dados e outras fontes de dados que o LLM deve usar na construção da resposta.

Alguns aplicativos de agente podem fazer várias chamadas para o LLM antes de enviar a resposta ao usuário para construir respostas mais detalhadas.

É isso que tecnologias como plug-ins ChatGPT e LangChain facilitam (mais sobre isso abaixo).

Dando memória aos LLMs…

Os agentes de IA precisam de uma fonte de conhecimento, mas esse conhecimento deve ser compreensível por um LLM. Vamos dar um rápido passo para trás e pensar sobre como os LLMs funcionam. Quando você faz uma pergunta ao ChatGPT, ele tem memória ou “janela de contexto” muito limitada.

Se você está tendo uma conversa prolongada com o ChatGPT, ele agrupa suas consultas anteriores e as respostas correspondentes e as envia de volta ao modelo, mas começa a “esquecer” o contexto.

É por isso que conectar um agente a um banco de dados é tão importante para empresas que desejam criar aplicativos baseados em agentes sobre LLMs. Mas o banco de dados precisa armazenar informações de uma forma que um LLM entenda: como vetores.

Simplificando, os vetores permitem reduzir uma frase, conceito ou imagem em um conjunto de dimensões. Você pode pegar um conceito ou contexto, como a descrição de um produto, e transformá-lo em várias dimensões: uma representação de um vetor.

O registro dessas dimensões permite a pesquisa vetorial: a capacidade de pesquisar conceitos multidimensionais, em vez de palavras-chave.

Isso ajuda os LLMs a gerar respostas mais precisas e contextualmente apropriadas, além de fornecer uma forma de memória de longo prazo para os modelos. Em essência, a pesquisa de vetores é uma ponte vital entre os LLMs e as vastas bases de conhecimento nas quais eles são treinados.

Os vetores são a “linguagem” dos LLMs; a pesquisa de vetores é um recurso necessário de bancos de dados que fornece contexto a eles.

Conseqüentemente, um componente chave para ser capaz de servir os LLMs com os dados apropriados é um banco de dados vetorial que tenha rendimento, escalabilidade e confiabilidade para lidar com os enormes conjuntos de dados necessários para alimentar as experiências do agente.

… Com o banco de dados certo

Escalabilidade e desempenho são dois fatores críticos a serem considerados ao escolher um banco de dados para qualquer aplicativo AI/ML. Os agentes exigem acesso a grandes quantidades de dados em tempo real e exigem processamento de alta velocidade, especialmente ao implantar agentes que podem ser usados por todos os clientes que visitam seu site ou usam seu aplicativo móvel.

A capacidade de escalar rapidamente quando necessário é fundamental para o sucesso quando se trata de armazenar dados que alimentam os aplicativos do agente.

Apache Cassandra é um banco de dados no qual líderes como Netflix, Uber e FedEx confiam para conduzir seus sistemas de engajamento, e a IA tornou-se essencial para enriquecer cada interação que uma empresa atende.

À medida que o envolvimento se torna baseado em agente, o Cassandra torna-se essencial ao fornecer escalabilidade horizontal, velocidade e estabilidade sólida que o torna uma escolha natural para armazenar os dados necessários para capacitar aplicativos baseados em agente.

Por esta razão, a comunidade Cassandra desenvolveu a crítica recursos de pesquisa de vetores para simplificar a tarefa de criar aplicativos de IA em grandes conjuntos de dados, e a DataStax tornou esses recursos facilmente consumíveis por meio da nuvem no Astra DB , o primeiro banco de dados NoSQL em petascale pronto para IA com recursos de vetor (leia mais sobre esta notícia aqui ).

Como é feito?

Existem algumas rotas para as organizações criarem experiências de aplicativo de agente, como mencionamos anteriormente.

Você ouvirá desenvolvedores falando sobre estruturas como LangChain , que, como o nome indica, permite o desenvolvimento de agentes baseados em LLM encadeando as entradas e saídas de várias invocações de LLM e extraindo automaticamente os dados corretos das fontes de dados corretas, conforme necessário.

Mas a maneira mais importante de avançar na construção desse tipo de experiência é entrar em contato com o agente mais popular do mundo no momento: ChatGPT.

Plug-ins ChatGPT permitem que organizações terceirizadas se conectem ao ChatGPT com complementos que fornecem informações sobre essas empresas. Pense no Facebook.

Tornou-se a plataforma de rede social, com um enorme ecossistema de organizações que criam jogos, conteúdo e feeds de notícias que podem ser conectados a ela. O ChatGPT se tornou esse tipo de plataforma: um “superagente”.

Seus desenvolvedores podem estar trabalhando na construção de sua própria experiência de aplicativo baseado em agente proprietário usando uma estrutura como LangChain, mas focar apenas nisso terá um enorme custo de oportunidade.

Se eles não estiverem trabalhando em um plug-in do ChatGPT, sua organização perderá uma grande oportunidade de distribuição para integrar o contexto específico do seu negócio na gama de possíveis informações que o ChatGPT pode fornecer ou ações que pode recomendar aos seus usuários.

Uma variedade de empresas, incluindo Instacart, Expedia, OpenTable e Slack já construíram plugins ChatGPT ; pense na vantagem competitiva que sua integração com o ChatGPT pode criar.

Um Agente de Mudança Acessível

A criação de plug-ins do ChatGPT será uma parte crítica dos projetos de agentes de IA nos quais as empresas procurarão se envolver.

Ter a arquitetura de dados certa — em particular, um banco de dados vetorial — torna substancialmente mais fácil criar experiências de agente de alto desempenho que podem recuperar rapidamente as informações certas para potencializar essas respostas.

Todos os aplicativos se tornarão aplicativos de IA. A ascensão de LLMs e recursos como plug-ins ChatGPT está tornando esse futuro muito mais acessível.

Para saber mais sobre pesquisa vetorial e IA generativa? Junte-se a nós no Agent X: Build the Agent AI Experience, um evento digital gratuito em 11 de julho.

Por Ed Anuff, DataStax