Quando eu fui primeiro encarregado de integrar a IA geradora na plataforma IVR da Viamo, servindo milhões de pessoas em todo o continente africano e nos mercados emergentes da Ásia, não demorou muito para reconhecer que não podíamos simplesmente colar uma interface de bate-papo e chamá-la um dia, tanto quanto isso simplificaria alguns dos nossos desafios técnicos e de desenvolvimento. Esse projeto me ensinou uma lição sobre o design para a IA que eu acho que todos os designers devem aprender: O design para a IA de agência não é sobre torná-lo amigável ao bate-papo, mas sobre projetar sistemas inteligentes que possam funcionar de forma confiável, transparente e previsível dentro de operações em que as pessoas já confiam. A falha fatal do primeiro pensamento do chat Há um paradigma perigoso que tem sido enraizado nesta indústria por causa de sua obsessão com interfaces de bate-papo em produtos de IA, e é que todo mundo está tentando construir um “ChatGPT para Y”. Isso não é necessariamente verdade. O chat é perfeito para exploração aberta e tarefas criativas que envolvem viagens tanto quanto envolvem destinos. Mas a maioria das tarefas de negócios exigem precisão, auditabilidade e repetibilidade. Ao projetar a interface do fornecedor para o Waypoint Commodities, um sistema que lida com fertilizantes de milhões de dólares e transações de comércio químico, os usuários não precisavam de uma interface de bate-papo amigável que pudesse facilitar conversas exploratórias sobre suas transações. O principal problema com a IA centrada no bate-papo é que permite a tomada de decisões sob uma fachada de conversa. Os usuários não podem facilmente inspecionar quais informações foram usadas, o que foi aplicado e o que foi explorado como uma opção alternativa. Claro, isso é aceitável para interrogações de baixa aposta, mas desastroso para escolhas consequentes. Ao projetar nosso sistema de monitoramento de envio que rastreava pedidos durante todo o cumprimento, nosso projeto Waypoint enfrentava um desafio que exigia que os usuários fossem assegurados de mensagens de IA sobre potenciais atrasos ou flutuações do mercado não eram baseadas em observações fictícias, mas em fatos reais explorados e verificados pela própria IA. Sistemas multi-agentes exigem interfaces multi-modais Mas então, uma mudança de paradigma ocorreu no meu pensamento, já que deixei de projetar apenas para um modelo de IA e me concentrou em projetar para ambientes que consistiam em múltiplas entidades especializadas de IA operando juntas como um sistema. Isso significava que tínhamos que abandonar completamente o paradigma de um sistema de bate-papo de uma janela. Em vez disso, construímos uma interface de várias janelas através da qual vários métodos de interação poderiam ser usados simultaneamente. Fatos rápidos obteriam respostas imediatas através da saída de voz da IA. A resolução de problemas envolveria uma interação guiada através da qual a IA responderia a perguntas preliminares antes de redirecionar o usuário para um sistema especializado. Os usuários que buscam informações sobre instalações governamentais obteriam respostas formatadas que citariam fontes em conformidade. Todos esses métodos de interação teriam sinais visuais e de áudio distintos que construirão a expectativa do usuário em conformidade. Esses resultados provaram que essa estratégia era válida, e experimentamos uma melhor precisão de resposta de mais de trinta por cento e níveis de engajamento do usuário aumentados.Muito mais significativamente, os níveis de abandono do usuário diminuíram em vinte por cento à medida que os usuários pararam de deixar conversas devido à frustração de desacordo de expectativas. Design para verificação, não apenas automação Um dos princípios mais importantes do design de UX agente que eu defendo é que “automatização sem verificação” é simplesmente “débito técnico mascarado como IA.”Deve haver um “escape hatch” fornecido ao lado de cada “agente” de IA usado em um sistema, permitindo que “os usuários validem seu raciocínio” e “superiorizem sua decisão” como e quando necessário, “não porque se carece de fé” nas “capacidades” de IA, mas porque se “respeita o fato” de que “os usuários têm responsabilidade final” quando “em ambientes regulamentados ou transações de alto valor”. Quando eu era responsável por projetar o painel de administração para o embarque de novos usuários no Waypoint, tivemos um caso típico de um projeto de automação, o tipo que permitiria que a IA processasse documentos de incorporação, extraísse informações essenciais e povoasse automaticamente perfis de usuário, reduzindo assim o embarque de usuários de várias horas para apenas minutos. Claro, entendemos que as imprecisões poderiam potencialmente levar uma empresa a um caso de não conformidade ou, pior, criar perfis de usuário fraudulentos. Em nossa interface, implementamos o seguinte sistema para indicar níveis de confiança de IA para cada campo que foi extraído: Os campos que tinham altos níveis de precisão tinham cor de texto preta e marcas verdes; Precisão média tinha cor laranja, e um símbolo neutro foi usado; Os campos que tinham baixa precisão ou informações faltantes tinham cor vermelha e um símbolo de aviso. Para identificar quaisquer erros que os sistemas de IA tinham perdido, trinta segundos por perfil era tempo suficiente para os administradores, já que eles conseguiram contexto suficiente através deste sistema. Mas o resultado foi claro: conseguimos uma redução de tempo de embarque de quarenta por cento sobre métodos totalmente manuais e maior precisão do que as abordagens humanas ou da IA sozinhas.Mas, mais significativamente, o pessoal do administrador confiou neste sistema porque eles poderiam realmente seguir sua lógica.Se houvesse algum erro da parte da IA, isso foi apontado bastante facilmente através da página de verificação, e isso ajudou a construir essa confiança importante que nos permitiu implantar com sucesso outras funcionalidades da IA mais tarde. Divulgação progressiva das capacidades dos agentes Outra área sutil, mas essencial da UX agente com a qual a maioria dos designers lutam é fornecer aos usuários informações sobre o que seus agentes podem e não podem realizar sem sobrecarregá-los com as possibilidades e aplicações potenciais dessas capacidades. Isso é especialmente verdadeiro para os sistemas que aplicam a IA geradora, e como lutamos no trabalho na FlexiSAF Edusoft, onde eu desenvolvi esses sistemas, eles têm aplicações que variam amplamente, mas são imprevisíveis em diferentes tarefas ou atividades. Usuários, neste caso estudantes e pais, precisariam de direção através de procedimentos de admissão muitas vezes complexos e, por outro lado, precisariam ser informados sobre quais respostas a IA poderia fornecer e o que exigiria a interação humana. Nossa implementação forneceu dicas de capacidade baseadas na interação, o que significa que quando um usou o sistema, eles seriam fornecidos com exemplos de perguntas que a IA era forte em responder versus perguntas que poderiam ser mais apropriadamente respondidas pelas pessoas de recursos humanos na instituição, o que significa que quando um usuário digitou perguntas sobre prazos de aplicação, eles veriam exemplos de perguntas que a IA era forte em responder, como “Quando é o prazo para aplicações de engenharia?” em vez de perguntas que eles poderiam responder de forma mais eficaz, por exemplo, “Posso ser isento do pagamento de taxas de aplicação?” Além disso, ativamos um ciclo de feedback através do qual os usuários poderiam expressar se a sua pergunta tinha sido totalmente respondida por uma resposta de IA ou não. Isto não era apenas para melhorar o modelo, mas permitiu um recurso UX através do qual os usuários poderiam expressar que eles precisavam de escalada do seu problema e que eles tinham sido deixados presos por um sistema de IA. Recursos relevantes seriam fornecidos através deste sistema, e, caso contrário, eles seriam conectados com recursos humanos também, resultando assim em um bilhete de suporte reduzido, mas sem sacrificar a satisfação do usuário, pois as pessoas sentiriam que eles tinham sido ouvidos e que eles não tinham sido deixados presos por um sistema de IA. Transparência e sua utilidade como fator de construção de confiança A confiança, é claro, não é estabelecida por algoritmos de IA melhorados, mas pelo design transparente do sistema que permite a um usuário ver o que o sistema sabe, por que fez suas conclusões e onde estão suas limitações. eHealth Africa, nosso projeto envolvendo logística e armazenamento de dados das cadeias de suprimentos no setor médico, tornou este um de seus não-negociáveis: “Se os agentes de computador da IA previam o momento das remessas de vacinas ou indicavam rotas ideais para a entrega, essas justificações tinham que ser explicáveis, porque os tomadores de decisão humanos estariam decidindo se as clínicas rurais receberam mercadorias que salvam vidas a tempo”. Para resolver isso, construímos o que eu chamo de “panéis de raciocínio” que forneciam saída ao lado de sugestões de IA. Esses painéis de raciocínio não exibiam detalhes de modelo de seus cálculos, apenas informações sobre por que ele atingiu suas recomendações, incluindo condições de estrada, tempos de entrega anteriores para esta rota, tempo e capacidade de transporte disponível. Os painéis de raciocínio permitiram que os operadores de campo verificassem rapidamente se eles tinham recebido conselhos desatualizados da IA ou se eles haviam negligenciado um fato essencial, mais recentemente disponível, como um fechamento de ponte, e os tornaram indispensáveis e transparentes em vez de tomadores de decisão opacos, como seria o caso de caixas pretas. Para este fim, construímos estados de falha úteis que descrevessem por que a IA era incapaz de oferecer sua recomendação em vez de cair de volta em alguma mensagem de erro genérica.Se, por exemplo, não era capaz de oferecer uma rota ideal porque não tinha informações de conectividade, isso foi explicitamente comunicado, e o usuário foi informado do que eles poderiam fazer se ainda não tivessem recomendação de rota disponível. Desenho de Handoffs entre Agentes e Humanos Mas talvez um dos temas mais não desenvolvidos da UX agente é o da entrega, ou exatamente quando e exatamente como um agente de IA é suposto passar o controle de um sistema ou de uma interação para um humano, seja esse humano ser um colega ou ser eles mesmos um usuário desse sistema ou interação.Este é exatamente onde a maior parte da perda de confiança ocorre dentro de sistemas multi-agente, e este foi na verdade um dos primeiros projetos que eu envolvi que lidaram explicitamente com este problema, o de Bridge Call Block para Viamo, que foi um sistema que transferiu usuários de interações de IVR para reps de serviço ao cliente humano. Nosso protocolo de transferência de contexto foi projetado de tal forma que após cada interação da IA, um resumo estruturado foi exibido na tela do operador antes que eles pudessem cumprimentar o usuário, e este resumo continha o que foi pedido pelo usuário, o que a IA pretendia dizer, e por que a IA escalou essa chamada. Nos casos em que os operadores foram chamados a redirecionar seus usuários de volta para o sistema automatizado, a funcionalidade da interface do usuário foi usada efetivamente pelos operadores para comunicar expectativas adequadas de autonomia de IA com base em certas tarefas que permitiriam que os usuários fossem redirecionados para o sistema automatizado, ao invés de fazê-lo com as frustrações esperadas. Princípios do Design Pragmático da Agentic UX Como um praticante projetando sistemas habilitados por IA por muitos anos, hoje eu formulou algumas diretrizes pragmáticas que me ajudam a projetar UX agente eficazmente: Primeiro, o design para o fluxo de trabalho, não para a tecnologia. Os usuários não se importam se eles estão sendo ajudados através de IA, regras ou inteligência humana. Eles só se importam se eles podem realizar suas tarefas de forma eficaz e conveniente. Comece por engenharia reversa a partir do resultado-alvo, identificando áreas de valor acrescentado e complexidade acrescentada devido a agentes habilitados por IA, e depois pare e proceda em conformidade. Os usuários precisam estar cientes de quando estão deixando um reino de inteligência e entrando em outros reinos, como a inteligência de recuperação, inteligência de modelo e inteligência humana, e estabelecer diretrizes consistentes visuais e de interação em conformidade, para que eles não se perguntem que tipo de resposta eles vão obter e quando eles vão obtê-lo. Em terceiro lugar, construa verificação em seu design de fluxo de trabalho respeitando a experiência do usuário. sistemas de IA devem idealmente ajudar a acelerar a tomada de decisão, trazendo informações relevantes e sugerindo cursos de ação, mas estes devem ser feitos, em última análise, por usuários humanos que possuam contexto indisponível para os próprios sistemas de IA. Devido a projetos que garantiram financiamento com sucesso, aumentaram o engajamento por incrementos definidos e processaram números de usuários em milhares, não conseguimos porque possuímos, ou tentamos criar, sistemas de IA sofisticados.É porque fornecemos a esses usuários, através da nossa interface, a capacidade de compreender o que estava acontecendo no final deste sistema de IA e, através disso, ajudá-los a confiar o suficiente para realizar tarefas cada vez mais complexas ao longo do tempo que realmente os tornou exemplos bem-sucedidos de UX agente.
