Cuando fue mi primera tarea integrar la IA generativa en la plataforma IVR de Viamo, sirviendo a millones de personas en África y los mercados emergentes de Asia, no me llevó mucho tiempo reconocer que no podíamos simplemente pegar una interfaz de chat en ella y llamarla un día, tanto como eso simplificaría algunos de nuestros retos técnicos y de desarrollo. Ese proyecto me enseñó una lección sobre el diseño para la IA que creo que todos los diseñadores deberían aprender: Diseñar para la IA de agentes no se trata de hacer que sea amigable al chat, sino de diseñar sistemas inteligentes que puedan funcionar de manera confiable, transparente y predecible dentro de las operaciones en las que la gente ya confía. El fatal defecto del primer pensamiento de chat Hay un paradigma peligroso que se ha enraizado en esta industria debido a su obsesión con las interfaces de chat en los productos de IA, y es que todo el mundo está tratando de construir un “ChatGPT para Y”. nadie se detiene y dice, “Bueno, en realidad, sólo porque podemos construir esto y el chat es una parte de él, que realmente no tiene nada que ver con si o no la interacción de chat es realmente lo que necesitamos en esto”. Esto no es necesariamente cierto. Chat es perfecto para la exploración abierta y las tareas creativas que involucran viajes en la medida en que involucran destinos. Pero la mayoría de las tareas empresariales requieren precisión, audibilidad y repetibilidad. Al diseñar la interfaz de proveedor para Waypoint Commodities, un sistema que trata con fertilizantes y transacciones de comercio químico de millones de dólares, los usuarios no requerían una interfaz de chat amigable que pudiera facilitar conversaciones exploratorias sobre sus transacciones. Se requerían interfaces que permitieran a los sistemas de IA señalar errores, identificar rutas óptimas y destacar preocupaciones de cumplimiento sin ocultar transacciones críticas con cualquier incertidumbre o vaguedad. El principal problema con la IA centrada en el chat es que permite la toma de decisiones bajo una fachada de conversación. Los usuarios no pueden inspeccionar fácilmente qué información se utilizó, qué se aplicó y qué se exploró como una opción alternativa. Por supuesto, esto es aceptable para interrogatorios de baja cuota, pero desastroso para elecciones consecuentes. Al diseñar nuestro sistema de seguimiento de envíos que rastreaba los pedidos a través del cumplimiento, nuestro proyecto Waypoint se enfrentaba a un desafío que requería que los usuarios se aseguraran de que los mensajes de IA sobre posibles retrasos o fluctuaciones del mercado no se basaban en observaciones ficticias sino en hechos reales explorados y verificados por la propia IA. Los sistemas multi-agentes requieren interfaces multi-modales Pero entonces, un cambio de paradigma ocurrió en mi pensamiento cuando dejé de diseñar solo para un modelo de IA y me centré en diseñar para entornos que consistían en múltiples entidades especializadas de IA que operaban juntos como un sistema. Significaba que teníamos que abandonar por completo el paradigma de un sistema de chat de una ventana. En su lugar, construimos una interfaz de varias ventanas a través de la cual se podían utilizar varios métodos de interacción simultáneamente. Los hechos rápidos obtendrían respuestas inmediatas a través de la salida de voz de la IA. La resolución de problemas implicaría una interacción guiada a través de la cual la IA respondería a las preguntas preliminares antes de redirigir al usuario a un sistema experto. Los usuarios que buscan información sobre instalaciones gubernamentales obtendrían respuestas formalizadas que citarían fuentes en consecuencia. Todos estos métodos de interacción tendrían señales visuales y de audio distintas que construirían la expectativa del usuario en consecuencia. Estos resultados demostraron que esta estrategia era válida, y experimentamos una mejora en la precisión de la respuesta de más del treinta por ciento y un aumento en los niveles de participación de los usuarios.Más significativamente, los niveles de abandono de los usuarios disminuyeron en un veinte por ciento a medida que los usuarios dejaron de hablar debido a la frustración de los desajustes de expectativas. Diseño para la verificación, no sólo la automatización Uno de los principios más importantes del diseño de UX de agentes que defiendo es que “la automatización sin verificación” es simplemente “la deuda técnica enmascarada como AI”.Debería haber un “hacho de escape” proporcionado junto a cada “agente” de IA utilizado en un sistema, permitiendo “a los usuarios validar su razonamiento” y “revertir su decisión” como y cuando sea necesario, “no porque uno carezca de fe” en las “habilidades” de IA, sino porque uno “respetará el hecho” de que “los usuarios tienen la responsabilidad final” cuando “en entornos regulados o transacciones de alto valor”. Cuando era responsable de diseñar el dashboard de administrador para el embarque de nuevos usuarios en Waypoint, teníamos un caso típico de un proyecto de automatización, el tipo que permitiría a la IA procesar documentos de incorporación, abstraer información esencial y automatizar los perfiles de usuario, reduciendo así el embarque de los usuarios de varias horas a solo minutos. Por supuesto, entendimos que las inexactitudes podrían potencialmente llevar a una empresa a un caso de incumplimiento o, peor, crear perfiles de usuario fraudulentos. En nuestra interfaz, implementamos el siguiente sistema para indicar los niveles de confianza de la IA para cada campo que se extrajo: Los campos que tenían altos niveles de precisión tenían color de texto negro y marcas de puntos verdes; La precisión media tenía el color naranja, y se usó un símbolo neutral; Los campos que tenían poca precisión o información faltante tenían un color rojo y un símbolo de advertencia. Para identificar los errores que los sistemas de IA habían perdido, treinta segundos por perfil era suficiente tiempo para los administradores, ya que obtuvieron suficiente contexto a través de este sistema. Pero el resultado fue claro: logramos una reducción del tiempo de embarque del cuarenta por ciento sobre los métodos totalmente manuales y una mayor precisión que los enfoques humanos o de IA solos.Pero más significativamente, el personal de administrador confió en este sistema porque realmente podían seguir su lógica.Si hubiera algún error en la parte de la IA, esto se señaló bastante fácilmente a través de la página de verificación, y esto ayudó a construir esa confianza importante que nos permitió implementar con éxito otras funcionalidades de IA más tarde. Revelación progresiva de las capacidades de los agentes Otra área sutil pero esencial de UX de agentes con la que luchan la mayoría de los diseñadores es proporcionar a los usuarios información sobre lo que sus agentes pueden y no pueden lograr sin abrumarlos con las posibilidades y aplicaciones potenciales de estas capacidades. Esto es especialmente cierto para los sistemas que aplican la IA generativa, y como luchamos en el trabajo en FlexiSAF Edusoft, donde desarrollé estos sistemas, tienen aplicaciones que abarcan ampliamente pero son impredecibles en diferentes tareas o actividades. Nuestra implementación proporcionó pistas de capacidad basadas en la interacción, lo que significa que cuando uno usó el sistema, se les proporcionaría ejemplos de preguntas que la IA era fuerte en responder frente a preguntas que podrían ser respondidas de manera más adecuada por las personas de recursos humanos en la institución, lo que significa que cuando un usuario escribió preguntas sobre los plazos de solicitud, verían ejemplos de preguntas que la IA era fuerte en responder, como “¿Cuándo es el plazo para las aplicaciones de ingeniería?” en lugar de preguntas que podrían responder de manera más efectiva, por ejemplo, “¿Puedo estar exento del pago de las tarifas de solicitud?” Además, habíamos habilitado un ciclo de retroalimentación a través del cual los usuarios podían expresar si su pregunta había sido completamente respondida por una respuesta de IA o no. Esto no solo era para mejorar el modelo, sino que habría permitido una característica UX a través de la cual los usuarios podían expresar que requerían una escalada de su problema y que habían sido dejados atrapados por un sistema de IA. Se proporcionarían recursos relevantes a través de este sistema, y si no, estarían conectados con recursos humanos también, resultando así en una disminución del billete de soporte pero sin sacrificar la satisfacción del usuario, ya que la gente sentiría que habían sido escuchados y que no habían quedado atrapados a través de un sistema de IA. La transparencia y su utilidad como factor de confianza La confianza, por supuesto, no se establece por algoritmos mejorados de IA, sino por el diseño transparente del sistema que permite a un usuario ver lo que el sistema sabe, por qué hizo sus conclusiones y dónde están sus limitaciones. eHealth Africa, nuestro proyecto que involucra la logística y el almacenamiento de datos de las cadenas de suministro en el sector médico, lo hizo uno de sus no negociables: “Si los agentes informáticos de IA predijeran el tiempo de envíos de vacunas o indicaban rutas óptimas para la entrega, estas justificaciones tenían que ser explicables, porque los tomadores de decisiones humanos estarían decidiendo si las clínicas rurales recibieron bienes que salvan vidas a tiempo”. Para abordar esto, construimos lo que yo llamo “paneles de razonamiento” que proporcionaron la salida junto con las sugerencias de IA. Estos paneles de razonamiento no mostraron detalles del modelo de sus cálculos, solo información sobre por qué alcanzó sus recomendaciones, incluyendo las condiciones de la carretera, los tiempos de entrega anteriores para esta ruta, el clima y la capacidad de transporte disponible. Los paneles de razonamiento permitieron a los operadores de campo determinar rápidamente si habían recibido consejos desactualizados de la IA o si habían ignorado un hecho esencial, más recientemente disponible, como un cierre de puente, y los hicieron indispensables y transparentes en lugar de tomadores de decisiones opacos, como sería el caso de las cajas negras. Para este fin, construimos estados de fracaso útiles que describirían por qué la IA no podía ofrecer su recomendación en lugar de caer en algún mensaje de error genérico.Si, por ejemplo, no podía ofrecer una ruta óptima porque carecía de información de conectividad, esto se comunicó explícitamente, y el usuario se informó de lo que podrían hacer si todavía no tenían recomendación de ruta disponible. Diseño de Handoffs entre Agentes y Humanos Pero quizás uno de los temas más no desarrollados de la UX de agentes es el de la entrega, o exactamente cuándo y exactamente cómo un agente de IA se supone que debe pasar el control de un sistema o de una interacción a un humano, ya sea que el humano sea un colega o que ellos mismos sean un usuario de ese sistema o interacción.Esto es precisamente donde la mayor parte de la pérdida de confianza ocurre dentro de los sistemas de múltiples agentes, y este fue en realidad uno de los primeros proyectos que involucré que trataron explícitamente con este problema, el de Bridge Call Block para Viamo, que era un sistema que transfería a los usuarios de las interacciones de IVR a los reps de servicio al cliente humano. Nuestro protocolo de transferencia de contexto fue diseñado de tal forma que después de cada interacción de la IA, un resumen estructurado se mostró en la pantalla del operador antes de que pudieran saludar al usuario, y este resumen contenía lo que se pedía por el usuario, lo que la IA pretendía decir, y por qué la IA escaló esta llamada.No había necesidad de que se le pidiera a los usuarios que repetieran lo que habían pedido, y todo el contexto de interacción estaba disponible para los operadores, y este pequeño detalle del diseño de interacción mejoró enormemente el tiempo promedio de manejo y la satisfacción del usuario, ya que la gente sintió que habían sido respetados y que su tiempo no había sido desperdiciado. En los casos en que se pidió a los operadores que reenvíen a sus usuarios de nuevo al sistema automatizado, la funcionalidad de la interfaz de usuario fue utilizada eficazmente por los operadores para comunicar expectativas adecuadas de autonomía de IA basadas en ciertas tareas que permitirían a los usuarios ser reenviados de nuevo al sistema automatizado, en lugar de hacerlo con frustraciones esperadas. Principios del diseño pragmático de Agentic UX Como un practicante diseñando sistemas capacitados por IA durante muchos años, hoy he formulado algunas pautas pragmáticas que me ayudan a diseñar UX de agente de manera efectiva: En primer lugar, el diseño para el flujo de trabajo, no para la tecnología. Los usuarios no les importa si están siendo ayudados a través de la IA, las reglas o la inteligencia humana. solo les importa si pueden realizar sus tareas de manera efectiva y conveniente. Comience con la ingeniería inversa desde el resultado objetivo, identificando áreas de valor añadido y complejidad añadida debido a los agentes capacitados por IA, y luego detenga y proceda en consecuencia. Los usuarios deben ser conscientes de cuándo están saliendo de un reino de inteligencia y entrando en otros reinos, como la inteligencia de recuperación, la inteligencia del modelo y la inteligencia humana, y establecer directrices visuales y de interacción consistentes en consecuencia, de modo que no se preguntan qué tipo de respuesta van a obtener y cuándo van a obtenerla. En tercer lugar, construya la verificación en su diseño de flujo de trabajo respetando la experiencia del usuario. los sistemas de IA deben idealmente ayudar a acelerar la toma de decisiones al traer información pertinente y sugerir cursos de acción, pero estos deben ser realizados en última instancia por usuarios humanos que poseen un contexto inaccesible para los propios sistemas de IA. Diseñar flujos de verificación de decisiones en las interfaces de usuario del sistema de IA que faciliten esto sería ideal. Debido a los proyectos que han asegurado con éxito el financiamiento, aumentado el compromiso por incrementos definidos y procesado las cifras de usuarios en los miles, no logramos porque poseíamos, o intentamos crear, sofisticados sistemas de IA. Es porque proporcionamos a estos usuarios, a través de nuestra interfaz, la capacidad de comprender lo que estaba sucediendo en su fin de este sistema de IA y, a través de eso, les ayudamos a confiar lo suficiente para realizar tareas cada vez más complejas a lo largo del tiempo que realmente les ha hecho ejemplos exitosos de UX agente.
