Por qué fracasan tantas iniciativas de IA

Estás buscando en tu iPhone una foto particular de tu amigo, tomada hace un par de años. Hay miles de imágenes para buscar, pero la aplicación Apple Photo se concentra en la persona adecuada y, en cuestión de segundos, encuentra la imagen que está buscando.

Hay mucho trabajo detrás de escena para que esto suceda, incluido el reconocimiento facial y el análisis de imágenes y el etiquetado automático, que se unen para ahorrar esfuerzo al hacer inferencias sobre lo que se necesita o desea, y luego actuar sobre esas inferencias en tiempo real.

Compañías como Apple, y Google, FedEx, Uber, Netflix también, han pasado años construyendo sistemas y arquitecturas que permiten que las experiencias de los usuarios sean más fáciles, más personales e intuitivas. En algunos casos, la inteligencia artificial permite que se tomen decisiones clave casi instantáneamente, o que se produzcan predicciones en tiempo real, lo que permite a una empresa mejorar los resultados en el momento.

Esto no se pierde en el universo más amplio de empresas: según un Encuesta Deloitte 2022 , el 94% de los líderes empresariales dicen que la IA es fundamental para el éxito.

Entonces, ¿por qué, para la mayoría de las organizaciones, crear aplicaciones de IA exitosas es un gran desafío? Se puede resumir en tres grandes obstáculos: los datos incorrectos, en la infraestructura incorrecta, en el momento incorrecto.

Obstáculos para el éxito de la IA

Según MacKinsey , el 56 % de las empresas han adoptado la IA, pero, como señala Accenture en un informe , solo el 12 % logra lograr un crecimiento superior y una transformación empresarial con IA.

Muchos obstáculos se interponen en el camino para incorporar con éxito la IA en aplicaciones en tiempo real, pero la mayoría están relacionados con un elemento central: los datos.

Muchos sistemas tradicionales de ML/IA y los resultados que producen se basan en almacenes de datos y procesamiento por lotes. El resultado: se requiere una matriz compleja de tecnologías, movimientos de datos y transformaciones para "traer" estos datos históricos a los sistemas de aprendizaje automático.

Los datos que se introducen en un modelo de ML se denominan características (propiedades medibles que se pueden usar para el análisis), que generalmente se basan en los datos almacenados en una base de datos de aplicaciones o escritos en archivos de registro. A menudo requieren transformaciones, como valores de escala o cálculos basados en registros anteriores (por ejemplo, un promedio móvil en el momento en que se generó un registro).

Por lo general, esto ralentiza el flujo de datos desde la entrada hasta la decisión y la salida, lo que da como resultado oportunidades perdidas que pueden provocar la pérdida de clientes o patrones de amenazas de seguridad cibernética reconocidos que no se detectan ni mitigan. Los desafíos se pueden resumir en tener conjuntos de datos inapropiados, respaldados por una infraestructura desalineada que se mueve con demasiada lentitud.

Los datos erróneos…

Debido al gran volumen de datos (y los costos relacionados), se deben agregar para facilitar el transporte y la disponibilidad. En pocas palabras, los datos agregados o excesivamente transformados impiden que las organizaciones identifiquen fácilmente las acciones adecuadas en tiempo real y reducen la posibilidad de lograr un resultado deseado, ya sea un producto sugerido, una ruta de entrega de paquetes actualizada o una configuración ajustada en una máquina en una fábrica. . Esto ralentiza la capacidad de una organización para encontrar respuestas a nuevas preguntas, predecir resultados o adaptarse a un contexto en rápida evolución.

Los científicos de datos se ven obligados a utilizar conjuntos de datos de grano grueso que generarán predicciones vagas que, a su vez, no generarán el impacto comercial esperado, especialmente en contextos discretos como una sesión de cliente. Es posible que tampoco se den cuenta cuando las aplicaciones se reconfiguran o las fuentes de datos evolucionan, lo que lleva a eventos esenciales que no alimentan funciones. Estos datos faltantes conducen a una toma de decisiones desinformada cuando se trata de elegir modelos. Esto conduce a un rendimiento de predicción menos preciso o, lo que es peor, los modelos que utilizan datos erróneos pueden conducir a decisiones equivocadas.

Finalmente, la agregación se centra en la creación de entidades existentes. La nueva ingeniería de características (procesar los datos necesarios para elegir y entrenar modelos) requiere volver a los datos sin procesar para diferentes agregaciones. Este procesamiento adicional ralentiza significativamente el trabajo de los científicos de datos y amplía el proceso de experimentación.

… en la infraestructura equivocada …

El segundo desafío está relacionado con las infraestructuras de ML actuales que impulsan las iniciativas de IA y su incapacidad para procesar conjuntos de datos a escala. La calidad de los modelos y sus resultados aumenta con el volumen de datos de eventos ingeridos. Las organizaciones a menudo necesitan procesar volúmenes masivos de eventos, que las infraestructuras heredadas no pueden manejar.

La secuencia de entrenar modelos y servirlos para ejecutar inferencias se vuelve compleja, especialmente porque requiere movimientos de datos entre cada uno. Intentar manejar la escala requerida para predicciones de alta calidad lleva a las arquitecturas tradicionales a sus puntos de ruptura. También es minuciosamente lento, poco fiable y costoso. Todo esto amenaza el valor y el impacto de las aplicaciones que son cada vez más críticas.

… En el momento equivocado

Otro obstáculo surge del procesamiento de datos demasiado tarde para tener un impacto significativo. Las arquitecturas actuales requieren el procesamiento de datos a través de múltiples sistemas para servir a un modelo, y esto introduce una latencia que afecta las iniciativas de IA de varias maneras:

• La salida del modelo no puede alterar el curso de una situación en desarrollo. Por ejemplo, propone una oferta para el cliente en un momento en que la tasa de conversión ha disminuido y el cliente podría haber comprado otra cosa.

• El tiempo que se tarda en servir modelos y obtener un resultado no coincide con las expectativas de una experiencia digital o un proceso automatizado. A veces, pueden pasar días antes de que los datos estén listos para su procesamiento. En mercados altamente competitivos, los datos tan antiguos son, en el mejor de los casos, irrelevantes y, en el peor de los casos, peligrosos (considere una aplicación para compartir viajes que aplique precios de aumento durante una crisis o un desastre).

• Los científicos de datos no tienen acceso a los datos más recientes. Esto puede afectar el resultado de los modelos y puede requerir que los científicos de datos dediquen un tiempo valioso a buscar puntos o fuentes de datos adicionales.

  
  

Muchas infraestructuras de ML actuales no pueden servir aplicaciones porque son demasiado caras, demasiado complejas y demasiado lentas. Y, los cambios regulatorios eventualmente podrían requerir que las organizaciones brinden explicaciones más detalladas sobre cómo se entrenaron los modelos y por qué llegaron a una decisión en particular. Este nivel de visibilidad es imposible con las arquitecturas actuales debido al procesamiento, la agregación y la variedad de herramientas involucradas.

El problema con muchas infraestructuras radica en el viaje que deben realizar los datos hasta la aplicación impulsada por IA. La respuesta al problema, en pocas palabras, es hacer lo contrario.

Llevando la IA a los datos

Los líderes como las empresas mencionadas al comienzo de este artículo tienen éxito al agregar cantidades masivas de datos en tiempo real de clientes, dispositivos, sensores o socios a medida que se mueven a través de sus aplicaciones. Estos datos, a su vez, se utilizan para entrenar y servir a sus modelos. Estas empresas actúan sobre estos datos en el momento, sirviendo a millones de clientes en tiempo real.

Otra pieza fundamental del éxito de los líderes es el hecho de que recopilan todos los datos al nivel más granular, como eventos con marca de tiempo. Esto significa que no solo tienen muchos datos; también pueden entender qué sucedió y cuándo sucedió, con el tiempo.

Empresas líderes como Netflix, FedEx y Uber "llevan la IA a donde están los datos" para que puedan entregar las inferencias donde vive la aplicación. En otras palabras, incorporan sus modelos ML en sus aplicaciones, agregan eventos en tiempo real a través de servicios de transmisión y exponen estos datos a modelos ML. Y tienen una base de datos (en el caso de los tres líderes mencionados anteriormente, es la base de datos NoSQL de código abierto y alto rendimiento). apache casandra ) que puede almacenar volúmenes masivos de datos de eventos.

Con la plataforma de datos unificados adecuada, las iniciativas de ML tienen la infraestructura adecuada y los datos correctos. Los ingenieros de datos y los científicos de datos pueden "salir de sus silos" y alinear sus procesos de ingeniería de características, experimentación de modelos, capacitación e inferencia con predicciones de potencia. Si bien estos procesos aún requieren muchas herramientas, todos funcionan en la misma base de datos.

Impulsadas por cantidades masivas de datos de eventos para servir modelos y aplicaciones, las aplicaciones más exitosas impulsadas por IA se diferencian y lideran al mejorar constantemente las experiencias que brindan a los usuarios finales. Su capacidad para atender a millones de clientes y volverse más inteligentes a medida que lo hacen, les permite definir los mercados en los que se encuentran.

Descubra cómo DataStax habilita la IA en tiempo real

Por Ed Anuff.

Ed es director de productos en DataStax. Tiene más de 25 años de experiencia como líder de productos y tecnología en empresas como Google, Apigee, Six Apart, Vignette, Epicentric y Wired.