¿Cuándo verán las empresas de infraestructura los beneficios de la IA generativa?

En este momento surgen muchas preguntas sobre el estado de la IA generativa. ¿Qué tan avanzados están las empresas con sus esfuerzos de GenAI personalizados? ¿Las organizaciones realmente están creando aplicaciones de IA utilizando sus propios datos patentados de manera que muevan la aguja? ¿Qué tipo de arquitectura se requiere?

Estas preguntas no son sorprendentes: existe una gran variedad de opiniones sobre la IA, desde un optimismo descarado hasta un cinismo hastiado, mezclado con mucha exageración.

Descubrí que ayuda a aclarar la situación en el mercado de GenAI en tres áreas: lo que el mercado quiere ver, los temores sobre lo que podría suceder y qué sucederá (y cómo) en 2024.

¿Qué quieren todos y a qué temen?

GenAI irrumpió en escena a finales de 2022 cuando OpenAI lanzó ChatGPT y demostró cuán poderosa y accesible podría ser este tipo de tecnología. El entusiasmo por las posibles ventajas de la IA estaba en todas partes. En poco tiempo, GenAI se incorporaría a todas las aplicaciones de todas las empresas. Los inversores imaginaron una curva de crecimiento similar a un palo de hockey para las empresas que proporcionan la infraestructura necesaria para respaldar la GenAI.

Los detractores, por otro lado, imaginaron un futuro distópico de IA que es un cruce entre “Westworld” y “Black Mirror”. Otros advierten sobre una burbuja de IA. Desde una perspectiva de inversión, algunos dicen que es como las criptomonedas de nuevo: mucha emoción y publicidad, y luego un cráter humeante.

Creo que ambos temores son infundados. Claro, con cada nueva ola tecnológica, habrá malos actores que usarán GenAI por razones equivocadas. Y el entusiasmo por las posibilidades de GenAI está en todas partes; tiene una sensación "burbujeante" e incluso podría ser más estridente que el rumor sobre las criptomonedas.

Pero la gran diferencia entre GenAI y las criptomonedas es el hecho de que existen muchísimos casos de uso reales para la primera, en todas las organizaciones y en todos los sectores. En criptografía, hubo un caso de uso importante: transacciones financieras entre partes que no son de confianza (también conocido como lavado de dinero). Eso es algo en lo que la corriente principal no está tan interesada.

En este momento, la situación de las aplicaciones GenAI me recuerda al comercio electrónico a fines de la década de 1990 , cuando las empresas intentaban descubrir cómo hacer que el uso de tarjetas de crédito en Internet fuera seguro. A las organizaciones les llevó un tiempo descubrir cómo hacerlo de forma segura, pero una vez que lo hicieron, de repente todos tenían un sitio de comercio electrónico.

El paralelo que veo en GenAI en este momento: cómo garantizar que los modelos de lenguaje no devuelvan respuestas inexactas mediante alucinaciones . ¿Las buenas noticias? Eso ya se ha descubierto (gracias a la generación de recuperación aumentada , o RAG; más sobre esto a continuación).

¿Dónde estamos ahora y hacia dónde vamos?

Mucho de lo que vimos el año pasado fueron proyectos GenAI de prueba de concepto: aplicaciones para demostrar al liderazgo de una empresa lo que es posible. Pero muy pocas empresas han ido más allá para crear aplicaciones que estén en plena producción. Por "producción" me refiero a que una organización tiene una aplicación de IA que los clientes o empleados utilizan de forma no prototipo.

En otras palabras, está disponible como parte rutinaria de las actividades dentro de algunos segmentos de operaciones comerciales. Podría ser la oficina principal, podría ser lo que hay detrás de una llamada al servicio de atención al cliente, pero está cerca de la parte principal del negocio.

Walmart es un buen ejemplo temprano de esto. El minorista anunció en enero que agregó la búsqueda impulsada por GenAI a su aplicación de compras. Según se informa, Apple está probando una herramienta GenAI para ayudar a sus empleados a brindar soporte técnico más rápido. Hasta que empecemos a ver más ejemplos como este, GenAI permanecerá un poco más en la etapa inicial de lo que Gartner llama el " ciclo de exageración ".

Volkswagen acaba de anunciar un laboratorio interno para desarrollar aplicaciones GenAI para aplicaciones de navegación e información y entretenimiento para sus automóviles.

Dicho esto, no estamos tan lejos de alcanzar la “meseta de productividad” como algunos podrían pensar. Como mencioné anteriormente, confiar en los resultados de los modelos ha sido un obstáculo para las organizaciones que todavía están lidiando con cómo producir respuestas de modelos de lenguaje grande (LLM) relevantes y precisas mediante la reducción de las alucinaciones.

Ahora se está empleando RAG, que proporciona modelos con datos o contexto adicionales en tiempo real de otras fuentes (la mayoría de las veces, una base de datos que puede almacenar vectores) para ayudar a resolver este problema. Este avance tecnológico es clave para desarrollar aplicaciones GenAI personalizadas y de dominio específico, basadas en el activo más valioso de las organizaciones: sus propios datos.

Si bien RAG se ha convertido en el método de facto para incorporar el contexto empresarial a las aplicaciones GenAI, a menudo también se menciona el ajuste fino (cuando un modelo previamente entrenado se entrena más en un subconjunto de datos). Hay ocasiones en las que este método puede resultar útil , pero RAG es la opción correcta si existe alguna preocupación por la privacidad, la seguridad o la velocidad.

Independientemente de cómo se agregue el contexto a la aplicación, la gran pregunta que me hacen a menudo los inversores con los que he estado hablando es ¿cuándo empezarán las empresas a ganar dinero con las aplicaciones GenAI?

Mi respuesta: la mayoría de las empresas que usted sigue son empresas basadas en el consumo. Muchos ahora respaldan los experimentos, las pruebas de concepto (POC) y las aplicaciones de nicho que sus clientes han creado; esos no hacen mucho en términos de consumo.

Pero esto está empezando a cambiar a medida que las principales aplicaciones de IA pasan de POC a producción real. Predigo que esto sucederá de manera significativa para fines de 2024. Llegará a buen término en la segunda mitad de 2024 comenzando en dos lugares.

En primer lugar, se está afianzando en el comercio minorista (véase el ejemplo de Walmart mencionado anteriormente). También verá una adopción generalizada en lo que yo llamo el área de “intranet de IA”: chat con PDF, bases de conocimiento y centros de llamadas internos.

Con el consumo que impulsa este tipo de aplicaciones, empresas como Microsoft , Google e incluso Oracle están empezando a informar resultados de la IA. Fuera del ámbito de los hiperescaladores, es probable que otras empresas de infraestructura de IA comiencen a resaltar los aumentos en los informes de ganancias que publiquen en enero, febrero y marzo del próximo año.

El camino hacia la producción de aplicaciones GenAI

Ya se han sentado las bases para las empresas de infraestructura de IA basadas en el consumo. Ya hemos visto puntos de prueba sólidos y comerciales que muestran lo que es posible para una gran base de aplicaciones personalizadas y de dominios específicos. Desde las aplicaciones creativas de IA (Midjourney, Adobe Firefly y otros generadores de imágenes, por ejemplo) hasta aplicaciones de conocimiento como GitHub Copilot ( más de 1 millón de desarrolladores las usan ), Glean y otras, estas aplicaciones han disfrutado de una gran adopción y han impulsado una productividad significativa. ganancias.

El progreso en aplicaciones personalizadas es más avanzado en industrias y casos de uso que necesitan facilitar la entrega de conocimiento hasta el punto de interacción. El conocimiento provendrá de sus propios datos, utilizando modelos disponibles (ya sean de código abierto o propietarios), RAG y el proveedor de nube de su elección.

Se requieren tres elementos para que las empresas creen aplicaciones GenAI personalizadas que estén listas para los rigores del funcionamiento a escala de producción: contexto inteligente, relevancia y escalabilidad.

Contexto inteligente

Echemos un vistazo rápido a cómo se utilizan los datos patentados para generar respuestas útiles, relevantes y precisas en las aplicaciones GenAI.

Las aplicaciones toman la entrada del usuario en forma de todo tipo de datos y los introducen en un motor de integración, que esencialmente deriva el significado de los datos, recupera información de una base de datos vectorial usando RAG y construye el "contexto inteligente" que el LLM puede usar. para generar una respuesta contextualizada y libre de alucinaciones que se presenta al usuario en tiempo real.

Relevancia

Este no es un tema del que se oiga mucho en las empresas de bases de datos operativas. Pero en el campo de la IA y las bases de datos vectoriales, la relevancia es una combinación de recuerdo y precisión que es fundamental para producir respuestas útiles, precisas y no alucinatorias.

A diferencia de las operaciones de bases de datos tradicionales, las bases de datos vectoriales permiten la búsqueda semántica o de similitud, que no es de naturaleza determinista. Debido a esto, los resultados arrojados por la misma consulta pueden ser diferentes según el contexto y cómo se ejecuta el proceso de búsqueda. Aquí es donde la precisión y la relevancia juegan un papel clave en el funcionamiento de la base de datos vectorial en aplicaciones del mundo real. La interacción natural requiere que los resultados arrojados por una búsqueda de similitud sean precisos Y relevantes para la consulta solicitada.

Escalabilidad

Las aplicaciones GenAI que van más allá de las POC y entran en producción requieren un alto rendimiento. Básicamente, el rendimiento es la cantidad de datos que se pueden almacenar, acceder o recuperar en un período de tiempo determinado. El alto rendimiento es fundamental para ofrecer funciones interactivas, con uso intensivo de datos y en tiempo real a escala; Las escrituras a menudo involucran miles de millones de vectores de múltiples fuentes, y las aplicaciones GenAI pueden generar cantidades masivas de solicitudes por segundo.

Terminando

Al igual que con oleadas anteriores de innovación tecnológica, la GenAI sigue un patrón establecido y todos los indicios apuntan a que avanza incluso más rápido que las revoluciones tecnológicas anteriores. Si se eliminan todas las exageraciones negativas y positivas al respecto, está claro que las empresas que trabajan para llevar sus aplicaciones POC GenAI a producción están logrando avances prometedores.

Y empresas como mi empleador DataStax, que proporcionan bases escalables y fáciles de construir para estas aplicaciones, comenzarán a ver los beneficios del consumo de sus clientes antes de lo que algunos podrían pensar.

Por Ed Anuff, DataStax

Obtenga más información sobre cómo DataStax permite a los clientes poner en producción sus aplicaciones GenAI .