Llevando la IA al centro de datos

Con todas las suposiciones que hacemos sobre los avances en los datos empresariales y las tecnologías de la nube, hay un hecho claro que a menudo se pasa por alto: la mayoría de los datos empresariales más importantes permanecen en el centro de datos corporativo.

Hay muchas razones para esto, algunas razonables, otras no tanto. En algunos casos, se debe a la naturaleza altamente confidencial de los datos, ya sea el cumplimiento de HIPAA, datos bancarios confidenciales u otros problemas de privacidad. En otros casos, los datos residen en sistemas (piense en datos de planificación de recursos empresariales heredados o datos de investigación científica a escala de petabytes) que son difíciles de trasladar a la nube. Y a veces, es solo inercia. No es una gran excusa, pero sucede todo el tiempo.

Cualquiera que sea la razón, alojar datos en bastidores de servidores corporativos ha demostrado ser un obstáculo real para la capacidad de muchas empresas de aprovechar la IA para transformar su negocio, porque ha sido casi imposible proporcionar la potencia de cómputo significativa necesaria para impulsar la IA en la infraestructura que sustenta la mayoría de los centros de datos.

Pero hay un movimiento en marcha, a través de una pequeña constelación de nuevas empresas y grandes fabricantes de dispositivos, para optimizar los modelos de aprendizaje automático y hacer que la IA esté disponible para las empresas cuyos datos no están en la nube. Va a ser un cambio de juego.

El problema de la potencia de procesamiento

La unidad de procesamiento gráfico, o GPU, se desarrolló para manejar aplicaciones de procesamiento de video de alta intensidad como las que requieren los videojuegos modernos y las películas de alta resolución. Pero la capacidad de estos procesadores para dividir tareas complejas en tareas más pequeñas y ejecutarlas en paralelo también hace que estos circuitos integrados específicos de aplicaciones (ASIC) de alta potencia sean muy útiles para la inteligencia artificial. AI, después de todo, requiere flujos masivos de datos para refinar y entrenar modelos de aprendizaje automático.

Las CPU, por otro lado, son los cerebros flexibles de los servidores y, como tales, están diseñadas para manejar una amplia variedad de operaciones, como acceder a datos del disco duro o mover datos del caché al almacenamiento, pero carecen de la capacidad de hacer estas tareas en paralelo (los procesadores multinúcleo pueden manejar tareas paralelas, pero no al nivel de las GPU). Simplemente no están diseñados para manejar el tipo de cargas de trabajo de alto rendimiento que exige la IA.

Las GPU de alto rendimiento son muy caras y, hasta hace poco, han sido escasas, gracias a la dependencia de los criptomineros de estos chips de alto rendimiento. En su mayor parte, son el reino de los proveedores de la nube. De hecho, los servicios informáticos de alto rendimiento son una de las principales razones por las que las empresas trasladan sus datos a la nube. de Google Unidad de procesamiento de tensores , o TPU, es un ASIC personalizado desarrollado únicamente para acelerar las cargas de trabajo de aprendizaje automático. Amazon también tiene sus propios chips para impulsar las cargas de trabajo de AI/ML.

Optimización para IA

Las GPU han sido la base de la avalancha de innovación de IA que recientemente se ha apoderado de los titulares. Gran parte de estos desarrollos de alto perfil han sido impulsados por empresas que van más allá de lo que es posible sin pensar demasiado en la eficiencia o la optimización. En consecuencia, las cargas de trabajo producidas por las nuevas herramientas de IA han sido masivas y, por lo tanto, necesariamente administradas en la nube.

Pero en los últimos seis meses más o menos, eso ha estado cambiando. Por un lado, los modelos ML en expansión que impulsan todas estas herramientas de inteligencia artificial de vanguardia se están condensando significativamente, pero aún generan los mismos resultados poderosos.

instalé el Vicuña aplicación en mi teléfono móvil, por ejemplo. Es un modelo de 13 mil millones de parámetros que realiza una ejecución similar a ChatGPT y se ejecuta en tiempo real, directamente en mi teléfono. No está en la nube en absoluto, es una aplicación que reside en un dispositivo.

El proyecto Vicuña surgió de la Organización de sistemas de modelos grandes , una colaboración entre UC Berkeley, UC Davis y la Universidad Carnegie Mellon con la misión de "hacer que los modelos grandes sean accesibles para todos mediante el desarrollo conjunto de conjuntos de datos abiertos, modelos, sistemas y herramientas de evaluación".

Es una misión que la gran tecnología no está ignorando. Las últimas computadoras de escritorio y iPhone de Apple tienen capacidades de procesamiento especializadas que aceleran los procesos de aprendizaje automático. Google y Apple también están trabajando mucho para optimizar su software para ML.

También hay un montón de ingenieros talentosos en las nuevas empresas que están trabajando para hacer que el hardware tenga un mejor rendimiento de una manera que haga que AI/ML sea más accesible.

Tercera IA es un gran ejemplo. La empresa ofrece un motor basado en software que puede entrenar grandes modelos de aprendizaje profundo mediante el uso de CPU. DataStax ha estado experimentando con el equipo de ThirdAI durante meses y ha quedado impresionado con lo que han desarrollado, tanto que la semana pasada anunciamos una asociación con la empresa para hacer modelos sofisticados de lenguaje grande (LLM) y otras tecnologías de IA accesibles para cualquier organización. , independientemente de dónde residan sus datos. (Lea más sobre las noticias de la asociación aquí ).

Lleve la IA a los datos

Debido a todo este arduo trabajo e innovación, la IA ya no estará disponible exclusivamente para las organizaciones con datos en la nube. Esto es extremadamente importante para la privacidad, que es una de las principales razones por las que muchas organizaciones mantienen sus datos en sus propios servidores en primer lugar.

Con la ola de transformación de la IA que se ha apoderado de todo en los últimos 18 meses, todo se trata de datos. De hecho, no hay IA sin datos, donde sea que residan. Los esfuerzos de equipos como ThirdAI también permiten a todas las organizaciones "llevar la IA a los datos".

Durante mucho tiempo, las empresas se han visto obligadas a hacer lo contrario: llevar sus datos a la IA. Tuvieron que dedicar recursos, tiempo y presupuesto masivos para migrar datos de almacenes de datos y lagos de datos a plataformas de aprendizaje automático dedicadas antes de analizar para obtener información clave.

Esto da como resultado costos significativos de transferencia de datos, y el tiempo requerido para migrar, analizar y migrar afecta la rapidez con que las organizaciones pueden aprender nuevos patrones y tomar medidas con los clientes en el momento.

Llevar la IA a los datos es algo en lo que nos hemos centrado mucho en DataStax con nuestros esfuerzos de IA en tiempo real , porque es la forma más rápida de tomar medidas basadas en ML/AI, deleitar a los clientes y generar ingresos. Llevar la IA al centro de datos, y no solo a la nube, es otro paso muy importante para hacer que la tecnología de IA transformadora sea algo de lo que todas las empresas puedan ser parte.

* Conoce lo nuevo Programa de socios de IA de DataStax , que conecta a las empresas con nuevas empresas innovadoras de IA para acelerar el desarrollo y la implementación de aplicaciones de IA para los clientes.*

Por Ed Anuff, DataStax