Los modelos patentados de IA están muertos, ¿o no?

Hace un par de meses, hubo una declaración de que modelos de inteligencia artificial generativa de código abierto dominará el campo. Los expertos citan un nota de Google filtrada que afirma que el gigante de las búsquedas ha perdido su ventaja competitiva en el campo de la IA generativa debido a los modelos de código abierto.

El argumento es algo como esto:

1. Los algoritmos de aprendizaje automático de código abierto han superado las capacidades de los algoritmos propietarios.
2. Al usar algoritmos de código abierto para entrenar modelos en conjuntos de datos de código abierto, el rendimiento de los modelos "fundamentales" es bastante bueno con respecto a los puntos de referencia.
3. El uso de técnicas como el "ajuste fino" (el proceso de combinar sus datos con los datos de fuente abierta) para construir un modelo evita la necesidad de utilizar los conjuntos de datos patentados de Big Tech.
4. Por lo tanto, los modelos propietarios están muertos.

Entonces E/S de Google 2023 sucedió. Bardo de Google , un motor de búsqueda generativo de inteligencia artificial construido sobre su propio conjunto de datos patentado, obtuvo muy buenas críticas . La característica más citada es su capacidad para incorporar datos en tiempo real en su modelo.

Echemos un vistazo a por qué los modelos propietarios desempeñarán un papel valioso en el futuro con un análisis del argumento anterior:

1. ¿Han superado los algoritmos de aprendizaje automático de código abierto las capacidades de los algoritmos propietarios? Sí. El memorando interno de Google analiza cómo el rendimiento y la innovación de los algoritmos por parte de la comunidad de código abierto ha eclipsado su propio ritmo de desarrollo.
2. Cuando se utilizan algoritmos de código abierto para entrenar modelos en conjuntos de datos de código abierto, ¿el rendimiento de los modelos "fundamentales" es bueno con respecto a los puntos de referencia? Cuidado con los puntos de referencia. Si el objetivo del modelo es solo entender inglés, entonces está bien usar un corpus de datos de código abierto. Pero, ¿qué sucede si su modelo puede beneficiarse de los datos en "tiempo real", al igual que los usuarios se benefician de la búsqueda de datos en tiempo real de Bard? Luego, el punto de referencia deberá ser la capacidad de entender inglés y comprender los eventos recientes en el mundo.
3. ¿Técnicas como el "ajuste fino" para construir un modelo evitan la necesidad de usar conjuntos de datos patentados de Big Tech? Nuevamente, ¿qué les importa a sus usuarios? ¿Puede su conjunto de datos patentado brindar TODO el contexto en tiempo real que necesita?
4. Entonces, ¿están realmente muertos los modelos fundacionales propietarios? No tan rapido …

El costo del éxito de la IA generativa

Resulta que obtener acceso a datos en tiempo real para construir modelos es costoso. Google gasta miles de millones de dólares para construir infraestructura para indexar la web en tiempo real para construir sus modelos generativos, y puede apostar que será propietario.

Tomemos el ejemplo de dos chatbots de viajes de aerolíneas construidos sobre dos modelos fundamentales diferentes; un chatbot es de código abierto y otro propietario con datos en tiempo real. El chatbot de viaje está "afinado" con un conjunto de datos de información de vuelo patentado para recomendar qué vuelos tomar. En muchos casos, ambos chatbots darán la misma respuesta. Sin embargo, si una gran tormenta golpea un aeropuerto, el chatbot creado con datos patentados en tiempo real proporcionará información de vuelo que evitará los vuelos afectados por la tormenta. Esto es invaluable para los usuarios y, por lo tanto, también lo será para los desarrolladores.

El futuro de los modelos fundamentales de IA

Entonces, ¿significa esto que cada caso de uso de IA generativa necesita un modelo fundamental construido a partir de datos propietarios en tiempo real? No, pero hay otras razones por las que se necesitará un modelo fundacional patentado:

1. Conjuntos de datos propios propios Considere este ejemplo: Google Bard aprovecha la totalidad de YouTube para crear su modelo fundamental. Si su caso de uso de IA generativa puede beneficiarse de la gran cantidad de información y conocimientos que se cargan en YouTube, es posible que desee utilizar un modelo fundamental de Google.
2. Conjuntos de datos de personalización Cuando un modelo fundamental se entrena con datos personalizados, el modelo (también conocido como red neuronal) tendrá aspectos de información personal. El uso de estos modelos para hacer inferencias se puede hacer de una manera que no filtre información personal, pero si se exporta todo el modelo, es posible extraer información personal sobre usuarios particulares observando los parámetros del modelo. A pesar de los avances en el aprendizaje federado, no existe una forma infalible de habilitar la exportación del modelo sin poner en peligro la privacidad.

Entonces, ¿cómo son los futuros modelos fundacionales? Probablemente algo como esto:

1. Los algoritmos serán de código abierto
2. Los conjuntos de datos serán propietarios en algunos casos, debido al costo de mantener un conjunto de datos en tiempo real y la personalización, y de código abierto en otros.

Suponiendo que esta sea la arquitectura predominante, ¿cuáles son los efectos secundarios?

1. Las empresas que buscan construir IA generativa probablemente necesitarán confiar en modelos básicos de grandes empresas que tienen la chequera para mantener su propia infraestructura de datos en tiempo real y modelos básicos de código abierto para otros casos de uso.
2. El conjunto de datos patentados en el que confían las empresas también será cada vez más en tiempo real. Espere que los datos residan en bases de datos NoSQL en tiempo real como Apache Cassandra, transmitidos a las tiendas de características utilizando tecnologías como Apache Pulsar.
3. A efectos prácticos, es probable que la inferencia de modelos se produzca en centros de datos propiedad de los proveedores de modelos fundacionales, como AWS, Microsoft y Google. Esto significa que los hiperescaladores probablemente aumentarán en importancia en la era de la IA. La inferencia de modelos basada en modelos básicos de código abierto se puede realizar en los centros de datos de los clientes.

Los efectos secundarios para DataStax (mi empleador) también son significativos. Como proveedor de gestión de datos, es probable que nuestra inversión en la prestación de servicios en la nube a través de DataStax Astra DB , que reside en las principales nubes de AWS, Microsoft y Google, crezca a medida que la IA generativa se vuelve más frecuente en la empresa.

Si bien alentamos y apoyamos el uso de modelos fundamentales de código abierto de empresas como AbrazandoCara , también estamos formando sólidas asociaciones de IA con los tres grandes proveedores de la nube. Lo que es más importante, estamos utilizando el proceso de contribución de la comunidad para las funciones ascendentes de Cassandra, como la búsqueda de vectores , para garantizar que las empresas puedan crear sus propios conjuntos de datos reales para la IA en tiempo real.

Por Alan Ho, DataStax