Esta semana, me desviaré ligeramente de mis artículos habituales que explican conceptos de IA o tutoriales de codificación. Sí, es un recorrido filosófico y nostálgico por el camino que tuve la suerte de recorrer todo el tiempo.

Uno de los raros privilegios de comenzar en un campo desde temprana edad es que ves el campo crecer como tu bebé. Cuando comencé mi Maestría en Visión por Computadora hace una década, un amigo mío graduado en informática me preguntó: "¿Qué significa visión por computadora?" Es una pregunta trivial hoy en día con suficientes videos de tareas de visión por computadora como la segmentación (ver más abajo) flotando en Internet.

Es el resultado de la segmentación de imágenes, una tarea de visión por computadora que estaba en Internet cuando despegó el aprendizaje profundo hace una década.

Entonces, ¿qué ha cambiado en la última década? Siempre hay dos caras de una moneda. Además, el crecimiento puede ser tanto bueno como malo.

Comunidad cerrada: lo pequeño era hermoso

Dicen que la gente en Islandia está relacionada de alguna manera entre sí y si alguien es más allá de tu primo segundo, puedes casarte con él.

Asimismo, la comunidad de IA estaba muy unida. Atrás quedaron esos sentimientos de una comunidad muy unida. Al interactuar con alguien de la investigación, generalmente sabías a qué grupo pertenecía. De alguna manera te identificarías y respetarías su trabajo al leer y apreciar su impacto en el campo.

A medida que el campo crece sin cesar, se vuelve cada vez más difícil incluso decir que conoces el trabajo de alguien, olvídate de él. Hay demasiados nombres nuevos y ramas novedosas que incluso es difícil seguirles la pista.

Como otro ejemplo, PyTorch estaba en su infancia. La comunidad de Slack era tan pequeña y útil que los desarrolladores de PyTorch respondieron directamente a las preguntas que teníamos sobre el uso de la biblioteca. Esto animó a aprender cada vez más sobre ello. Hoy en día, el marco está muy maduro y se han apuntalado nuevos marcos como LangChain y Llamaindex. La atención se centra en los LLM sobre cualquier otra rama de la IA.

Hardware de lujo

En aquella época, solíamos entrenar una red neuronal profunda en una sola GPU para crear algo impactante. La mayoría del trabajo publicado en conferencias de primer nivel como CVPR, NeurIPS e ICML podrían entrenarse y replicarse en una sola máquina con GPU de 8 GB o, en el peor de los casos, en una sola máquina con 4 GPU en casos excepcionales.

Una imagen de los últimos grupos de GPU utilizados por Tesla para IA (fuente: https://www.hpcwire.com/off-the-wire/tesla-to-roll-out-advanced-supercomputer )

Recuerdo vívidamente lo feliz que estaba al comprar una GPU básica con solo 8 GB de RAM para participar en las competiciones de Kaggle. Algunas de las soluciones ganadoras de Kaggle Grandmasters entrenaron modelos de aprendizaje profundo en una sola máquina GPU en casa.

El mundo de la IA actual necesita un clúster de GPU para entrenar modelos fundamentales. Incluso para perfeccionar estos modelos se necesitan GPU de 24 GB, que son bestias, caras y asequibles sólo para empresas con un "presupuesto de IA".

Demanda de habilidades

Eran días en los que el campo aún no tenía la envoltura de IA. A los reclutadores se les asignó la extraña tarea de buscar ingenieros de “aprendizaje profundo”. Los reclutadores y fundadores de empresas emergentes buscaban expertos en aprendizaje profundo a través de todos los canales. Era normal recibir mensajes periódicos en LinkedIn pidiéndome que me uniera a su equipo como ingeniero de aprendizaje profundo.

¡Una captura de pantalla de un anuncio de trabajo para un ingeniero de aprendizaje automático publicado hace solo 5 días que recibió más de 100 solicitantes!

La situación actual es que las vacantes para "Ingeniero de aprendizaje automático" obtienen más de 100 solicitudes en LinkedIn en un solo día de publicidad. Echa un vistazo a la captura de pantalla de arriba si te resulta difícil de creer. Queda la pregunta de qué tan relevantes son las habilidades del solicitante para las especificaciones del puesto. Pero el mercado se satura de habilidades, ¡con bastante rapidez!

Subhabilidades: operaciones y arquitectura

Crecimiento significa más diversidad y oportunidades. Están surgiendo nuevos roles como ML-ops, LLM-ops y ML-architects. Atrás quedaron esos días de archivos pequeños de un solo modelo (< 1 GB). El crecimiento de los modelos tanto en tamaño como en capacidades ha dado lugar a nuevas habilidades para implementarlos y mantenerlos.

Además, la capacitación y el despliegue de modelos se están automatizando con herramientas como MLFLow. La infraestructura en la nube para la formación debe ser lo suficientemente sofisticada. Todo esto ha dado lugar a puestos de tiempo completo con responsabilidades específicas.

Adiós ingeniero de ML, hola ingeniero de IA

Lo más divertido de trabajar en IA es escribir la arquitectura del modelo y entrenar el modelo desde cero utilizando nuestros datos internos. Aunque esto implica mucho preprocesamiento de los datos, entrenar modelos y visualizar los resultados del entrenamiento solía ser muy divertido. Había/todavía hay un rol especializado para esto llamado Ingeniero de Aprendizaje Automático (ML).

El desarrollo de modelos básicos por parte de gigantes tecnológicos está redefiniendo este papel. A medida que crecen los tamaños de los modelos, los presupuestos de formación son enormes. De hecho, el coste de entrenar el modelo LLama 2 fue de 20 millones de dólares para Meta. Es evidente que las empresas emergentes u organizaciones que intentan adoptar la IA no desean desperdiciar esta suma de dinero. Ahora está establecido que los modelos básicos son para que los desarrollen los gigantes tecnológicos, con la excepción de algunas empresas como Mistral y Anthropic.

Lamentablemente, esto significa que el rol de ingeniero de aprendizaje automático se está convirtiendo en un rol de ingeniero de inteligencia artificial. La función del ingeniero de aprendizaje automático consistía en desarrollar arquitecturas de modelos, capacitarlas y evaluarlas. La nueva función de ingeniero de inteligencia artificial implica principalmente desarrollar API o invocar API proporcionadas por gigantes tecnológicos (OpenAI, Meta y Google) para impulsar los modelos básicos.

En casos raros, implica ajustar estos modelos básicos. Pero las empresas tienen la opción de construir oleoductos RAG o utilizar los modelos básicos "tal cual" en lugar de ajustarlos.

Conclusión

Para concluir, veo esto como una lenta fusión de las funciones de ingeniería de software y aprendizaje automático. La línea entre los ingenieros de software y los expertos en aprendizaje profundo se está desvaneciendo. Entonces, en los próximos años, los ingenieros de software serán ingenieros de inteligencia artificial que trabajarán junto con los modelos básicos, tanto para escribir código como para resolver las necesidades de los clientes.

Además, en los próximos años, las empresas se agruparán en dos categorías: empresas de productos de IA y empresas de servicios de IA. Las empresas de productos de IA volverían a ser OpenAI, Meta y Google para desarrollar modelos fundamentales. Las empresas de servicios de IA proporcionarían servicios API ajustando o desarrollando canales estilo RAG en torno a modelos fundamentales de IA para atender a sus clientes.

Por último, ¿el aumento en las solicitudes de empleo indica un estallido inminente de la burbuja como la burbuja de las puntocom? Así lo siento, SÍ. Pero esperemos y miremos...

Gritar

Espero que haya sido útil.

Si te gustó este artículo, ¿por qué no me sigues? Gorjeo ¿Busca actualizaciones de investigaciones, enlaces a tutoriales en vídeo y nuevas herramientas de inteligencia artificial de los mejores laboratorios de inteligencia artificial?

Además, suscríbete a mi Canal de Youtube donde explico conceptos y artículos de IA visualmente.