Cette semaine, je fais un léger détour par rapport à mes articles habituels qui expliquent les concepts d'IA ou les tutoriels de codage. Oui, c'est un voyage philosophique et nostalgique sur le chemin que j'ai eu la chance de parcourir depuis le début.

L’un des rares privilèges de démarrer assez tôt dans un champ est de voir le champ grandir comme votre bébé. Lorsque j'ai commencé ma maîtrise en vision par ordinateur il y a dix ans, un de mes amis diplômé en informatique m'a demandé : « Que signifie la vision par ordinateur ? C'est une question triviale aujourd'hui avec suffisamment de vidéos de tâches de vision par ordinateur comme la segmentation (voir ci-dessous) qui circulent sur Internet.

Un résultat de la segmentation d’images – une tâche de vision par ordinateur qui était omniprésente sur Internet lorsque l’apprentissage profond a décollé il y a dix ans.

Alors, qu’est-ce qui a changé au cours de la dernière décennie ? Il y a toujours deux faces à une médaille. En outre, la croissance peut être à la fois bonne et mauvaise.

Communauté fermée — Petit était beau

On dit que les Islandais sont liés les uns aux autres et que si quelqu'un est autre que votre cousin germain, vous êtes prêt à l'épouser.

De même, la communauté de l’IA était très unie. Fini ce sentiment de communauté soudée. Lorsque vous interagissez avec une personne travaillant dans le domaine de la recherche, vous saviez généralement à quel groupe elle appartenait. D'une manière ou d'une autre, vous vous identifierez et respecterez leur travail en lisant et en appréciant leur impact sur le terrain.

Alors que le domaine explose sans cesse, il devient de plus en plus difficile de dire que l'on connaît le travail de quelqu'un et de l'oublier. Il y a trop de nouveaux noms et de nouvelles branches qu'il est même difficile de suivre.

Comme autre exemple, PyTorch en était à ses balbutiements. La communauté Slack était si petite et si utile que les développeurs de PyTorch ont directement répondu à nos questions sur l'utilisation de la bibliothèque. Cela a encouragé à en apprendre davantage à ce sujet. Aujourd'hui, le framework est très mature et de nouveaux frameworks comme LangChain et Llamaindex se sont développés. L'accent est mis sur les LLM plutôt que sur toute autre branche de l'IA.

Matériel de luxe

À l’époque, nous formions un réseau neuronal profond sur un seul GPU pour créer quelque chose d’impactant. La plupart des travaux publiés lors de conférences de premier plan telles que CVPR, NeurIPS et ICML pourraient être formés et répliqués sur une seule machine GPU de 8 Go ou, dans le pire des cas, une seule machine avec 4 GPU dans de rares cas.

Une image des derniers clusters GPU utilisés par Tesla pour l'IA (source : https://www.hpcwire.com/off-the-wire/tesla-to-roll-out-advanced-supercomputer )

Je me souviens très bien à quel point j'étais heureux d'acheter un seul GPU avec seulement 8 Go de RAM pour participer aux compétitions Kaggle. Certaines des solutions gagnantes de Kaggle Grandmasters ont entraîné des modèles d'apprentissage profond sur une seule machine GPU à la maison.

Le monde de l'IA d'aujourd'hui a besoin d'un cluster GPU pour former les modèles fondamentaux. Même le réglage fin de ces modèles nécessite des GPU de 24 Go qui sont des bêtes, chers et abordables uniquement pour les entreprises disposant d'un « budget IA ».

Demande de compétences

C’était l’époque où le domaine n’était pas encore enveloppé d’IA. Les recruteurs se sont vu confier cette tâche extraterrestre : rechercher des ingénieurs « deep learning ». Les recruteurs et les fondateurs de start-up recherchaient des experts en deep learning sur tous les canaux. C'était une norme de recevoir des messages réguliers sur LinkedIn me demandant de rejoindre leur équipe en tant qu'ingénieur en deep learning.

Une capture d'écran d'une offre d'emploi pour un ingénieur en apprentissage automatique publiée il y a seulement 5 jours et recevant plus de 100 candidats !

La situation actuelle est que les postes vacants pour « Ingénieur en apprentissage automatique » obtiennent plus de 100 candidatures sur LinkedIn bien dans la journée suivant la publicité. Jetez un œil à la capture d’écran ci-dessus si vous avez du mal à y croire. La question reste de savoir dans quelle mesure les compétences du candidat sont pertinentes par rapport aux spécifications du poste. Mais le marché est saturé de compétences – assez rapidement !

Sous-compétences — Opérations et architecture

La croissance signifie plus de diversité et d’opportunités. De nouveaux rôles tels que les opérations ML, les opérations LLM et les architectes ML apparaissent. L’époque des petits fichiers à modèle unique (< 1 Go) est révolue. La croissance des modèles tant en taille qu’en capacités a donné naissance à de nouvelles compétences pour les déployer et les maintenir.

De plus, la formation et le déploiement des modèles sont automatisés avec des outils tels que MLFLow. L'infrastructure cloud pour la formation doit être suffisamment sophistiquée. Tout cela a donné naissance à des postes à temps plein avec des responsabilités dédiées.

Bye Bye ingénieur ML, bonjour ingénieur IA

Le plus amusant dans le travail en IA est d'écrire l'architecture du modèle et de former le modèle à partir de zéro en utilisant nos données internes. Bien que cela implique beaucoup de prétraitement des données, la formation des modèles et la visualisation des résultats de la formation étaient autrefois très amusantes. Il y avait/il y a toujours un rôle spécialisé pour cet ingénieur en apprentissage automatique (ML).

Le développement de modèles de fondation par les géants de la technologie redéfinit ce rôle. À mesure que la taille des modèles augmente, les budgets de formation sont énormes. En fait, le coût de formation du modèle LLama 2 s'élevait à 20 millions de dollars pour Meta. Il est clair que les start-ups ou les organisations qui tentent d’adopter l’IA ne souhaitent pas gaspiller cette somme d’argent. Il est désormais établi que les modèles de base sont à développer par les géants de la technologie, à l’exception de certaines entreprises comme Mistral et Anthropic.

Malheureusement, cela signifie que le rôle d'ingénieur ML est transformé en un rôle d'ingénieur IA. Le rôle d'ingénieur ML consistait uniquement à développer des architectures de modèles, à les former et à les évaluer. Le nouveau rôle d'ingénieur IA consiste principalement à développer des API ou à invoquer des API fournies par des géants de la technologie (OpenAI, Meta et Google) pour piloter les modèles de base.

Dans de rares cas, cela implique d’affiner ces modèles de base. Mais les entreprises ont la possibilité de construire des pipelines RAG ou d’utiliser les modèles de base « tels quels » plutôt que de les affiner.

Conclusion

Pour conclure, je vois cela comme une lente fusion des rôles d’ingénierie logicielle et d’apprentissage automatique. La frontière entre les ingénieurs logiciels et les experts en apprentissage profond s’estompe. Ainsi, dans les années à venir, les ingénieurs logiciels seront des ingénieurs en IA qui travailleront aux côtés des modèles de base, à la fois pour écrire du code et pour répondre aux besoins des clients.

De plus, dans les années à venir, les entreprises seront regroupées en deux catégories : les entreprises de produits et de services d’IA. Les sociétés de produits d'IA seraient à nouveau OpenAI, Meta et Google pour développer des modèles fondamentaux. Les sociétés de services d’IA fourniraient des services API en affinant ou en développant des pipelines de type RAG autour des modèles fondamentaux d’IA pour servir leurs clients.

Enfin, l’augmentation des demandes d’emploi indique-t-elle un éclatement imminent d’une bulle comme celle de la bulle Internet ? Je le ressens, OUI. Mais attendons et regardons ça…

Crier

J'espère que cela a été utile.

Si vous avez aimé cet article, pourquoi ne pas me suivre Twitter pour des mises à jour de recherche, des liens de didacticiels vidéo et de nouveaux outils d'IA des meilleurs laboratoires d'IA ?

Merci également de vous abonner à mon Chaîne Youtube où j'explique visuellement les concepts et les articles sur l'IA.