100 jours d'IA, jour 14 : les cinq tendances de l'IA générative à surveiller en 2024

Il se passe beaucoup de choses dans le domaine de l’IA générative. A tel point que Nvidia, le marchand d'armes à IA générative, avec ses puces H100, dépasse désormais les valorisations boursières d'Amazon. C’est aussi un espace très dynamique avec beaucoup d’activité de la part des startups et des grandes entreprises technologiques. Dans cet article, je soulignerai trois grandes tendances que nous pourrions observer au cours des 12 à 18 prochains mois.

1 – Offres de données

Au cours des deux dernières décennies, nous avons répété que les données étaient le nouveau pétrole . Cette phrase aura de réelles implications cette année. De nombreuses entreprises ont accumulé des ensembles de données uniques et ont trouvé un produit réellement adapté au marché. Récemment, une nouvelle a éclaté selon laquelle Reddit avait conclu un accord pour accéder à ses données à une société anonyme pour 60 millions de dollars. Les termes de l'accord sont inconnus, mais cela représente 60 millions de dollars de nouveaux revenus pour Reddit. Recherchez d’autres offres d’entreprises disposant d’ensembles de données uniques.

2 – Focus sur les modèles Open Source

Depuis qu'Open AI a lancé chat gpt, la conversation a été dominée par les modèles de base de la série gpt qui sont des modèles fermés, ce qui signifie que personne, à l'exception de l'équipe Open AI, ne connaît les détails de la façon dont le modèle a été formé, sur quelles données il a été formé et les paramètres du modèle. Nous verrons davantage de modèles Open Source prendre le devant de la scène et attirer l’attention. Le principal acteur à surveiller dans ce domaine est Meta (Facebook). Meta met un terme à l'approche mobile de Google. Alors que le système d'exploitation mobile d'Apple était fermé, la stratégie de Google était d'être un système d'exploitation mobile open source qui alimente plus de 80 % des téléphones mobiles dans le monde. Alors gardez un œil sur Meta.

3 – Petits modèles de langage

L'IA ouverte a prouvé au monde la puissance des grands modèles linguistiques (LLM). Mais comme chaque entreprise d’IA s’efforce de créer des produits et des fonctionnalités prêts à l’emploi et essaie d’amener les entreprises à adopter l’IA pour leur activité. Les LLM ne sont peut-être pas toujours la meilleure solution. Un modèle plus petit, qui nécessite moins de calculs pour s'entraîner et utilise moins de données mais de meilleure qualité, pourrait en réalité être meilleur. Ces modèles, appelés SLM, pourraient être exécutés sur des téléphones mobiles, ce qui augmenterait l'accès de l'IA à un public plus large. Certains des SLM à consulter sont :

• Phi par Microsoft
• Orque par Microsoft
• T5 par Google

L’une des principales fonctions qui nous obligent à s’adapter et à innover avec les SML est de réduire le coût de calcul et donc de rendre l’IA plus accessible.

4 – Focus sur la sécurité du LLM

Je ne parle pas de sécurité des données pour former le LLM. Je fais référence aux cas où les utilisateurs peuvent pirater les LLM pour faire quelque chose qu'ils ne sont pas censés faire ou simplement les casser. De nombreux problèmes de sécurité surviennent concernant la façon de pirater les comportements LLM. Certains incluent :

• Jailbreak pour que LLM réponde à quelque chose qu'il ne devrait pas aimer fabriquer une substance interdite à la maison.
• Injection d'invite pour masquer les instructions d'invite qui interrompent les LLM
• L’empoisonnement des données consiste à intégrer de mauvaises données sur Internet qui seront utilisées par les LLM et pourront ensuite être utilisées à mauvais escient.

Il existe de plus en plus de façons dont nous découvrons actuellement que les LLM peuvent être compromis à mesure que nous réparons ceux que nous connaissons. Ce sera l’un des domaines actifs où des progrès seront réalisés en 2024 tant du côté de la recherche que des produits.

5 – Implications réglementaires

Il est clair que l’IA aura d’énormes implications sur la société dans tous les secteurs. Elle traversera tous les aspects de la société et, comme nous l’avons vu, toutes les grandes entreprises annoncent des initiatives et des investissements majeurs en matière d’IA au cours de la période 2022-2023.

• Microsoft a investi dans l'Open AI et l'Inflection
• Google et Amazon investissent dans Anthropic
• Jeff Bezos a investi dans Perplexity
• Airbnb a acquis une société d'IA furtive appelée gameplanner.ai

Les régulateurs se concentraient déjà sur les grandes technologies, ce qui les empêchait de réaliser des acquisitions au cours des trois dernières années. Dans ce contexte, nous verrons les régulateurs aux États-Unis et dans l’UE surveiller de près les investissements dans l’IA et potentiellement démêler certains de ces investissements. Les investissements ont été réalisés principalement pour éviter les acquisitions, car les dirigeants de grandes entreprises technologiques savent que ce sera une bataille difficile pour les faire approuver. Mais même certains de ces investissements pourraient également faire l’objet d’un examen minutieux.

C'est tout pour le jour 14 des 100 jours d'IA.

J'écris une newsletter intitulée Above Average dans laquelle je parle des idées de second ordre derrière tout ce qui se passe dans la grande technologie. Si vous êtes dans la technologie et que vous ne voulez pas être dans la moyenne, abonnez-vous .

Suivez-moi sur Twitter , LinkedIn ou HackerNoon pour les dernières mises à jour sur 100 jours d'IA. Si vous êtes dans le domaine de la technologie, vous pourriez être intéressé à rejoindre ma communauté de professionnels de la technologie ici .