Pourquoi l'IA Open Source est bonne pour les développeurs, les méta et le monde

L’IA Open Source est la voie à suivre. Republié avec la permission de Meta.

Aux débuts du calcul haute performance, les grandes entreprises technologiques de l’époque ont chacune investi massivement dans le développement de leurs propres versions fermées d’Unix. Il était difficile d’imaginer à l’époque qu’une autre approche puisse permettre de développer des logiciels aussi avancés. Finalement, Linux open source a gagné en popularité – d'abord parce qu'il permettait aux développeurs de modifier son code comme ils le souhaitaient et était plus abordable, et au fil du temps parce qu'il est devenu plus avancé, plus sécurisé et disposait d'un écosystème plus large prenant en charge plus de fonctionnalités que n'importe quel Unix fermé. . Aujourd’hui, Linux constitue la base standard de l’industrie à la fois pour le cloud computing et pour les systèmes d’exploitation qui exécutent la plupart des appareils mobiles – et grâce à cela, nous bénéficions tous de produits de qualité supérieure.

Je crois que l’IA se développera de la même manière. Aujourd’hui, plusieurs entreprises technologiques développent des modèles fermés de premier plan. Mais l’open source comble rapidement l’écart. L'année dernière, Llama 2 n'était comparable qu'à une ancienne génération de modèles derrière la frontière. Cette année, Llama 3 est compétitif avec les modèles les plus avancés et leader dans certains domaines. À partir de l’année prochaine, nous nous attendons à ce que les futurs modèles Llama deviennent les plus avancés de l’industrie. Mais même avant cela, Llama est déjà leader en matière d'ouverture, de modifiabilité et de rentabilité.

Aujourd’hui, nous franchissons les prochaines étapes pour que l’IA open source devienne la norme de l’industrie. Nous lançons Llama 3.1 405B, le premier modèle d'IA open source de niveau frontière, ainsi que de nouveaux modèles Llama 3.1 70B et 8B améliorés. En plus d'avoir un rapport coût/performance nettement meilleur par rapport aux modèles fermés, le fait que le modèle 405B soit ouvert en fera le meilleur choix pour affiner et distiller des modèles plus petits.

Au-delà de la publication de ces modèles, nous travaillons avec un certain nombre d'entreprises pour développer l'écosystème au sens large. Amazon, Databricks et NVIDIA lancent des suites complètes de services pour aider les développeurs à affiner et distiller leurs propres modèles. Des innovateurs comme Groq ont construit une inférence à faible latence et à faible coût pour tous les nouveaux modèles. Les modèles seront disponibles sur tous les principaux cloud, notamment AWS, Azure, Google, Oracle, etc. Des entreprises comme Scale. AI, Dell, Deloitte et d'autres sont prêts à aider les entreprises à adopter Llama et à former des modèles personnalisés avec leurs propres données. À mesure que la communauté se développe et que de plus en plus d’entreprises développent de nouveaux services, nous pouvons collectivement faire de Llama la norme de l’industrie et apporter les avantages de l’IA à tous.

Meta s'engage en faveur de l'IA open source. Je vais expliquer pourquoi je pense que l'open source est la meilleure pile de développement pour vous, pourquoi l'open source Llama est bon pour Meta et pourquoi l'IA open source est bonne pour le monde et donc une plate-forme qui existera à long terme.

Pourquoi l'IA Open Source est bonne pour les développeurs

Lorsque je parle à des développeurs, des PDG et des représentants gouvernementaux du monde entier, j'entends généralement plusieurs thèmes :

• Nous devons former, affiner et distiller nos propres modèles. Chaque organisation a des besoins différents qui sont mieux satisfaits avec des modèles de différentes tailles qui sont formés ou affinés avec leurs données spécifiques. Les tâches sur l'appareil et les tâches de classification nécessitent de petits modèles, tandis que les tâches plus complexes nécessitent des modèles plus grands. Vous pourrez désormais prendre les modèles de lamas les plus avancés, continuer à les entraîner avec vos propres données, puis les distiller pour obtenir un modèle de votre taille optimale – sans que nous ni personne d'autre ne puissions voir vos données.
• Nous devons contrôler notre propre destin et ne pas nous enfermer dans un fournisseur fermé. De nombreuses organisations ne veulent pas dépendre de modèles qu’elles ne peuvent pas gérer et contrôler elles-mêmes. Ils ne veulent pas que les fournisseurs de modèles fermés puissent modifier leur modèle, modifier leurs conditions d'utilisation ou même cesser complètement de les servir. Ils ne veulent pas non plus se retrouver enfermés dans un seul cloud disposant de droits exclusifs sur un modèle. L'Open Source permet à un vaste écosystème d'entreprises de disposer de chaînes d'outils compatibles entre lesquelles vous pouvez facilement naviguer.
• Nous devons protéger nos données. De nombreuses organisations gèrent des données sensibles qu'elles doivent sécuriser et ne peuvent pas les envoyer à des modèles fermés via des API cloud. D'autres organisations ne font tout simplement pas confiance aux fournisseurs de modèles fermés pour leurs données. L'open source résout ces problèmes en vous permettant d'exécuter les modèles où vous le souhaitez. Il est largement admis que les logiciels open source ont tendance à être plus sécurisés car ils sont développés de manière plus transparente.
• Nous avons besoin d’un modèle efficace et abordable à gérer. Les développeurs peuvent exécuter l'inférence sur Llama 3.1 405B sur leur propre infrastructure pour environ 50 % du coût d'utilisation de modèles fermés comme GPT-4o, pour les tâches d'inférence face à l'utilisateur et hors ligne.
• Nous voulons investir dans l’écosystème qui sera la norme à long terme. De nombreuses personnes constatent que l’open source progresse plus rapidement que les modèles fermés et souhaitent construire leurs systèmes sur l’architecture qui leur apportera le plus grand avantage à long terme.

Pourquoi l'IA Open Source est bonne pour le méta

Le modèle commercial de Meta consiste à créer les meilleures expériences et services pour les gens. Pour ce faire, nous devons nous assurer que nous avons toujours accès à la meilleure technologie et que nous ne nous enfermons pas dans l’écosystème fermé d’un concurrent où il peut restreindre ce que nous construisons.

L'une de mes expériences formatrices a été de créer nos services en fonction de ce qu'Apple nous laisse construire sur leurs plates-formes. Entre la façon dont ils taxent les développeurs, les règles arbitraires qu'ils appliquent et toutes les innovations de produits dont ils bloquent la commercialisation, il est clair que Meta et de nombreuses autres sociétés seraient libres de créer de bien meilleurs services pour les gens si nous pouvions créer les meilleures versions de nos produits et nos concurrents n'étaient pas en mesure de limiter ce que nous pouvions construire. Sur le plan philosophique, c’est l’une des principales raisons pour lesquelles je crois si fermement à la création d’écosystèmes ouverts en IA et AR/VR pour la prochaine génération d’informatique.

Les gens me demandent souvent si je crains de renoncer à un avantage technique en open source Llama, mais je pense que cela manque la vue d'ensemble pour plusieurs raisons :

Premièrement, pour garantir que nous avons accès à la meilleure technologie et ne sommes pas enfermés dans un écosystème fermé à long terme, Llama doit se développer vers un écosystème complet d'outils, d'améliorations d'efficacité, d'optimisations de silicium et d'autres intégrations. Si nous étions la seule entreprise à utiliser Llama, cet écosystème ne se développerait pas et nous ne nous en sortirions pas mieux que les variantes fermées d'Unix.

Deuxièmement, je m'attends à ce que le développement de l'IA continue d'être très compétitif, ce qui signifie que l'open source d'un modèle donné ne donne pas un énorme avantage sur les meilleurs modèles suivants à ce moment-là. Pour que Llama devienne la norme de l'industrie, il faut être constamment compétitif, efficace et ouvert, génération après génération.

Troisièmement, une différence clé entre Meta et les fournisseurs de modèles fermés est que vendre l’accès aux modèles d’IA ne fait pas partie de notre modèle commercial. Cela signifie que la publication ouverte de Llama ne compromet pas nos revenus, notre durabilité ou notre capacité à investir dans la recherche comme c'est le cas pour les fournisseurs fermés. (C’est l’une des raisons pour lesquelles plusieurs fournisseurs fermés font constamment pression sur les gouvernements contre l’open source.)

Enfin, Meta a une longue histoire de projets et de réussites open source. Nous avons économisé des milliards de dollars en publiant nos conceptions de serveurs, de réseaux et de centres de données avec Open Compute Project et en faisant en sorte que les chaînes d'approvisionnement normalisent nos conceptions. Nous avons bénéficié des innovations de l'écosystème grâce à des outils open source de pointe comme PyTorch, React et bien d'autres outils. Cette approche a toujours fonctionné pour nous lorsque nous la suivons sur le long terme.

Pourquoi l'IA Open Source est bonne pour le monde

Je crois que l’open source est nécessaire pour un avenir positif en matière d’IA. L’IA a plus de potentiel que toute autre technologie moderne pour accroître la productivité humaine, la créativité et la qualité de vie – et pour accélérer la croissance économique tout en permettant le progrès de la recherche médicale et scientifique. L’open source garantira qu’un plus grand nombre de personnes dans le monde aient accès aux avantages et aux opportunités de l’IA, que le pouvoir ne soit pas concentré entre les mains d’un petit nombre d’entreprises et que la technologie puisse être déployée de manière plus uniforme et plus sûre dans la société.

Il y a un débat en cours sur la sécurité des modèles d’IA open source, et mon point de vue est que l’IA open source sera plus sûre que les alternatives. Je pense que les gouvernements concluront qu'il est dans leur intérêt de soutenir l'open source car cela rendra le monde plus prospère et plus sûr.

Mon cadre pour comprendre la sécurité est que nous devons nous protéger contre deux catégories de dommages : involontaires et intentionnels. On parle de dommage involontaire lorsqu’un système d’IA peut causer un dommage même si ceux qui l’exécutent n’avaient pas l’intention de le faire. Par exemple, les modèles d’IA modernes peuvent donner par inadvertance de mauvais conseils en matière de santé. Ou, dans des scénarios plus futuristes, certains craignent que les modèles puissent involontairement se reproduire ou hyper-optimiser les objectifs au détriment de l’humanité. On parle de préjudice intentionnel lorsqu’un mauvais acteur utilise un modèle d’IA dans le but de causer du tort.

Il convient de noter que les dommages involontaires couvrent la majorité des préoccupations des gens concernant l’IA – allant de l’influence que les systèmes d’IA auront sur les milliards de personnes qui les utiliseront à la plupart des scénarios de science-fiction véritablement catastrophiques pour l’humanité. Sur ce plan, l’open source devrait être nettement plus sûr puisque les systèmes sont plus transparents et peuvent être largement scrutés. Historiquement, les logiciels open source ont été plus sécurisés pour cette raison. De même, utiliser Llama avec ses systèmes de sécurité comme Llama Guard sera probablement plus sûr et plus sécurisé que les modèles fermés. Pour cette raison, la plupart des conversations autour de la sécurité de l’IA open source se concentrent sur les dommages intentionnels.

Notre processus de sécurité comprend des tests rigoureux et une équipe rouge pour évaluer si nos modèles sont capables de causer des dommages significatifs, dans le but d'atténuer les risques avant leur publication. Puisque les modèles sont ouverts, n’importe qui est également capable de tester par lui-même. Nous devons garder à l’esprit que ces modèles sont formés à partir d’informations déjà présentes sur Internet. Le point de départ lorsqu’on envisage un préjudice doit donc être de savoir si un modèle peut faciliter davantage de préjudices que les informations pouvant être rapidement récupérées à partir de Google ou d’autres résultats de recherche.

Lorsque l’on raisonne sur les dommages intentionnels, il est utile de faire la distinction entre ce que des acteurs individuels ou à petite échelle peuvent être capables de faire et ce que des acteurs à grande échelle, comme les États-nations dotés de vastes ressources, peuvent être capables de faire.

À un moment donné dans le futur, des acteurs malveillants pourraient être en mesure d’utiliser l’intelligence des modèles d’IA pour fabriquer des préjudices entièrement nouveaux à partir des informations disponibles sur Internet. À ce stade, l’équilibre des pouvoirs sera crucial pour la sécurité de l’IA. Je pense qu’il vaudrait mieux vivre dans un monde où l’IA est largement déployée afin que les grands acteurs puissent contrôler le pouvoir des petits acteurs malveillants. C'est ainsi que nous avons géré la sécurité sur nos réseaux sociaux : nos systèmes d'IA plus robustes identifient et bloquent les menaces provenant d'acteurs moins sophistiqués qui utilisent souvent des systèmes d'IA à plus petite échelle. Plus largement, les grandes institutions déployant l’IA à grande échelle favoriseront la sécurité et la stabilité dans l’ensemble de la société. Tant que tout le monde aura accès à des générations similaires de modèles – promus par l’open source – alors les gouvernements et les institutions disposant de plus de ressources informatiques seront en mesure de contrôler les mauvais acteurs avec moins de ressources informatiques.

La question suivante est de savoir comment les États-Unis et les nations démocratiques devraient gérer la menace d’États dotés d’énormes ressources comme la Chine. L’avantage des États-Unis réside dans l’innovation décentralisée et ouverte. Certains soutiennent que nous devons fermer nos modèles pour empêcher la Chine d’y accéder, mais mon point de vue est que cela ne fonctionnera pas et ne fera que désavantager les États-Unis et leurs alliés. Nos adversaires sont doués en espionnage, voler des modèles qui tiennent sur une clé USB est relativement facile, et la plupart des entreprises technologiques sont loin de fonctionner d'une manière qui rendrait cela plus difficile. Il semble très probable qu’un monde composé uniquement de modèles fermés fasse en sorte qu’un petit nombre de grandes entreprises et nos adversaires géopolitiques aient accès à des modèles de pointe, tandis que les startups, les universités et les petites entreprises passent à côté d’opportunités. De plus, limiter l’innovation américaine à un développement fermé augmente le risque que nous ne soyons pas du tout leader. Au lieu de cela, je pense que notre meilleure stratégie est de construire un écosystème ouvert robuste et de faire en sorte que nos principales entreprises travaillent en étroite collaboration avec notre gouvernement et nos alliés pour garantir qu'elles puissent tirer le meilleur parti des dernières avancées et obtenir un avantage durable en tant que premier arrivé sur le long terme.

Lorsque vous envisagez les opportunités à venir, n’oubliez pas que la plupart des grandes entreprises technologiques et de la recherche scientifique d’aujourd’hui reposent sur des logiciels open source. La prochaine génération d’entreprises et de recherche utilisera l’IA open source si nous y investissons collectivement. Cela inclut les startups qui viennent tout juste de démarrer, ainsi que les personnes travaillant dans des universités et des pays qui n'ont peut-être pas les ressources nécessaires pour développer leur propre IA de pointe à partir de zéro.

L’essentiel est que l’IA open source représente la meilleure chance au monde d’exploiter cette technologie pour créer les plus grandes opportunités économiques et la plus grande sécurité pour tous.

Construisons cela ensemble

Avec les anciens modèles Llama, Meta les a développés pour nous-mêmes, puis les a publiés, mais ne s'est pas beaucoup concentré sur la construction d'un écosystème plus large. Nous adoptons une approche différente avec cette version. Nous construisons des équipes en interne pour permettre au plus grand nombre de développeurs et de partenaires possible d'utiliser Llama, et nous construisons activement des partenariats afin que davantage d'entreprises de l'écosystème puissent également offrir des fonctionnalités uniques à leurs clients.

Je pense que la version Llama 3.1 sera un point d'inflexion dans l'industrie où la plupart des développeurs commencent à utiliser principalement l'open source, et je m'attends à ce que cette approche ne fasse que se développer à partir d'ici. J'espère que vous vous joindrez à nous dans ce voyage visant à apporter les avantages de l'IA à tous dans le monde.

Vous pouvez accéder aux modèles maintenant sur llama.meta.com .

💪,

MZ