Por qué la IA de código abierto es buena para los desarrolladores, el meta y el mundo

La IA de código abierto es el camino a seguir. Republicado con permiso de Meta.

En los primeros días de la informática de alto rendimiento, las principales empresas tecnológicas de la época invirtieron mucho en el desarrollo de sus propias versiones de código cerrado de Unix. En ese momento era difícil imaginar que cualquier otro enfoque pudiera desarrollar un software tan avanzado. Sin embargo, con el tiempo, Linux de código abierto ganó popularidad, inicialmente porque permitía a los desarrolladores modificar su código como quisieran y era más asequible, y con el tiempo porque se volvió más avanzado, más seguro y tenía un ecosistema más amplio que admitía más capacidades que cualquier Unix cerrado. . Hoy en día, Linux es la base estándar de la industria tanto para la computación en la nube como para los sistemas operativos que ejecutan la mayoría de los dispositivos móviles, y todos nos beneficiamos de productos superiores gracias a ello.

Creo que la IA se desarrollará de manera similar. Hoy en día, varias empresas de tecnología están desarrollando modelos cerrados líderes. Pero el código abierto está cerrando rápidamente la brecha. El año pasado, Llama 2 sólo era comparable a una generación anterior de modelos detrás de la frontera. Este año, Llama 3 compite con los modelos más avanzados y es líder en algunas áreas. A partir del próximo año, esperamos que los futuros modelos Llama se conviertan en los más avanzados de la industria. Pero incluso antes de eso, Llama ya es líder en apertura, modificabilidad y rentabilidad.

Hoy estamos dando los siguientes pasos para que la IA de código abierto se convierta en el estándar de la industria. Estamos lanzando Llama 3.1 405B, el primer modelo de IA de código abierto de nivel fronterizo, así como los modelos nuevos y mejorados Llama 3.1 70B y 8B. Además de tener una relación costo/rendimiento significativamente mejor en comparación con los modelos cerrados, el hecho de que el modelo 405B sea abierto lo convertirá en la mejor opción para ajustar y destilar modelos más pequeños.

Más allá de lanzar estos modelos, estamos trabajando con una variedad de empresas para hacer crecer el ecosistema más amplio. Amazon, Databricks y NVIDIA están lanzando conjuntos completos de servicios para ayudar a los desarrolladores a ajustar y desarrollar sus propios modelos. Innovadores como Groq han creado servicios de inferencia de baja latencia y bajo costo para todos los modelos nuevos. Los modelos estarán disponibles en las principales nubes, incluidas AWS, Azure, Google, Oracle y más. Empresas como Scale. AI, Dell, Deloitte y otros están listos para ayudar a las empresas a adoptar Llama y entrenar modelos personalizados con sus propios datos. A medida que la comunidad crece y más empresas desarrollan nuevos servicios, colectivamente podemos hacer de Llama el estándar de la industria y llevar los beneficios de la IA a todos.

Meta está comprometida con la IA de código abierto. Explicaré por qué creo que el código abierto es la mejor pila de desarrollo para usted, por qué Llama de código abierto es bueno para Meta y por qué la IA de código abierto es buena para el mundo y, por lo tanto, una plataforma que existirá a largo plazo.

Por qué la IA de código abierto es buena para los desarrolladores

Cuando hablo con desarrolladores, directores ejecutivos y funcionarios gubernamentales de todo el mundo, normalmente escucho varios temas:

• Necesitamos entrenar, perfeccionar y destilar nuestros propios modelos. Cada organización tiene diferentes necesidades que se satisfacen mejor con modelos de diferentes tamaños que están capacitados o ajustados con sus datos específicos. Las tareas en el dispositivo y las tareas de clasificación requieren modelos pequeños, mientras que las tareas más complicadas requieren modelos más grandes. Ahora podrá tomar los modelos Llama más avanzados, continuar entrenándolos con sus propios datos y luego reducirlos a un modelo de su tamaño óptimo, sin que nosotros ni nadie más vea sus datos.
• Necesitamos controlar nuestro propio destino y no quedar atrapados en un proveedor cerrado. Muchas organizaciones no quieren depender de modelos que no pueden ejecutar y controlar por sí mismas. No quieren que los proveedores de modelos cerrados puedan cambiar su modelo, alterar sus términos de uso o incluso dejar de prestarles servicios por completo. Tampoco quieren quedar atrapados en una única nube que tenga derechos exclusivos sobre un modelo. El código abierto permite un amplio ecosistema de empresas con cadenas de herramientas compatibles entre las que puede moverse fácilmente.
• Necesitamos proteger nuestros datos. Muchas organizaciones manejan datos confidenciales que necesitan proteger y no pueden enviar a modelos cerrados a través de API en la nube. Otras organizaciones simplemente no confían sus datos a los proveedores de modelos cerrados. El código abierto aborda estos problemas permitiéndole ejecutar los modelos donde quiera. Es bien aceptado que el software de código abierto tiende a ser más seguro porque se desarrolla de forma más transparente.
• Necesitamos un modelo que sea eficiente y asequible de ejecutar. Los desarrolladores pueden ejecutar inferencias en Llama 3.1 405B en su propia infraestructura a aproximadamente el 50% del costo de usar modelos cerrados como GPT-4o, tanto para tareas de inferencia presenciales como fuera de línea.
• Queremos invertir en el ecosistema que será el estándar a largo plazo. Mucha gente ve que el código abierto avanza a un ritmo más rápido que los modelos cerrados y quiere construir sus sistemas sobre la arquitectura que les brinde la mayor ventaja a largo plazo.

Por qué la IA de código abierto es buena para el meta

El modelo de negocio de Meta consiste en crear las mejores experiencias y servicios para las personas. Para hacer esto, debemos asegurarnos de tener siempre acceso a la mejor tecnología y de no quedar atrapados en el ecosistema cerrado de un competidor donde pueda restringir lo que construimos.

Una de mis experiencias formativas ha sido la creación de nuestros servicios limitados por lo que Apple nos permitirá crear en sus plataformas. Entre la forma en que gravan a los desarrolladores, las reglas arbitrarias que aplican y todas las innovaciones de productos que bloquean, está claro que Meta y muchas otras empresas tendrían la libertad de crear servicios mucho mejores para las personas si pudiéramos crear las mejores versiones de Nuestros productos y competidores no pudieron limitar lo que podíamos construir. A nivel filosófico, esta es una de las principales razones por las que creo firmemente en la construcción de ecosistemas abiertos en IA y AR/VR para la próxima generación de informática.

La gente suele preguntar si me preocupa renunciar a una ventaja técnica mediante el código abierto de Llama, pero creo que esto pierde el panorama general por varias razones:

Primero, para garantizar que tengamos acceso a la mejor tecnología y no estemos atrapados en un ecosistema cerrado a largo plazo, Llama debe convertirse en un ecosistema completo de herramientas, mejoras de eficiencia, optimizaciones de silicio y otras integraciones. Si fuéramos la única empresa que usara Llama, este ecosistema no se desarrollaría y no nos iría mejor que las variantes cerradas de Unix.

En segundo lugar, espero que el desarrollo de la IA siga siendo muy competitivo, lo que significa que el acceso abierto a cualquier modelo determinado no proporciona una gran ventaja sobre los siguientes mejores modelos en ese momento. El camino para que Llama se convierta en el estándar de la industria es ser consistentemente competitivo, eficiente y abierto generación tras generación.

En tercer lugar, una diferencia clave entre Meta y los proveedores de modelos cerrados es que vender acceso a modelos de IA no es nuestro modelo de negocio. Eso significa que lanzar Llama abiertamente no socava nuestros ingresos, sostenibilidad o capacidad de invertir en investigación como lo hace con los proveedores cerrados. (Esta es una de las razones por las que varios proveedores cerrados presionan constantemente a los gobiernos contra el código abierto).

Finalmente, Meta tiene una larga historia de proyectos y éxitos de código abierto. Hemos ahorrado miles de millones de dólares al lanzar nuestros diseños de servidores, redes y centros de datos con Open Compute Project y al estandarizar las cadenas de suministro en nuestros diseños. Nos beneficiamos de las innovaciones del ecosistema al abrir herramientas líderes de código abierto como PyTorch, React y muchas más herramientas. Este enfoque nos ha funcionado constantemente cuando lo mantenemos a largo plazo.

Por qué la IA de código abierto es buena para el mundo

Creo que el código abierto es necesario para un futuro positivo de la IA. La IA tiene más potencial que cualquier otra tecnología moderna para aumentar la productividad, la creatividad y la calidad de vida humanas, y para acelerar el crecimiento económico y al mismo tiempo desbloquear avances en la investigación médica y científica. El código abierto garantizará que más personas en todo el mundo tengan acceso a los beneficios y oportunidades de la IA, que el poder no se concentre en manos de un pequeño número de empresas y que la tecnología pueda implementarse de manera más uniforme y segura en toda la sociedad.

Existe un debate en curso sobre la seguridad de los modelos de IA de código abierto y mi opinión es que la IA de código abierto será más segura que las alternativas. Creo que los gobiernos concluirán que les conviene apoyar el código abierto porque hará que el mundo sea más próspero y seguro.

Mi marco para entender la seguridad es que necesitamos protegernos contra dos categorías de daños: no intencionales e intencionales. El daño no intencional se produce cuando un sistema de IA puede causar daño incluso cuando no era la intención de quienes lo ejecutaban hacerlo. Por ejemplo, los modelos modernos de IA pueden dar, sin darse cuenta, malos consejos de salud. O, en escenarios más futuristas, a algunos les preocupa que los modelos puedan autorreplicarse o hiperoptimizar objetivos sin querer en detrimento de la humanidad. El daño intencional se produce cuando un mal actor utiliza un modelo de IA con el objetivo de causar daño.

Vale la pena señalar que el daño involuntario cubre la mayoría de las preocupaciones que la gente tiene en torno a la IA, desde la influencia que tendrán los sistemas de IA en los miles de millones de personas que los utilizarán hasta la mayoría de los escenarios de ciencia ficción verdaderamente catastróficos para la humanidad. En este frente, el código abierto debería ser significativamente más seguro ya que los sistemas son más transparentes y pueden ser examinados ampliamente. Históricamente, el software de código abierto ha sido más seguro por este motivo. Del mismo modo, utilizar Llama con sus sistemas de seguridad como Llama Guard probablemente será más seguro que los modelos cerrados. Por esta razón, la mayoría de las conversaciones sobre la seguridad de la IA de código abierto se centran en el daño intencional.

Nuestro proceso de seguridad incluye pruebas rigurosas y equipos rojos para evaluar si nuestros modelos son capaces de causar daños significativos, con el objetivo de mitigar los riesgos antes de su lanzamiento. Dado que los modelos son abiertos, cualquiera también puede realizar pruebas por sí mismo. Debemos tener en cuenta que estos modelos se entrenan con información que ya está en Internet, por lo que el punto de partida al considerar el daño debe ser si un modelo puede facilitar más daño que la información que se puede recuperar rápidamente de Google u otros resultados de búsqueda.

Al razonar sobre el daño intencional, es útil distinguir entre lo que los actores individuales o de pequeña escala pueden hacer en comparación con lo que los actores de gran escala, como los estados nacionales con vastos recursos, pueden ser capaces de hacer.

En algún momento en el futuro, los malos actores individuales podrán utilizar la inteligencia de los modelos de IA para fabricar daños completamente nuevos a partir de la información disponible en Internet. En este punto, el equilibrio de poder será fundamental para la seguridad de la IA. Creo que será mejor vivir en un mundo donde la IA esté ampliamente implementada para que los actores más grandes puedan controlar el poder de los actores malos más pequeños. Así es como hemos gestionado la seguridad en nuestras redes sociales: nuestros sistemas de IA más sólidos identifican y detienen amenazas de actores menos sofisticados que a menudo utilizan sistemas de IA de menor escala. En términos más generales, las instituciones más grandes que implementen IA a escala promoverán la seguridad y la estabilidad en toda la sociedad. Mientras todo el mundo tenga acceso a generaciones similares de modelos (que el código abierto promueve), los gobiernos y las instituciones con más recursos informáticos podrán controlar a los malos actores con menos computación.

La siguiente pregunta es cómo Estados Unidos y las naciones democráticas deberían manejar la amenaza de estados con enormes recursos como China. La ventaja de Estados Unidos es la innovación descentralizada y abierta. Algunas personas argumentan que debemos cerrar nuestros modelos para impedir que China tenga acceso a ellos, pero mi opinión es que esto no funcionará y sólo perjudicará a Estados Unidos y sus aliados. Nuestros adversarios son excelentes en el espionaje, robar modelos que caben en una memoria USB es relativamente fácil y la mayoría de las empresas de tecnología están lejos de operar de una manera que haría esto más difícil. Lo más probable es que un mundo de modelos exclusivamente cerrados dé como resultado que un pequeño número de grandes empresas más nuestros adversarios geopolíticos tengan acceso a modelos líderes, mientras que las nuevas empresas, las universidades y las pequeñas empresas pierden oportunidades. Además, limitar la innovación estadounidense a un desarrollo cerrado aumenta las posibilidades de que no lideremos en absoluto. En cambio, creo que nuestra mejor estrategia es construir un ecosistema abierto sólido y hacer que nuestras empresas líderes trabajen estrechamente con nuestro gobierno y aliados para garantizar que puedan aprovechar mejor los últimos avances y lograr una ventaja sostenible de ser los primeros en el largo plazo.

Cuando considere las oportunidades que se avecinan, recuerde que la mayoría de las principales empresas tecnológicas y de investigación científica de la actualidad se basan en software de código abierto. La próxima generación de empresas e investigaciones utilizará IA de código abierto si invertimos colectivamente en ella. Esto incluye a empresas emergentes que recién están despegando, así como a personas en universidades y países que tal vez no tengan los recursos para desarrollar su propia IA de última generación desde cero.

La conclusión es que la IA de código abierto representa la mejor oportunidad que tiene el mundo para aprovechar esta tecnología para crear las mayores oportunidades económicas y seguridad para todos.

Construyamos esto juntos

Con los modelos Llama anteriores, Meta los desarrolló nosotros mismos y luego los lanzó, pero no se centró mucho en construir un ecosistema más amplio. Estamos adoptando un enfoque diferente con esta versión. Estamos formando equipos internamente para permitir que tantos desarrolladores y socios como sea posible utilicen Llama, y estamos creando asociaciones activamente para que más empresas del ecosistema puedan ofrecer una funcionalidad única a sus clientes también.

Creo que el lanzamiento de Llama 3.1 será un punto de inflexión en la industria donde la mayoría de los desarrolladores comenzarán a utilizar principalmente código abierto, y espero que ese enfoque solo crezca a partir de aquí. Espero que se unan a nosotros en este viaje para llevar los beneficios de la IA a todas las personas en el mundo.

Puedes acceder a los modelos ahora en llama.meta.com .

💪,

MZ