오픈 소스 AI가 앞으로 나아갈 길입니다. Meta의 허가를 받아 다시 게시되었습니다. 고성능 컴퓨팅 초기에 당시의 주요 기술 회사들은 각자 고유한 비공개 소스 Unix 버전을 개발하는 데 막대한 투자를 했습니다. 당시에는 다른 어떤 접근 방식으로도 이러한 고급 소프트웨어를 개발할 수 있다고 상상하기 어려웠습니다. 그러나 결국 오픈 소스 Linux는 인기를 얻었습니다. 처음에는 개발자가 원하는 대로 코드를 수정할 수 있고 더 저렴했기 때문에, 시간이 지남에 따라 더 발전되고 더 안전해졌으며 폐쇄형 Unix보다 더 많은 기능을 지원하는 더 넓은 생태계를 갖게 되었기 때문입니다. . 오늘날 Linux는 클라우드 컴퓨팅과 대부분의 모바일 장치를 실행하는 운영 체제 모두를 위한 업계 표준 기반이며, 그 덕분에 우리 모두는 우수한 제품의 혜택을 누리고 있습니다. AI도 비슷한 방식으로 발전할 것이라고 믿습니다. 오늘날 몇몇 기술 회사에서는 선도적인 폐쇄형 모델을 개발하고 있습니다. 그러나 오픈소스는 그 격차를 빠르게 좁히고 있습니다. 작년에 Llama 2는 개척지 뒤의 이전 세대 모델과만 비교할 수 있었습니다. 올해 Llama 3는 가장 발전된 모델과 경쟁하며 일부 영역에서 선두를 달리고 있습니다. 내년부터 우리는 미래의 Llama 모델이 업계에서 가장 발전된 모델이 될 것으로 기대합니다. 그러나 그 전에도 Llama는 이미 개방성, 수정 가능성 및 비용 효율성 측면에서 선두를 달리고 있습니다. 오늘날 우리는 오픈 소스 AI가 업계 표준이 되기 위한 다음 단계를 밟고 있습니다. 최초의 프론티어 수준 오픈 소스 AI 모델인 Llama 3.1 405B와 새롭게 개선된 Llama 3.1 70B 및 8B 모델을 출시합니다. 폐쇄형 모델에 비해 훨씬 더 나은 비용/성능을 제공하는 것 외에도 405B 모델이 개방형이라는 사실은 소형 모델을 미세 조정하고 증류하는 데 가장 적합한 선택이 될 것입니다. 이러한 모델을 출시하는 것 외에도 우리는 다양한 회사와 협력하여 더 넓은 생태계를 성장시키고 있습니다. Amazon, Databricks 및 NVIDIA는 개발자가 자신의 모델을 미세 조정하고 정제할 수 있도록 지원하는 전체 서비스 제품군을 출시합니다. Groq과 같은 혁신가들은 모든 새로운 모델에 대해 지연 시간이 짧고 비용이 저렴한 추론 서비스를 구축했습니다. 이 모델은 AWS, Azure, Google, Oracle 등을 포함한 모든 주요 클라우드에서 사용할 수 있습니다. Scale과 같은 회사. AI, Dell, Deloitte 등은 기업이 Llama를 채택하고 자체 데이터로 맞춤형 모델을 교육할 수 있도록 지원할 준비가 되어 있습니다. 커뮤니티가 성장하고 더 많은 회사가 새로운 서비스를 개발함에 따라 우리는 Llama를 업계 표준으로 만들고 모든 사람에게 AI의 이점을 제공할 수 있습니다. Meta는 오픈소스 AI에 전념하고 있습니다. 저는 오픈 소스가 여러분에게 최고의 개발 스택이라고 믿는 이유, 오픈 소스 Llama가 Meta에 좋은 이유, 오픈 소스 AI가 세상에 좋은 이유, 따라서 장기적으로 존재할 플랫폼에 대해 간략하게 설명하겠습니다. 오픈 소스 AI가 개발자에게 좋은 이유 저는 전 세계의 개발자, CEO, 정부 관료들과 대화할 때 대개 다음과 같은 몇 가지 주제를 듣습니다. 모든 조직에는 특정 데이터로 훈련되거나 미세 조정된 다양한 규모의 모델을 가장 잘 충족할 수 있는 다양한 요구 사항이 있습니다. 온디바이스 작업 및 분류 작업에는 작은 모델이 필요하고, 더 복잡한 작업에는 더 큰 모델이 필요합니다. 이제 귀하는 가장 발전된 Llama 모델을 사용하여 귀하의 데이터로 계속 교육한 다음 당사나 다른 사람이 귀하의 데이터를 볼 필요 없이 최적의 크기의 모델로 추출할 수 있습니다. 우리는 자체 모델을 훈련하고, 미세 조정하고, 정제해야 합니다. 많은 조직에서는 자체적으로 실행 및 제어할 수 없는 모델에 의존하기를 원하지 않습니다. 그들은 폐쇄형 모델 제공자가 모델을 변경하거나, 사용 약관을 변경하거나, 심지어 서비스를 완전히 중단하는 것을 원하지 않습니다. 또한 그들은 모델에 대한 독점권을 가진 단일 클라우드에 갇히는 것을 원하지 않습니다. 오픈 소스는 쉽게 이동할 수 있는 호환 도구 체인을 갖춘 광범위한 기업 생태계를 지원합니다. 우리는 우리 자신의 운명을 통제해야 하며 폐쇄적인 공급업체에 갇히지 않아야 합니다. 많은 조직에서는 보안이 필요하고 클라우드 API를 통해 폐쇄형 모델로 보낼 수 없는 민감한 데이터를 처리합니다. 다른 조직에서는 폐쇄형 모델 제공업체의 데이터를 신뢰하지 않습니다. 오픈 소스는 원하는 곳 어디에서나 모델을 실행할 수 있도록 하여 이러한 문제를 해결합니다. 오픈 소스 소프트웨어는 보다 투명하게 개발되기 때문에 더욱 안전한 경향이 있다는 것은 잘 알려져 있습니다. 우리는 데이터를 보호해야 합니다. 개발자는 사용자 대면 추론 작업과 오프라인 추론 작업 모두에 GPT-4o와 같은 폐쇄형 모델을 사용하는 비용의 약 50% 비용으로 자체 인프라에서 Llama 3.1 405B에 대한 추론을 실행할 수 있습니다. 효율적이고 실행하기에 합리적인 모델이 필요합니다. 많은 사람들은 오픈 소스가 폐쇄형 모델보다 더 빠른 속도로 발전하고 있다는 것을 알고 있으며 장기적으로 가장 큰 이점을 제공할 아키텍처에 시스템을 구축하기를 원합니다. 우리는 장기적으로 표준이 될 생태계에 투자하고 싶습니다. 오픈소스 AI가 메타에 좋은 이유 Meta의 비즈니스 모델은 사람들을 위한 최고의 경험과 서비스를 구축하는 것입니다. 이를 위해 우리는 항상 최고의 기술에 접근할 수 있어야 하며, 우리가 구축하는 것을 제한할 수 있는 경쟁사의 폐쇄적인 생태계에 갇히지 않도록 해야 합니다. 저의 형성 경험 중 하나는 Apple이 자사 플랫폼에서 구축하도록 허용하는 서비스에 제약을 받아 서비스를 구축한 것입니다. 개발자에게 세금을 부과하는 방식, 그들이 적용하는 자의적인 규칙, 배송을 차단하는 모든 제품 혁신 사이에서 우리가 최고의 버전을 구축할 수 있다면 Meta와 다른 많은 회사가 사람들을 위해 훨씬 더 나은 서비스를 구축할 수 있다는 것은 분명합니다. 우리 제품과 경쟁업체는 우리가 만들 수 있는 것을 제한할 수 없었습니다. 철학적 수준에서 이것이 제가 차세대 컴퓨팅을 위한 AI 및 AR/VR의 개방형 생태계 구축을 그토록 강력하게 믿는 주요 이유입니다. 사람들은 종종 Llama를 오픈소스로 제공하여 기술적 이점을 포기하는 것이 걱정되는지 묻습니다. 하지만 저는 이것이 몇 가지 이유로 큰 그림을 놓치고 있다고 생각합니다. 첫째, 우리가 최고의 기술에 접근하고 장기적으로 폐쇄적인 생태계에 갇히지 않도록 하기 위해 Llama는 도구, 효율성 개선, 실리콘 최적화 및 기타 통합으로 구성된 완전한 생태계로 발전해야 합니다. 만약 우리가 Llama를 사용하는 유일한 회사라면 이 생태계는 발전하지 않을 것이고 우리는 Unix의 폐쇄형 변종보다 나을 것이 없을 것입니다. 둘째, AI 개발은 계속해서 경쟁이 매우 치열할 것으로 예상합니다. 즉, 특정 모델을 오픈 소스로 제공한다고 해서 해당 시점의 다음 최고의 모델에 비해 엄청난 이점을 제공하지 않는다는 의미입니다. Llama가 업계 표준이 되는 길은 세대를 거쳐 지속적으로 경쟁적이고 효율적이며 개방적인 태도를 취하는 것입니다. 셋째, Meta와 폐쇄형 모델 제공업체의 주요 차이점은 AI 모델에 대한 액세스를 판매하는 것이 우리의 비즈니스 모델이 아니라는 것입니다. 즉, Llama를 공개적으로 출시한다고 해서 폐쇄된 제공업체처럼 우리의 수익, 지속 가능성 또는 연구에 대한 투자 능력이 저하되지는 않는다는 의미입니다. (이것이 몇몇 비공개 제공업체가 오픈 소스에 반대하여 정부에 지속적으로 로비를 하는 이유 중 하나입니다.) 마지막으로 Meta는 오픈 소스 프로젝트와 성공의 오랜 역사를 가지고 있습니다. 우리는 Open Compute Project를 통해 서버, 네트워크 및 데이터 센터 설계를 출시하고 공급망이 우리 설계를 표준화함으로써 수십억 달러를 절약했습니다. 우리는 PyTorch, React 및 기타 여러 도구와 같은 선도적인 도구를 오픈소스화하여 생태계 혁신의 혜택을 누렸습니다. 이 접근 방식은 우리가 장기적으로 고수할 때 지속적으로 효과가 있었습니다. 오픈소스 AI가 세상에 좋은 이유 저는 긍정적인 AI 미래를 위해서는 오픈소스가 필요하다고 믿습니다. AI는 인간의 생산성, 창의성, 삶의 질을 높이고 경제 성장을 가속화하는 동시에 의료 및 과학 연구의 발전을 촉진할 수 있는 다른 어떤 현대 기술보다 더 큰 잠재력을 가지고 있습니다. 오픈 소스는 전 세계 더 많은 사람들이 AI의 혜택과 기회에 접근할 수 있도록 보장하고, 권한이 소수 기업의 손에 집중되지 않고, 기술이 사회 전반에 더 균등하고 안전하게 배포될 수 있도록 보장합니다. 오픈 소스 AI 모델의 안전성에 대한 논쟁이 계속되고 있으며, 내 견해로는 오픈 소스 AI가 다른 대안보다 더 안전할 것이라고 생각합니다. 저는 정부들이 오픈 소스를 지원하는 것이 세상을 더욱 번영하고 안전하게 만들 것이기 때문에 자신들에게 이익이 된다고 결론을 내릴 것이라고 생각합니다. 안전을 이해하기 위한 나의 틀은 의도하지 않은 것과 의도적인 것, 두 가지 범주의 피해로부터 보호해야 한다는 것입니다. 의도하지 않은 피해는 AI 시스템을 실행하는 사람의 의도가 아니었음에도 불구하고 AI 시스템이 피해를 입힐 수 있는 경우를 말합니다. 예를 들어, 최신 AI 모델은 의도치 않게 건강에 좋지 않은 조언을 제공할 수 있습니다. 또는 보다 미래 지향적인 시나리오에서는 모델이 의도치 않게 자가 복제하거나 목표를 과도하게 최적화하여 인류에게 해를 끼칠 수 있다고 우려하는 사람들도 있습니다. 의도적인 피해는 악의적인 행위자가 피해를 입히려는 목적으로 AI 모델을 사용하는 경우를 말합니다. 의도하지 않은 피해는 AI 시스템이 AI 시스템을 사용할 수십억 명의 사람들에게 미치는 영향부터 인류에게 실제로 재앙이 되는 대부분의 공상 과학 시나리오에 이르기까지 AI와 관련하여 사람들이 갖는 대부분의 우려를 포괄한다는 점은 주목할 가치가 있습니다. 이런 측면에서 오픈 소스는 시스템이 더 투명하고 광범위하게 조사될 수 있기 때문에 훨씬 더 안전해야 합니다. 역사적으로 오픈 소스 소프트웨어는 이러한 이유로 더 안전했습니다. 마찬가지로 Llama Guard와 같은 안전 시스템과 함께 Llama를 사용하는 것이 폐쇄형 모델보다 더 안전하고 안전할 것입니다. 이러한 이유로 오픈 소스 AI 안전에 관한 대부분의 대화는 의도적인 피해에 중점을 둡니다. 우리의 안전 프로세스에는 모델이 출시되기 전에 위험을 완화한다는 목표에 따라 모델이 심각한 피해를 입힐 수 있는지 여부를 평가하기 위한 엄격한 테스트와 레드팀 구성이 포함됩니다. 모델이 공개되어 있기 때문에 누구나 스스로 테스트할 수 있습니다. 이러한 모델은 이미 인터넷에 있는 정보에 의해 훈련된다는 점을 명심해야 합니다. 따라서 피해를 고려할 때 출발점은 모델이 Google이나 다른 검색 결과에서 빠르게 검색할 수 있는 정보보다 더 큰 피해를 조장할 수 있는지 여부부터 시작해야 합니다. 의도적인 피해에 대해 추론할 때 막대한 자원을 보유한 국가와 같은 대규모 행위자가 할 수 있는 것과 반대로 개인 또는 소규모 행위자가 할 수 있는 것을 구별하는 것이 도움이 됩니다. 미래의 어느 시점에는 개별 악의적인 행위자가 AI 모델의 지능을 사용하여 인터넷에서 제공되는 정보를 바탕으로 완전히 새로운 피해를 만들어낼 수 있습니다. 이 시점에서는 힘의 균형이 AI 안전에 매우 중요할 것입니다. 큰 행위자가 작은 나쁜 행위자의 힘을 확인할 수 있도록 AI가 널리 배포되는 세상에 사는 것이 더 나을 것이라고 생각합니다. 이것이 바로 우리가 소셜 네트워크의 보안을 관리하는 방법입니다. 더 강력한 AI 시스템은 소규모 AI 시스템을 자주 사용하는 덜 정교한 행위자의 위협을 식별하고 중지합니다. 보다 광범위하게 AI를 대규모로 배포하는 대규모 기관은 사회 전반의 보안과 안정성을 촉진할 것입니다. 모든 사람이 오픈 소스가 장려하는 비슷한 세대의 모델에 액세스할 수 있는 한 더 많은 컴퓨팅 리소스를 보유한 정부와 기관은 더 적은 컴퓨팅으로 악의적인 행위자를 확인할 수 있습니다. 다음 질문은 미국과 민주주의 국가들이 중국과 같은 막대한 자원을 보유한 국가의 위협에 어떻게 대처해야 하는가입니다. 미국의 장점은 분산화와 개방형 혁신이다. 어떤 사람들은 중국이 우리 모델에 접근하는 것을 막기 위해 우리 모델을 폐쇄해야 한다고 주장하지만, 내 생각에는 이것이 효과가 없으며 미국과 그 동맹국들에게만 불리할 뿐이라는 것입니다. 우리의 적들은 간첩 활동에 능숙하며, 썸 드라이브에 맞는 모델을 훔치는 것은 상대적으로 쉽고, 대부분의 기술 회사는 이를 더 어렵게 만드는 방식으로 운영되지 않습니다. 폐쇄형 모델만 있는 세상에서는 소수의 대기업과 지정학적 적들이 선도적인 모델에 접근할 수 있게 되고 스타트업, 대학, 중소기업은 기회를 놓치게 될 가능성이 가장 높습니다. 게다가 미국의 혁신을 폐쇄적인 개발로 제한하면 우리가 전혀 주도하지 못할 가능성이 높아집니다. 대신, 우리의 최선의 전략은 강력한 개방형 생태계를 구축하고 선도 기업이 정부 및 동맹국과 긴밀히 협력하여 최신 발전을 최대한 활용하고 장기적으로 지속 가능한 선점자 우위를 달성할 수 있도록 하는 것입니다. 앞으로의 기회를 고려할 때 오늘날의 선도적인 기술 기업과 과학 연구의 대부분이 오픈 소스 소프트웨어를 기반으로 구축되었다는 점을 기억하십시오. 차세대 기업과 연구는 공동으로 투자하면 오픈소스 AI를 사용할 것입니다. 여기에는 이제 막 시작한 스타트업뿐만 아니라 자체 최첨단 AI를 처음부터 개발할 자원이 없는 대학 및 국가의 사람들도 포함됩니다. 결론은 오픈 소스 AI가 이 기술을 활용하여 모든 사람을 위한 최고의 경제적 기회와 보안을 창출하는 세계 최고의 기회를 나타낸다는 것입니다. 함께 만들어 봅시다 과거 Llama 모델은 메타가 직접 개발해 출시했지만, 더 넓은 생태계를 구축하는 데에는 크게 집중하지 않았습니다. 이번 릴리스에서는 다른 접근 방식을 취하고 있습니다. 우리는 가능한 한 많은 개발자와 파트너가 Llama를 사용할 수 있도록 내부적으로 팀을 구성하고 있으며, 생태계 내 더 많은 회사가 고객에게 고유한 기능을 제공할 수 있도록 적극적으로 파트너십을 구축하고 있습니다. 저는 Llama 3.1 릴리스가 업계에서 대부분의 개발자가 주로 오픈 소스를 사용하기 시작하는 변곡점이 될 것이라고 믿으며, 이러한 접근 방식은 여기서부터만 성장할 것으로 기대합니다. AI의 혜택을 전 세계 모든 사람에게 전달하기 위한 이 여정에 여러분도 함께 해주시기를 바랍니다. 이제 에서 모델에 액세스할 수 있습니다. llama.meta.com 💪, MZ
