オープンソース AI は前進への道です。Meta の許可を得て再公開。 ハイパフォーマンス コンピューティングの初期の頃、当時の大手テクノロジー企業はそれぞれ、独自のクローズド ソース版 Unix の開発に多額の投資を行っていました。当時は、他のアプローチでこれほど高度なソフトウェアを開発できるとは想像もつきませんでした。しかし、最終的にはオープン ソースの Linux が人気を博しました。最初は開発者が自由にコードを変更でき、価格も手頃だったからです。その後、より高度で安全になり、クローズド Unix よりも多くの機能をサポートするエコシステムが拡大したため、人気が高まりました。今日、Linux はクラウド コンピューティングと、ほとんどのモバイル デバイスで動作するオペレーティング システムの両方で業界標準の基盤となっており、そのおかげで私たちは優れた製品の恩恵を受けています。 AI も同様に発展すると考えています。現在、いくつかのテクノロジー企業が最先端のクローズド モデルを開発しています。しかし、オープン ソースがその差を急速に縮めています。昨年、Llama 2 は最先端を行く旧世代のモデルとしか比較できませんでした。今年、Llama 3 は最先端のモデルと競合し、いくつかの分野ではトップに立っています。来年からは、将来の Llama モデルが業界で最も先進的なものになると期待しています。しかし、それ以前でも、Llama はオープン性、変更可能性、コスト効率の面ですでにトップに立っています。 本日、私たちはオープンソース AI が業界標準となるための次のステップを踏み出します。初の最先端レベルのオープンソース AI モデルである Llama 3.1 405B と、新しく改良された Llama 3.1 70B および 8B モデルをリリースします。クローズド モデルに比べてコスト/パフォーマンスが大幅に優れていることに加え、405B モデルはオープンであるため、より小さなモデルの微調整と抽出に最適な選択肢となります。 これらのモデルをリリースするだけでなく、私たちは幅広いエコシステムを拡大するためにさまざまな企業と協力しています。Amazon、Databricks、NVIDIA は、開発者が独自のモデルを微調整して抽出できるようにするための一連のサービスを立ち上げています。Groq などのイノベーターは、すべての新しいモデルに対応する低レイテンシで低コストの推論サービスを構築しました。これらのモデルは、AWS、Azure、Google、Oracle など、すべての主要なクラウドで利用できるようになります。Scale. AI、Dell、Deloitte などの企業は、企業が Llama を導入し、独自のデータを使用してカスタム モデルをトレーニングするのを支援する準備ができています。コミュニティが成長し、より多くの企業が新しいサービスを開発するにつれて、私たちは Llama を業界標準にし、AI のメリットをすべての人にもたらすことができます。 Meta はオープンソース AI に取り組んでいます。オープンソースがあなたにとって最適な開発スタックであると考える理由、Llama をオープンソース化することが Meta にとって良い理由、オープンソース AI が世界にとって良い理由、つまり長期的に存続するプラットフォームである理由について概説します。 オープンソースAIが開発者にとって良い理由 世界中の開発者、CEO、政府関係者と話をすると、たいてい次のようなテーマを耳にします。 組織ごとにニーズは異なりますが、そのニーズを満たすには、特定のデータでトレーニングまたは微調整されたさまざまなサイズのモデルが最適です。デバイス上のタスクや分類タスクには小さなモデルが必要ですが、より複雑なタスクには大きなモデルが必要です。今後は、最も高度な Llama モデルを取得し、独自のデータでトレーニングを続け、最適なサイズのモデルに抽出できるようになります。当社や他の誰にもデータを見られずに済みます。 独自のモデルをトレーニングし、微調整し、抽出する必要があります。 多くの組織は、自分たちで実行および制御できないモデルに依存したくありません。閉鎖的なモデル プロバイダーがモデルを変更したり、使用条件を変更したり、さらにはモデルの提供を完全に停止したりすることを望んでいません。また、モデルに対する独占権を持つ単一のクラウドに縛られることも望んでいません。オープン ソースは、簡単に移動できる互換性のあるツールチェーンを備えた企業の幅広いエコシステムを実現します。 私たちは自らの運命をコントロールする必要があり、閉鎖的なベンダーに縛られるべきではありません。 多くの組織は、保護する必要のある機密データを扱っており、クラウド API 経由でクローズド モデルに送信することはできません。また、クローズド モデル プロバイダーにデータを預けることを信頼していない組織もあります。オープン ソースは、モデルをどこでも実行できるようにすることで、これらの問題に対処します。オープン ソース ソフトウェアは、より透明性を持って開発されているため、より安全である傾向があることは広く認められています。 私たちはデータを保護する必要があります。 開発者は、ユーザー向けとオフラインの両方の推論タスクで、GPT-4o などのクローズド モデルを使用する場合のおよそ 50% のコストで、独自のインフラ上で Llama 3.1 405B の推論を実行できます。 効率的で実行コストのかからないモデルが必要です。 多くの人々は、オープンソースがクローズド モデルよりも速いペースで進歩していることを認識しており、長期的に最大のメリットをもたらすアーキテクチャ上にシステムを構築したいと考えています。 私たちは、長期的に標準となるエコシステムに投資したいと考えています。 オープンソースAIがメタに適している理由 Meta のビジネス モデルは、人々にとって最高の体験とサービスを構築することです。これを実現するには、常に最高のテクノロジーにアクセスできるようにし、競合他社の閉鎖的なエコシステムに縛られて、私たちが構築するものが制限されないようにする必要があります。 私の形成期の経験の 1 つは、Apple が自社のプラットフォーム上で構築を許可するものによって制約を受けながらサービスを構築してきたことです。開発者に課す税金の方法、適用する恣意的なルール、出荷をブロックするすべての製品イノベーションを考えると、Meta や他の多くの企業が、自社製品の最高のバージョンを構築でき、競合他社が私たちの構築を制限できなければ、人々のためにはるかに優れたサービスを構築できるようになることは明らかです。哲学的なレベルでは、これが次世代コンピューティングのための AI と AR/VR のオープン エコシステムの構築を私が強く信じている主な理由です。 Llama をオープンソース化することで技術的な優位性を放棄してしまうことを心配しているのではないかとよく聞かれますが、私はいくつかの理由から、これは全体像を見失っていると思います。 まず、最良のテクノロジーにアクセスでき、長期的に閉じたエコシステムに閉じ込められないようにするために、Llama はツール、効率性の向上、シリコンの最適化、その他の統合の完全なエコシステムに発展する必要があります。Llama を使用している会社が当社だけであれば、このエコシステムは発展せず、Unix のクローズドバリアントと同等の結果しか得られないでしょう。 第二に、AI 開発は今後も非常に競争が激しいと予想しています。つまり、特定のモデルをオープンソース化しても、その時点で次に優れたモデルに対して大きな優位性を失うことにはなりません。Llama が業界標準になるための道は、世代を超えて一貫して競争力があり、効率的で、オープンであることです。 3 番目に、Meta とクローズド モデル プロバイダーの主な違いは、AI モデルへのアクセスを販売することが当社のビジネス モデルではないことです。つまり、Llama をオープンにリリースしても、クローズド プロバイダーの場合のように、当社の収益、持続可能性、または研究への投資能力が損なわれることはありません (これが、いくつかのクローズド プロバイダーがオープンソースに反対して政府に継続的にロビー活動を行っている理由の 1 つです)。 最後に、Meta にはオープンソース プロジェクトと成功の長い歴史があります。Open Compute Project でサーバー、ネットワーク、データ センターの設計を公開し、サプライ チェーンで設計を標準化することで、数十億ドルを節約できました。PyTorch、React などの主要なツールをオープンソース化することで、エコシステムのイノベーションの恩恵を受けました。このアプローチは、長期にわたって継続することで、一貫して効果を発揮してきました。 オープンソース AI が世界にとって良い理由 AI の明るい未来のためには、オープンソースが不可欠だと私は信じています。AI は、人間の生産性、創造性、生活の質を向上させる可能性を他のどの現代技術よりも高く持っており、経済成長を加速させると同時に、医学や科学研究の進歩を促します。オープンソースにより、世界中のより多くの人が AI のメリットと機会を利用できるようになり、権力が少数の企業に集中することがなくなり、テクノロジーが社会全体でより均等かつ安全に展開できるようになります。 オープンソース AI モデルの安全性については議論が続いていますが、私の見解では、オープンソース AI は他の選択肢よりも安全です。オープンソースは世界をより豊かで安全なものにするため、政府はオープンソースをサポートすることが自分たちの利益になると結論付けると思います。 安全性を理解するための私の枠組みは、意図的でない危害と意図的な危害という 2 つのカテゴリの危害から保護する必要があるというものです。意図的でない危害とは、AI システムが、それを実行する人が意図していなかった場合でも危害を引き起こす可能性がある場合です。たとえば、最新の AI モデルは、誤って健康に関する誤ったアドバイスを与える可能性があります。または、より未来的なシナリオでは、モデルが意図せずに自己複製したり、目標を過度に最適化したりして、人類に損害を与えるのではないかと懸念する人もいます。意図的な危害とは、悪意のある人物が危害を与える目的で AI モデルを使用する場合です。 意図しない危害は、AI に関する人々の懸念の大部分を占めていることは注目に値します。AI システムがそれを使用する何十億人もの人々にどのような影響を与えるかから、人類にとって真に悲惨な SF シナリオのほとんどまで、その範囲は多岐にわたります。この点では、オープンソースはシステムの透明性が高く、広範囲に精査できるため、はるかに安全であるはずです。歴史的に、オープンソース ソフトウェアは、この理由からより安全でした。同様に、Llama Guard などの安全システムを備えた Llama を使用すると、クローズド モデルよりも安全でセキュリティが強化される可能性があります。このため、オープンソース AI の安全性に関するほとんどの会話は、意図的な危害に焦点を当てています。 当社の安全プロセスには、リリース前にリスクを軽減することを目的として、モデルが重大な危害をもたらす可能性があるかどうかを評価するための厳格なテストとレッドチームが含まれます。モデルは公開されているため、誰でも自分でテストすることができます。これらのモデルは、すでにインターネット上にある情報によってトレーニングされていることを念頭に置く必要があります。したがって、危害を考慮する際の出発点は、モデルが Google やその他の検索結果から簡単に取得できる情報よりも大きな危害をもたらす可能性があるかどうかです。 意図的な危害について考える場合、個人または小規模の行為者が何ができるかと、膨大な資源を持つ国家などの大規模な行為者が何ができるかを区別することが役立ちます。 将来的には、個々の悪意ある行為者が AI モデルの知能を利用して、インターネットで入手できる情報からまったく新しい危害をでっち上げることができるようになるかもしれません。この時点で、AI の安全性にとって力のバランスが重要になります。AI が広く導入され、より大規模な行為者がより小規模な悪意ある行為者の力をチェックできる世界に住む方が良いと思います。これは、ソーシャル ネットワークのセキュリティを管理してきた方法です。より堅牢な AI システムが、小規模な AI システムを使用することが多い、あまり洗練されていない行為者からの脅威を特定して阻止します。より広い意味では、大規模な機関が AI を大規模に導入することで、社会全体のセキュリティと安定性が促進されます。誰もが同様の世代のモデルにアクセスできる限り (これはオープンソースによって促進されます)、より多くのコンピューティング リソースを持つ政府や機関は、より少ないコンピューティングで悪意ある行為者をチェックできます。 次の問題は、米国や民主主義国家が、中国のように膨大な資源を持つ国家の脅威にどう対処すべきか、ということだ。米国の優位性は、分散型でオープンなイノベーションである。中国がモデルにアクセスできないようにするにはモデルを閉鎖しなければならないと主張する人もいるが、私の見解では、これはうまくいかず、米国とその同盟国に不利益をもたらすだけだ。敵対国はスパイ活動に長けており、USBメモリに収まるモデルの盗難は比較的容易で、ほとんどのハイテク企業はこれを困難にするような運営方法にはほど遠い。閉鎖型モデルのみの世界では、少数の大企業と地政学的な敵対国が主要モデルにアクセスでき、新興企業、大学、中小企業は機会を逃す可能性が最も高いと思われる。さらに、米国のイノベーションを閉鎖型開発に制限すると、米国がまったく主導権を握れない可能性が増す。むしろ、私たちの最善の戦略は、堅牢なオープンエコシステムを構築し、主要企業が政府や同盟国と緊密に連携して、最新の進歩を最大限に活用し、長期にわたって持続可能な先行者利益を達成できるようにすることだと私は考えています。 今後の機会について考えるとき、今日の大手テクノロジー企業や科学研究のほとんどがオープンソース ソフトウェアに基づいていることを思い出してください。私たちが共同で投資すれば、次世代の企業や研究はオープンソース AI を使用することになります。これには、立ち上げたばかりのスタートアップ企業だけでなく、最先端の AI をゼロから開発するリソースがない大学や国の人たちも含まれます。 結局のところ、オープンソース AI は、このテクノロジーを活用してすべての人にとって最大の経済的機会とセキュリティを生み出す世界最高のチャンスを表しています。 一緒に作ろう これまでの Llama モデルでは、Meta は自社向けに開発してリリースしていましたが、より広範なエコシステムの構築にはあまり重点を置いていませんでした。今回のリリースでは、異なるアプローチを採用しています。社内にチームを編成し、できるだけ多くの開発者やパートナーが Llama を利用できるようにしています。また、エコシステム内のより多くの企業が独自の機能を顧客に提供できるように、積極的にパートナーシップを構築しています。 Llama 3.1 のリリースは、ほとんどの開発者が主にオープンソースを使い始めるという業界の転換点になると信じており、このアプローチはここからさらに拡大していくと期待しています。世界中のすべての人に AI のメリットをもたらすこの旅に、ぜひご参加ください。 モデルには現在 からアクセスできます。 llama.meta.com 💪、 MZ
