プロプライエタリ AI とオープンソース AI の間の戦い

皆さん気を引き締めてください、AI が世界を征服しつつあります。

まあ、まだそこまで到達していないのかもしれない。しかし、それでも、過去 12 か月間にそれが与えた影響のレベルを否定することはできません。

奇妙なのは、概念としても研究分野としても「人工知能」はそれほど新しいものではないのに、今年登場したすべてのチャットボットや AI を活用したツールを見ると、それが「新しく感じられる」ということです。

それよりも重要なのは、昨年の今頃までに、広く知られている AI ツールは GPT-3 と、その後 ChatGPT だけだったという事実です。しかし現在では、利用可能なさまざまな AI ツール、チャットボット、LLM をすべて追跡するのは困難です。

これらはすべて次の 2 つのカテゴリに分類されます。

クローズドソース (ChatGPT や Claude など)

オープンソース (Falcon や Mistral など)

ここからが興味深いところです。

独自の AI モデルと同様に人気があり、高度に洗練されている一方で、AI 分野で波を起こし、その重量クラスを上回るオープンソース モデルも存在します。

それがこの記事で見ていきます。 AI と同じくらい革新的なテクノロジーにおいて、プロプライエタリでブラックボックスのようなソフトウェアが適しているのでしょうか、それともオープンソースがより良い選択肢なのでしょうか?

この質問やその他の質問は、今日のエピソードで答えられます。

開いているか閉じているか?それが質問です

まず、科学プロセス全体は、誠実さ、完全性、透明性の原則に基づいて構築されています。これには、結果を検証するためのオープン性、コラボレーション、ピアレビューが含まれます。

低温殺菌、ペニシリン、肥料など、世界最大の科学的進歩の多くは、長年にわたる多くの科学者の共同作業のおかげで可能になりました。

多くの場合、彼らは当時リソースが不足していた大きな問題に取り組みました。彼らは研究結果を発表し、何年も後に科学者たちはそれを基礎として、人類の利益のために本来の問題に対する解決策を開発しました。

そして、これはオープンソース テクノロジーにも当てはまります。コンピューターが部屋全体を占有する巨大なマシンから、すべての家庭に設置できるデバイスになったとき、世界は変わりました。

そしてその後、インターネットが登場し、特権的な少数の人ではなく、多くの人がテクノロジーにアクセスできるようになり、さらに前進しました。

ティム・バーナーズ・リーは 1989 年にワールド ワイド ウェブを発明し、特許や使用料なしで誰でも自由に利用できるようにしました。これにより、インターネットの急速な成長と、その後 10 年間に起こった多くのイノベーションが促進されました。

同様の話がオペレーティング システムでも起こります。Windows と Linux を考えてみましょう。そして、Web テクノロジーでも同じことが起こりました。

これまでの例をすべて考慮すると、AI と同じくらい革新的なテクノロジーが同様の道をたどることができる (またはそうすべきである) のは当然です。

それでは、今年、両方の側 (クローズド AI とオープンソース AI) がどのように進歩したかを見てみましょう。

独自の AI の現状

ChatGPT が昨年 11 月にリリースされたときに与えた影響は、今では誰にとってもニュースではありません。そして今年の残りの期間は、独自の AI が話題になりました。

2023年3月にはGPT-3の後継となるGPT-4がリリースされました。この出来事が AI 競争に火をつけました。

すぐに、Google もBardとの争いに加わりました。その後、元 OpenAI 研究者によって設立された Anthropic が登場し、人気のある ChatGPT の候補であるClaudeをリリースしました。

OpenAI は、現時点で市場で最も多くの「ヒット」を生み出している企業です。

これらは GPT モデル、さまざまな Dall-E バージョン、および Whisper です。 Microsoft は、新しく改良された Bing Chat (OpenAI のテクノロジに基づいている) と、間もなく組み込まれるどこにでも使える Copilot にも取り組んでいます。

Google は初期の研究プロジェクト Bard で競争に参加しましたが、最初は誰もが圧倒され、私たちは Microsoft とその取り組みにさらに注目するようになりました。しかし、その「サイエンス フェア」プロジェクトの後、Google は取り組みを強化し、Vertex AI、PaLM (および PaLM2)、Imagen、Codey などの製品をリリースしました。

そして、強力なクロードのさまざまなバージョンを備えた Anthropic (Claude-instant、Claude 2) があります。興味深いのは、彼らがクロードを訓練するために使用したアプローチ、彼らが「憲法的AI」と呼ぶものです。このアプローチは安全性を最前線に置き、人間の利益と価値観に沿った AI の作成に役立ちます。

これらは AI 分野における大きな進歩であり、数人の従業員、豊富なリソース、優れたマーケティング部門を擁する企業によって開発されたという事実のおかげで、より広く知られています。

さて、コインの裏側を見てみましょう。

オープンソース AI の現状

GPT-4 のリリース以来、テクノロジー大手が AI 競争に参加するために参入しただけでなく、他の独立したプロジェクトも登場しました。 TensorFlow や PyTorch などのオープンソース ML フレームワークによって可能になります。

Stability AI は、Dall-E の代替となるStable Diffusionをリリースしました。多くのテクノロジー愛好家は、芸術と創造性の性質に関する倫理的な懸念を引き起こすまで、その機能を広範囲に実験してきました。

Meta は、 LLaMAと呼ばれる準オープンな大規模言語モデル (いくつかのモデル サイズとその後の 2 番目のバージョン) のリリースを発表しました。

このモデルと Hugging Face サービス (Gradio、Spaces、Transformers など) は革命を引き起こしました。なぜなら、世界中の人々が ChatGPT や PaLM などに匹敵するオープンソース テクノロジーに初めてアクセスできるようになったからです。

そして、技術者、ハッカー、技術愛好家のグループに十分な時間とリソースがあると何が起こるか知っていますか?そう、彼らは夢中になって物を組み立てることができるのです。

インターネットの出現により、90 年代のニッチなインターネット フォーラムと IRC チャネルは、Hugging Face ディスカッション、GitHub の問題、Discord サーバーに置き換えられました。

オープンソースの成長に貢献したもう 1 つのものは、EleutherAI の Pile データセットです。この取り組みは、教師なし学習と自己教師あり学習の進歩に役立ち、大規模なラベル付きデータセットの必要性が減りました。

大規模な言語モデル、それらをトレーニング/微調整するためのデータセット、およびコンピューティング要件の軽減により、製品とサービスのエコシステム全体がすぐに出現しました。

(私がコンピューティング要件の削減と言うとき、LLM は独自のモデルによって生成される品質の結果を生成するために大量のパラメーターを必要としないことを意味します。これはLLaMA 13BやMistral 7Bなどのモデルで示されています)

このスペースには、参加して他のユーザーと共同作業したい人なら誰でも利用できる、大量のプロジェクト、事前トレーニング済みおよび微調整されたモデル、データセット、ツールが用意されています。

現在、Zephyr チャット、LLaMA2 チャット、Mistral 指示、Falcon チャットなど、GPT-3/GPT-4 に依存しないさまざまなタイプのチャットボットが機能しています。

Code-LLaMA 、 CodeGen 、 StarCoderなどのコード生成と支援用に微調整された LLM 。

Bloomと呼ばれるオープンアクセスの多言語言語モデル。

LLaVAやFuyuなどのマルチモーダル LLM (単なるテキストではない)。

既存のすべてのオープンソース モデルを評価してランク付けする Hugging Face リーダーボード。

RedPajamaやOpenOrcaなどの LLM の事前トレーニングと微調整のためのいくつかのデータセット。

そして最近では、「AI エージェント」と呼ばれる自律型モデルが増えています。

最も人気のあるものは GPT-3.5 を利用していますが、LLaMA に基づいたものもあります。

そして、私たちは、ループにはまり込まない、あるいは説得力があるように見える大量のテキストを吐き出さずにタスクを独立して完了できるエージェントを構築することを急いでいるように見えますが、それは不正確であるか、明らかに間違っています。

過去 6 か月だけでも大きな進歩があり、どの前線も減速の兆しを見せていないことは間違いありません。

今後

過去 1 年間に私たちが目にした目まぐるしい進歩にもかかわらず、AI の開発はまだ初期段階にあります。 AI のプライバシー、倫理、組み込まれたバイアスなど、考慮すべきさまざまな側面を理解する必要があることがいくつかあります。

人生のすべてのことと同様、どちらかが完全に間違っていて、もう一方が正しいということはありません。プロプライエタリな AI とオープンソース AI には、どちらにも長所と短所があります。

独自の AI は、より広範囲の人々にアクセスを提供しながら、より大量のリソースを活用して新しいより強力なモデルをトレーニングできます。しかし、それらはブラックボックスのように動作し、可観測性に欠けており、彼らの関心は一般消費者よりも資金力のある大手企業に向いている可能性があります。

一方、オープンソース AI は、世界規模のコラボレーション、透明性、オープン イノベーションの恩恵を受けます。しかし、より野心的な取り組みのための組織やリソースが不足しており、より厳格な規制が確立されれば危険にさらされる。

今問題になっているのは、AI の進歩をハイブリッドな形でどのように進めていくかです。

この分野で最も優秀な人材や必要なリソースと協力して、安全性とプライバシーを最前線に据えた責任ある方法でこのイノベーションを推進する方法です。

少数の人々の利益や利益が残りの人々の利益に優先しない方法です。 AIのような革新的なテクノロジーが、大国の「敵」とみなされる人々のグループに対して私物化されたり、制限されたり、兵器化されたりしない方法。

私たちは歴史上ユニークな瞬間にいます。私たちが行う決定とテクノロジーの扱い方によって、良くも悪くも未来がどのように形づくられるかが決まります。

読んでくれてありがとう。

忘れずにHackernoon で購読する今後の記事をお見逃しなく。