オープンソース言語モデルが真の「オープン AI」である理由

2015 年に、非営利OpenAI と呼ばれる組織は、「広範囲に均等に分散された」AI を作成するために設立されました。 2024 年に早送りすると、OpenAI は完全な営利モードに移行し、トランザクション API サービスの背後にある LLM へのアクセスを蓄えました。最近では、彼らが求めているのは、 評価額1,000億ドル。

過去 10 年間の AI の進歩は、Google、Meta、OpenAI などの大手テクノロジー企業が独占し、ますます大規模な独自の言語モデルをリリースしてきました。 Bard と Claude から GPT-4 に至るまで、自然言語処理 (NLP) の最先端技術の多くは、依然として少数の研究機関の手に集中しています。

ただし、AI の長期的な将来は、API のみを介して提供されるプライベートで大きなモデルではなく、コミュニティとともにオープンに構築されたオープンソース言語モデルにあります。

オープンソースの言語モデル

近年、少数の新興企業、大学、献身的な個人が、言語モデル開発のこのオープン モデルの開拓に貢献してきました。

このオープンソースの系譜を引き継ぐ最新モデルはH2O-Danube-1.8Bです。 18 億のパラメータを誇る Danube は、そのサイズの何倍もの他の公開モデルと比較しても驚くべき能力を示します。 H2O.aiチームは細心の注意を払って Danube を完全に透過的に設計、トレーニング、検証し、完全なレポートはarXivで入手できます。

H2O.ai は、アクセスを溜め込むのではなく、Danube の完全なパラメータとトレーニング コードを HuggingFace で公開しました。最初の発表から数日以内に、好奇心旺盛な開発者たちはこのモデルを自由に実験し始め、独自のモデルでは不可能な急速なイノベーションの生成を実証しました。この記事の執筆時点で、h2o-danube-1.8b-chat モデル全体が HuggingFace で 500 回以上ダウンロードされています。

h2o の HuggingFace リポジトリの厚意により、以下のコードに従って、誰でもtransformersライブラリでモデルを使用できます。

 import torch from transformers import pipeline pipe = pipeline( "text-generation", model="h2oai/h2o-danube-1.8b-chat", torch_dtype=torch.bfloat16, device_map="auto", ) # We use the HF Tokenizer chat template to format each message # https://huggingface.co/docs/transformers/main/en/chat_templating messages = [ {"role": "user", "content": "Why is drinking water so healthy?"}, ] prompt = pipe.tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=True, ) res = pipe( prompt, max_new_tokens=256, ) print(res[0]["generated_text"]) # <|prompt|>Why is drinking water so healthy?</s><|answer|> Drinking water is healthy for several reasons: [...]

H2O は、AI へのアクセスを民主化し、少数の人々の富ではなく、多数の人々の利益を引き出すには、オープンなコラボレーションが依然として究極の鍵であると信じています。

その他のオープンソース言語モデル

オープンソース AI エコシステムは、開発者が共有モデルで世界中で協力することで拡大を続けています。 H2O-Danube-1.8B 以外にも、壁に囲まれた庭園内での知識の集中を防ぐことを目的とした数多くの注目すべき取り組みが行われています。

MPT

新興企業 MosaicML によって開発されたMachine Programming Transformer (MPT)には、効率を向上させるために、専門家混合の並列化やコンテキスト長の外挿などの技術が組み込まれています。

ファルコン

Falcon の最大のオープンソース LLM は、パラメータが 1,800 億という途方もない猛獣であり、そのようなものを上回るパフォーマンスを発揮します。 LLaMA-2 、 StableLM 、レッドパジャマ、 そしてMPT 。

そのサイズでは、モデルを実行するために 400 GB の使用可能なメモリを確保することをお勧めします。

ミストラル

元 Google 社員とメタ研究者によって設立された Mistral は、2022 年 9 月に 70 億パラメータのMistral 7B モデルをリリースしました。Mistral 7B は、サンプル品質においてクローズド GPT-3 にほぼ匹敵するオープン モデルの中で競争力のあるパフォーマンスを達成しています。

レガシーモデル

新しく発売されたモデル以外にも、以前のオープンソース モデルが開発者に力を与え続けています。 OpenAI の GPT2 と EleutherAI の GPT-J はどちらも、現代のアーキテクチャに遅れをとっているにもかかわらず、歴史的な重要性を持っています。そして、BERT のようなトランスフォーマーは、世界中の製品を強化する NLP のブレークスルーのサブクラス全体を生み出しました。

民主化の物語は、熱心なコミュニティが自分たちの創作物を共通の知識プールに惜しみなく提供しているおかげで、さらに強化されています。

より公平な未来

独自の言語モデルは、多くの点で、テクノロジー業界が取り組み続けている多くの不公平を再現する危険性があります。裕福な組織内に知識が集中すると、小規模なチームは早い段階で進捗を形成できなくなります。そして、純粋にトランザクション API を通じて利用できるようになると、統合は法外に高価になります。

オープンソース モデルは、より公平な方法を前進させるために不可欠です。エージェンシーが多様なコミュニティの近くにあり、実際に具体的な AI アプリケーションを構築しているものです。進歩の長い弧は、テクノロジーを制御しようとする単一の組織ではなく、テクノロジー自体の背後に人々が団結するときにのみ正義に向かって曲がります。

ドナウ川とそれが表すオープンなパラダイムは、別のビジョンを垣間見るだけです。これは、短期的な利益や名声によってではなく、世界中の開発者がお互いの肩の上に自由に構築できるようにすることによって推進されています。独自の作業を行う余地は常に残りますが、AI の真の未来は開かれています。

コミュニティ主導のイノベーション

オープンソース モデルのリリースには、開発者や研究者の意欲的なコミュニティからの貢献が集まります。この屋外での共同作業スタイルにより、ユニークな機会が生まれます。組織全体の専門家が互いの作業をピアレビューして、技術を検証できます。

研究者は、車輪を再発明するのではなく、新しいアイデアを簡単に複製して拡張できます。また、ソフトウェア エンジニアは、イノベーションを顧客の製品に迅速に統合して展開できます。

おそらく最も有望なのは、オープン パラダイムにより、ニッチなコミュニティが特定のユースケースに合わせたモデルのカスタマイズを中心に集まることを可能にすることです。チームは、一般的なモデルよりも優れたパフォーマンスを発揮する、医学、法律、金融などの特定のトピックに合わせたバージョンを作成できます。これらの特殊なモデルは、コミュニティの残りの部分に利益をもたらすために共有されます。グループが協力することで、単一の閉鎖的なラボ内では不可能な集団的な進歩が実現します。