VC と創業者の皆様へ: ChatGPT/LLM は大きな前進です。その理由は次のとおりです。

TLDR 1: データセットはもはや厳しい要件ではありません

TLDR 2: 非常に幅広いユースケースがあります

TLDR 3: コストと制限

休暇中で、ChatGPT や LLM (大規模言語モデル) が何であるかわからない場合は、ここでテクノロジに関する概要を確認できます。

それでは、長い形式で何を意味するのでしょうか?

一杯のコーヒーを手に取り、少し落ち着いてください…

パート 1: データはもはや難しい要件ではありません

従来のテキストベースの AI データ要件に関する短期集中コース

これまで AI モデルを構築するには、通常、特定のユース ケースに十分な大きさのデータセットを収集する必要がありました。トレーニング プロセスやその計算コストを最適化するために、さまざまな AI モデル トレーニング手法とツールが存在していました。

ただし、データセットのサイズと品質は、依然として AI のトレーニングにおける主要な要因の 1 つでした。

これにより、次のようなグラフが得られます。

これがデータセットの軍拡競争につながり、AI に関連するほぼすべての専門分野 (特にコンピューター ビジョン関連) で発生しました。

これは 2009 年以降、今日に至るまで複数のスタートアップで展開されており、いくつかの注目すべきスタートアップは、貴重なデータセット (および通常は才能) を理由に買収されています。

軍拡競争は常にエスカレートしていたため、新興企業が自社の AI モデル (小規模なデータセット) で既存の企業 (大規模なデータセット) と競争することはますます困難になりました。

たとえば、uilicious.com (ローコード UI テスト自動化スタートアップ) では、限られたデータセットを使用して AI モデル (TAMI v0.1 と呼ばれる) をトレーニングしました。半分の時間でゴミを吐き出していることが判明したため、モデルを脇に置き、データセットを構築しながら AI なしで会社を成長させることにつながりました。

非常に一般化され、非技術的な方法で、この方法でトレーニングされた AI は、以降「特殊化されたモデル」と呼ばれます。

LLMまたは大規模言語モデルの始まり

真に普遍的または汎用的な AI を求めて、特に人間の音声インタラクションの分野 (人間はすべての変数の中で最もランダムであるため) を求めて、非常に大規模なデータセット用に新しいタイプのテキストベースの AI をトレーニングする取り組みが行われました。公開データ (Wikipedia、Quora、StackOverflow、およびインターネット テキストの半分を考えてください)。

これらの新しいモデルは、データセットのサイズとモデルのサイズ (脳のサイズを考えてください) の境界を押し広げたため、それらを構築するために使用される方法は、特殊なモデル (精度と効率をより重視する傾向がある) から分岐しました。

この方法でトレーニングされたテキスト AI モデルは、現在、まとめて「Large Language Models (LLM)」と呼ばれています。

このアプローチの欠点は大きく、多くのユースケースで早期に適用できませんでした:

• 非常に大規模なデータセットを構築して維持する必要がある (GPT-3 は 45 TB を使用)

• トレーニングには数百万ドルの費用がかかります (GPT-3 のトレーニングには 400 万ドル以上の費用がかかります。GPT-3.5/chatGPT はおそらくそれ以上です)

• プライベート トレーニング データが不足しているため、特殊なユース ケースでの使用が制限されている

• 特殊なユース ケースでは特殊なモデルより精度が低い

• 実行コストが高い (これについては、後の制限で詳しく説明します)

LLM の最初の数世代は、すべてのタスクでほぼすべての特殊化されたモデルに負けたため、残念な結果をもたらした可能性がありますが、年月が経つにつれて状況が変化し、データセットのサイズとモデルのサイズの両方が拡大しました。

それらの利点がより明確になりました。

• 事実と正確さは別として、彼らは人間と話すのが本当に上手になりました

• すべてではありませんが、多くの場合: 適切な形式のデータセットが与えられた場合、新しい専門知識を習得するのが得意です (単にダンプすることはできません)。

これにより、曲線が大幅に変更されました。

それはまた、2019 年に AI に支えられたビジネス モデルの新しい波を引き起こしました。スタートアップは、チャットボットからプレゼンテーション スライド ジェネレーター、コード コパイロット、コピーライティング、さらには D&D ゲームマスターまで、手の届く範囲にあるデータセットを使用して、既存の LLM の上で新しい AI モデルをトレーニングできるようになりました。

これらの AI モデルは、もはや大規模なテクノロジー企業だけの独占的な領域ではありませんでした。 OpenAI と Google は、自社のインフラストラクチャで AI をトレーニングして実行するための少額の料金で、LLM から利益を得る手段として、他の人が構築できるようにモデルを公開し始めました。

これはスタートアップにとっても有益でした。なぜなら、これらの大規模なモデルを社内で構築するために必要な数百万ドルの R&D 投資が不要になり、概念実証によってより早く市場に参入できるようになったからです。

データは、ある意味で依然として王様でした。曲線をよりアクセスしやすくするために移動した可能性がありますが、チームは大規模なデータセットを構築してモデルを調整する必要がありました.

その結果、2019 年のスタートアップの多くは、プロトタイプの構築が大幅に容易になったと感じましたが、多くのスタートアップは、収益が減少する中でデータセットをスケールアップする必要があったため、「有用な」しきい値を超えることが困難であると感じました。

しかし、それが2022年に物事が本当に変わり始めるときです....

大規模な言語モデルが少数の学習者である方法

先月 (2022 年 12 月)、GPT3.5 (または、インターネットで知られている chatGPT) のリリースは、AI モデルのトレーニングと微調整の方法に大きな影響を与えました。

非常に小さなデータセットで使用可能な AI を作成する可能性を解き放ちました。これは、ほとんどのスタートアップがアクセスできるか、手動で作成できるものです。これは、AI トレーニングに対する私たちの考え方の根本的な変化です。

GPT3.5 を基本的なビルディング ブロックとして使用することで、専門のチームや個人を必要とせずに、さまざまなユース ケースに役立つ AI アプリケーションを構築できるようになりました。

ユース ケースに応じて、データセットは 1 つの文または段落から 100MB または 1GB まで小さくすることができます。これは、多くのスタートアップで達成可能なサイズです。

または、chatGPT を自分のスタートアップにとって有用で価値のある方法で動作させることができれば、それを専用の AI サービスとして構築できます。

必要なデータセットを大幅に削減したことで、以前は私たちの規模では「役に立たない」または「不可能」だった、完全なデータセットのほんの一部で「有用な」AI モデルを構築できるようになりました。

多くの点で、データはもはや王様ではなく、有用なアプリケーションを見つけて構築することが、この新しい AI の真の王者です。アイデアを（数年ではなく）数週間で構築してテストできる場所。

パート 2: ユースケース (および AI インターン) のハントが始まりました

ユースケースを見つけるためのインターン フレームワーク

GPT-3.5 およびその他すべての大規模な言語モデルには、精度と信頼性に限界があります。これは、答えを夢想する性質によるものです。

理論上は（まだ証明されていませんが）、十分に大きな特殊なデータセットがあれば、その精度は特殊なユースケースで大幅に向上する可能性があります。ただし、このような大規模なデータセットがある場合は、「特殊なモデル」を既に構築できる可能性があります。

最終的には、精度と信頼性に対するこの制限は、デリケートな業界 (医療など) では重大な問題にすぎません。ほとんどの場合、それはユースケースを見つける際の邪魔に過ぎません。 AI が「十分な」しきい値を超えると (実際に実行されます)。

この問題に対するより健全で現実的なアプローチは、GPT-3.5 をリモートで有料の「オンデマンドのスマート カレッジ インターン」として想像することです。

現実的には、AI には、リモートでオンラインであることに加えて、このようなユース ケースですべて同じ制限があるためです。

• インターンが常に 100% 正しいとは決して信じないでください (医学の診断は言うまでもなく)

• 適切な監督、指導、計画により、インターンが有用な価値を安全に提供できるワークフローを作成する

• 1日または1か月のインターンの場合、正式なトレーニング計画を作成して、それぞれ1時間または1週間のトレーニングですぐに生産的になるようにします。インターンに支払いを行う必要があります。それらは無料ではありません（人間とAIの両方にとって）

AI モデルが実際のインターンに勝る唯一の真の利点は次のとおりです。

• 学期の影響を受けない

• いつでもスケールアップとスケールダウンが可能

• トレーニングは、バッチごとに 1 回実行でき、インスタンス数に応じてスケールアップできます。

AI が人間に対して持っている欠点は、コーヒーを直接手に入れることができないことです。

これらの用語でフレーム化すると、AI を既存のビジネス プロセスや製品に統合する方法を理解するのが非常に簡単になります。

• 記事のアイデアを生成する必要がありますか? 1日インターンシップを取得します。

• 独自の Java コードを JavaScript コードに変換する必要がありますか?プロセスの実行方法に関するいくつかの基本的なトレーニングを受けて、1 か月のインターンを取得します。

• などなど - プロセスのどの時点でも、インターンとの監督と反復のループから人間を除外する必要はありません。

パート 3: コストとビジネス上の制限

プロンプトごとのコストがビジネスモデルの成否を左右する

これは、AI におけるこの新しいアプローチの最大の弱点であり、より大きくより優れたモデルに基づいています。残念ながら、フリーランチはありません。

データセットのサイズに関しては、特定のタスクをトレーニングする方が安価で簡単ですが、従来の AI モデルと比較して実行コストが大幅に高くなります。

安くはありません。プロンプトと回答ごとのコストは、プロセスでトレーニングまたは使用するために必要なデータの量に応じて、1 セントから 50 セントの範囲です。これは、1 ドルあたり 100 万件のリクエストを処理できる一般的な API サーバーよりも大幅に高くなります。

簡単に言えば、典型的な中規模の Shopify ウェブサイトで 100 万件のユーザー リクエストを処理するよりも、特定の秒内に 1 人のユーザーの 1 つの AI クエリを処理する方が、サーバー ハードウェアのコストが高くなります。

これは、OpenAI や Azure が単に利益を得ようとしているからではありません。そのような大規模なモデルを実行するために必要な純粋なサーバー ハードウェア インフラストラクチャにかかっています。

結果として、このような大規模言語モデル AI を組み込むことは非常に強力ですが、この制限だけが原因で、すべてのユース ケースに適用できるとは限りません。

最終的な結果として、多くのユース ケースでこのような AI を使用することでメリットが得られますが、すべてのユース ケースで AI を利用できるわけではありません。これは、どの実装においても重要な考慮事項です。

例 A: サポート サービス チャット

サポート サービス デスクの場合、標準的なサポート スタッフは 1 時間あたり 10 人の顧客を処理でき、各顧客は平均 15 回のプロンプトをやり取りします。プロンプトごとに 5 セントの場合、AI を使用して 1 人のサポート スタッフを模倣した場合、これは 1 時間あたり最大 7.50 ドルになります。

これは、典型的な米国のコール センター スタッフの時給の中央値 15 ドルよりも安いだけでなく、はるかに柔軟です (人件費がかからず、即座にスケールアップおよびスケールダウンできます)。

同様に、このサポート AI が L1 サポートとしてのみ機能し、人間がより複雑なケースを処理できるようにする、同じ「インターン」アプローチを取ることも可能です。このシナリオでは、実行され、プロンプトごと (または時間ごと) に適切にスケーリングされると意味があります。

例 B: メールを下書きするための SaaS サービス

平均的なオフィス ワーカーは、1 日あたり約 40 通、または 1 か月あたり約 880 通のメールに返信します。電子メール 1 通あたり 5 セントでも、電子メールの返信を処理するだけで、ユーザー 1 人あたり平均月額 44 ドルになります。

さらに悪いことに、そのようなサービスを使用すると、オフィス ワーカーは平均してより多くの電子メールに返信できると期待するのが妥当です。純粋な AI のコストだけで、平均が 2 倍の 2,000 通の電子メール、または 1 か月あたり 100 ドルになることは不合理ではありません。

この場合、SaaS スタートアップが単純な、たとえば月額 10 ドルの価格設定を行った場合、時間の経過とともに大きな損失を被る可能性があります。

この価格設定コストとビジネス モデルは、SaaS で一般的な典型的なユーザーごとの価格設定モデルに反します。これが、そのような統合が、そのような AI の使用を制限する手段および請求の手段として「クレジット」システムを持つことが一般的である理由です。

OpenAIは効果的な独占を持っています（今のところ）

競争が始まるまで価格が停滞する可能性があります

既存のオープンソースの大規模言語モデルは存在しますが、非常に率直に言えば、それらは GPT2 に匹敵するか、GPT3.5 と GPT3.5 の間のどこかにあります。

いくつかの単純なケースでは、合理的なデータセットの構築を開始すると、これらのより小さな (そして安価な) モデルは、コスト削減の手段として移行するのに役立つ場合があります。

ただし、他の複雑なケースでは、AI の複雑さのためにそのような動きが不可能な場合があり、OpenAI に低価格のインセンティブのない効果的な独占を与えます。

ただし、今後 1 ～ 2 年の間に、オープンソース コミュニティが追いつき、そうすることで、より優れた代替インフラストラクチャ プロバイダーによって価格が改善される可能性があると考えられています。

ただし、これは不確実な将来であるため、強調する価値があります。

OpenAI は、一部のモデルの潜在的な不本意な競合相手です

意図的ではありませんが、このスペース内のスタートアップが、プロンプトからテキストへのボットを超えて防御可能な機能セットを構築することが重要です。

たとえば、名前ジェネレーターやシンプルなインターフェースを備えたアイデア ジェネレーターなど、特定のプロンプトからテキストへのユース ケースを中心に GPT3 ベースのボットまたは SaaS を構築した小規模なスタートアップがいくつかありました。

文字通り一晩で、chatGPT の開始により、これらの小さな単一ユースケースのテキストからテキストへの SaaS は不要になりました。日常の人々は、chatGPT を介して同じ機能を無料で利用できるようになりました.

OpenAI は、その上に構築されたパートナーと競争するつもりはなかったかもしれませんが、モデルと chatGPT を改善し続けているため、そうすることは避けられない性質かもしれません。

そのため、これが繰り返されないようにするために、このテクノロジーに関連するすべてのビジネス モデルにとって、プロンプトからテキストへのプロンプトだけでなく、おそらくより優れたユーザー エクスペリエンスや既存のツールとの統合など、どのような付加価値を提供できるかを理解することが重要です。

最後に：それは完璧ではありません

インターンモデルを思い出してください、これを明日癌を治すために使用することを期待しないでください.したがって、AI を地球上のすべての製品やスタートアップに詰め込むことは、エンド ユーザーに何の利益ももたらさない場合に行わないでください。

〜また次回まで🖖長生きと繁栄
Eugene Cheah: uilicious.com の CTO

この記事はもともと著者のサブスタックに投稿されたものです

収まらなかった追加メモ

また、swyx は、この急速に混沌として成長している分野で、さまざまな情報を統合しようとする優れた仕事をしています。これは非常に読む価値があります (推奨!!!)。

• AGI が生まれた日: https://lspace.swyx.io/p/everything-we-know-about-chatgpt
• オープンソースが AI をどのように食べているか: https://lspace.swyx.io/p/open-source-ai
• 彼のライブ AI ノート: https://github.com/sw-yx/ai-notes/blob/main/TEXT.md#chatgpt

現在、BLOOM は GPT3 (3.5 ではない) の主要なオープンソース候補です: https://towardsdatascience.com/run-bloom-the-largest-open-access-ai-model-on-your-desktop-computer-f48e1e2a9a32

AI / ML 業界では、LLM が新しい概念をすばやく学習して適用する能力は、「ゼロショット」、「ワンショット」、「少数ショット」学習と呼ばれるテストによって定量化および測定されます。

一般に、これらのテストで AI がうまく機能すればするほど、ユース ケースに合わせて AI をトレーニングするために必要なデータが少なくなります。

その他の情報源と引用

• GPT-3 45TB トレーニング セット: https://www.springboard.com/blog/data-science/machine-learning-gpt-3-open-ai/
• GPT-3 は推定 400 万ドル ++ とトレーニング費用を加えたものです: https://lambdalabs.com/blog/demystifying-gpt-3
• ブルーム AI、オープンソースの競合相手 160 万ドルのトレーニング費用: https://techcrunch.com/2022/07/12/a-year-in-the-making-bigsciences-ai-language-model-is-finally-available/
• 教育と仕事のT字型モデル
  • https://wordspy.com/index.php?word=t型
  • https://collegeinfogeek.com/become-t-formed-person/
• ゼロおよび少数のショット学習のための大規模な言語モデルの論文
  • https://arxiv.org/abs/2205.11916 (ゼロショット)
  • https://arxiv.org/abs/2005.14165 (少数ショット)
• 米国のコールセンターの給与レート: https://www.comparably.com/salaries/salaries-for-call-center-agent
• オフィス ワーカーが 1 日に送信するメールの平均: https://www.templafy.com/blog/how-many-emails-are-sent-every-day-top-email-statistics-your-business-needs-to-知る/
• openAIによるchatGPT/GPT3.5のお知らせ： https ://openai.com/blog/chatgpt/
• Unsplash の写真クレジット
  • https://unsplash.com/photos/7swaW1bYpWI
  • https://unsplash.com/photos/1iVKwElWrPA
  • https://unsplash.com/photos/SELXIJwN24s
  • https://unsplash.com/photos/3xwrg7Vv6Ts
  • https://unsplash.com/photos/-G3rw6Y02D0