私たちは皆、GPT-3 について聞いたことがあり、その機能についてある程度明確な考えを持っています。このモデルが原因で生まれたいくつかのアプリケーションを見たことがあるはずです。そのうちのいくつかは、モデルに関する で取り上げました。 GPT-3 は OpenAI によって開発されたモデルであり、有料 API を介してアクセスできますが、モデル自体にはアクセスできません。 以前のビデオ GPT-3 が非常に強力な理由は、そのアーキテクチャとサイズの両方にあります。 1750 億のパラメーターがあります。これは、私たちの脳にあるニューロンの数の 2 倍です。 この巨大なネットワークは、私たちがどのようにテキストを書き、交換し、理解するかを理解するために、インターネット全体でほぼ訓練されています。今週、Meta はコミュニティにとって大きな一歩を踏み出しました。彼らはちょうど同じくらい強力なモデルをリリースしたばかりで、それを完全にオープンソース化しました。それはどれほどクールですか？動画で詳しく... ビデオを見る 参考文献 ►記事全文を読む: ►張、スーザンら。 「OPT: 事前トレーニング済みの Transformer 言語モデルを開きます。」 ►大規模な言語モデルに関する GPT-3 のビデオ: ►Meta の投稿: ►コード: ►マイ ニュースレター (毎週メールで説明される新しい AI アプリケーション!): ►Discord チャンネルに参加して、一緒に AI を学びましょう: https://www.louisbouchard.ai/opt-meta/ https://arxiv.org/abs/2205.01068 https://youtu.be/gDDnTZchKec https://ai.facebook.com/blog/democratizing-access-to-large-scale-language-models-with-opt-175b/ https://github.com/facebookresearch/metaseq https://www.louisbouchard.ai/newsletter/ https://discord.gg/learnaitogether ビデオトランスクリプト 0:00 私たちは皆 gpt3 について聞いたことがあるでしょう。 0:02 そのいくつかの明確な考え 0:03 あなたが最も確実に見たことのある機能 0:06 厳密に生まれたいくつかのアプリケーション 0:08 このモデルのいくつかは、 0:10 前の動画 gpd3は開発モデルです 0:13 経由でアクセスできるopenaiによって 0:15 有料の API ですが、モデルにはアクセスできません 0:18 それ自体がgpt3を非常に強力にしている理由は両方です 0:21 そのアーキテクチャとサイズ 0:24 2 倍の 1,750 億のパラメータ 0:27 私たちの脳にあるニューロンのうち、これは 0:30 巨大なネットワークはかなり訓練されていました 0:32 方法を理解するためにインターネット全体で 0:34 私たちは交換を書き、テキストを理解します 0:37 今週、メタは大きな一歩を踏み出しました 0:39 コミュニティのために前進する 0:41 そのままのモデルをリリース 0:43 それ以上ではないにしても強力で、完全に持っています 0:46 オープンソース化できるなんて素晴らしい 0:48 gpt のようなモデルにアクセスできるようになり、 0:51 行かずに直接遊んでください 0:53 API と制限付きアクセス メタを介して 0:56 の略である最新のモデルを選ぶ 0:59 事前訓練された変圧器を開く 1:01 複数のサイズで利用可能 1:03 遊んだりするための事前に訓練された重み 1:05 研究活動のうちの1つが 1:07 gp23に匹敵し、最高のものを持っています 1:09 の結果は非常にクールなニュースです 1:12 フィールド、特に私たちのアカデミック 1:14 研究者はgpg3と同じようにこの新しい 1:17 モデルはユーザー入力からテキストを生成できます 1:19 ある日、さまざまなタスクで 1:22 週を要約することさえできます 1:24 明確なレポートであなたの仕事の価値 1:26 しかし、それまではまだ書く必要があります 1:28 少なくともあなたはいくつかを得ることができます 1:30 この報告プロセスを大幅に改善するのに役立ちます 1:33 次のような優れたツールを使用してより効率的に 1:35 このエピソードのスポンサーの重みとバイアス 1:38 重みとバイアスにより、簡単に 1:39 ですべての実験を追跡する 1:41 あなたに追加されたほんの一握りの行 1:44 コードですが、より具体的には、実際には 1:46 彼らがどのように創造を促進したかクール 1:48 見栄えの良いインタラクティブなレポートの 1:50 このようにあなたのチームをはっきりと示しています 1:53 または将来の実行行列 1:55 ハイパーパラメータとデータ構成 1:57 あなたやあなたのチームが持っていたメモと一緒に 2:00 その時点でレポートは簡単に作成できます 2:02 から生成された次のテンプレート 2:04 メトリックを実行し、追加するだけです 2:06 あなたのコメントは強力な機能です 2:08 に簡単なコメントを追加するか、 2:10 実験または洗練された分析の作成 2:12 あなたの作品をキャプチャして共有する作品 2:14 改善したい場合は必須です 2:16 プロのキャリアだから私はお勧めします 2:18 コミュニケーションを改善するツールを使用する 2:20 あなたのチームでは、重みとバイアスのように試してみてください 2:23 以下の最初のリンクで開始します 2:25 プロのように作品を共有する 2:29 opt またはより正確には opt-175b 2:33 gpt3に非常に似ているので、私は強く 2:36 私のビデオをよりよく見ることをお勧めします 2:37 言語モデルの大きさを理解する 2:40 仕事 gpd3 と opt は少なくともできません 2:42 メールを要約するか、すばやく書く 2:44 主題に基づくエッセイも可能 2:46 基本的な数学の問題を解く 2:49 質問など 主な違い 2:51 gpt3では、これが開いているということです 2:53 アクセスできることを意味するソース 2:56 そのコードと事前にトレーニングされたモデルでさえも 2:58 直接別の重要な人と遊ぶ 3:00 楽しい事実は、opt のトレーニングが次のように使用されることです。 3:03 gpt3として7番目のカーボンフットプリント 3:06 これは右の別のステップです 3:08 この新しいことがわかる方向 3:10 モデルは gpt3 に非常に似ていますが、オープンです 3:13 source を使用した言語モデル 3:15 動画で取り上げたトランスフォーマー 3:18 それが多くの人に訓練される前に 3:19 で言うことができるさまざまなデータセット 3:22 インターネット全体でテキストを処理し、 3:24 理解を深めるためにより多くのテキストを生成する 3:27 それらがどのように機能するか、もう一度参照します 3:29 gpt3をそのままカバーして作ったビデオ 3:31 ここで非常によく似たモデル 3:34 カバーしたかったのは、メタの努力です 3:36 にアクセス可能なこの種のモデル 3:38 みんなで力を合わせながら 3:40 その制限の偏見を共有し、 3:43 たとえば、彼らがその選択を見たリスク 3:45 繰り返して行き詰まる傾向がある 3:48 私たちにはめったに起こらないループ 3:50 そうしないと、誰もあなたに話しかけません 3:53 それは彼らもインターネットで訓練されました 3:55 opt には高い傾向があることがわかりました。 3:57 有毒な言葉を生成し、強化する 4:00 基本的に有害なステレオタイプ 4:02 私たちの一般的な行動を再現し、 4:04 それが事実上生み出すこともあるバイアス 4:07 誤った記述 4:08 人々に服用してもらいたい場合は望ましくありません 4:10 あなたは真剣にこれらの制限はいくつかあります 4:13 これらの最も重要な理由の 4:15 モデルがすぐに人間に取って代わることはない 4:17 重要な意思決定の仕事のために、または 4:20 商用でも安全に使用できます 4:22 私はあなたにそれらを読むように勧めます 4:24 の詳細な分析のための論文 4:26 モデルの能力と理解を深める 4:28 このモデルをより良くするための彼らの努力 4:30 環境にやさしく、安全に使用できます 4:33 彼らの詳細についても読むことができます 4:34 トレーニングプロセスと自分で試してみてください 4:36 公開されているコードですべて 4:39 リンクはそのような説明にあります 4:41 オープンソースへの貢献 4:43 モデルのドキュメントとコードが利用可能 4:45 研究にとって本当に重要です 4:47 科学を進歩させるコミュニティと私は 4:49 メタのような大企業がそうしてくれてうれしい 4:52 彼らのおかげで世界中の研究者が 4:54 世界が実験できるようになる 4:56 最先端の言語モデルを使用 4:58 小さいバージョンの代わりに私は興奮しています 5:00 今後のすべての進歩を確認するには 5:02 私はあなたが何を作成するか見てみたい 5:04 お気軽にコメントしてください 5:06 ビデオの下で、または私たちのコミュニティに参加してください 5:09 発見されず、プロジェクトを共有する 5:10 そこでは AI を一緒に学習し、 5:13 以下のリンクも見つけることができます 5:15 今週の動画はいかがでしたか 5:17 これをカバーする通常とは少し異なります 5:19 エキサイティングなニュースと不可欠な取り組み 5:21 公開されている研究を共有します 5:24 来週、別の素晴らしいものでお会いしましょう 5:26 紙
