Meta の新しいモデル OPT はオープンソースの GPT-3 です

私たちは皆、GPT-3 について聞いたことがあり、その機能についてある程度明確な考えを持っています。このモデルが原因で生まれたいくつかのアプリケーションを見たことがあるはずです。そのうちのいくつかは、モデルに関するで取り上げました。 GPT-3 は OpenAI によって開発されたモデルであり、有料 API を介してアクセスできますが、モデル自体にはアクセスできません。

GPT-3 が非常に強力な理由は、そのアーキテクチャとサイズの両方にあります。 1750 億のパラメーターがあります。これは、私たちの脳にあるニューロンの数の 2 倍です。

この巨大なネットワークは、私たちがどのようにテキストを書き、交換し、理解するかを理解するために、インターネット全体でほぼ訓練されています。今週、Meta はコミュニティにとって大きな一歩を踏み出しました。彼らはちょうど同じくらい強力なモデルをリリースしたばかりで、それを完全にオープンソース化しました。それはどれほどクールですか？動画で詳しく...

ビデオを見る

参考文献

►記事全文を読む: https://www.louisbouchard.ai/opt-meta/
►張、スーザンら。 「OPT: 事前トレーニング済みの Transformer 言語モデルを開きます。」 https://arxiv.org/abs/2205.01068
►大規模な言語モデルに関する GPT-3 のビデオ:
►Meta の投稿: https://ai.facebook.com/blog/democratizing-access-to-large-scale-language-models-with-opt-175b/
►コード: https://github.com/facebookresearch/metaseq
►マイ ニュースレター (毎週メールで説明される新しい AI アプリケーション!): https://www.louisbouchard.ai/newsletter/
►Discord チャンネルに参加して、一緒に AI を学びましょう: https://discord.gg/learnaitogether

ビデオトランスクリプト

0:00

私たちは皆 gpt3 について聞いたことがあるでしょう。

0:02

そのいくつかの明確な考え

0:03

あなたが最も確実に見たことのある機能

0:06

厳密に生まれたいくつかのアプリケーション

0:08

このモデルのいくつかは、

0:10

前の動画 gpd3は開発モデルです

0:13

経由でアクセスできるopenaiによって

0:15

有料の API ですが、モデルにはアクセスできません

0:18

それ自体がgpt3を非常に強力にしている理由は両方です

0:21

そのアーキテクチャとサイズ

0:24

2 倍の 1,750 億のパラメータ

0:27

私たちの脳にあるニューロンのうち、これは

0:30

巨大なネットワークはかなり訓練されていました

0:32

方法を理解するためにインターネット全体で

0:34

私たちは交換を書き、テキストを理解します

0:37

今週、メタは大きな一歩を踏み出しました

0:39

コミュニティのために前進する

0:41

そのままのモデルをリリース

0:43

それ以上ではないにしても強力で、完全に持っています

0:46

オープンソース化できるなんて素晴らしい

0:48

gpt のようなモデルにアクセスできるようになり、

0:51

行かずに直接遊んでください

0:53

API と制限付きアクセス メタを介して

0:56

の略である最新のモデルを選ぶ

0:59

事前訓練された変圧器を開く

1:01

複数のサイズで利用可能

1:03

遊んだりするための事前に訓練された重み

1:05

研究活動のうちの1つが

1:07

gp23に匹敵し、最高のものを持っています

1:09

の結果は非常にクールなニュースです

1:12

フィールド、特に私たちのアカデミック

1:14

研究者はgpg3と同じようにこの新しい

1:17

モデルはユーザー入力からテキストを生成できます

1:19

ある日、さまざまなタスクで

1:22

週を要約することさえできます

1:24

明確なレポートであなたの仕事の価値

1:26

しかし、それまではまだ書く必要があります

1:28

少なくともあなたはいくつかを得ることができます

1:30

この報告プロセスを大幅に改善するのに役立ちます

1:33

次のような優れたツールを使用してより効率的に

1:35

このエピソードのスポンサーの重みとバイアス

1:38

重みとバイアスにより、簡単に

1:39

ですべての実験を追跡する

1:41

あなたに追加されたほんの一握りの行

1:44

コードですが、より具体的には、実際には

1:46

彼らがどのように創造を促進したかクール

1:48

見栄えの良いインタラクティブなレポートの

1:50

このようにあなたのチームをはっきりと示しています

1:53

または将来の実行行列

1:55

ハイパーパラメータとデータ構成

1:57

あなたやあなたのチームが持っていたメモと一緒に

2:00

その時点でレポートは簡単に作成できます

2:02

から生成された次のテンプレート

2:04

メトリックを実行し、追加するだけです

2:06

あなたのコメントは強力な機能です

2:08

に簡単なコメントを追加するか、

2:10

実験または洗練された分析の作成

2:12

あなたの作品をキャプチャして共有する作品

2:14

改善したい場合は必須です

2:16

プロのキャリアだから私はお勧めします

2:18

コミュニケーションを改善するツールを使用する

2:20

あなたのチームでは、重みとバイアスのように試してみてください

2:23

以下の最初のリンクで開始します

2:25

プロのように作品を共有する

2:29

opt またはより正確には opt-175b

2:33

gpt3に非常に似ているので、私は強く

2:36

私のビデオをよりよく見ることをお勧めします

2:37

言語モデルの大きさを理解する

2:40

仕事 gpd3 と opt は少なくともできません

2:42

メールを要約するか、すばやく書く

2:44

主題に基づくエッセイも可能

2:46

基本的な数学の問題を解く

2:49

質問など 主な違い

2:51

gpt3では、これが開いているということです

2:53

アクセスできることを意味するソース

2:56

そのコードと事前にトレーニングされたモデルでさえも

2:58

直接別の重要な人と遊ぶ

3:00

楽しい事実は、opt のトレーニングが次のように使用されることです。

3:03

gpt3として7番目のカーボンフットプリント

3:06

これは右の別のステップです

3:08

この新しいことがわかる方向

3:10

モデルは gpt3 に非常に似ていますが、オープンです

3:13

source を使用した言語モデル

3:15

動画で取り上げたトランスフォーマー

3:18

それが多くの人に訓練される前に

3:19

で言うことができるさまざまなデータセット

3:22

インターネット全体でテキストを処理し、

3:24

理解を深めるためにより多くのテキストを生成する

3:27

それらがどのように機能するか、もう一度参照します

3:29

gpt3をそのままカバーして作ったビデオ

3:31

ここで非常によく似たモデル

3:34

カバーしたかったのは、メタの努力です

3:36

にアクセス可能なこの種のモデル

3:38

みんなで力を合わせながら

3:40

その制限の偏見を共有し、

3:43

たとえば、彼らがその選択を見たリスク

3:45

繰り返して行き詰まる傾向がある

3:48

私たちにはめったに起こらないループ

3:50

そうしないと、誰もあなたに話しかけません

3:53

それは彼らもインターネットで訓練されました

3:55

opt には高い傾向があることがわかりました。

3:57

有毒な言葉を生成し、強化する

4:00

基本的に有害なステレオタイプ

4:02

私たちの一般的な行動を再現し、

4:04

それが事実上生み出すこともあるバイアス

4:07

誤った記述

4:08

人々に服用してもらいたい場合は望ましくありません

4:10

あなたは真剣にこれらの制限はいくつかあります

4:13

これらの最も重要な理由の

4:15

モデルがすぐに人間に取って代わることはない

4:17

重要な意思決定の仕事のために、または

4:20

商用でも安全に使用できます

4:22

私はあなたにそれらを読むように勧めます

4:24

の詳細な分析のための論文

4:26

モデルの能力と理解を深める

4:28

このモデルをより良くするための彼らの努力

4:30

環境にやさしく、安全に使用できます

4:33

彼らの詳細についても読むことができます

4:34

トレーニングプロセスと自分で試してみてください

4:36

公開されているコードですべて

4:39

リンクはそのような説明にあります

4:41

オープンソースへの貢献

4:43

モデルのドキュメントとコードが利用可能

4:45

研究にとって本当に重要です

4:47

科学を進歩させるコミュニティと私は

4:49

メタのような大企業がそうしてくれてうれしい

4:52

彼らのおかげで世界中の研究者が

4:54

世界が実験できるようになる

4:56

最先端の言語モデルを使用

4:58

小さいバージョンの代わりに私は興奮しています

5:00

今後のすべての進歩を確認するには

5:02

私はあなたが何を作成するか見てみたい

5:04

お気軽にコメントしてください

5:06

ビデオの下で、または私たちのコミュニティに参加してください

5:09

発見されず、プロジェクトを共有する

5:10

そこでは AI を一緒に学習し、

5:13

以下のリンクも見つけることができます

5:15

今週の動画はいかがでしたか

5:17

これをカバーする通常とは少し異なります

5:19

エキサイティングなニュースと不可欠な取り組み

5:21

公開されている研究を共有します

5:24

来週、別の素晴らしいものでお会いしましょう

5:26

紙