Mẫu OPT mới của Meta là GPT-3 nguồn mở

Tất cả chúng ta đều đã nghe nói về GPT-3 và phần nào hiểu rõ về khả năng của nó. Chắc chắn bạn đã từng thấy một số ứng dụng được sinh ra hoàn toàn do mô hình này, một số ứng dụng trong số đó tôi đã trình bày trong về mô hình này. GPT-3 là một mô hình do OpenAI phát triển mà bạn có thể truy cập thông qua một API trả phí nhưng không có quyền truy cập vào chính mô hình đó.

Điều làm cho GPT-3 trở nên mạnh mẽ là cả kiến trúc và kích thước của nó. Nó có 175 tỷ thông số. Đó là gấp đôi số lượng tế bào thần kinh mà chúng ta có trong não!

Mạng lưới rộng lớn này đã được đào tạo khá nhiều trên toàn bộ internet để hiểu cách chúng ta viết, trao đổi và hiểu văn bản. Tuần này, Meta đã tạo ra một bước tiến lớn cho cộng đồng. Họ vừa phát hành một mô hình mạnh mẽ tương đương, nếu không muốn nói là hơn, và hoàn toàn có nguồn mở. Làm thế nào là thú vị? Tìm hiểu thêm trong video ...

Xem video

Người giới thiệu

►Đọc toàn bộ bài viết: https://www.louisbouchard.ai/opt-meta/
►Zhang, Susan và cộng sự. “OPT: Mở Mô hình Ngôn ngữ Máy biến áp được Đào tạo trước.” https://arxiv.org/abs/2205.01068
► Video GPT-3 của tôi dành cho các mô hình ngôn ngữ lớn:
►Meta bài đăng: https://ai.facebook.com/blog/democratizing-access-to-large-scale-language-models-with-opt-175b/
►Code: https://github.com/facebookresearch/metaseq
►Bản tin của tôi (Một ứng dụng AI mới được giải thích hàng tuần cho email của bạn!): Https://www.louisbouchard.ai/newsletter/
►Tham gia kênh Discord của chúng tôi, cùng nhau học hỏi trí tuệ nhân tạo: https://discord.gg/learnaitogether

Bản ghi video

0:00

tất cả chúng ta đã nghe nói về gpt3 và có

0:02

phần nào của một ý tưởng rõ ràng về nó

0:03

khả năng mà bạn chắc chắn đã thấy

0:06

một số ứng dụng được sinh ra do

0:08

mô hình này một số trong số đó tôi đã đề cập trong một

0:10

video trước đó gpd3 là một mô hình được phát triển

0:13

bằng openai mà bạn có thể truy cập thông qua

0:15

api trả phí nhưng không có quyền truy cập vào mô hình

0:18

chính điều gì đã làm cho gpt3 trở nên mạnh mẽ như vậy là cả hai

0:21

kiến trúc và kích thước của nó

0:24

175 tỷ thông số gấp đôi số lượng

0:27

tế bào thần kinh mà chúng ta có trong bộ não của chúng ta

0:30

mạng lưới rộng lớn đã được đào tạo khá nhiều

0:32

trên toàn bộ internet để hiểu cách

0:34

chúng tôi viết văn bản trao đổi và hiểu

0:37

tuần này meta đã có một bước tiến lớn

0:39

chuyển tiếp cho cộng đồng mà họ chỉ

0:41

phát hành một mô hình giống như

0:43

mạnh mẽ nếu không hơn và hoàn toàn có

0:46

mở nguồn nó tuyệt vời làm sao chúng ta có thể

0:48

bây giờ có quyền truy cập vào một mô hình giống như gpt và

0:51

chơi với nó trực tiếp mà không cần đi

0:53

thông qua một api và meta truy cập hạn chế

0:56

lựa chọn mô hình gần đây nhất, viết tắt của

0:59

mở máy biến áp được đào tạo trước là

1:01

có nhiều kích thước với

1:03

tạ được đào tạo trước để chơi với hoặc làm

1:05

bất kỳ công trình nghiên cứu nào một trong số đó là

1:07

có thể so sánh với gp23 và có tính năng tốt nhất

1:09

kết quả đó là tin tức tuyệt vời cho

1:12

lĩnh vực và đặc biệt là đối với chúng tôi học thuật

1:14

các nhà nghiên cứu nên chỉ thích gpg3 mới này

1:17

mô hình có thể tạo văn bản từ đầu vào của người dùng

1:19

trong nhiều nhiệm vụ khác nhau một ngày nó

1:22

thậm chí sẽ có thể tóm tắt các tuần

1:24

giá trị công việc cho bạn trong các báo cáo rõ ràng

1:26

nhưng cho đến lúc đó bạn vẫn cần viết

1:28

bản thân họ ít nhất bạn có thể nhận được một số

1:30

giúp thực hiện nhiều quy trình báo cáo này

1:33

hiệu quả hơn bằng cách sử dụng các công cụ tuyệt vời như

1:35

trọng lượng và thành kiến của nhà tài trợ tập này

1:38

trọng số và thành kiến cho phép bạn dễ dàng

1:39

theo dõi tất cả các thử nghiệm của bạn với

1:41

chỉ một số dòng được thêm vào

1:44

mã nhưng cụ thể hơn là nó thực sự

1:46

tuyệt vời như thế nào họ đã tạo điều kiện cho việc sáng tạo

1:48

báo cáo tương tác trông tuyệt vời

1:50

như thế này cho thấy rõ đội của bạn

1:53

hoặc trong tương lai chính ma trận chạy của bạn

1:55

siêu tham số và cấu hình dữ liệu

1:57

cùng với bất kỳ ghi chú nào bạn hoặc nhóm của bạn đã có

2:00

tại thời điểm các báo cáo được thực hiện dễ dàng

2:02

các mẫu sau được tạo từ

2:04

chạy các chỉ số và bạn chỉ cần thêm

2:06

nhận xét của bạn, đó là một tính năng mạnh mẽ để

2:08

thêm các nhận xét nhanh về một

2:10

thử nghiệm hoặc tạo phân tích đánh bóng

2:12

các mảnh ghi lại và chia sẻ công việc của bạn

2:14

là điều cần thiết nếu bạn muốn cải thiện

2:16

nhà cung cấp dịch vụ chuyên nghiệp vì vậy tôi khuyên bạn nên

2:18

sử dụng các công cụ cải thiện giao tiếp

2:20

trong nhóm của bạn như trọng lượng và thành kiến, hãy thử

2:23

nó với liên kết đầu tiên bên dưới và bắt đầu

2:25

chia sẻ công việc của bạn như một người chuyên nghiệp

2:29

opt hay chính xác hơn là opt-175b

2:33

rất giống với gpt3 nên tôi mạnh mẽ

2:36

khuyên bạn nên xem video của tôi để tốt hơn

2:37

hiểu các mô hình ngôn ngữ lớn như thế nào

2:40

làm việc gpd3 và opt ít nhất không được

2:42

tóm tắt email của bạn hoặc viết nhanh

2:44

bài luận dựa trên một chủ đề nó cũng có thể

2:46

giải quyết các vấn đề toán học cơ bản câu trả lời

2:49

câu hỏi và nhiều hơn nữa sự khác biệt chính

2:51

với gpt3 là cái này đang mở

2:53

nguồn có nghĩa là bạn có quyền truy cập vào

2:56

mã của nó và thậm chí các mô hình được đào tạo trước để

2:58

chơi trực tiếp với một người quan trọng khác

3:00

thực tế thú vị là đào tạo của opt được sử dụng như

3:03

Thứ 7 của lượng khí thải carbon dưới dạng gpt3

3:06

đó là một bước khác ở bên phải

3:08

hướng bạn có thể thấy rằng điều này mới

3:10

mô hình rất giống với gpt3 nhưng mở

3:13

nguồn để một mô hình ngôn ngữ sử dụng

3:15

máy biến áp mà tôi đã đề cập trong video

3:18

trước đó đã được đào tạo về nhiều

3:19

các tập dữ liệu khác nhau mà người ta có thể nói trên

3:22

toàn bộ internet để xử lý văn bản và

3:24

tạo thêm văn bản để hiểu rõ hơn

3:27

cách chúng hoạt động, tôi sẽ lại giới thiệu bạn với

3:29

video tôi đã thực hiện bao gồm gpt3 như chúng vốn có

3:31

những mô hình rất giống nhau ở đây những gì tôi thực sự

3:34

muốn bao phủ là nỗ lực của meta để thực hiện

3:36

loại mô hình này có thể truy cập được

3:38

mọi người trong khi nỗ lực rất nhiều

3:40

chia sẻ những thành kiến hạn chế của nó và

3:43

chẳng hạn như rủi ro họ thấy rằng lựa chọn

3:45

có xu hướng lặp đi lặp lại và bị mắc kẹt trong

3:48

một vòng lặp hiếm khi xảy ra với chúng tôi

3:50

nếu không sẽ không ai nói chuyện với bạn kể từ đó

3:53

nó đã được đào tạo trên internet họ cũng

3:55

nhận thấy rằng lựa chọn có xu hướng cao

3:57

tạo ra ngôn ngữ độc hại và củng cố

4:00

những định kiến có hại về cơ bản

4:02

tái tạo các hành vi chung của chúng ta và

4:04

thành kiến nó cũng có thể tạo ra trên thực tế

4:07

tuyên bố sai đó là

4:08

không mong muốn nếu bạn muốn mọi người lấy

4:10

bạn nghiêm túc những hạn chế này là một số

4:13

trong số những lý do quan trọng nhất này

4:15

mô hình sẽ không sớm thay thế con người

4:17

cho các công việc ra quyết định quan trọng hoặc

4:20

thậm chí được sử dụng một cách an toàn trong thương mại

4:22

sản phẩm tôi mời bạn đọc của họ

4:24

giấy để phân tích chuyên sâu của họ về

4:26

năng lực của mô hình và hiểu rõ hơn

4:28

nỗ lực của họ trong việc làm cho mô hình này nhiều hơn

4:30

thân thiện với môi trường và an toàn để sử dụng

4:33

bạn cũng có thể đọc thêm về họ

4:34

quá trình đào tạo và thử nó cho mình

4:36

với mã có sẵn công khai của họ, tất cả

4:39

các liên kết trong mô tả như vậy

4:41

đóng góp nguồn mở với mới

4:43

tài liệu mô hình và mã có sẵn

4:45

thực sự quan trọng đối với nghiên cứu

4:47

cộng đồng để tiến bộ khoa học và tôi là

4:49

rất vui khi một công ty lớn như meta làm được điều đó

4:52

nhờ họ các nhà nghiên cứu từ khắp nơi

4:54

thế giới sẽ có thể thử nghiệm

4:56

với các mô hình ngôn ngữ hiện đại

4:58

thay vì các phiên bản nhỏ hơn, tôi rất vui

5:00

để xem tất cả những tiến bộ sắp tới, nó

5:02

sẽ tạo ra và tôi muốn xem những gì bạn

5:04

những người làm với nó, cảm thấy tự do để bình luận

5:06

dưới video hoặc tham gia cộng đồng của chúng tôi

5:09

chưa được khám phá và chia sẻ các dự án của bạn

5:10

ở đó nó được gọi là học ai cùng nhau và

5:13

bạn cũng có thể tìm thấy một liên kết bên dưới, tôi hy vọng

5:15

bạn thích video của tuần này, đó là một

5:17

hơi khác so với thông thường bao gồm điều này

5:19

tin tức thú vị và những nỗ lực cần thiết để

5:21

chia sẻ nghiên cứu có sẵn công khai tôi sẽ

5:24

hẹn gặp lại bạn vào tuần sau với một điều tuyệt vời khác

5:26

giấy