Galactica là một Mô hình AI được đào tạo trên 120 tỷ tham số

Vào ngày 15 tháng 11, MetaAI và Papers with Code đã công bố phát hành Galactica, một mô hình ngôn ngữ lớn mã nguồn mở, thay đổi cuộc chơi được đào tạo dựa trên kiến thức khoa học với 120 tỷ tham số.

Như một trong những người bạn của tôi đã chia sẻ trên Twitter , người mẫu có thể viết báo cáo chính thức, đánh giá, trang Wikipedia và viết mã. Nó biết cách trích dẫn và cách viết phương trình. Đó là một vấn đề lớn đối với AI và khoa học.

Vào ngày 17 tháng 11, Galactica đã ngừng hoạt động.

Tại sao? Bởi vì, như với tất cả các mô hình học sâu, nó không hiểu nhiệm vụ hiện tại và trong nhiều trường hợp đã sai. Đây không phải là một vấn đề, đặc biệt nếu chúng tôi thêm một cảnh báo nói rằng mô hình có thể sai và đừng tin tưởng một cách mù quáng. Giống như không ai tin tưởng Wikipedia, chúng tôi không thể đặt nó làm tài liệu tham khảo trong các dự án của trường Trung học. Vấn đề là Galactica đã sai hoặc thiên vị nhưng nghe có vẻ đúng và có thẩm quyền .

Tuy nhiên, mô hình này vẫn có sẵn cho các nhà nghiên cứu và tôi tin rằng điều quan trọng là phải giữ cho nó có nguồn mở.

Như một người bạn khác của tôi đã chia sẻ, tất cả các kịch tính xung quanh mô hình mới có vẻ hơi thái quá. Tất nhiên, mô hình này không hoàn hảo, giống như tất cả các mô hình khác hiện có sẵn trực tuyến. Chúng tôi cần nó trực tuyến để kiểm tra những hạn chế của nó, làm việc với nó và cải thiện nó. Chúng ta nên xem những loại ấn phẩm này khi còn là sinh viên và chấp nhận những sai sót cũng như cải tiến mà không sợ bị đóng cửa hoặc hủy bỏ.

Dù sao, chúng tôi không ở đây để thảo luận về điều đó. Hy vọng, nó sẽ sớm trở lại trực tuyến .

Chúng tôi ở đây để xem Galactica là gì, hoặc đã là gì, và làm thế nào nó có thể đạt được các bài viết, bài đánh giá, mã, v.v.

Tìm hiểu thêm trong video

Người giới thiệu

►Đọc toàn bộ bài viết: https://www.louisbouchard.ai/galactica/
►Taylor và cộng sự, 2022: Galactica, https://galactica.org/
►Bản tin của tôi (Một ứng dụng AI mới được giải thích hàng tuần cho email của bạn!): https://www.louisbouchard.ai/newsletter/

Bản ghi video

0:00

vào ngày 15 tháng 11 Metairie và giấy tờ

0:03

với mã thông báo phát hành

0:04

galatica một mã nguồn mở thay đổi cuộc chơi

0:07

mô hình ngôn ngữ lớn được đào tạo trên

0:09

kiến thức khoa học với 120 tỷ

0:12

thông số như một trong những người bạn của tôi đã chia sẻ

0:14

trên Twitter người mẫu có thể viết màu trắng

0:16

giấy tờ đánh giá các trang và mã Wikipedia

0:19

nó biết cách trích dẫn và cách viết

0:22

phương trình nó thực sự là một loại lớn

0:24

thỏa thuận cho AI và khoa học vào ngày 17 tháng 11

0:28

Galactica đã ngừng hoạt động tại sao vì như

0:31

với tất cả các mô hình học sâu, nó không

0:34

hiểu nhiệm vụ trong tay và đã

0:36

sai trong nhiều trường hợp đây không phải là một

0:39

vấn đề đặc biệt nếu chúng tôi thêm một cảnh báo

0:41

nói rằng mô hình có thể sai và không

0:43

tin tưởng nó một cách mù quáng giống như không ai

0:45

Wikipedia đáng tin cậy, chúng tôi không thể đặt nó là

0:48

một tài liệu tham khảo trong các dự án trường trung học

0:50

vấn đề là Galactica đã sai và

0:52

thiên vị nhưng nghe có vẻ đúng và tử tế

0:55

mô hình vẫn có sẵn cho

0:57

các nhà nghiên cứu và tôi tin rằng nó quan trọng

0:59

để giữ bit mở nguồn như một cái khác

1:02

bạn bè của tôi đã chia sẻ tất cả các bộ phim xung quanh

1:04

mô hình mới này có vẻ là một chút quá mức của

1:06

tất nhiên mô hình không hoàn hảo giống như

1:08

tất cả những thứ khác hiện có sẵn

1:10

trực tuyến, chúng tôi cần trực tuyến để kiểm tra

1:13

những hạn chế làm việc trên nó và cải thiện nó, chúng tôi

1:16

nên xem những kiểu chế tạo này

1:18

với tư cách là học sinh và cho phép mắc lỗi và

1:21

cải tiến mà không sợ bị

1:22

dù sao thì chúng tôi cũng không đóng cửa hoặc hủy bỏ

1:26

ở đây để thảo luận rằng hy vọng nó sẽ

1:28

sớm trở lại trực tuyến, chúng tôi ở đây để xem

1:30

Galactica là gì và nó như thế nào

1:33

có thể đạt được đánh giá bài viết

1:35

toán mã và về cơ bản hơn là Galactica

1:39

là một mô hình ngôn ngữ lớn với kích thước

1:41

có thể so sánh với gpt3 nhưng chuyên về

1:44

kiến thức khoa học chính xác hơn nó

1:46

được đào tạo trên một quy mô lớn và được tuyển chọn

1:48

Khối tri thức khoa học bao gồm

1:50

hơn 48 triệu bài báo sách giáo khoa và

1:54

bài giảng ghi chú hàng triệu hợp chất và

1:56

các trang web khoa học về protein

1:58

bách khoa toàn thư và hơn thế nữa khi chúng làm nổi bật

2:00

dữ liệu có chất lượng cao và được đánh giá cao

2:03

giám tuyển đó là một trong những lớn

2:05

sự khác biệt với gpt3 Vì vậy, trên lý thuyết

2:08

Galactica chứa khá nhiều tất cả

2:10

Kiến thức khoa học của nhân loại tưởng tượng

2:12

có một trí nhớ tuyệt vời và thời gian để

2:15

đọc hàng triệu nghiên cứu ghi nhớ

2:18

hầu hết nó tốt đây là Galactica nó

2:21

có vẻ như trí nhớ của nó không tốt lắm

2:23

sau tất cả và nó trộn lẫn mọi thứ

2:25

mặc dù chúng ta có thể giả sử hầu hết thông tin

2:27

hiện diện trong tập dữ liệu huấn luyện là

2:29

chính xác ngay cả khi xem xét tất cả các thiết bị

2:31

và thất bại Galactica vẫn đẹp

2:34

mạnh mẽ và vượt trội hơn tất cả

2:36

các phương pháp khác liên quan đến khoa học

2:39

nhiệm vụ nó không đủ cho một sản phẩm

2:41

chúng ta có thể tin tưởng vào nó

2:44

đáng để hiểu nó hoạt động như thế nào

2:46

đặc biệt là vì nó sẽ quay trở lại

2:48

thậm chí còn mạnh mẽ hơn ngay khi chúng ta

2:51

đã đề cập Galactica là một ngôn ngữ lớn

2:53

mô hình tương tự như gpt3 hoặc Bloom

2:55

được đào tạo đặc biệt cho như họ nói

2:58

tổ chức khoa học cũng có rất nhiều

3:01

kỹ thuật đang diễn ra trong mô hình này

3:03

cho phép rất nhiều tính linh hoạt trong nó

3:05

đầu vào và đầu ra như đặc biệt

3:07

token hóa các trích dẫn hoặc protein

3:09

trình tự mà bạn có thể tìm hiểu thêm trong

3:11

giấy của họ được liên kết bên dưới

3:13

nỗ lực mã thông báo cho đến nay là

3:15

đóng góp lớn nhất của công việc này

3:17

tokensation về cơ bản có nghĩa là cách

3:20

mô hình sẽ thấy dữ liệu thay vì từ

3:23

toán học hoặc hình dạng mà chúng tôi hiểu tôi

3:26

thực sự chia sẻ video về cách nhúng và

3:28

mã thông báo vào cuối tuần này vì vậy nếu điều đó

3:30

nghe có vẻ thú vị hãy theo dõi điều đó

3:33

và đăng ký để không bỏ lỡ nó vì vậy hãy chấp nhận

3:35

mã thông báo kỳ lạ này và

3:37

các bước tiền xử lý Galactica là gì

3:39

và nó làm gì sau khi lấy

3:42

từ hoặc đầu vào khoa học khác nhau và

3:44

chuẩn bị nó cho mô hình làm

3:46

mã thông báo không có gì ngạc nhiên khi Galactica là

3:50

một máy biến áp khác dựa trên

3:52

kiến trúc như gpt3 với một vài

3:55

các biến thể bao gồm cả mã thông báo

3:57

sự khác biệt vì vậy tôi chắc chắn mời bạn

3:59

đến nhưng một trong nhiều video tôi hoặc một số

4:02

của những người bạn của tôi đã thực hiện bao gồm

4:04

Kiến trúc máy biến áp như tôi sẽ không nhận được

4:06

vào cách họ làm việc một lần nữa lần thứ hai

4:09

sự khác biệt lớn giữa Galactica và

4:11

các mô hình ngôn ngữ lớn khác là những gì họ

4:13

gọi lời nhắc đào tạo trước, điều này có nghĩa là

4:16

rằng chúng sẽ bao gồm các lời nhắc được trích xuất

4:18

từ tập dữ liệu huấn luyện cùng với

4:21

dữ liệu chính nó đã được hiển thị để

4:23

Tối đa hóa tính tổng quát của mô hình

4:25

đồng thời tăng hiệu suất trên một số tác vụ

4:28

quan tâm và đó là khá nhiều như

4:31

Tôi đã nói kiến trúc rất giống nhau

4:33

với những gì bạn đã biết và chủ yếu là

4:35

chương trình đào tạo và tiền xử lý khác nhau

4:37

điều đó cho thấy rằng mô hình không phải là

4:39

mọi thứ trừ cách chúng ta thuyết giảng thông qua

4:41

dữ liệu cho nó thậm chí có thể quan trọng

4:43

nhiều hơn về cơ bản bạn có thể thấy

4:45

sự khác biệt giữa gpt3 và Galactica như

4:48

cùng một sinh viên với một môn khoa học tồi

4:49

giáo viên so với một tốt nó có

4:52

khả năng và nguồn lực như nhau

4:55

giáo viên chỉ làm cho nó dễ tiếp cận hơn và

4:57

tất nhiên điều này có thể hiểu được đối với anh ấy

4:59

chỉ là một tổng quan của bài báo và tôi

5:02

thực sự khuyên bạn nên đọc nó có

5:04

tấn chi tiết về nhiều

5:06

thủ thuật kỹ thuật họ đã thực hiện

5:08

cùng với kết quả phân tích chi tiết về

5:11

tất cả các nhiệm vụ họ giải quyết bằng cách sử dụng

5:13

mô hình và cách nó hiểu đầu vào

5:15

dữ liệu và dự đoán của nó những hạn chế của nó

5:18

thành kiến và hơn thế nữa, tôi hy vọng bạn thích

5:21

video này và tôi sẽ gặp bạn vào tuần tới

5:23

với một bài báo tuyệt vời khác và một đặc biệt

video bao gồm nhúng là gì