LLM dành cho người mới bắt đầu - Hướng dẫn từng bước và Bảng thuật ngữ

Đây có phải là bạn 👆? Bạn đã không làm CompSci nên bây giờ bạn là gã hề của tòa án, cố gắng nhanh chóng mở rộng quy mô kiến thức trong __ ngành phát triển nhanh nhất __ thế giới từng thấy?

Hãy hít một hơi. Đây là một bài viết quay lại những vấn đề cơ bản, nơi bạn có thể hỏi “ một câu hỏi thực sự ngớ ngẩn” mà không cảm thấy bị phán xét.

Một bảng chú giải nhỏ về các thuật ngữ LLM dành cho những người đang học

Transformer — Hơn cả những gì vừa mắt…Một loại mô hình được sử dụng trong học máy, đặc biệt để xử lý các chuỗi dữ liệu như văn bản hoặc âm thanh. Nó có khả năng hiểu ngữ cảnh trong câu rất tốt và có thể được sử dụng để dịch ngôn ngữ, tóm tắt văn bản hoặc tạo phản hồi bằng chatbot.

Mô hình ngôn ngữ lớn (LLM) - Nó giống như một cơ sở dữ liệu khổng lồ về kiến thức ngôn ngữ có thể viết bài, trả lời câu hỏi hoặc tạo các cuộc đối thoại thực tế.

Transformer là một kỹ thuật được sử dụng trong AI để xử lý ngôn ngữ. LLM là một mô hình AI lớn cho các tác vụ ngôn ngữ, thường được xây dựng bằng kỹ thuật Transformer.

Giao diện - Một phần của hệ thống máy tính hoặc phần mềm cho phép người dùng tương tác với nó. Hãy coi nó như giao diện người dùng của một chương trình nơi bạn nhập câu hỏi hoặc lệnh của mình và chương trình sẽ phản hồi.

Suy luận - Trong AI, điều này có nghĩa là sử dụng một mô hình đã được đào tạo để đưa ra dự đoán hoặc quyết định. Ví dụ: sau khi đào tạo một mô hình để nhận biết mèo trong ảnh, suy luận là khi mô hình nhìn vào một bức tranh mới và quyết định xem có một con mèo trong đó hay không.🐈‍⬛

Học có giám sát - Một cách đào tạo máy móc trong đó bạn đưa ra các ví dụ mẫu kèm theo câu trả lời. Giống như cho một chương trình xem nhiều hình ảnh về mèo và nói với nó 'Đây là một con mèo' để nó biết mèo trông như thế nào.

Học không giám sát ( heeeyo) - Huấn luyện một cỗ máy mà không đưa ra câu trả lời cho nó. Mô hình xem xét dữ liệu và cố gắng tự tìm các mẫu hoặc nhóm. Ví dụ: nó có thể sắp xếp các loại nhạc khác nhau thành các thể loại mà không cần nói tên thể loại.

Học tăng cường - Dạy máy thông qua thử và sai. Máy đưa ra lựa chọn trong một tình huống và nhận phần thưởng hoặc hình phạt dựa trên việc lựa chọn của nó là tốt hay xấu, học hỏi theo thời gian để đưa ra quyết định tốt hơn ( hoặc trở nên bực bội và bí mật)

Mạng lưới thần kinh - Được thiết kế để hoạt động hơi giống bộ não con người. Nó bao gồm rất nhiều đơn vị nhỏ (như tế bào não) phối hợp với nhau để xử lý thông tin và giải quyết vấn đề.

Tạo LLM

Thu thập dữ liệu của bạn

Bắt đầu bằng cách thu thập nhiều loại dữ liệu văn bản. Điều này có thể bao gồm sách, bài viết trực tuyến hoặc dữ liệu từ cơ sở dữ liệu. Dữ liệu của bạn càng đa dạng thì LLM của bạn sẽ hiểu được các khía cạnh khác nhau của ngôn ngữ càng tốt.

Kaggle có dữ liệu tuyệt vời cho các dự án khoa học dữ liệu và ML. Hãy xem đại kiện tướng Kaggle và địa phương người Úc Jeremy Howard .

GitHub thường lưu trữ các tập dữ liệu do các nhà nghiên cứu và nhà phát triển xuất bản. Nơi tốt để tìm kiếm.

Đáng nói - Google Scholar về các bộ dữ liệu liên quan đến các bài báo + trang web chính phủ

Dữ liệu tiền xử lý

Bây giờ, hãy làm sạch dữ liệu này. Bước này liên quan đến việc sửa lỗi, loại bỏ những phần không hữu ích và sắp xếp chúng để AI của bạn có thể học hỏi từ chúng một cách hiệu quả.

Cân nhắc

Bạn sẽ xử lý các giá trị bị thiếu, khắc phục các vấn đề về định dạng, xử lý dữ liệu trùng lặp như thế nào?

Chọn một kiến trúc mô hình

Kiến trúc mô hình về cơ bản là thiết kế hoặc cấu trúc của mô hình, đóng vai trò là bản thiết kế chi tiết hướng dẫn cách AI xử lý thông tin.

Kiến trúc Transformer được thiết kế đặc biệt để xử lý dữ liệu tuần tự như văn bản, tập trung vào việc tìm hiểu ngữ cảnh bên trong dữ liệu và chúng ta sẽ tập trung vào điều đó cho ngày hôm nay.

Đào tạo người mẫu

Đưa dữ liệu đã chuẩn bị vào mô hình AI của bạn. Đây là nơi AI của bạn bắt đầu học sự phức tạp của ngôn ngữ. Việc đào tạo có thể tốn thời gian và tài nguyên, đặc biệt là với nhiều dữ liệu. (Đây là nơi tôi muốn đề cập đến những người bạn của mình tại Unsloth , podcast sắp ra mắt)

Kiểm tra và tinh chỉnh

Sau khóa đào tạo, hãy đánh giá xem AI của bạn hiểu và tạo ra ngôn ngữ tốt như thế nào. Tùy thuộc vào kết quả, bạn có thể cần điều chỉnh và đào tạo lại để nâng cao hiệu suất của nó.

Chạy LLM

Bây giờ, làm thế nào để bạn chạy con thú?

Thay vì xây dựng LLM từ đầu, bạn có thể sử dụng Ôm mặt để truy cập các mô hình đã được đào tạo về lượng dữ liệu khổng lồ. Bạn có thể chạy các mô hình này trên dịch vụ đám mây của họ hoặc tải chúng xuống để chạy cục bộ trên máy của bạn.

Bất kể lựa chọn của bạn là gì, điều quan trọng là phải có mô hình LLM được đào tạo và phương tiện để tương tác với nó, cho dù qua internet hay trực tiếp trên máy tính của bạn.

Đây là phần một trong loạt bài viết nhằm giảm bớt rào cản về hiểu biết và áp dụng AI nguồn mở.

Tôi viết và sản xuất podcast ở đây-

(không) học có giám sát

Các liên kết khác tại đây https://linktr.ee/Unsupervisedlearning

Cũng được xuất bản ở đây