Đây có phải là bạn 👆? Bạn đã không làm CompSci nên bây giờ bạn là gã hề của tòa án, cố gắng nhanh chóng mở rộng quy mô kiến thức trong __ __ thế giới từng thấy? Hãy hít một hơi. Đây là một bài viết quay lại những vấn đề cơ bản, nơi bạn có thể hỏi “ mà không cảm thấy bị phán xét. ngành phát triển nhanh nhất một câu hỏi thực sự ngớ ngẩn” Một bảng chú giải nhỏ về các thuật ngữ LLM dành cho những người đang học — Hơn cả những gì vừa mắt…Một loại mô hình được sử dụng trong học máy, đặc biệt để xử lý các chuỗi dữ liệu như văn bản hoặc âm thanh. Nó có khả năng hiểu trong câu rất tốt và có thể được sử dụng để dịch ngôn ngữ, tóm tắt văn bản hoặc tạo phản hồi bằng chatbot. Transformer ngữ cảnh Nó giống như một cơ sở dữ liệu khổng lồ về kiến thức ngôn ngữ có thể viết bài, trả lời câu hỏi hoặc tạo các cuộc đối thoại thực tế. Mô hình ngôn ngữ lớn (LLM) - Transformer là một kỹ thuật được sử dụng trong AI để xử lý ngôn ngữ. LLM là một mô hình AI lớn cho các tác vụ ngôn ngữ, thường được xây dựng bằng kỹ thuật Transformer. - Một phần của hệ thống máy tính hoặc phần mềm cho phép người dùng tương tác với nó. Hãy coi nó như giao diện người dùng của một chương trình nơi bạn nhập câu hỏi hoặc lệnh của mình và chương trình sẽ phản hồi. Giao diện - Trong AI, điều này có nghĩa là sử dụng một mô hình đã được đào tạo để đưa ra dự đoán hoặc quyết định. Ví dụ: sau khi đào tạo một mô hình để nhận biết mèo trong ảnh, suy luận là khi mô hình nhìn vào một bức tranh mới và quyết định xem có một con mèo trong đó hay không.🐈⬛ Suy luận - Một cách đào tạo máy móc trong đó bạn đưa ra các ví dụ mẫu kèm theo câu trả lời. Giống như cho một chương trình xem nhiều hình ảnh về mèo và nói với nó 'Đây là một con mèo' để nó biết mèo trông như thế nào. Học có giám sát - Huấn luyện một cỗ máy mà không đưa ra câu trả lời cho nó. Mô hình xem xét dữ liệu và cố gắng tự tìm các mẫu hoặc nhóm. Ví dụ: nó có thể sắp xếp các loại nhạc khác nhau thành các thể loại mà không cần nói tên thể loại. ( Học không giám sát heeeyo) - Dạy máy thông qua thử và sai. Máy đưa ra lựa chọn trong một tình huống và nhận phần thưởng hoặc hình phạt dựa trên việc lựa chọn của nó là tốt hay xấu, học hỏi theo thời gian để đưa ra quyết định tốt hơn ( Học tăng cường hoặc trở nên bực bội và bí mật) - Được thiết kế để hoạt động hơi giống bộ não con người. Nó bao gồm rất nhiều đơn vị nhỏ (như tế bào não) phối hợp với nhau để xử lý thông tin và giải quyết vấn đề. Mạng lưới thần kinh Tạo LLM Thu thập dữ liệu của bạn Bắt đầu bằng cách thu thập nhiều loại dữ liệu văn bản. Điều này có thể bao gồm sách, bài viết trực tuyến hoặc dữ liệu từ cơ sở dữ liệu. Dữ liệu của bạn càng đa dạng thì LLM của bạn sẽ hiểu được các khía cạnh khác nhau của ngôn ngữ càng tốt. Kaggle có dữ liệu tuyệt vời cho các dự án khoa học dữ liệu và ML. Hãy xem . đại kiện tướng Kaggle và địa phương người Úc Jeremy Howard thường lưu trữ các tập dữ liệu do các nhà nghiên cứu và nhà phát triển xuất bản. Nơi tốt để tìm kiếm. GitHub Đáng nói - Google Scholar về các bộ dữ liệu liên quan đến các bài báo + trang web chính phủ Dữ liệu tiền xử lý Bây giờ, Bước này liên quan đến việc sửa lỗi, loại bỏ những phần không hữu ích và sắp xếp chúng để AI của bạn có thể học hỏi từ chúng một cách hiệu quả. hãy làm sạch dữ liệu này. Cân nhắc Bạn sẽ xử lý các giá trị bị thiếu, khắc phục các vấn đề về định dạng, xử lý dữ liệu trùng lặp như thế nào? Chọn một kiến trúc mô hình Kiến trúc mô hình về cơ bản là thiết kế hoặc cấu trúc của mô hình, đóng vai trò là bản thiết kế chi tiết hướng dẫn cách AI xử lý thông tin. Kiến trúc Transformer được thiết kế đặc biệt để xử lý dữ liệu tuần tự như văn bản, tập trung vào việc tìm hiểu ngữ cảnh bên trong dữ liệu và chúng ta sẽ tập trung vào điều đó cho ngày hôm nay. Đào tạo người mẫu Đưa dữ liệu đã chuẩn bị vào mô hình AI của bạn. Đây là nơi AI của bạn bắt đầu học sự phức tạp của ngôn ngữ. Việc đào tạo có thể tốn thời gian và tài nguyên, đặc biệt là với nhiều dữ liệu. (Đây là nơi tôi muốn đề cập đến những người bạn của mình tại , podcast sắp ra mắt) Unsloth Kiểm tra và tinh chỉnh Sau khóa đào tạo, hãy đánh giá xem AI của bạn hiểu và tạo ra ngôn ngữ tốt như thế nào. Tùy thuộc vào kết quả, bạn có thể cần điều chỉnh và đào tạo lại để nâng cao hiệu suất của nó. Chạy LLM Bây giờ, làm thế nào để bạn chạy con thú? Thay vì xây dựng LLM từ đầu, bạn có thể sử dụng để truy cập các mô hình đã được đào tạo về lượng dữ liệu khổng lồ. Bạn có thể chạy các mô hình này trên dịch vụ đám mây của họ hoặc tải chúng xuống để chạy cục bộ trên máy của bạn. Ôm mặt Bất kể lựa chọn của bạn là gì, điều quan trọng là phải có mô hình LLM được đào tạo cho dù qua internet hay trực tiếp trên máy tính của bạn. và phương tiện để tương tác với nó, Đây là phần một trong loạt bài viết nhằm giảm bớt rào cản về hiểu biết và áp dụng AI nguồn mở. Tôi viết và sản xuất podcast ở đây- (không) học có giám sát Các liên kết khác tại đây https://linktr.ee/Unsupervisedlearning Cũng được xuất bản ở đây
