Trong bài viết này, chúng ta sẽ hướng dẫn cách tạo một mô hình ngôn ngữ rất đơn giản bằng Ruby. Trong khi các Mô hình ngôn ngữ lớn (LLM) thực sự đòi hỏi lượng dữ liệu và tài nguyên tính toán khổng lồ, chúng ta có thể tạo một mô hình đồ chơi thể hiện nhiều khái niệm cốt lõi đằng sau mô hình ngôn ngữ. Trong ví dụ của chúng ta, chúng ta sẽ xây dựng một mô hình Chuỗi Markov cơ bản "học" từ văn bản đầu vào và sau đó tạo ra văn bản mới dựa trên các mẫu mà nó quan sát được.    Hướng dẫn này dành cho mục đích giáo dục và minh họa cách tiếp cận đơn giản hóa mô hình ngôn ngữ. Đây không phải là sự thay thế cho các LLM học sâu hiện đại như GPT-4 mà là phần giới thiệu về các ý tưởng cơ bản. Lưu ý:  Mục lục   Hiểu những điều cơ bản của mô hình ngôn ngữ   Thiết lập môi trường Ruby của bạn   Thu thập và xử lý dữ liệu   Xây dựng mô hình chuỗi Markov   Đào tạo mô hình   Tạo và kiểm tra văn bản   Phần kết luận  Hiểu những điều cơ bản của mô hình ngôn ngữ    là một hệ thống gán xác suất cho các chuỗi từ. Về bản chất, nó được thiết kế để nắm bắt cấu trúc thống kê của ngôn ngữ bằng cách tìm hiểu khả năng xảy ra của một chuỗi cụ thể trong một ngữ cảnh nhất định. Điều này có nghĩa là mô hình phân tích các khối văn bản lớn để hiểu cách các từ thường theo sau nhau, do đó cho phép nó dự đoán từ hoặc cụm từ nào có thể xuất hiện tiếp theo trong một chuỗi. Các khả năng như vậy không chỉ là trọng tâm của các tác vụ như tạo văn bản và tự động hoàn thành mà còn của nhiều ứng dụng xử lý ngôn ngữ tự nhiên (NLP), bao gồm dịch thuật, tóm tắt và phân tích tình cảm. Mô hình ngôn ngữ  Các mô hình ngôn ngữ quy mô lớn hiện đại (LLM) như GPT-4 sử dụng các kỹ thuật học sâu và các tập dữ liệu khổng lồ để nắm bắt các mô hình phức tạp trong ngôn ngữ. Chúng hoạt động bằng cách xử lý văn bản đầu vào thông qua nhiều lớp tế bào thần kinh nhân tạo, cho phép chúng hiểu và tạo ra văn bản giống con người với độ trôi chảy đáng kinh ngạc. Tuy nhiên, đằng sau các hệ thống tinh vi này là cùng một ý tưởng cơ bản: hiểu và dự đoán các chuỗi từ dựa trên xác suất đã học.  Một trong những phương pháp đơn giản nhất để mô hình hóa ngôn ngữ là thông qua   . Chuỗi Markov là một mô hình thống kê hoạt động dựa trên giả định rằng xác suất xuất hiện của một từ chỉ phụ thuộc vào một tập hợp giới hạn các từ trước đó, chứ không phải toàn bộ lịch sử của văn bản. Khái niệm này được gọi là thuộc tính Markov. Về mặt thực tế, mô hình giả định rằng từ tiếp theo trong một chuỗi có thể được dự đoán chỉ bằng cách xem xét từ(các từ) gần đây nhất — một sự đơn giản hóa giúp cho vấn đề dễ tính toán hơn trong khi vẫn nắm bắt được các mẫu hữu ích trong dữ liệu. Chuỗi Markov  Trong mô hình ngôn ngữ dựa trên chuỗi Markov:    Điều này có nghĩa là khi chúng ta biết một vài từ cuối cùng (được xác định bởi thứ tự của mô hình), chúng ta có đủ ngữ cảnh để dự đoán những gì có thể xảy ra tiếp theo. Toàn bộ lịch sử của cuộc trò chuyện hoặc văn bản không cần phải được xem xét, điều này làm giảm sự phức tạp. Trạng thái tương lai (từ tiếp theo) chỉ phụ thuộc vào trạng thái hiện tại (các từ trước đó):    Khi mô hình được đào tạo trên một tập hợp văn bản, nó sẽ học được khả năng xuất hiện của nhiều từ khác nhau theo một trình tự nhất định. Phân phối xác suất này sau đó được sử dụng trong giai đoạn tạo để chọn từ tiếp theo trong trình tự, thường sử dụng quy trình lấy mẫu ngẫu nhiên tôn trọng các xác suất đã học. Chúng tôi xây dựng một phân phối xác suất của từ nào xuất hiện tiếp theo dựa trên các từ trước đó:  Trong quá trình triển khai, chúng tôi sẽ sử dụng "thứ tự" có thể định cấu hình để xác định số lượng từ trước đó cần được xem xét khi đưa ra dự đoán. Thứ tự cao hơn cung cấp nhiều ngữ cảnh hơn, có khả năng tạo ra văn bản mạch lạc hơn và có liên quan đến ngữ cảnh hơn, vì mô hình có nhiều thông tin hơn về những gì đã xảy ra trước đó. Ngược lại, thứ tự thấp hơn tạo ra nhiều tính ngẫu nhiên hơn và có thể dẫn đến các chuỗi từ sáng tạo hơn, mặc dù ít có thể dự đoán được hơn. Sự đánh đổi giữa tính mạch lạc và tính sáng tạo này là một cân nhắc chính trong mô hình ngôn ngữ.  Bằng cách hiểu các nguyên tắc cơ bản này, chúng ta có thể đánh giá cao cả tính đơn giản của các mô hình Markov Chain và các ý tưởng nền tảng hỗ trợ các mô hình ngôn ngữ thần kinh phức tạp hơn. Quan điểm mở rộng này không chỉ giúp nắm bắt cơ chế thống kê đằng sau dự đoán ngôn ngữ mà còn đặt nền tảng cho việc thử nghiệm các kỹ thuật tiên tiến hơn trong xử lý ngôn ngữ tự nhiên.  Thiết lập môi trường Ruby của bạn  Trước khi bắt đầu, hãy đảm bảo bạn đã cài đặt Ruby trên hệ thống của mình. Bạn có thể kiểm tra phiên bản Ruby của mình bằng cách chạy:   ruby -v  Nếu Ruby chưa được cài đặt, bạn có thể tải xuống từ   . ruby-lang.org  Đối với dự án của chúng tôi, bạn có thể muốn tạo một thư mục và tệp chuyên dụng:   mkdir tiny_llm cd tiny_llm touch llm.rb  Bây giờ bạn đã sẵn sàng để viết mã Ruby.  Thu thập và xử lý dữ liệu  Thu thập dữ liệu đào tạo  Đối với mô hình ngôn ngữ, bạn cần một kho văn bản. Bạn có thể sử dụng bất kỳ tệp văn bản nào để đào tạo. Đối với ví dụ đơn giản của chúng tôi, bạn có thể sử dụng một mẫu văn bản nhỏ, ví dụ:   sample_text = <<~TEXT Once upon a time in a land far, far away, there was a small village. In this village, everyone knew each other, and tales of wonder were told by the elders. The wind whispered secrets through the trees and carried the scent of adventure. TEXT  Tiền xử lý dữ liệu  Trước khi đào tạo, việc xử lý trước văn bản sẽ rất hữu ích:    Chia văn bản thành các từ. Phân tách:    Tùy chọn chuyển đổi văn bản thành chữ thường, xóa dấu câu, v.v. Chuẩn hóa:  Theo mục đích của chúng tôi, phương thức   của Ruby hoạt động đủ tốt để phân tách dữ liệu. String#split  Xây dựng mô hình chuỗi Markov  Chúng ta sẽ tạo một lớp Ruby có tên là   để đóng gói hành vi của mô hình. Lớp này sẽ bao gồm: MarkovChain  Một bộ khởi tạo để thiết lập thứ tự (số lượng từ đứng trước) cho chuỗi.  Một phương pháp   xây dựng chuỗi từ văn bản đầu vào. train  Một phương pháp   ra văn bản mới bằng cách lấy mẫu từ chuỗi. generate  Dưới đây là mã hoàn chỉnh cho mô hình:   class MarkovChain def initialize(order = 2) @order = order # The chain is a hash that maps a sequence of words (key) to an array of possible next words. @chain = Hash.new { |hash, key| hash[key] = [] } end # Train the model using the provided text. def train(text) # Optionally normalize the text (eg, downcase) processed_text = text.downcase.strip words = processed_text.split # Iterate over the words using sliding window technique. words.each_cons(@order + 1) do |words_group| key = words_group[0...@order].join(" ") next_word = words_group.last @chain[key] << next_word end end # Generate new text using the Markov chain. def generate(max_words = 50, seed = nil) # Choose a random seed from the available keys if none is provided or if the seed is invalid. if seed.nil? || !@chain.key?(seed) seed = @chain.keys.sample end generated = seed.split while generated.size < max_words # Form the key from the last 'order' words. key = generated.last(@order).join(" ") possible_next_words = @chain[key] break if possible_next_words.nil? || possible_next_words.empty? # Randomly choose the next word from the possibilities. next_word = possible_next_words.sample generated << next_word end generated.join(" ") end end  Giải thích về Bộ luật  **Khởi tạo:**Hàm khởi   đặt thứ tự (mặc định là 2) và tạo một băm rỗng cho chuỗi của chúng ta. Băm được cung cấp một khối mặc định để mọi khóa mới bắt đầu như một mảng rỗng. initialize  **Huấn luyện mô hình:**Phương pháp   lấy một chuỗi văn bản, chuẩn hóa nó và chia thành các từ. Sử dụng   , nó tạo ra các nhóm từ liên tiếp có độ dài   . Các từ   đầu tiên đóng vai trò là khóa và từ cuối cùng được thêm vào mảng các phần tiếp theo có thể có cho khóa đó. train each_cons order + 1 order  **Tạo văn bản:**Phương pháp   bắt đầu bằng một khóa hạt giống. Nếu không có khóa nào được cung cấp, một khóa ngẫu nhiên sẽ được chọn. Sau đó, nó sẽ lặp lại việc xây dựng một chuỗi bằng cách tra cứu các từ   cuối cùng và lấy mẫu từ tiếp theo cho đến khi đạt đến số lượng từ tối đa. generate order  Đào tạo mô hình  Bây giờ chúng ta đã có lớp   , hãy đào tạo nó trên một số dữ liệu văn bản. MarkovChain   # Sample text data for training sample_text = <<~TEXT Once upon a time in a land far, far away, there was a small village. In this village, everyone knew each other, and tales of wonder were told by the elders. The wind whispered secrets through the trees and carried the scent of adventure. TEXT # Create a new MarkovChain instance with order 2 model = MarkovChain.new(2) model.train(sample_text) puts "Training complete!"  Khi bạn chạy đoạn mã trên (ví dụ, bằng cách lưu đoạn mã trong   và thực thi   ), mô hình sẽ được đào tạo bằng cách sử dụng văn bản mẫu được cung cấp. llm.rb ruby llm.rb  Tạo và kiểm tra văn bản  Sau khi mô hình được đào tạo, bạn có thể tạo văn bản mới. Hãy thêm một số mã để tạo và in một văn bản mẫu:   # Generate new text using the trained model. generated_text = model.generate(50) puts "Generated Text:" puts generated_text  Bạn cũng có thể thử cung cấp một hạt giống để tạo văn bản. Ví dụ, nếu bạn biết một trong các khóa trong mô hình (như   ), bạn có thể làm: "once upon"   seed = "once upon" generated_text_with_seed = model.generate(50, seed) puts "\nGenerated Text with seed '#{seed}':" puts generated_text_with_seed  Bằng cách thử nghiệm với các hạt giống và thông số khác nhau (như thứ tự và số lượng từ tối đa), bạn có thể thấy kết quả đầu ra thay đổi như thế nào.  Ví dụ đầy đủ: Đào tạo và kiểm tra một LLM nhỏ  Sau đây là tập lệnh Ruby hoàn chỉnh kết hợp tất cả các bước trên:   #!/usr/bin/env ruby # llm.rb # Define the MarkovChain class class MarkovChain def initialize(order = 2) @order = order @chain = Hash.new { |hash, key| hash[key] = [] } end def train(text) processed_text = text.downcase.strip words = processed_text.split words.each_cons(@order + 1) do |words_group| key = words_group[0...@order].join(" ") next_word = words_group.last @chain[key] << next_word end end def generate(max_words = 50, seed = nil) if seed.nil? || !@chain.key?(seed) seed = @chain.keys.sample end generated = seed.split while generated.size < max_words key = generated.last(@order).join(" ") possible_next_words = @chain[key] break if possible_next_words.nil? || possible_next_words.empty? next_word = possible_next_words.sample generated << next_word end generated.join(" ") end end # Sample text data for training sample_text = <<~TEXT Once upon a time in a land far, far away, there was a small village. In this village, everyone knew each other, and tales of wonder were told by the elders. The wind whispered secrets through the trees and carried the scent of adventure. TEXT # Create and train the model model = MarkovChain.new(2) model.train(sample_text) puts "Training complete!" # Generate text without a seed generated_text = model.generate(50) puts "\nGenerated Text:" puts generated_text # Generate text with a specific seed seed = "once upon" generated_text_with_seed = model.generate(50, seed) puts "\nGenerated Text with seed '#{seed}':" puts generated_text_with_seed  Chạy tập lệnh  Lưu tập lệnh dưới dạng  llm.rb  Mở terminal và điều hướng đến thư mục chứa  llm.rb  Chạy tập lệnh bằng cách sử dụng:   ruby llm.rb  Bạn sẽ thấy đầu ra cho biết mô hình đã được đào tạo và sau đó là hai ví dụ về văn bản được tạo.  Điểm chuẩn  Bảng sau đây tóm tắt một số số liệu chuẩn cho các phiên bản khác nhau của triển khai Tiny LLM của chúng tôi. Mỗi số liệu được giải thích bên dưới:    Tên hoặc mã định danh phiên bản của mô hình ngôn ngữ. Mô hình:    Số lượng từ trước được sử dụng trong Chuỗi Markov để dự đoán từ tiếp theo. Thứ tự cao hơn thường có nghĩa là sử dụng nhiều ngữ cảnh hơn, có khả năng tăng tính mạch lạc. Thứ tự:    Thời gian gần đúng để đào tạo mô hình trên dữ liệu văn bản được cung cấp, đo bằng mili giây. Thời gian đào tạo (ms):    Thời gian cần thiết để tạo ra một văn bản mẫu, được đo bằng mili giây. Thời gian tạo (ms):    Lượng bộ nhớ mà mô hình sử dụng trong quá trình đào tạo và tạo ra. Sử dụng bộ nhớ (MB):    Xếp hạng chủ quan (trên thang điểm 5) cho biết mức độ mạch lạc hoặc phù hợp về mặt ngữ cảnh của văn bản được tạo ra. Xếp hạng tính mạch lạc:  Dưới đây là bảng giảm giá với dữ liệu chuẩn:  Người mẫu  Đặt hàng  Thời gian đào tạo (ms)  Thời gian thế hệ (ms)  Sử dụng bộ nhớ (MB)  Xếp hạng tính mạch lạc  LLM nhỏ v1  2  50  10  10  3/5  LLM nhỏ v2  3  70  15  12  3,5/5  LLM nhỏ v3  4  100  20  15  4/5  Các điểm chuẩn này cung cấp tổng quan nhanh về sự đánh đổi giữa các cấu hình mô hình khác nhau. Khi thứ tự tăng lên, mô hình có xu hướng mất nhiều thời gian hơn một chút để đào tạo và tạo văn bản, và nó sử dụng nhiều bộ nhớ hơn. Tuy nhiên, những sự gia tăng về mức tiêu thụ tài nguyên này thường đi kèm với những cải tiến về tính mạch lạc của văn bản được tạo ra.  Phần kết luận  Trong hướng dẫn này, chúng tôi đã trình bày cách tạo một mô hình ngôn ngữ rất đơn giản bằng Ruby. Bằng cách tận dụng kỹ thuật Markov Chain, chúng tôi đã xây dựng một hệ thống:    bằng cách học cách chuyển tiếp từ. Luyện tập trên văn bản mẫu    dựa trên các mẫu đã học. Tạo văn bản mới  Mặc dù mô hình đồ chơi này khác xa so với LLM cấp sản xuất, nhưng nó đóng vai trò là bước đệm để hiểu cách các mô hình ngôn ngữ hoạt động ở cấp độ cơ bản. Bạn có thể mở rộng ý tưởng này bằng cách kết hợp các kỹ thuật tiên tiến hơn, xử lý dấu câu tốt hơn hoặc thậm chí tích hợp Ruby với các thư viện học máy để có các mô hình phức tạp hơn.  Chúc bạn viết mã vui vẻ!

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Read My Stories

Nghe bài viết này bằng Tiếng Anh, đọc bởi robot thông minh của HackerNoon

Cách xây dựng một mô hình ngôn ngữ nhỏ (TLM) trong Ruby: Hướng dẫn từng bước

About Author

BÌNH LUẬN

chuyên mục

BÀI VIẾT NÀY CŨNG CÓ MẶT TẠI

Related Stories

179 Stories To Learn About Reading

287 Stories To Learn About Blockchain Development

223 Stories To Learn About Science

179 Stories To Learn About Reading

287 Stories To Learn About Blockchain Development

223 Stories To Learn About Science

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps