في هذه المقالة، سنستعرض كيفية إنشاء نموذج لغوي بسيط للغاية باستخدام Ruby. في حين تتطلب نماذج اللغة الكبيرة الحقيقية كميات هائلة من البيانات والموارد الحسابية، يمكننا إنشاء نموذج بسيط يوضح العديد من المفاهيم الأساسية وراء نمذجة اللغة. في مثالنا، سنبني نموذجًا أساسيًا لسلسلة ماركوف "يتعلم" من النص المدخل ثم يولد نصًا جديدًا بناءً على الأنماط التي لاحظها.    هذا البرنامج التعليمي مخصص لأغراض تعليمية ويوضح نهجًا مبسطًا لنمذجة اللغة. إنه ليس بديلاً عن برامج التعلم العميق الحديثة مثل GPT-4، بل هو مقدمة للأفكار الأساسية. ملاحظة:  جدول المحتويات   فهم أساسيات نماذج اللغة   إعداد بيئة Ruby الخاصة بك   جمع البيانات ومعالجتها مسبقًا   بناء نموذج سلسلة ماركوف   تدريب النموذج   إنشاء النص واختباره   خاتمة  فهم أساسيات نماذج اللغة    هو نظام يعين احتمالات لتسلسلات من الكلمات. وفي جوهره، تم تصميمه لالتقاط البنية الإحصائية للغة من خلال تعلم احتمالية حدوث تسلسل معين في سياق معين. وهذا يعني أن النموذج يحلل أجزاء كبيرة من النص لفهم كيفية تتبع الكلمات بعضها البعض عادةً، مما يسمح له بالتنبؤ بالكلمة أو العبارة التي قد تأتي بعد ذلك في تسلسل. وتشكل هذه القدرات أهمية مركزية ليس فقط لمهام مثل إنشاء النص والإكمال التلقائي ولكن أيضًا لمجموعة متنوعة من تطبيقات معالجة اللغة الطبيعية (NLP)، بما في ذلك الترجمة والتلخيص وتحليل المشاعر. نموذج اللغة  تستخدم نماذج اللغة الحديثة واسعة النطاق (LLMs) مثل GPT-4 تقنيات التعلم العميق ومجموعات البيانات الضخمة لالتقاط الأنماط المعقدة في اللغة. تعمل هذه النماذج عن طريق معالجة النص المدخل من خلال طبقات عديدة من الخلايا العصبية الاصطناعية، مما يمكنها من فهم وتوليد نص يشبه النص البشري بطلاقة ملحوظة. ومع ذلك، تكمن وراء هذه الأنظمة المتطورة نفس الفكرة الأساسية: فهم وتوقع تسلسل الكلمات بناءً على الاحتمالات المكتسبة.  تعد   واحدة من أبسط الطرق لنمذجة اللغة. سلسلة ماركوف هي نموذج إحصائي يعمل على افتراض أن احتمالية ظهور كلمة ما تعتمد فقط على مجموعة محدودة من الكلمات السابقة، وليس على تاريخ النص بالكامل. يُعرف هذا المفهوم باسم خاصية ماركوف. من الناحية العملية، يفترض النموذج أنه يمكن التنبؤ بالكلمة التالية في التسلسل فقط من خلال النظر إلى الكلمة (الكلمات) الأحدث - وهو تبسيط يجعل المشكلة أكثر قابلية للحل حسابيًا مع الاستمرار في التقاط الأنماط المفيدة في البيانات. سلسلة ماركوف  في نموذج اللغة المبني على سلسلة ماركوف:    وهذا يعني أنه بمجرد أن نعرف الكلمات القليلة الأخيرة (التي يتم تحديدها من خلال ترتيب النموذج)، يكون لدينا سياق كافٍ للتنبؤ بما قد يأتي بعد ذلك. لا داعي للنظر في التاريخ الكامل للمحادثة أو النص، مما يقلل من التعقيد. تعتمد الحالة المستقبلية (الكلمة التالية) فقط على الحالة الحالية (الكلمات السابقة):    مع تدريب النموذج على مجموعة من النصوص، فإنه يتعلم احتمالية وجود كلمات مختلفة تتبع تسلسلًا معينًا. ثم يتم استخدام توزيع الاحتمالات هذا أثناء مرحلة التوليد لاختيار الكلمة التالية في التسلسل، عادةً باستخدام عملية أخذ عينات عشوائية تحترم الاحتمالات التي تم تعلمها. نقوم ببناء توزيع احتمالي للكلمة التالية بالنظر إلى الكلمة (الكلمات) السابقة:  في تنفيذنا، سنستخدم "ترتيبًا" قابلًا للتكوين لتحديد عدد الكلمات السابقة التي يجب أخذها في الاعتبار عند إجراء التنبؤات. يوفر الترتيب الأعلى سياقًا أكبر، مما قد يؤدي إلى نص أكثر تماسكًا وارتباطًا بالسياق، حيث يحتوي النموذج على مزيد من المعلومات حول ما حدث قبل ذلك. وعلى العكس من ذلك، يقدم الترتيب الأدنى المزيد من العشوائية ويمكن أن يؤدي إلى تسلسلات أكثر إبداعًا، وإن كانت أقل قابلية للتنبؤ، من الكلمات. هذا التوازن بين التماسك والإبداع هو اعتبار أساسي في نمذجة اللغة.  ومن خلال فهم هذه المبادئ الأساسية، يمكننا أن ندرك بساطة نماذج سلسلة ماركوف والأفكار الأساسية التي تدعم نماذج اللغة العصبية الأكثر تعقيدًا. ولا تساعد هذه الرؤية الموسعة في فهم الآليات الإحصائية وراء التنبؤ باللغة فحسب، بل إنها تضع الأساس أيضًا للتجريب باستخدام تقنيات أكثر تقدمًا في معالجة اللغة الطبيعية.  إعداد بيئة Ruby الخاصة بك  قبل البدء، تأكد من تثبيت Ruby على نظامك. يمكنك التحقق من إصدار Ruby لديك عن طريق تشغيل:   ruby -v  إذا لم يتم تثبيت Ruby، فيمكنك تنزيله من   . ruby-lang.org  بالنسبة لمشروعنا، قد ترغب في إنشاء دليل وملف مخصصين:   mkdir tiny_llm cd tiny_llm touch llm.rb  أنت الآن جاهز لكتابة كود Ruby الخاص بك.  جمع البيانات ومعالجتها مسبقًا  جمع بيانات التدريب  بالنسبة لنموذج اللغة، ستحتاج إلى مجموعة نصية. يمكنك استخدام أي ملف نصي للتدريب. بالنسبة لمثالنا البسيط، يمكنك استخدام عينة صغيرة من النص، على سبيل المثال:   sample_text = <<~TEXT Once upon a time in a land far, far away, there was a small village. In this village, everyone knew each other, and tales of wonder were told by the elders. The wind whispered secrets through the trees and carried the scent of adventure. TEXT  معالجة البيانات مسبقًا  قبل التدريب، من المفيد معالجة النص مسبقًا:    تقسيم النص إلى كلمات. التجزئة:    تحويل النص إلى أحرف صغيرة بشكل اختياري، وإزالة علامات الترقيم، وما إلى ذلك. التطبيع:  بالنسبة لأغراضنا، تعمل طريقة   الخاصة بـ Ruby بشكل جيد بما يكفي للتجزئة. String#split  بناء نموذج سلسلة ماركوف  سنقوم بإنشاء فئة Ruby تسمى   لتغليف سلوك النموذج. ستتضمن الفئة: MarkovChain  مُبدئ لتعيين الترتيب (عدد الكلمات السابقة) للسلسلة.  طريقة   التي تقوم ببناء السلسلة من النص المُدخل. train  طريقة   تقوم بإنتاج نص جديد عن طريق أخذ العينات من السلسلة. generate  فيما يلي الكود الكامل للنموذج:   class MarkovChain def initialize(order = 2) @order = order # The chain is a hash that maps a sequence of words (key) to an array of possible next words. @chain = Hash.new { |hash, key| hash[key] = [] } end # Train the model using the provided text. def train(text) # Optionally normalize the text (eg, downcase) processed_text = text.downcase.strip words = processed_text.split # Iterate over the words using sliding window technique. words.each_cons(@order + 1) do |words_group| key = words_group[0...@order].join(" ") next_word = words_group.last @chain[key] << next_word end end # Generate new text using the Markov chain. def generate(max_words = 50, seed = nil) # Choose a random seed from the available keys if none is provided or if the seed is invalid. if seed.nil? || !@chain.key?(seed) seed = @chain.keys.sample end generated = seed.split while generated.size < max_words # Form the key from the last 'order' words. key = generated.last(@order).join(" ") possible_next_words = @chain[key] break if possible_next_words.nil? || possible_next_words.empty? # Randomly choose the next word from the possibilities. next_word = possible_next_words.sample generated << next_word end generated.join(" ") end end  شرح القانون  **التهيئة:** يحدد المنشئ   الترتيب (الافتراضي هو 2) وينشئ تجزئة فارغة لسلسلتنا. يتم إعطاء التجزئة كتلة افتراضية بحيث يبدأ كل مفتاح جديد كمصفوفة فارغة. initialize  **تدريب النموذج:**تأخذ طريقة   سلسلة نصية، وتضبطها، وتقسمها إلى كلمات. باستخدام   ، يتم إنشاء مجموعات متتالية من الكلمات بطول   تعمل الكلمات   الأول كمفتاح، ويتم إلحاق الكلمة الأخيرة بمجموعة من الاستمراريات المحتملة لهذا المفتاح. train each_cons order + 1 order  **إنشاء نص:** تبدأ طريقة   بمفتاح أساسي. إذا لم يتم توفير أي مفتاح، يتم اختيار مفتاح عشوائي. ثم يتم إنشاء تسلسل بشكل متكرر من خلال البحث عن الكلمات الأخيرة   واختيار الكلمة التالية حتى يتم الوصول إلى الحد الأقصى لعدد الكلمات. generate order  تدريب النموذج  الآن بعد أن أصبح لدينا فئة   ، فلنبدأ بتدريبها على بعض بيانات النص. MarkovChain   # Sample text data for training sample_text = <<~TEXT Once upon a time in a land far, far away, there was a small village. In this village, everyone knew each other, and tales of wonder were told by the elders. The wind whispered secrets through the trees and carried the scent of adventure. TEXT # Create a new MarkovChain instance with order 2 model = MarkovChain.new(2) model.train(sample_text) puts "Training complete!"  عند تشغيل الكود أعلاه (على سبيل المثال، عن طريق حفظه في   وتنفيذ   )، سيتم تدريب النموذج باستخدام نص العينة المقدم. llm.rb ruby llm.rb  إنشاء النص واختباره  بمجرد تدريب النموذج، يمكنك إنشاء نص جديد. دعنا نضيف بعض التعليمات البرمجية لإنشاء نص نموذجي وطباعته:   # Generate new text using the trained model. generated_text = model.generate(50) puts "Generated Text:" puts generated_text  يمكنك أيضًا محاولة توفير بذرة لتوليد النص. على سبيل المثال، إذا كنت تعرف أحد المفاتيح في النموذج (مثل   )، فيمكنك القيام بما يلي: "once upon"   seed = "once upon" generated_text_with_seed = model.generate(50, seed) puts "\nGenerated Text with seed '#{seed}':" puts generated_text_with_seed  من خلال تجربة بذور ومعلمات مختلفة (مثل الترتيب والحد الأقصى لعدد الكلمات)، يمكنك رؤية كيفية اختلاف الناتج.  مثال كامل: تدريب واختبار برنامج ماجستير القانون الصغير  هذا هو البرنامج النصي Ruby الكامل الذي يجمع كل الخطوات المذكورة أعلاه:   #!/usr/bin/env ruby # llm.rb # Define the MarkovChain class class MarkovChain def initialize(order = 2) @order = order @chain = Hash.new { |hash, key| hash[key] = [] } end def train(text) processed_text = text.downcase.strip words = processed_text.split words.each_cons(@order + 1) do |words_group| key = words_group[0...@order].join(" ") next_word = words_group.last @chain[key] << next_word end end def generate(max_words = 50, seed = nil) if seed.nil? || !@chain.key?(seed) seed = @chain.keys.sample end generated = seed.split while generated.size < max_words key = generated.last(@order).join(" ") possible_next_words = @chain[key] break if possible_next_words.nil? || possible_next_words.empty? next_word = possible_next_words.sample generated << next_word end generated.join(" ") end end # Sample text data for training sample_text = <<~TEXT Once upon a time in a land far, far away, there was a small village. In this village, everyone knew each other, and tales of wonder were told by the elders. The wind whispered secrets through the trees and carried the scent of adventure. TEXT # Create and train the model model = MarkovChain.new(2) model.train(sample_text) puts "Training complete!" # Generate text without a seed generated_text = model.generate(50) puts "\nGenerated Text:" puts generated_text # Generate text with a specific seed seed = "once upon" generated_text_with_seed = model.generate(50, seed) puts "\nGenerated Text with seed '#{seed}':" puts generated_text_with_seed  تشغيل البرنامج النصي  احفظ البرنامج النصي باسم   . llm.rb  افتح المحطة الطرفية وانتقل إلى الدليل الذي يحتوي على  llm.rb  قم بتشغيل البرنامج النصي باستخدام:   ruby llm.rb  يجب أن ترى إخراجًا يشير إلى أن النموذج تم تدريبه ثم مثالين للنص الناتج.  معيار  يلخص الجدول التالي بعض مقاييس المقارنة لإصدارات مختلفة من تطبيقات Tiny LLM الخاصة بنا. يتم شرح كل مقياس أدناه:    اسم أو معرف إصدار نموذج اللغة. النموذج:    عدد الكلمات السابقة المستخدمة في سلسلة ماركوف للتنبؤ بالكلمة التالية. الترتيب الأعلى يعني عمومًا استخدام سياق أكبر، مما قد يؤدي إلى زيادة التماسك. الترتيب:    الوقت التقريبي المستغرق لتدريب النموذج على بيانات النص المقدمة، يقاس بالمللي ثانية. وقت التدريب (مللي ثانية):    الوقت المطلوب لإنشاء نص عينة، يقاس بالمللي ثانية. وقت التوليد (مللي ثانية):    مقدار الذاكرة التي يستهلكها النموذج أثناء التدريب والتوليد. استخدام الذاكرة (ميغابايت):    تقييم ذاتي (من 5) يشير إلى مدى تماسك النص الناتج أو ملاءمته للسياق. تقييم التماسك:  فيما يلي جدول التخفيض مع بيانات المعايير المرجعية:  نموذج  طلب  وقت التدريب (مللي ثانية)  زمن التوليد (مللي ثانية)  استخدام الذاكرة (ميغا بايت)  تقييم التماسك  برنامج LLM الصغير الإصدار 1  2  50  10  10  3/5  برنامج Tiny LLM v2  3  70  15  12  3.5/5  برنامج Tiny LLM v3  4  100  20  15  4/5  توفر هذه المعايير نظرة عامة سريعة على التنازلات بين تكوينات النماذج المختلفة. ومع زيادة الترتيب، يميل النموذج إلى استغراق وقت أطول قليلاً للتدريب وإنشاء النص، كما يستخدم المزيد من الذاكرة. ومع ذلك، غالبًا ما تكون هذه الزيادات في استهلاك الموارد مصحوبة بتحسينات في تماسك النص الناتج.  خاتمة  في هذا البرنامج التعليمي، أوضحنا كيفية إنشاء نموذج لغوي بسيط للغاية باستخدام Ruby. من خلال الاستفادة من تقنية سلسلة ماركوف، قمنا ببناء نظام:    من خلال تعلم انتقالات الكلمات. يتدرب على نص نموذجي    بناءً على الأنماط المكتسبة. إنشاء نص جديد  على الرغم من أن هذا النموذج التجريبي بعيد كل البعد عن مستوى الإنتاج في برامج الماجستير في القانون، إلا أنه بمثابة حجر الأساس لفهم كيفية عمل نماذج اللغة على المستوى الأساسي. يمكنك التوسع في هذه الفكرة من خلال دمج تقنيات أكثر تقدمًا، أو التعامل مع علامات الترقيم بشكل أفضل، أو حتى دمج Ruby مع مكتبات التعلم الآلي للحصول على نماذج أكثر تطورًا.  برمجة سعيدة!

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Read My Stories

تم إنتاج هذا الصوت باللغة الأصلية للقصة!

كيفية بناء نموذج لغة صغير (TLM) في Ruby: دليل خطوة بخطوة

About Author

تعليقات

شنق العلامات

تم تقديم هذه المقالة في

Related Stories

30 Top Blockchain Development Companies in 2019

Top 10 Software Consulting Company based on Clutch & Goodfirms Reviews

Best Mobile App Development Companies

30 Top Blockchain Development Companies in 2019

Top 10 Software Consulting Company based on Clutch & Goodfirms Reviews

Best Mobile App Development Companies

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps