Mô hình ngôn ngữ lớn (LLM) là một tập hợp con của   (AI) được thiết kế để hiểu và tạo ra ngôn ngữ tự nhiên. Các mô hình này được đào tạo trên một lượng lớn dữ liệu văn bản và sử dụng các thuật toán phức tạp để tìm hiểu các mẫu trong ngôn ngữ. LLM đã được sử dụng để phát triển một loạt ứng dụng, từ chatbot đến dịch vụ dịch thuật ngôn ngữ. Trong bài viết này, chúng tôi sẽ thảo luận về cách tạo LLM trên một máy tính và cung cấp các ví dụ về mã nguồn. trí tuệ nhân tạo   điều kiện tiên quyết  Trước khi chúng tôi bắt đầu, điều cần thiết là đảm bảo rằng máy tính của bạn đáp ứng các yêu cầu sau:  Một máy tính mạnh mẽ với ít nhất 16GB RAM và 1TB dung lượng lưu trữ miễn phí  GPU hiện đại, chẳng hạn như NVIDIA GeForce hoặc AMD Radeon, với ít nhất 8GB bộ nhớ video  Một hệ điều hành Linux, chẳng hạn như Ubuntu hoặc CentOS  Kiến thức cơ bản về giao diện dòng lệnh (CLI) và ngôn ngữ lập trình Python   Bước 1: Cài đặt Anaconda  Anaconda là một nền tảng mã nguồn mở phổ biến dành cho khoa học dữ liệu và học máy. Nó bao gồm nhiều công cụ và thư viện khác nhau mà chúng tôi sẽ sử dụng để tạo LLM. Để cài đặt Anaconda, hãy làm theo các bước sau:  Tải xuống trình cài đặt Anaconda từ trang web chính thức:  https://www.anaconda.com/products/individual  Mở terminal và điều hướng đến thư mục chứa trình cài đặt đã được tải xuống  Chạy trình cài đặt bằng cách gõ lệnh sau: bash Anaconda3–2021.11-Linux-x86_  64.sh  Làm theo hướng dẫn trên màn hình để hoàn tất cài đặt   Bước 2: Tạo môi trường Python  Chúng tôi sẽ tạo một môi trường Python để cài đặt các thư viện và phụ thuộc cần thiết cho LLM. Để tạo một môi trường, hãy làm theo các bước sau:  Mở terminal và gõ lệnh sau: conda create — name lm python=3.8  Kích hoạt môi trường bằng cách gõ: conda activate lm   Bước 3: Cài đặt TensorFlow  TensorFlow là một nền tảng mã nguồn mở để xây dựng và đào tạo các mô hình máy học. Chúng tôi sẽ sử dụng TensorFlow để tạo LLM. Để cài đặt TensorFlow, hãy làm theo các bước sau:  Nhập lệnh sau vào terminal: pip install tensorflow  Xác minh rằng TensorFlow đã được cài đặt bằng cách nhập nó vào Python: nhập tensorflow dưới dạng tf   Bước 4: Tải xuống LLM được đào tạo trước  Đào tạo LLM từ đầu đòi hỏi một lượng lớn sức mạnh tính toán và thời gian. May mắn thay, có sẵn các mô hình được đào tạo trước mà chúng ta có thể tinh chỉnh cho trường hợp sử dụng cụ thể của mình. Một trong những LLM được đào tạo trước phổ biến nhất là GPT-2 (Generative Pre-training Transformer 2). Để tải xuống mô hình GPT-2 được đào tạo trước, hãy làm theo các bước sau:  Mở terminal và gõ lệnh sau: git clone  https://github.com/openai/gpt-2.git  Điều hướng đến thư mục gpt-2 bằng cách gõ: cd gpt-2  Tải xuống mô hình được đào tạo trước bằng cách nhập: python download_   117M model.py   Bước 5: Tinh chỉnh LLM được đào tạo trước  Tinh chỉnh LLM được đào tạo trước liên quan đến việc đào tạo mô hình trên một tập dữ liệu cụ thể cho một nhiệm vụ cụ thể. Trong ví dụ của chúng tôi, chúng tôi sẽ tinh chỉnh mô hình GPT-2 được đào tạo trước trên tác vụ tạo văn bản. Để tinh chỉnh mô hình, hãy làm theo các bước sau:  Tạo một thư mục mới cho mô hình tinh chỉnh bằng cách gõ: mkdir my_model  Điều hướng đến thư mục my_model bằng cách gõ: cd my_model  Tạo một tệp Python mới bằng cách gõ: touch  train.py  Mở tệp   trong trình soạn thảo văn bản và dán đoạn mã sau: train.py               import tensorflow as tf import numpy as np import os import json import random import time import argparse   #Define the command-line arguments   parser = argparse.ArgumentParser()   parser.add_argument("--dataset_path", type=str, required=True, help="Path to the dataset") parser.add_argument("--model_path", type=str, required=True, help="Path to the pre-trained model") parser.add_argument("--output_path", type=str, required=True, help="Path to save the fine-tuned model")   parser.add_argument("--batch_size", type=int, default=16, help="Batch size for training") parser.add_argument("--epochs", type=int, default=1, help="Number of epochs to train for")   args = parser.parse_args()   #Load the pre-trained GPT-2 model   with open(os.path.join(args.model_path, "hparams.json"), "r") as f:   hparams = json.load(f)   model = tf.compat.v1.estimator.Estimator( model_fn=model_fn, model_dir=args.output_path, params=hparams, config=tf.compat.v1.estimator.RunConfig( save_checkpoints_steps=5000, keep_checkpoint_max=10, save_summary_steps=5000 ))   #Define the input function for the dataset   def input_fn(mode):   dataset = tf.data.TextLineDataset(args.dataset_path)   dataset = dataset.repeat()   dataset = dataset.shuffle(buffer_size=10000)   dataset = dataset.batch(args.batch_size)   dataset = dataset.map(lambda x: tf.strings.substr(x, 0, hparams["n_ctx"]))   iterator = dataset.make_one_shot_iterator()   return iterator.get_next()   #Define the training function     def train(): for epoch in range(args.epochs):   model.train(input_fn=lambda: input_fn(tf.estimator.ModeKeys.TRAIN)) print(f"Epoch {epoch+1} completed.")   #Start the training   train()  Trong mã ở trên, chúng tôi xác định các đối số dòng lệnh cho đường dẫn tập dữ liệu, đường dẫn mô hình được đào tạo trước, đường dẫn đầu ra, kích thước lô và số lượng kỷ nguyên để đào tạo. Sau đó, chúng tôi tải mô hình GPT-2 đã được đào tạo trước và xác định hàm đầu vào cho tập dữ liệu. Cuối cùng, chúng tôi xác định chức năng đào tạo và bắt đầu đào tạo.   Bước 6: Tạo văn bản bằng LLM tinh chỉnh  Sau khi LLM được tinh chỉnh, chúng ta có thể sử dụng nó để tạo văn bản. Để tạo văn bản, hãy làm theo các bước sau:  Mở terminal và điều hướng đến thư mục my_model bằng cách gõ: cd my_model  Tạo một tệp Python mới bằng cách gõ: touch  generate.py  Mở tệp   trong trình soạn thảo văn bản và dán đoạn mã sau: generate.py               import tensorflow as tf import numpy as np import os import json import random import time import argparse   #Define the command-line arguments   parser = argparse.ArgumentParser()   parser.add_argument("--model_path", type=str, required=True, help="Path to the fine-tuned model") parser.add_argument("--length", type=int, default=100, help="Length of the generated text") parser.add_argument("--temperature", type=float, default=0.7, help="Temperature for text generation")   args = parser.parse_args()   #Load the fine-tuned model   with open(os.path.join(args.model_path, "hparams.json"), "r") as f:   hparams = json.load(f)   model_fn = model_fn(hparams, tf.estimator.ModeKeys.PREDICT)   model = tf.compat.v1.estimator.Estimator( model_fn=model_fn, model_dir=args.model_path, params=hparams )   #Define the generation function   def generate_text(length, temperature):   start_token = "<|startoftext|>"   tokens = tokenizer.convert_tokens_to_ids([start_token])   token_length = len(tokens)   while token_length < length:   prediction_input = np.array(tokens[-hparams["n_ctx"]:])   output = list(model.predict(input_fn=lambda: [[prediction_input]]))[0]["logits"]   logits = output[-1] / temperature   logits = logits - np.max(logits)   probs = np.exp(logits) / np.sum(np.exp(logits))   token = np.random.choice(range(hparams["n_vocab"]), p=probs)   tokens.append(token)   token_length += 1   output_text = tokenizer.convert_ids_to_tokens(tokens)   output_text = "".join(output_text).replace("▁", " ")   output_text = output_text.replace(start_token, "")   return output_text   #Generate text   text = generate_text(args.length, args.temperature)   print(text)  Trong mã ở trên, chúng tôi xác định các đối số dòng lệnh cho đường dẫn mô hình tinh chỉnh, độ dài của văn bản được tạo và nhiệt độ để tạo văn bản. Sau đó, chúng tôi tải mô hình đã tinh chỉnh và xác định hàm tạo. Cuối cùng, chúng ta tạo văn bản bằng cách sử dụng hàm generate_text và in đầu ra, thế là xong!   Phần kết luận  Trong bài viết này, chúng ta đã học cách tạo Mô hình ngôn ngữ lớn (LLM) trên một máy tính bằng cách sử dụng TensorFlow và kiến trúc GPT-2. Chúng tôi đã bắt đầu bằng cách cài đặt TensorFlow và tải xuống mã GPT-2 từ kho lưu trữ OpenAI GitHub. Sau đó, chúng tôi đã đào tạo một mô hình GPT-2 trên tập dữ liệu và tinh chỉnh mô hình GPT-2 đã được đào tạo trước bằng cách sử dụng cùng một tập dữ liệu. Cuối cùng, chúng tôi đã tạo văn bản bằng LLM tinh chỉnh.  Bằng cách làm theo các bước trong bài viết này, bạn có thể tạo LLM của riêng mình và tạo văn bản cho các tác vụ khác nhau như dịch ngôn ngữ, chatbot và tạo nội dung.    Người giới thiệu  Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., & Sutskever, I. (2019). Các mô hình ngôn ngữ là những người học đa nhiệm không giám sát. OpenAI Blog, 1(8), 9.  mởAI. (2019). GPT-2: Mô hình ngôn ngữ là trình học đa nhiệm không giám sát. Github. Lấy từ   . https://github.com/openai/gpt-2  TenorFlow. (2021). TensorFlow: Khung máy học mã nguồn mở dành cho mọi người. Lấy từ   . https://www.tensorflow.org/  Brown, TB, Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., … & Amodei, D. (2020). Các mô hình ngôn ngữ là những người học vài lần. arXiv in sẵn arXiv:2005.14165.  Cũng được xuất bản ở đây.

The writer is smart, but don't just like, take their word for it. #DoYourOwnResearch before making any investment decisions or decisions regarding you health or security. (Do not regard any of this content as professional investment advice, or health advice)

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Hire Me to  Write Your Next Viral Article

Portfolio

Newsletter

Buy Me a Coffee

Support Me On Patreon

Independent Research Systems Engineer

Nghe bài viết này bằng Tiếng Anh, đọc bởi robot thông minh của HackerNoon

Cách lưu trữ một mô hình ngôn ngữ lớn cục bộ

About Author

BÌNH LUẬN

chuyên mục

BÀI VIẾT NÀY CŨNG CÓ MẶT TẠI

Related Stories

85 Stories To Learn About Productivity Hacks

147 Stories To Learn About Reading Books Online

179 Stories To Learn About Reading

128 Stories To Learn About Charles Dickens

85 Stories To Learn About Productivity Hacks

147 Stories To Learn About Reading Books Online

179 Stories To Learn About Reading

128 Stories To Learn About Charles Dickens

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps