Mô hình ngôn ngữ lớn (LLM) là một tập hợp con của (AI) được thiết kế để hiểu và tạo ra ngôn ngữ tự nhiên. Các mô hình này được đào tạo trên một lượng lớn dữ liệu văn bản và sử dụng các thuật toán phức tạp để tìm hiểu các mẫu trong ngôn ngữ. LLM đã được sử dụng để phát triển một loạt ứng dụng, từ chatbot đến dịch vụ dịch thuật ngôn ngữ. Trong bài viết này, chúng tôi sẽ thảo luận về cách tạo LLM trên một máy tính và cung cấp các ví dụ về mã nguồn. trí tuệ nhân tạo điều kiện tiên quyết Trước khi chúng tôi bắt đầu, điều cần thiết là đảm bảo rằng máy tính của bạn đáp ứng các yêu cầu sau: Một máy tính mạnh mẽ với ít nhất 16GB RAM và 1TB dung lượng lưu trữ miễn phí GPU hiện đại, chẳng hạn như NVIDIA GeForce hoặc AMD Radeon, với ít nhất 8GB bộ nhớ video Một hệ điều hành Linux, chẳng hạn như Ubuntu hoặc CentOS Kiến thức cơ bản về giao diện dòng lệnh (CLI) và ngôn ngữ lập trình Python Bước 1: Cài đặt Anaconda Anaconda là một nền tảng mã nguồn mở phổ biến dành cho khoa học dữ liệu và học máy. Nó bao gồm nhiều công cụ và thư viện khác nhau mà chúng tôi sẽ sử dụng để tạo LLM. Để cài đặt Anaconda, hãy làm theo các bước sau: Tải xuống trình cài đặt Anaconda từ trang web chính thức: https://www.anaconda.com/products/individual Mở terminal và điều hướng đến thư mục chứa trình cài đặt đã được tải xuống Chạy trình cài đặt bằng cách gõ lệnh sau: bash Anaconda3–2021.11-Linux-x86_ 64.sh Làm theo hướng dẫn trên màn hình để hoàn tất cài đặt Bước 2: Tạo môi trường Python Chúng tôi sẽ tạo một môi trường Python để cài đặt các thư viện và phụ thuộc cần thiết cho LLM. Để tạo một môi trường, hãy làm theo các bước sau: Mở terminal và gõ lệnh sau: conda create — name lm python=3.8 Kích hoạt môi trường bằng cách gõ: conda activate lm Bước 3: Cài đặt TensorFlow TensorFlow là một nền tảng mã nguồn mở để xây dựng và đào tạo các mô hình máy học. Chúng tôi sẽ sử dụng TensorFlow để tạo LLM. Để cài đặt TensorFlow, hãy làm theo các bước sau: Nhập lệnh sau vào terminal: pip install tensorflow Xác minh rằng TensorFlow đã được cài đặt bằng cách nhập nó vào Python: nhập tensorflow dưới dạng tf Bước 4: Tải xuống LLM được đào tạo trước Đào tạo LLM từ đầu đòi hỏi một lượng lớn sức mạnh tính toán và thời gian. May mắn thay, có sẵn các mô hình được đào tạo trước mà chúng ta có thể tinh chỉnh cho trường hợp sử dụng cụ thể của mình. Một trong những LLM được đào tạo trước phổ biến nhất là GPT-2 (Generative Pre-training Transformer 2). Để tải xuống mô hình GPT-2 được đào tạo trước, hãy làm theo các bước sau: Mở terminal và gõ lệnh sau: git clone https://github.com/openai/gpt-2.git Điều hướng đến thư mục gpt-2 bằng cách gõ: cd gpt-2 Tải xuống mô hình được đào tạo trước bằng cách nhập: python download_ 117M model.py Bước 5: Tinh chỉnh LLM được đào tạo trước Tinh chỉnh LLM được đào tạo trước liên quan đến việc đào tạo mô hình trên một tập dữ liệu cụ thể cho một nhiệm vụ cụ thể. Trong ví dụ của chúng tôi, chúng tôi sẽ tinh chỉnh mô hình GPT-2 được đào tạo trước trên tác vụ tạo văn bản. Để tinh chỉnh mô hình, hãy làm theo các bước sau: Tạo một thư mục mới cho mô hình tinh chỉnh bằng cách gõ: mkdir my_model Điều hướng đến thư mục my_model bằng cách gõ: cd my_model Tạo một tệp Python mới bằng cách gõ: touch train.py Mở tệp trong trình soạn thảo văn bản và dán đoạn mã sau: train.py import tensorflow as tf import numpy as np import os import json import random import time import argparse #Define the command-line arguments parser = argparse.ArgumentParser() parser.add_argument("--dataset_path", type=str, required=True, help="Path to the dataset") parser.add_argument("--model_path", type=str, required=True, help="Path to the pre-trained model") parser.add_argument("--output_path", type=str, required=True, help="Path to save the fine-tuned model") parser.add_argument("--batch_size", type=int, default=16, help="Batch size for training") parser.add_argument("--epochs", type=int, default=1, help="Number of epochs to train for") args = parser.parse_args() #Load the pre-trained GPT-2 model with open(os.path.join(args.model_path, "hparams.json"), "r") as f: hparams = json.load(f) model = tf.compat.v1.estimator.Estimator( model_fn=model_fn, model_dir=args.output_path, params=hparams, config=tf.compat.v1.estimator.RunConfig( save_checkpoints_steps=5000, keep_checkpoint_max=10, save_summary_steps=5000 )) #Define the input function for the dataset def input_fn(mode): dataset = tf.data.TextLineDataset(args.dataset_path) dataset = dataset.repeat() dataset = dataset.shuffle(buffer_size=10000) dataset = dataset.batch(args.batch_size) dataset = dataset.map(lambda x: tf.strings.substr(x, 0, hparams["n_ctx"])) iterator = dataset.make_one_shot_iterator() return iterator.get_next() #Define the training function def train(): for epoch in range(args.epochs): model.train(input_fn=lambda: input_fn(tf.estimator.ModeKeys.TRAIN)) print(f"Epoch {epoch+1} completed.") #Start the training train() Trong mã ở trên, chúng tôi xác định các đối số dòng lệnh cho đường dẫn tập dữ liệu, đường dẫn mô hình được đào tạo trước, đường dẫn đầu ra, kích thước lô và số lượng kỷ nguyên để đào tạo. Sau đó, chúng tôi tải mô hình GPT-2 đã được đào tạo trước và xác định hàm đầu vào cho tập dữ liệu. Cuối cùng, chúng tôi xác định chức năng đào tạo và bắt đầu đào tạo. Bước 6: Tạo văn bản bằng LLM tinh chỉnh Sau khi LLM được tinh chỉnh, chúng ta có thể sử dụng nó để tạo văn bản. Để tạo văn bản, hãy làm theo các bước sau: Mở terminal và điều hướng đến thư mục my_model bằng cách gõ: cd my_model Tạo một tệp Python mới bằng cách gõ: touch generate.py Mở tệp trong trình soạn thảo văn bản và dán đoạn mã sau: generate.py import tensorflow as tf import numpy as np import os import json import random import time import argparse #Define the command-line arguments parser = argparse.ArgumentParser() parser.add_argument("--model_path", type=str, required=True, help="Path to the fine-tuned model") parser.add_argument("--length", type=int, default=100, help="Length of the generated text") parser.add_argument("--temperature", type=float, default=0.7, help="Temperature for text generation") args = parser.parse_args() #Load the fine-tuned model with open(os.path.join(args.model_path, "hparams.json"), "r") as f: hparams = json.load(f) model_fn = model_fn(hparams, tf.estimator.ModeKeys.PREDICT) model = tf.compat.v1.estimator.Estimator( model_fn=model_fn, model_dir=args.model_path, params=hparams ) #Define the generation function def generate_text(length, temperature): start_token = "<|startoftext|>" tokens = tokenizer.convert_tokens_to_ids([start_token]) token_length = len(tokens) while token_length < length: prediction_input = np.array(tokens[-hparams["n_ctx"]:]) output = list(model.predict(input_fn=lambda: [[prediction_input]]))[0]["logits"] logits = output[-1] / temperature logits = logits - np.max(logits) probs = np.exp(logits) / np.sum(np.exp(logits)) token = np.random.choice(range(hparams["n_vocab"]), p=probs) tokens.append(token) token_length += 1 output_text = tokenizer.convert_ids_to_tokens(tokens) output_text = "".join(output_text).replace("▁", " ") output_text = output_text.replace(start_token, "") return output_text #Generate text text = generate_text(args.length, args.temperature) print(text) Trong mã ở trên, chúng tôi xác định các đối số dòng lệnh cho đường dẫn mô hình tinh chỉnh, độ dài của văn bản được tạo và nhiệt độ để tạo văn bản. Sau đó, chúng tôi tải mô hình đã tinh chỉnh và xác định hàm tạo. Cuối cùng, chúng ta tạo văn bản bằng cách sử dụng hàm generate_text và in đầu ra, thế là xong! Phần kết luận Trong bài viết này, chúng ta đã học cách tạo Mô hình ngôn ngữ lớn (LLM) trên một máy tính bằng cách sử dụng TensorFlow và kiến trúc GPT-2. Chúng tôi đã bắt đầu bằng cách cài đặt TensorFlow và tải xuống mã GPT-2 từ kho lưu trữ OpenAI GitHub. Sau đó, chúng tôi đã đào tạo một mô hình GPT-2 trên tập dữ liệu và tinh chỉnh mô hình GPT-2 đã được đào tạo trước bằng cách sử dụng cùng một tập dữ liệu. Cuối cùng, chúng tôi đã tạo văn bản bằng LLM tinh chỉnh. Bằng cách làm theo các bước trong bài viết này, bạn có thể tạo LLM của riêng mình và tạo văn bản cho các tác vụ khác nhau như dịch ngôn ngữ, chatbot và tạo nội dung. Người giới thiệu Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., & Sutskever, I. (2019). Các mô hình ngôn ngữ là những người học đa nhiệm không giám sát. OpenAI Blog, 1(8), 9. mởAI. (2019). GPT-2: Mô hình ngôn ngữ là trình học đa nhiệm không giám sát. Github. Lấy từ . https://github.com/openai/gpt-2 TenorFlow. (2021). TensorFlow: Khung máy học mã nguồn mở dành cho mọi người. Lấy từ . https://www.tensorflow.org/ Brown, TB, Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., … & Amodei, D. (2020). Các mô hình ngôn ngữ là những người học vài lần. arXiv in sẵn arXiv:2005.14165. Cũng được xuất bản ở đây.

The writer is smart, but don't just like, take their word for it. #DoYourOwnResearch before making any investment decisions or decisions regarding you health or security. (Do not regard any of this content as professional investment advice, or health advice)

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Nghe bài viết này bằng Tiếng Anh, đọc bởi robot thông minh của HackerNoon

Cách lưu trữ một mô hình ngôn ngữ lớn cục bộ

dài quá đọc không nổi

Thomas Cherickal

STORY’S CREDIBILITY

DYOR

Code License

Guide

About Author

chuyên mục

Languages

BÀI VIẾT NÀY CŨNG CÓ MẶT TẠI...