Đi sâu vào LLaMA v2 cho các ứng dụng trò chuyện

Hãy nghĩ về sự phức tạp của việc tạo phản hồi giống con người trong các ứng dụng trò chuyện trực tuyến. Làm thế nào bạn có thể làm cho cơ sở hạ tầng hiệu quả và đáp ứng thực tế? Giải pháp là các mô hình ngôn ngữ AI. Trong hướng dẫn này, chúng ta đi sâu vào việc triển khai llama13b-v2-chat LLM mới của Meta của a16z-infra, một mô hình ngôn ngữ gồm 13 tỷ tham số được tinh chỉnh cụ thể cho các ứng dụng trò chuyện. Mô hình này được lưu trữ trên Replicate, một dịch vụ lưu trữ mô hình AI cho phép bạn tương tác với các mô hình phức tạp và mạnh mẽ chỉ bằng một vài dòng mã hoặc lệnh gọi API đơn giản.

Trong hướng dẫn này, chúng tôi sẽ đề cập đến nội dung của mô hình trò chuyện llama13b-v2, cách nghĩ về đầu vào và đầu ra của mô hình cũng như cách sử dụng mô hình này để tạo phần hoàn thành trò chuyện. Chúng tôi cũng sẽ hướng dẫn bạn cách tìm các mô hình tương tự để nâng cao các ứng dụng AI của bạn bằng cách sử dụng AIModels.fyi . Vì vậy, hãy lướt qua thuật ngữ AI và tìm hiểu cốt lõi.

Đăng ký hoặc theo dõi tôi trên Twitter để biết thêm nội dung như thế này!

Giới thiệu về mô hình trò chuyện LLaMA-v2

Mô hình trò chuyện LLaMA13b-v2 có sẵn trên Bản sao được tạo bởi nhóm a16z-infra và được xây dựng dựa trên mô hình LLaMA v2 mới của Meta. Meta đã tạo LLaMA với mục đích hiểu rõ hơn và tạo ra ngôn ngữ của con người, đồng thời mô hình trò chuyện mà chúng ta sẽ kiểm tra đã được tinh chỉnh thêm để cải thiện tương tác giữa người dùng là con người và các chatbot AI. Với con số khổng lồ 13 tỷ tham số, mô hình này đã được điều chỉnh đáng kể cho trường hợp sử dụng cụ thể này. Bạn có thể tìm thêm thông tin chi tiết về mô hình này và các mô hình khác bằng a16z-infra tại trang của người tạo trên AIModels.fyi .

Việc triển khai Sao chép mô hình llama13b-v2-chat sử dụng GPU Nvidia A100 (40GB) mạnh mẽ để dự đoán, với thời gian chạy trung bình là 7 giây cho mỗi dự đoán. Nó có giá chỉ 0,014 đô la mỗi lần chạy, khiến nó có thể truy cập rộng rãi cho các dự án hoặc công ty khởi nghiệp có ngân sách thấp hơn.

Hiểu Đầu vào và Đầu ra của Trò chuyện LLaMA v2

Hiểu những gì đi vào và đi ra khỏi một mô hình là chìa khóa để tận dụng các khả năng của nó một cách hiệu quả. Vì vậy, hãy làm quen với đầu vào và đầu ra cho mô hình.

đầu vào

Mô hình chấp nhận các đầu vào sau:

1. prompt (chuỗi): Dấu nhắc gửi tới Llama v2.

   
   

2. max_length (số nguyên): Số lượng mã thông báo tối đa để tạo. Hãy ghi nhớ, một từ thường là 2-3 mã thông báo. Giá trị mặc định là 500.

   
   

3. temperature (số): Điều chỉnh tính ngẫu nhiên của đầu ra. Lớn hơn 1 là ngẫu nhiên và 0 là xác định. Một giá trị khởi đầu tốt là 0,75.

   
   

4. top_p (số): Trong quá trình giải mã văn bản, nó lấy mẫu từ p phần trăm hàng đầu của các mã thông báo có khả năng nhất. Hạ thấp mức này để bỏ qua các mã thông báo ít có khả năng xảy ra hơn. Giá trị mặc định là 1.

   
   

5. repetition_penalty (số): Cung cấp hình phạt cho các từ lặp lại trong văn bản được tạo. 1 là không phạt. Các giá trị lớn hơn 1 không khuyến khích lặp lại, nhỏ hơn 1 khuyến khích lặp lại.

   
   

6. debug (boolean): Được sử dụng để cung cấp đầu ra gỡ lỗi trong nhật ký.

Lưu ý rằng những người tạo mô hình khuyên bạn nên tuân theo cấu trúc này khi tạo lời nhắc của mình:

 User: <your prompt goes here> Assistant:

Ví dụ...

 User: give me tips on things to do in Maine Assistant:

Đầu ra của mô hình

Mô hình tạo ra đầu ra sau:

1. Lược đồ JSON thô, lập danh mục cấu trúc đầu ra - một mảng các chuỗi sẽ được sử dụng để tính toán thêm hoặc giao diện người dùng. Đây là một ví dụ về lược đồ đầu ra:

 { "type": "array", "items": { "type": "string" }, "title": "Output", "x-cog-array-type": "iterator", "x-cog-array-display": "concatenate" }

Bây giờ, hãy chuyển sang chi tiết cơ bản về cách sử dụng mô hình này.

Sử dụng Trò chuyện LLaMA v2 để tạo các lần hoàn thành trò chuyện tự nhiên

Cho dù bạn là người mới bắt đầu học viết mã hay bạn là người có kinh nghiệm lâu năm, việc sử dụng mô hình trò chuyện llama13b-v2 để tạo các phần hoàn thành trò chuyện thực tế có thể khá thú vị.

Sử dụng liên kết demo này để tương tác với giao diện của mô hình và hiểu hoạt động của mô hình nếu bạn chỉ chơi xung quanh và muốn cảm nhận về cách thức hoạt động của mô hình. Khi bạn đã sẵn sàng triển khai nó vào dự án của mình, hãy làm theo các bước bên dưới.

Đầu tiên, bạn sẽ cần thiết lập môi trường của mình bằng cách cài đặt ứng dụng khách Node.js:

 npm install Replicate

Tiếp theo, xác thực mã thông báo API của bạn và đặt nó làm biến môi trường. Mã thông báo này là cá nhân và do đó phải được giữ bí mật:

 export REPLICATE_API_TOKEN=r8_******

Sau đó, bạn có thể chạy mô hình với đoạn mã sau:

 import Replicate from "replicate"; const replicate = new Replicate({ auth: process.env.REPLICATE_API_TOKEN, }); const output = await replicate.run( "a16z-infra/llama13b-v2-chat:df7690f1994d94e96ad9d568eac121aecf50684a0b0963b25a41cc40061269e5", { input: { prompt: "..." } } );

Bạn cũng có thể đặt webhook được gọi khi dự đoán của bạn hoàn tất. Điều này có thể hữu ích trong việc duy trì nhật ký hoặc thiết lập cảnh báo tự động.

 const prediction = await replicate.predictions.create({ version: "df7690f1994d94e96ad9d568eac121aecf50684a0b0963b25a41cc40061269e5", input: { prompt: "..." }, webhook: "https://example.com/your-webhook", webhook_events_filter: ["completed"] });

Để biết thêm chi tiết, bạn luôn có thể tham khảo tài liệu về Sao chép .

Tiến xa hơn: Tìm các mô hình chuyển văn bản thành văn bản khác với AIModels.fyi

Bạn muốn khám phá một số chatbot khác cho ứng dụng của mình? Việc tìm các mô hình tương tự với llama13b-v2-chat thật dễ dàng khi bạn đang sử dụng AIModels.fyi .

Dưới đây là hướng dẫn từng bước để giúp bạn tìm các mô hình AI khác đáp ứng nhu cầu cụ thể của bạn:

Bước 1: Truy cập AIModels.fyi

Truy cập AIModels.fyi để bắt đầu hành trình khám phá của bạn.

Bước 2: Sử dụng Thanh tìm kiếm

Nhập các cụm từ khóa như "chuyển văn bản thành văn bản", "mô hình ngôn ngữ", v.v. Công cụ tìm kiếm sẽ cung cấp danh sách các mô hình phù hợp với truy vấn của bạn.

Bước 3: Lọc kết quả

Bộ lọc để thu hẹp tìm kiếm của bạn có thể được tìm thấy trên trang kết quả tìm kiếm của bạn. Bạn có thể lọc và sắp xếp các mô hình theo loại, chi phí, mức độ phổ biến hoặc thậm chí theo người tạo cụ thể. Chẳng hạn, nếu bạn đang tìm kiếm một mô hình chuyển văn bản thành văn bản thân thiện với ngân sách, bạn có thể sắp xếp các mô hình theo giá để tìm tùy chọn rẻ nhất.

Phần kết luận

Trong hướng dẫn này, chúng tôi đã khám phá tiềm năng của LLaMA v2, một mô hình ngôn ngữ giàu tính năng, tiết kiệm chi phí. Đó là xương sống tiềm năng cho ứng dụng trò chuyện tiếp theo của bạn, hỗ trợ cuộc trò chuyện chân thực và có sắc thái. Giờ đây, bạn đã biết cách triển khai mô hình này, hiểu đầu vào/đầu ra của mô hình và tạo hiệu quả các lần hoàn thành cuộc trò chuyện có liên quan.

Bạn có thể thấy những hướng dẫn khác này hữu ích khi bạn tiếp tục xây dựng kiến thức của mình:

• Mô hình trò chuyện LangChain: Tổng quan
• Xây dựng Chatbot hỗ trợ khách hàng với LangChain và DeepInfra: Hướng dẫn từng bước

Bằng cách sử dụng trí tưởng tượng của bạn và kết nối nó với các công cụ AI này, bạn sẽ phóng mình vào vũ trụ trí tuệ nhân tạo rộng lớn, tạo ra các dự án mới và thú vị. Chúng tôi rất vui mừng được biết bạn sẽ đi đâu tiếp theo. Đừng quên đăng ký để có thêm hướng dẫn, cập nhật các mô hình AI mới và cải tiến, đồng thời nuôi dưỡng khả năng sáng tạo cho dự án AI tiếp theo của bạn. Cho đến lúc đó, chúc AI phiêu lưu vui vẻ và nhớ gửi lời chào trên twitter của tôi .

Đăng ký hoặc theo dõi tôi trên Twitter để biết thêm nội dung như thế này!