Cách sử dụng Mô hình AI không bị kiểm duyệt và huấn luyện nó bằng dữ liệu của bạn

Thời mà ChatGPT là giải pháp duy nhất trong ngành AI đã qua lâu rồi. Những người chơi mới như LLaMA và Gemini, lần lượt được phát triển bởi Meta và Google, đã tham gia vào lĩnh vực này. Mặc dù có các công cụ và cách triển khai khác nhau nhưng chúng có một điểm chung: chúng là nguồn đóng (với một số ngoại lệ đối với LLaMA) và dưới sự kiểm soát của các công ty công nghệ lớn.

Bài viết này khám phá một đối thủ mới trong ngành AI, tự hào về một công cụ nguồn mở vượt trội hơn ChatGPT 3.5 và có thể chạy cục bộ. Chúng tôi cũng sẽ tìm hiểu cách sử dụng nó mà không bị kiểm duyệt và cách đào tạo nó bằng dữ liệu của riêng chúng tôi.

Giới thiệu Mistral 8x7B

Mistral là một công ty khởi nghiệp của Pháp, được thành lập bởi các nhà nghiên cứu trước đây của Meta và DeepMind. Tận dụng kiến thức và kinh nghiệm sâu rộng của mình, họ đã huy động thành công khoản đầu tư 415 triệu USD, nâng mức định giá của Mistral lên 2 tỷ USD.

Nhóm tại Mistral bắt đầu thu hút được sự chú ý khi họ thả một liên kết torrent trên X sang mẫu mới của họ, Mistral 8x7B. Theo giấy phép Apache 2.0, mô hình này không chỉ mạnh hơn LLaMA 2 và ChatGPT 3.5 mà còn hoàn toàn là nguồn mở.

Sức mạnh và khả năng của Mistral

• Xử lý bối cảnh 32k mã thông báo.

• Chức năng bằng tiếng Anh, tiếng Đức, tiếng Tây Ban Nha, tiếng Ý và tiếng Pháp.

• Thể hiện hiệu suất tuyệt vời khi tạo mã.

• Có thể chuyển đổi thành mô hình theo hướng dẫn.

Trong các thử nghiệm, Mistral đã thể hiện sức mạnh vượt trội, vượt qua LLaMA 2 70B trong phần lớn các điểm chuẩn và cũng ngang bằng hoặc vượt trội hơn ChatGPT 3.5 ở các điểm chuẩn khác.

Chạy Mistral tại địa phương

Vượt ra ngoài các số liệu và bảng biểu, hãy bắt đầu thực tế. Đầu tiên, chúng ta cần một công cụ giúp chạy cục bộ: Ollama . Người dùng MacOS có thể tải file tại đây . Đối với người dùng Linux hoặc WSL, hãy dán các lệnh sau vào thiết bị đầu cuối của bạn:

 curl https://ollama.ai/install.sh | sh

Sau đó, chúng tôi có thể chạy LLM cục bộ nhưng chúng tôi không chỉ hướng tới AI để trả lời các câu hỏi ngẫu nhiên - đó chính là mục đích của ChatGPT. Chúng tôi đang hướng tới một AI không bị kiểm duyệt mà chúng tôi có thể điều chỉnh và tinh chỉnh theo sở thích của mình.

Xem xét điều này, chúng tôi sẽ sử dụng cá heo-mistral, một phiên bản tùy chỉnh của Mistral giúp loại bỏ mọi ràng buộc. Để tìm hiểu thêm về cách cá heo-mistral loại bỏ những hạn chế này, hãy xem bài viết này từ người tạo ra nó.

Chạy lệnh sau trong thiết bị đầu cuối của bạn để bắt đầu chạy Ollama trên máy tính của bạn:

 ollama serve

Sau đó, trong một thiết bị đầu cuối khác, hãy chạy:

 ollama run dolphin-mistral:latest

Lần tải xuống đầu tiên có thể tốn thời gian vì nó yêu cầu tải xuống 26GB. Sau khi quá trình tải xuống hoàn tất, mistral sẽ đợi thông tin đầu vào của bạn.

Hãy nhớ rằng, chạy Dolphin-mistral yêu cầu tài nguyên hệ thống đáng kể, đặc biệt là RAM.

Đào tạo mô hình của riêng bạn

Bây giờ, bạn có thể đang thắc mắc về khả năng huấn luyện Mistral bằng dữ liệu của mình. Câu trả lời là có.

Bắt đầu bằng cách tạo tài khoản trên Ôm Mặt (nếu bạn chưa có), sau đó tạo một không gian mới.

Chọn Docker cho Autotrain

Từ đây, bạn có thể chọn mô hình, tải dữ liệu lên và bắt đầu đào tạo. Việc đào tạo mô hình trên máy tính ở nhà có thể gặp khó khăn do nhu cầu về phần cứng.

Các dịch vụ như Hugging Face cung cấp sức mạnh tính toán (có tính phí), nhưng bạn cũng có thể xem xét Amazon Bedrock hoặc Google Vertex AI để đẩy nhanh quá trình.