Cách sử dụng Ollama: Thực hành với LLM địa phương và xây dựng Chatbot
từ tác giả Arjun 7m2024/03/14 dài quá đọc không nổi
Trong không gian LLM địa phương, lần đầu tiên tôi gặp LMStudio. Mặc dù bản thân ứng dụng này rất dễ sử dụng nhưng tôi thích sự đơn giản và khả năng cơ động mà Ollama mang lại. Để tìm hiểu thêm về Ollama bạn có thể vào đây.
tl;dr: Ollama lưu trữ danh sách mô hình được tuyển chọn riêng mà bạn có quyền truy cập.
Bạn có thể tải các mô hình này xuống máy cục bộ của mình, sau đó tương tác với các mô hình đó thông qua dấu nhắc dòng lệnh. Ngoài ra, khi bạn chạy mô hình, Ollama cũng chạy một máy chủ suy luận được lưu trữ tại cổng 11434 (theo mặc định) mà bạn có thể tương tác bằng API và các thư viện khác như Langchain.