Được xây dựng trên Lance, một định dạng dữ liệu cột nguồn mở, LanceDB có một số tính năng thú vị khiến nó trở nên hấp dẫn đối với AI/ML. Ví dụ: LanceDB hỗ trợ vector hóa rõ ràng và tiềm ẩn với khả năng xử lý nhiều loại dữ liệu khác nhau. LanceDB được tích hợp với các khung ML hàng đầu như  Và  . Điều thú vị hơn nữa là tính năng tìm kiếm hàng xóm nhanh chóng của LanceDB, cho phép truy xuất hiệu quả các vectơ tương tự bằng cách sử dụng các thuật toán lân cận gần nhất gần đúng. Tất cả những điều này kết hợp để tạo ra một cơ sở dữ liệu vector nhanh, dễ sử dụng và nhẹ đến mức có thể triển khai ở bất cứ đâu.   PyTorch   Dòng chảy căng  LanceDB có khả năng truy vấn dữ liệu trong bộ lưu trữ đối tượng tương thích với S3. Sự kết hợp này là tối ưu để xây dựng các hệ thống truy xuất và lưu trữ dữ liệu ML gốc trên nền tảng đám mây, hiệu suất cao, có thể mở rộng và có thể mở rộng. MinIO mang lại hiệu suất và tính linh hoạt tuyệt vời trên nhiều phần cứng, vị trí và môi trường đám mây khác nhau cho phương trình, khiến nó trở thành lựa chọn tự nhiên cho các hoạt động triển khai như vậy.  Sau khi hoàn thành hướng dẫn này, bạn sẽ sẵn sàng sử dụng LanceDB và MinIO để giải quyết mọi thách thức về dữ liệu.  Lance là gì?  Các  định dạng tệp là định dạng dữ liệu cột được tối ưu hóa cho quy trình công việc và bộ dữ liệu ML. Nó được thiết kế để phiên bản, truy vấn và sử dụng cho đào tạo dễ dàng và nhanh chóng, đồng thời phù hợp với nhiều loại dữ liệu khác nhau, bao gồm hình ảnh, video, đám mây điểm 3D, âm thanh và dữ liệu dạng bảng. Ngoài ra, nó hỗ trợ truy cập ngẫu nhiên hiệu suất cao: với  nhanh hơn 100 lần so với Parquet trong truy vấn. Tốc độ của Lance một phần là kết quả của việc triển khai trong Rust và thiết kế dựa trên nền tảng đám mây của nó bao gồm các tính năng như tạo phiên bản không sao chép và hoạt động vectơ được tối ưu hóa.   cây thương Điểm chuẩn báo cáo của Lance  Một trong số đó  là khả năng thực hiện tìm kiếm vector, cho phép người dùng tìm thấy  trong vòng chưa đầy 1 mili giây và kết hợp các truy vấn OLAP với tìm kiếm vectơ. Các ứng dụng sản xuất khác cho định dạng lance bao gồm cơ sở dữ liệu vectơ có độ trễ thấp được triển khai ở biên cho các ứng dụng ML, lưu trữ, truy xuất và xử lý dữ liệu đa phương thức ở quy mô lớn trong các công ty xe tự lái và tìm kiếm được cá nhân hóa theo vectơ quy mô hàng tỷ trong điện tử. -các công ty thương mại. Một phần sức hấp dẫn của định dạng tệp Lance là khả năng tương thích với các công cụ và nền tảng phổ biến, chẳng hạn như Pandas,  , Cực, và  . Ngay cả khi không sử dụng LanceDB, bạn vẫn có thể tận dụng định dạng tệp Lance trong ngăn xếp dữ liệu của mình.   tính năng chính   hàng xóm gần nhất   DuckDB   Pyarrow  Được xây dựng cho AI và Machine Learning  Cơ sở dữ liệu vectơ như LanceDB mang lại những lợi thế khác biệt cho các ứng dụng AI và máy học nhờ tính hiệu quả của chúng.  và tính toán các kiến trúc cũng như truy xuất các biểu diễn dữ liệu bằng vectơ chiều cao. Dưới đây là một số trường hợp sử dụng chính:   lưu trữ tách rời   Xử lý ngôn ngữ tự nhiên (NLP):    Tìm tài liệu hoặc đoạn văn tương tự như truy vấn dựa trên ý nghĩa chứ không chỉ từ khóa. Điều này hỗ trợ phản hồi của chatbot, đề xuất nội dung được cá nhân hóa và hệ thống truy xuất kiến thức. Tìm kiếm ngữ nghĩa:    Hiểu và trả lời các câu hỏi phức tạp bằng cách tìm các đoạn văn bản có liên quan dựa trên sự tương đồng về ngữ nghĩa. Trả lời câu hỏi:    Khám phá các chủ đề tiềm ẩn trong bộ sưu tập văn bản lớn, hữu ích cho việc phân cụm tài liệu và phân tích xu hướng. Lập mô hình chủ đề:   Tầm nhìn máy tính:    Tìm kiếm hình ảnh hoặc video tương tự dựa trên nội dung trực quan, rất quan trọng cho việc truy xuất hình ảnh dựa trên nội dung, tìm kiếm sản phẩm và phân tích video. Truy xuất hình ảnh và video:    Cải thiện độ chính xác của các mô hình phát hiện và phân loại đối tượng bằng cách truy xuất hiệu quả dữ liệu đào tạo tương tự. Phát hiện và phân loại đối tượng:    : Đề xuất các video tương tự dựa trên nội dung trực quan của các video đã xem trước đó. Đề xuất video  Trong số rất nhiều cơ sở dữ liệu vectơ trên thị trường, LanceDB đặc biệt phù hợp với AI và học máy vì nó hỗ trợ truy vấn trên bộ lưu trữ tương thích với S3. Dữ liệu của bạn ở khắp mọi nơi, cơ sở dữ liệu của bạn cũng phải ở khắp mọi nơi.  Kiến trúc để thành công  Sử dụng MinIO với LanceDB mang lại một số lợi ích, bao gồm:  : Thiết kế dựa trên nền tảng đám mây của MinIO được xây dựng để lưu trữ và truy xuất theo quy mô và hiệu suất cao. Bằng cách tận dụng khả năng mở rộng và hiệu suất của MinIO, LanceDB có thể xử lý lượng lớn dữ liệu một cách hiệu quả, khiến dữ liệu này rất phù hợp với khối lượng công việc ML hiện đại.   Khả năng mở rộng và hiệu suất  : MinIO có tính sẵn sàng cao, không thể thay đổi và có độ bền cao. Điều này đảm bảo rằng dữ liệu được lưu trữ trong MinIO được bảo vệ khỏi các lỗi phần cứng, đồng thời mang lại tính sẵn sàng và khả năng chịu lỗi cao, điều này rất quan trọng đối với các ứng dụng sử dụng nhiều dữ liệu như LanceDB.   Tính sẵn sàng cao và khả năng chịu lỗi  : Sao chép chủ động, đa trang web cho phép sao chép dữ liệu gần như đồng bộ giữa nhiều lần triển khai MinIO. Quy trình mạnh mẽ này đảm bảo độ bền và khả năng dự phòng cao, khiến nó trở nên lý tưởng để bảo vệ dữ liệu trong các môi trường sản xuất quan trọng. Sao chép tích cực-tích cực  Sự kết hợp giữa MinIO và LanceDB cung cấp giải pháp gốc đám mây có thể mở rộng hiệu suất cao để quản lý và phân tích các bộ dữ liệu ML quy mô lớn.  Yêu cầu  Để làm theo hướng dẫn này, bạn sẽ cần sử dụng  . Bạn có thể cài đặt các tệp nhị phân Docker Engine và Docker Compose riêng biệt hoặc cùng nhau bằng Docker Desktop. Tùy chọn đơn giản nhất là cài đặt Docker Desktop.   Docker Soạn  Đảm bảo rằng Docker Compose được cài đặt bằng cách chạy lệnh sau:   docker compose version  Bạn cũng sẽ cần cài đặt Python. Bạn có thể tải xuống Python từ  . Trong quá trình cài đặt, hãy đảm bảo chọn tùy chọn thêm Python vào PATH của hệ thống của bạn.   đây  Tùy chọn, bạn có thể chọn tạo Môi trường ảo. Cách tốt nhất là tạo một môi trường ảo để tách biệt các phần phụ thuộc. Để làm như vậy, hãy mở một terminal và chạy:   python -m venv venv  Để kích hoạt môi trường ảo:  Trên Windows:   .\venv\Scripts\activate  Trên macOS/Linux:   source venv/bin/activate  Bắt đầu  Bắt đầu bằng cách nhân bản dự án từ  . Sau khi hoàn tất, hãy điều hướng đến thư mục nơi bạn đã tải xuống các tệp trong cửa sổ terminal và chạy:   đây   docker-compose up minio  Thao tác này sẽ khởi động vùng chứa MinIO. Bạn có thể điều hướng đến '  ' để xem bảng điều khiển MinIO.    http://172.20.0.2:9001  Đăng nhập bằng tên người dùng và mật khẩu   . minioadmin:minioadmin  Tiếp theo, chạy lệnh sau để tạo nhóm MinIO có tên   . lance     docker compose up mc  Lệnh này thực hiện một loạt  (mc) các lệnh trong shell.   Khách hàng MinIO  Dưới đây là bảng phân tích của từng lệnh:    ;: Lệnh này liên tục cố gắng định cấu hình máy chủ MinIO có tên   với các tham số được chỉ định (điểm cuối, khóa truy cập và khóa bí mật) cho đến khi thành công. Trong mỗi lần thử, nó sẽ lặp lại một tin nhắn đang chờ và tạm dừng trong 1 giây. cho đến khi (/usr/bin/mc config Host thêm minio http://minio:9000 minioadmin minioadmin) thực hiện echo '...waiting...' && sleep 1; done minio    Lệnh này loại bỏ (xóa) một cách mạnh mẽ tất cả nội dung trong nhóm   trong MinIO. /usr/bin/mc rm -r --force minio/lance;: lance    : Lệnh này tạo một nhóm mới có tên   trong MinIO. /usr/bin/mc mb minio/lance; lance    : Lệnh này đặt chính sách của nhóm   ở chế độ công khai, cho phép truy cập đọc công khai. /usr/bin/mc chính sách đặt minio/lance công khai; lance    : Lệnh này đảm bảo rằng tập lệnh thoát với mã trạng thái là 0, cho biết việc thực thi thành công. lối ra 0;  LanceDB  Thật không may, LanceDB không có hỗ trợ S3 gốc và do đó, bạn sẽ phải sử dụng thứ gì đó như boto3 để kết nối với vùng chứa MinIO mà bạn đã tạo. Khi LanceDB hoàn thiện, chúng tôi mong đợi sự hỗ trợ gốc của S3 sẽ giúp trải nghiệm người dùng tốt hơn.  Kịch bản mẫu dưới đây sẽ giúp bạn bắt đầu.  Cài đặt các gói cần thiết bằng pip. Tạo một tệp có tên require.txt với nội dung sau:   lancedb~=0.4.1 boto3~=1.34.9 botocore~=1.34.9  Sau đó chạy lệnh sau để cài đặt các gói:   pip install -r requirements.txt  Bạn sẽ cần thay đổi thông tin đăng nhập nếu phương pháp tạo vùng chứa MinIO của bạn khác với phương pháp được nêu ở trên.  Lưu tập lệnh bên dưới vào một tệp, ví dụ:   . lancedb_script.py   import lancedb import os import boto3 import botocore import random def generate_random_data(num_records): data = [] for _ in range(num_records): record = { "vector": [random.uniform(0, 10), random.uniform(0, 10)], "item": f"item_{random.randint(1, 100)}", "price": round(random.uniform(5, 100), 2) } data.append(record) return data def main(): # Set credentials and region as environment variables os.environ["AWS_ACCESS_KEY_ID"] = "minioadmin" os.environ["AWS_SECRET_ACCESS_KEY"] = "minioadmin" os.environ["AWS_ENDPOINT"] = "http://localhost:9000" os.environ["AWS_DEFAULT_REGION"] = "us-east-1" minio_bucket_name = "lance" # Create a boto3 session with path-style access session = boto3.Session() s3_client = session.client("s3", config=botocore.config.Config(s3={'addressing_style': 'path'})) # Connect to LanceDB using path-style URI and s3_client db_uri = f"s3://{minio_bucket_name}/" db = lancedb.connect(db_uri) # Create a table with more interesting data table = db.create_table("mytable", data=generate_random_data(100)) # Open the table and perform a search result = table.search([5, 5]).limit(5).to_pandas() print(result) if __name__ == "__main__": main()  Tập lệnh này sẽ tạo bảng Lance từ dữ liệu được tạo ngẫu nhiên và thêm nó vào nhóm MinIO của bạn. Xin nhắc lại, nếu bạn không sử dụng phương pháp trong phần trước để tạo vùng lưu trữ, bạn sẽ cần phải làm như vậy trước khi chạy tập lệnh. Hãy nhớ thay đổi tập lệnh mẫu ở trên để khớp với tên bạn đặt tên cho nhóm MinIO của mình.  Cuối cùng, tập lệnh sẽ mở bảng mà không di chuyển nó ra khỏi MinIO và sử dụng Pandas để thực hiện tìm kiếm và in kết quả.  Kết quả của tập lệnh sẽ trông giống như bên dưới. Hãy nhớ rằng dữ liệu được tạo ngẫu nhiên mỗi lần.  vector item price _distance 0 [5.1022754, 5.1069164] item_95 50.94 0.021891 1 [4.209107, 5.2760105] item_100 69.34 0.701694 2 [5.23562, 4.102992] item_96 99.86 0.860140 3 [5.7922664, 5.867489] item_47 56.25 1.380223 4 [4.458882, 3.934825] item_93 9.90 1.427407  Mở rộng theo cách riêng của bạn  Có nhiều cách để xây dựng trên nền tảng này được cung cấp trong hướng dẫn này nhằm tạo ra các kiến trúc ML/AI có hiệu suất, có thể mở rộng và phù hợp với tương lai. Bạn có hai khối xây dựng mã nguồn mở và tiên tiến trong kho vũ khí của mình – bộ lưu trữ đối tượng MinIO và cơ sở dữ liệu vectơ LanceDB – hãy coi đây là tấm vé chiến thắng của bạn tới ML/AI  .   giải đấu  Đừng dừng lại ở đây. LanceDB cung cấp một loạt các  và hướng dẫn để mở rộng những gì bạn đã xây dựng trong hướng dẫn này, bao gồm khóa học Udacity được công bố gần đây về  . Điều đặc biệt quan tâm là  công thức để trò chuyện với tài liệu của bạn. Tất cả chúng tôi đều mong muốn phá bỏ các rào cản để tận dụng tối đa dữ liệu của bạn.   công thức nấu ăn   Xây dựng các giải pháp AI sáng tạo với cơ sở dữ liệu vectơ   cái này  Vui lòng cho chúng tôi xem những gì bạn đang xây dựng và nếu bạn cần hướng dẫn cho nhiệm vụ cao cả của mình, đừng ngần ngại gửi email cho chúng tôi theo địa chỉ hello@minio.io hoặc tham gia bàn tròn của chúng tôi trên    . Chập chờn

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Developers do. Download MinIO and see for yourself. 

MinIO

Nghe bài viết này bằng Tiếng Anh, đọc bởi robot thông minh của HackerNoon

dài quá đọc không nổi

Get Free Unlimited IP Geo Data With IPinfo Lite

LanceDB: Chiến mã đáng tin cậy của bạn trong cuộc đấu tranh chống lại sự phức tạp của dữ liệu

About Author

BÌNH LUẬN

chuyên mục

BÀI VIẾT NÀY CŨNG CÓ MẶT TẠI

Related Stories

72 Stories To Learn About The Essays Of Adam Smith

147 Stories To Learn About Reading Books Online

189 Stories To Learn About Reading Books

72 Stories To Learn About The Essays Of Adam Smith

147 Stories To Learn About Reading Books Online

189 Stories To Learn About Reading Books

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps