3 công cụ chính để triển khai khối lượng công việc AI/ML trên Kubernetes

Mọi thứ di chuyển nhanh chóng trong thế giới công nghệ cơ sở hạ tầng. Cách đây không lâu, khi chạy cơ sở dữ liệu trên Kubernetes được coi là quá phức tạp để có giá trị. Nhưng đó là vấn đề của ngày hôm qua. Các nhà xây dựng ứng dụng gốc trên đám mây đã thành công trong việc chạy các khối lượng công việc có trạng thái vì Kubernetes là một cách mạnh mẽ để tạo các trung tâm dữ liệu ảo một cách nhanh chóng và hiệu quả.

Lần cuối cùng tôi viết về điều này, tôi đã mở rộng phạm vi một chút để xem xét các phần khác của ngăn xếp ứng dụng trong trung tâm dữ liệu ảo – cụ thể là phân tích và tải khối lượng công việc trực tuyến.

Với việc hai thứ này trở thành xu hướng chủ đạo trong Kubernetes, cuộc thảo luận về các trường hợp sử dụng trở nên thú vị hơn.

Chúng ta sẽ làm gì với những công cụ dữ liệu nền tảng này nếu chúng ta có quyền truy cập vào chúng? Rất may, chúng tôi không phải điều tra quá sâu, vì ngành đã chọn hướng đi: khối lượng công việc AI/ML .

Điều thúc đẩy điều này là nhu cầu về MLOps nhanh hơn và linh hoạt hơn để hỗ trợdự đoán trực tuyến , còn được gọi là trí tuệ nhân tạo (AI) thời gian thực. Các công ty như Uber và Netflix đã sớm chấp nhận, nhưng có rất nhiều dự án tuyệt vời giúp bạn tiến nhanh hơn với Kubernetes.

Tính năng Phục vụ với Lễ

Việc xây dựng và duy trì các mô hình học máy (ML) đang rời khỏi văn phòng hỗ trợ và đến gần hơn với người dùng trong quá trình sản xuất. Cửa hàng tính năng đóng vai trò là cầu nối giữa dữ liệu và mô hình máy học, cung cấp một cách nhất quán để các mô hình truy cập dữ liệu ở cả giai đoạn ngoại tuyến và trực tuyến. Nó quản lý các yêu cầu xử lý dữ liệu trong quá trình đào tạo mô hình và cung cấp khả năng truy cập thời gian thực với độ trễ thấp vào các mô hình trong giai đoạn trực tuyến. Điều này đảm bảo tính nhất quán của dữ liệu cho cả hai giai đoạn và đáp ứng các yêu cầu trực tuyến và ngoại tuyến.

Tiệc là một ví dụ về cửa hàng tính năng đang chạy trong Kubernetes. Đó là nguồn mở và cho phép các tổ chức lưu trữ và cung cấp các tính năng một cách nhất quán cho đào tạo ngoại tuyến và suy luận trực tuyến. Feast vượt xa cơ sở dữ liệu truyền thống bằng cách cung cấp các tính năng chuyên biệt như tính chính xác tại thời điểm.

Mô hình Phục vụ với KServe

kphục vụ là một điểm cuối API để triển khai các mô hình máy học trong Kubernetes, xử lý quá trình tìm nạp, tải mô hình và xác định xem cần có CPU hay GPU hay không. Nó tích hợp với sự kiện KNative để mở rộng quy mô và cung cấp các tính năng có thể quan sát được như số liệu và ghi nhật ký. Phần tốt nhất? Nó đơn giản để sử dụng. Chỉ cần trỏ KServe vào tệp mô hình của bạn và nó sẽ tạo API và xử lý phần còn lại.

Tính năng giải thích cung cấp thông tin chi tiết về lý do tại sao một quyết định được đưa ra cho từng dự đoán, đưa ra tầm quan trọng của tính năng và các yếu tố nổi bật trong mô hình dẫn đến một kết quả cụ thể. Điều này có thể được sử dụng để phát hiện độ lệch và độ lệch của mô hình, đây là một số phần “quan trọng nhưng khó” của máy học. Các tính năng này làm giảm nỗ lực liên quan đến MLOps và tạo niềm tin vào ứng dụng. KServe gần đây đã tách khỏi dự án Google KubeFlow và đã được nhấn mạnh của Bloomberg như một phần trong nỗ lực xây dựng nền tảng suy luận ML.

Vector tương tự tìm kiếm

Tăng cường các cách truyền thống mà chúng tôi tìm thấy dữ liệu, tìm kiếm tương tự véc tơ (VSS) là một công cụ máy học sử dụng toán học véc tơ để tìm xem hai vật "gần" với nhau như thế nào. Điều này được thực hiện thông qua K-hàng xóm gần nhất ( KNN ), thuật toán biểu thị dữ liệu dưới dạng vectơ. Sau đó, dữ liệu được vector hóa bằng thuật toán KNN sử dụng nhiều CPU và được lập chỉ mục để tìm kiếm ít sử dụng CPU hơn. Người dùng cuối có thể cung cấp một vectơ và tìm những thứ gần với nó bằng cơ chế truy vấn do máy chủ VSS cung cấp. Các máy chủ VSS nguồn mở mà bạn có thể triển khai trong Kubernetes bao gồm Weaviate và Milvus . Cả hai đều cung cấp mọi thứ bạn cần để thêm tìm kiếm tương tự vào ngăn xếp ứng dụng của bạn.

tập hợp đội

kết hợp của tôi bài báo trước với cái này và bạn có một công thức cho toàn bộ ngăn xếp được triển khai trong Kubernetes. Kết quả mà mọi tổ chức nên cố gắng đạt được là tăng năng suất và giảm chi phí. Gần đây khảo sát cho thấy rằng các nhà lãnh đạo trong không gian dữ liệu đang tìm kiếm cả hai khi triển khai cơ sở hạ tầng dữ liệu trong Kubernetes.

Khối lượng công việc AI/ML có thể là thứ bạn mới bắt đầu khám phá, vì vậy bây giờ có thể là thời điểm tốt nhất để bắt đầu bằng chân phải. Ba lĩnh vực được đề cập — phục vụ tính năng, phục vụ mô hình và tìm kiếm độ tương tự véc tơ — đều được đề cập trong cuốn sách mà tôi đồng tác giả với Jeff Carpenter, “ Quản lý dữ liệu gốc trên đám mây với Kubernetes .” Bức tranh lớn hơn về AI/ML trong ngăn xếp ứng dụng: Các yêu cầu thời gian thực sẽ sớm trở nên phổ biến trong hầu hết các ứng dụng AI. Sử dụng Kubernetes để phát triển nhanh và xây dựng một cách đáng tin cậy không còn là ảo giác về AI nữa.

Cũng được xuất bản ở đây.