Mọi thứ di chuyển nhanh chóng trong thế giới công nghệ cơ sở hạ tầng. Cách đây không lâu, khi chạy cơ sở dữ liệu trên   được coi là quá phức tạp để có giá trị. Nhưng đó là vấn đề của ngày hôm qua. Các nhà xây dựng ứng dụng gốc trên đám mây đã thành công trong việc chạy các khối lượng công việc có trạng thái vì Kubernetes là một cách mạnh mẽ để tạo các trung tâm dữ liệu ảo một cách nhanh chóng và hiệu quả. Kubernetes  Lần cuối cùng tôi viết về điều này, tôi đã mở rộng phạm vi một chút để xem xét các phần khác của ngăn xếp ứng dụng trong trung tâm dữ liệu ảo – cụ thể là phân tích và tải khối lượng công việc trực tuyến.  Với việc hai thứ này trở thành xu hướng chủ đạo trong Kubernetes, cuộc thảo luận về các trường hợp sử dụng trở nên thú vị hơn.  Chúng ta sẽ làm gì với những công cụ dữ liệu nền tảng này nếu chúng ta có quyền truy cập vào chúng? Rất may, chúng tôi không phải điều tra quá sâu, vì ngành đã chọn hướng đi:   . khối lượng công việc AI/ML  Điều thúc đẩy điều này là nhu cầu về MLOps nhanh hơn và linh hoạt hơn để hỗ trợ  , còn được gọi là trí tuệ nhân tạo (AI) thời gian thực. Các công ty như   và   đã sớm chấp nhận, nhưng có rất nhiều dự án tuyệt vời giúp bạn tiến nhanh hơn với Kubernetes. dự đoán trực tuyến Uber Netflix  Tính năng Phục vụ với Lễ  Việc xây dựng và duy trì các mô hình học máy (ML) đang rời khỏi văn phòng hỗ trợ và đến gần hơn với người dùng trong quá trình sản xuất. Cửa hàng tính năng đóng vai trò là cầu nối giữa dữ liệu và mô hình máy học, cung cấp một cách nhất quán để các mô hình truy cập dữ liệu ở cả giai đoạn ngoại tuyến và trực tuyến. Nó quản lý các yêu cầu xử lý dữ liệu trong quá trình đào tạo mô hình và cung cấp khả năng truy cập thời gian thực với độ trễ thấp vào các mô hình trong giai đoạn trực tuyến. Điều này đảm bảo tính nhất quán của dữ liệu cho cả hai giai đoạn và đáp ứng các yêu cầu trực tuyến và ngoại tuyến.  là một ví dụ về cửa hàng tính năng đang chạy trong Kubernetes. Đó là nguồn mở và cho phép các tổ chức lưu trữ và cung cấp các tính năng một cách nhất quán cho đào tạo ngoại tuyến và suy luận trực tuyến. Feast vượt xa cơ sở dữ liệu truyền thống bằng cách cung cấp các tính năng chuyên biệt như tính chính xác tại thời điểm.   Tiệc  Mô hình Phục vụ với KServe  là một điểm cuối API để triển khai các mô hình máy học trong Kubernetes, xử lý quá trình tìm nạp, tải mô hình và xác định xem cần có CPU hay GPU hay không. Nó tích hợp với sự kiện   để mở rộng quy mô và cung cấp các tính năng có thể quan sát được như số liệu và ghi nhật ký. Phần tốt nhất? Nó đơn giản để sử dụng. Chỉ cần trỏ KServe vào tệp mô hình của bạn và nó sẽ tạo API và xử lý phần còn lại.   kphục vụ KNative  Tính năng giải thích cung cấp thông tin chi tiết về lý do tại sao một quyết định được đưa ra cho từng dự đoán, đưa ra tầm quan trọng của tính năng và các yếu tố nổi bật trong mô hình dẫn đến một kết quả cụ thể. Điều này có thể được sử dụng để phát hiện độ lệch và độ lệch của mô hình, đây là một số phần “quan trọng nhưng khó” của máy học. Các tính năng này làm giảm nỗ lực liên quan đến MLOps và tạo niềm tin vào ứng dụng. KServe gần đây đã tách khỏi dự án Google KubeFlow và đã được  của Bloomberg như một phần trong nỗ lực xây dựng nền tảng suy luận ML.   nhấn mạnh  Vector tương tự tìm kiếm  Tăng cường các cách truyền thống mà chúng tôi tìm thấy dữ liệu, tìm kiếm tương tự véc tơ (VSS) là một công cụ máy học sử dụng toán học véc tơ để tìm xem hai vật "gần" với nhau như thế nào. Điều này được thực hiện thông qua K-hàng xóm gần nhất (  ), thuật toán biểu thị dữ liệu dưới dạng vectơ. Sau đó, dữ liệu được vector hóa bằng thuật toán KNN sử dụng nhiều CPU và được lập chỉ mục để tìm kiếm ít sử dụng CPU hơn. Người dùng cuối có thể cung cấp một vectơ và tìm những thứ gần với nó bằng cơ chế truy vấn do máy chủ VSS cung cấp. Các máy chủ VSS nguồn mở mà bạn có thể triển khai trong Kubernetes bao gồm   và   . Cả hai đều cung cấp mọi thứ bạn cần để thêm tìm kiếm tương tự vào ngăn xếp ứng dụng của bạn.   KNN Weaviate Milvus  tập hợp đội  kết hợp của tôi  với cái này và bạn có một công thức cho toàn bộ ngăn xếp được triển khai trong Kubernetes. Kết quả mà mọi tổ chức nên cố gắng đạt được là tăng năng suất và giảm chi phí. Gần đây  cho thấy rằng các nhà lãnh đạo trong không gian dữ liệu đang tìm kiếm cả hai khi triển khai cơ sở hạ tầng dữ liệu trong Kubernetes.   bài báo trước   khảo sát  Khối lượng công việc   có thể là thứ bạn mới bắt đầu khám phá, vì vậy bây giờ có thể là thời điểm tốt nhất để bắt đầu bằng chân phải. Ba lĩnh vực được đề cập — phục vụ tính năng, phục vụ mô hình và tìm kiếm độ tương tự véc tơ — đều được đề cập trong cuốn sách mà tôi đồng tác giả với Jeff Carpenter, “  .” Bức tranh lớn hơn về AI/ML trong ngăn xếp ứng dụng: Các yêu cầu thời gian thực sẽ sớm trở nên phổ biến trong hầu hết các ứng dụng AI. Sử dụng Kubernetes để phát triển nhanh và xây dựng một cách đáng tin cậy không còn là ảo giác về AI nữa. AI/ML   Quản lý dữ liệu gốc trên đám mây với Kubernetes  Cũng được xuất bản  ở đây.

DataStax Astra DB is the vector database for getting GenAI apps into production, fast. Try it for free today!

DataStax

Nghe bài viết này bằng Tiếng Anh, đọc bởi robot thông minh của HackerNoon

3 công cụ chính để triển khai khối lượng công việc AI/ML trên Kubernetes

About Author

BÌNH LUẬN

chuyên mục

BÀI VIẾT NÀY CŨNG CÓ MẶT TẠI

Related Stories

128 Stories To Learn About Charles Dickens

147 Stories To Learn About Reading Books Online

85 Stories To Learn About Travel

128 Stories To Learn About Charles Dickens

147 Stories To Learn About Reading Books Online

85 Stories To Learn About Travel

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps