Các mô hình học máy thường hoạt động tốt trong quá trình thử nghiệm. số liệu ngoại tuyến cải thiện, nguyên mẫu thể hiện tiềm năng, và xác nhận sớm xây dựng sự tự tin giữa các nhóm. Sự chuyển đổi sang sản xuất giới thiệu một loạt áp lực khác nhau. Công việc đào tạo thất bại liên tục. Các tính năng đến bên ngoài cửa sổ thời gian dự kiến. Dữ liệu lịch sử thay đổi mà không cần thông báo. Việc triển khai chậm khi các nhóm ngần ngại, không chắc chắn về hậu quả tiếp theo. Những gì hoạt động trong sự cô lập bắt đầu căng thẳng dưới thực tế hoạt động. Nguyên nhân hiếm khi là chính mô hình, đó là nền tảng dữ liệu hỗ trợ nó. Khi các hệ thống học máy trưởng thành, độ tin cậy phụ thuộc ít hơn vào việc lựa chọn thuật toán và nhiều hơn nữa vào việc nền tảng cơ bản có áp dụng khả năng tái tạo, độ tươi hạn chế và sự ổn định hoạt động hay không. Đây là nơi nhiều đội gặp phải một điểm đảo ngược. The Invisible Bottleneck trong Machine Learning Trong giai đoạn đầu của việc xây dựng các hệ thống dữ liệu, các nền tảng được thiết kế cho phân tích thường cảm thấy nhiều hơn là đủ. Chúng hỗ trợ bảng điều khiển, báo cáo và thử nghiệm với độ mài mòn tối thiểu. Sự chậm trễ có thể chịu đựng được, các thay đổi biểu đồ có thể được hấp thụ thông qua các bản cập nhật truy vấn, và các bản cập nhật lịch sử hiếm khi tạo ra sự gián đoạn đáng kể. Sự linh hoạt này hoạt động tốt cho phân tích. Nó trở thành một hạn chế khi các hệ thống học máy bắt đầu phụ thuộc vào cùng một nền tảng. Dòng công việc phân tích có thể chấp nhận các đầu vào bị trì hoãn vì các quyết định được xem xét lại. Các đường ống học máy, ngược lại, dựa vào các đảm bảo tính tươi mới được xác định rõ ràng để đảm bảo rằng đào tạo và kết luận phản ánh thực tế. Nhóm phân tích có thể sửa đổi các truy vấn khi các sơ đồ phát triển. Hệ thống học máy nhúng các sơ đồ và giả định đó trực tiếp vào logic tính năng và hành vi mô hình, làm cho những thay đổi im lặng trở nên có ý nghĩa hơn nhiều. Dòng công việc phân tích có thể chấp nhận các đầu vào bị trì hoãn vì các quyết định được xem xét lại. Các đường ống học máy, ngược lại, dựa vào các đảm bảo tính tươi mới được xác định rõ ràng để đảm bảo rằng đào tạo và kết luận phản ánh thực tế. Nhóm phân tích có thể sửa đổi các truy vấn khi các sơ đồ phát triển. Hệ thống học máy nhúng các sơ đồ và giả định đó trực tiếp vào logic tính năng và hành vi mô hình, làm cho những thay đổi im lặng trở nên có ý nghĩa hơn nhiều. Khi sự phụ thuộc vào ML tăng lên, những khác biệt này bắt đầu xuất hiện dưới dạng sự bất ổn thay vì bất tiện. Các con đường tiêu thụ xung đột tạo ra nhiều phiên bản của cùng một sự kiện. Cập nhật sơ đồ lan truyền mà không có đánh giá có cấu trúc. Các sửa đổi lịch sử sửa đổi dữ liệu đào tạo mà không có khả năng hiển thị rõ ràng. đường ống tính năng phụ thuộc vào các biến đổi không có giấy tờ mà không có nhóm nào tích cực duy trì. Tuy nhiên, khi khối lượng dữ liệu, kích thước nhóm và độ phức tạp của mô hình tăng lên, chúng trở thành rủi ro hoạt động. Tại thời điểm đó, hạn chế chính không còn là sự tinh vi của mô hình; đó là sự vắng mặt của các bảo đảm có thể thực thi trong suốt vòng đời dữ liệu. Hiểu cách mỗi lớp kiến trúc đóng góp cho những bảo đảm đó cung cấp một con đường rõ ràng hơn.1,2 Thiết kế kiến trúc dữ liệu có thể mở rộng, ML-Ready Các nền tảng đám mây cung cấp các khối xây dựng có thể mở rộng để lưu trữ, tính toán và tổ chức.Điều xác định độ tin cậy lâu dài không phải là truy cập vào các công cụ này, mà là cách chúng được tạo ra. Một nền tảng ML-ready hiệu quả phát triển qua bốn lớp kết nối: 
 
 
 
 
 Ăn uống Lưu trữ Chuyển đổi Observability và Governance Mỗi lớp giải quyết một lớp thất bại sản xuất cụ thể, và cùng nhau chúng tạo ra các điều kiện cần thiết cho các hệ thống ML đáng tin cậy. Tiêu thụ: Thiết lập quyền sở hữu và ngăn chặn sự phá vỡ im lặng Trong nhiều tổ chức, đường ống tiêu thụ ưu tiên tốc độ. sự kiện chảy vào các hệ thống tập trung với xác nhận hạn chế. Cách tiếp cận này tăng tốc thử nghiệm sớm và giảm độ mài mòn giữa các nhóm. Theo thời gian, chi phí của sự linh hoạt đó trở nên rõ ràng. Khi các nhà sản xuất sửa đổi các sơ đồ sự kiện mà không có đánh giá có cấu trúc, các đường ống tiếp theo thích ứng không thể đoán trước. hệ thống ML tăng cường sự không nhất quán bởi vì chúng dựa vào các định nghĩa tính năng ổn định. Việc giới thiệu các hợp đồng tiêu thụ chuyển trách nhiệm gần hơn với nguồn. Hợp đồng dữ liệu xác định cấu trúc sơ đồ, quyền sở hữu, quy tắc xác nhận và quy trình quản lý thay đổi. Trên các nền tảng đám mây, điều này thường liên quan đến các sổ đăng ký sơ đồ được quản lý, các dịch vụ lưu lượng truy cập và kiểm tra CI và CD tích hợp với các triển khai của nhà sản xuất. Bằng cách thực thi xác nhận ở ranh giới tiêu thụ, các tổ chức giảm chống hỏa hoạn và rút ngắn vòng phản hồi. Lưu trữ: Bảo tồn tính chính xác lịch sử cho khả năng tái tạo Một khi tiêu thụ thiết lập trách nhiệm, lưu trữ xác định xem các hệ thống có thể tái tạo được hay không. Dòng công việc học máy phụ thuộc vào quyền truy cập vào trạng thái lịch sử để đào tạo lại, phân tích nguyên nhân gốc và so sánh mô hình trên các bản phát hành. Mô hình lưu trữ dựa trên overwrite làm tổn hại đến khả năng hiển thị đó, đặc biệt là khi sửa lỗi lịch sử được thực hiện mà không cần theo dõi phiên bản. Kiến trúc lưu trữ đám mây hiện đại giải quyết điều này thông qua lưu trữ đối tượng kết hợp với các định dạng bảng hỗ trợ cách ly snapshot và tiến hóa sơ đồ. Các nhóm thường thực hiện điều này bằng cách sử dụng lưu trữ đối tượng bền với các định dạng như Iceberg hoặc Hudi cho phép du lịch thời gian và đọc phiên bản. Khi tính chính xác lịch sử được bảo tồn, hành vi mô hình trở nên có thể giải thích thay vì suy đoán. Transformation: Ensuring Deterministic Feature Behavior (Thay đổi: Đảm bảo hành vi đặc điểm xác định) Ngay cả với các lớp hấp thụ và lưu trữ mạnh mẽ, sự bất ổn có thể xuất hiện trong logic chuyển đổi. Các biến đổi phân tích thường nhấn mạnh khả năng đọc và tốc độ chuyển đổi. hệ thống học máy đòi hỏi thực hiện xác định trên các chu kỳ đào tạo lại và triển khai. Logic không phiên bản, overrides thủ công, và phụ thuộc ẩn giới thiệu sự thay đổi mà trở nên hiển thị chỉ sau khi thay đổi hiệu suất. Logic chuyển đổi kiểm soát phiên bản, liên kết các bản phát hành với các quy trình triển khai và tách các quy tắc kinh doanh khỏi các mối quan tâm về vệ sinh dữ liệu làm giảm sự biến động này. Mục tiêu là sự nhất quán.Khi biến đổi cư xử có thể dự đoán được, chu kỳ đào tạo lại tạo ra kết quả mà các nhóm có thể giải thích và tin tưởng.3 Quan sát và quản trị: Phát hiện các vấn đề trước khi người dùng thực hiện Ngay cả các đường ống được thiết kế tốt cũng đòi hỏi phải giám sát liên tục. Dữ liệu đến muộn, thay đổi phân phối và thay đổi sơ đồ thường xuất hiện đầu tiên như hiệu suất mô hình suy giảm. Các nền tảng ML-ready hiệu quả tích hợp giám sát độ tươi, phát hiện sự bất thường về khối lượng, cảnh báo xác thực sơ đồ và số liệu chuyển động trực tiếp vào các dòng công việc hoạt động. Các khuôn khổ quản trị tăng cường thêm sự ổn định bằng cách làm rõ các tiêu chuẩn truy cập, chính sách lưu giữ và yêu cầu tuân thủ. Khi khả năng quan sát và quản trị được nhúng vào thiết kế nền tảng, độ tin cậy trở nên có thể đo lường và có thể thực hiện thay vì giả định.4, 5 Điều chỉnh kỹ thuật dữ liệu, kỹ thuật học máy và nhóm sản phẩm Kiến trúc một mình không quyết định kết quả, sự sắp xếp của tổ chức cũng đóng một vai trò quan trọng. Nhóm dữ liệu thường tối ưu hóa để báo cáo thông lượng. Nhóm ML ưu tiên tốc độ thử nghiệm. Nhóm sản phẩm tập trung vào thời gian phân phối tính năng. Ưu tiên hợp lý cá nhân có thể giới thiệu ma sát khi không có định nghĩa chung về sự sẵn sàng. Đánh giá sự cố đa chức năng, chia sẻ kỳ vọng cấp dịch vụ về độ tươi của dữ liệu và ưu tiên chung cho các khoản đầu tư độ tin cậy giúp lấp đầy những khoảng trống này. Khi sự phù hợp được cải thiện, độ tin cậy của nền tảng trở thành một mục tiêu chung chứ không phải là một trách nhiệm cô lập.6, 7 Những bài học quan trọng mà các nhà lãnh đạo kỹ thuật nên áp dụng khi xây dựng các nền tảng dữ liệu cho AI Một số nguyên tắc xuất hiện nhất quán trong các nền tảng ML-ready bền vững. Quyết định kiến trúc dữ liệu sớm xác định độ tin cậy lâu dài. Kỷ luật tiêu thụ ngăn chặn sự phá vỡ thầm lặng. Sự chính xác lịch sử cho phép tái tạo và xử lý lỗi. Khả năng quan sát rút ngắn thời gian phát hiện và phản ứng. Sự sắp xếp tổ chức ngăn chặn rủi ro của việc kết hợp không được chú ý. Các nhà lãnh đạo kỹ thuật ảnh hưởng đến kết quả bằng cách đối xử với các nền tảng dữ liệu như các hệ thống sản xuất lâu dài hơn là các hiện vật giao hàng. quan điểm này chuyển đầu tư sang đảm bảo tiêu thụ, tính toàn vẹn lịch sử và khả năng hiển thị hoạt động trước khi tăng độ phức tạp của mô hình. Các nhà lãnh đạo đánh giá sự sẵn sàng được hưởng lợi từ các câu hỏi chẩn đoán cụ thể. 
 
 
 
 Nhóm có thể sao chép một mô hình từ một bản phát hành trước đó bằng cách sử dụng cùng một ảnh chụp nhanh dữ liệu không? Các nhà sản xuất dữ liệu có biết khi nào thay đổi phá vỡ đường ống dẫn xuống? Nền tảng có thể phát hiện dữ liệu trôi dạt trước khi người dùng trải qua hành vi suy giảm không? Các nền tảng trả lời những câu hỏi này tự tin hỗ trợ thực hiện học máy đáng tin cậy. Những suy nghĩ cuối cùng: Xây dựng các nền tảng dữ liệu hỗ trợ ML sản xuất Sự tiến bộ từ thử nghiệm đến sản xuất máy học đòi hỏi nhiều hơn là quy mô các nguồn lực tính toán. nó đòi hỏi các lựa chọn kiến trúc có chủ ý trên phạm vi hấp thụ, lưu trữ, chuyển đổi và khả năng quan sát. Các tổ chức đầu tư sớm vào các biện pháp bảo đảm có thể thi hành giảm thiểu việc chống hỏa hoạn, tăng tốc chu kỳ đào tạo lại và tăng sự tin tưởng vào hành vi mô hình. Hệ thống học máy đáng tin cậy được xây dựng trên các nền tảng dữ liệu đáng tin cậy. Cơ sở hạ tầng đám mây cung cấp các khối xây dựng. Thành công bền vững phụ thuộc vào việc các khối đó được lắp ráp một cách chu đáo như thế nào. 
 
 Bài viết này được xuất bản dưới chương trình Kinh doanh Blogging của HackerNoon. Bài viết này được xuất bản trong HackerNoon's . Chương trình Blog doanh nghiệp

Read My Stories

Nghe bài viết này bằng Tiếng Anh, đọc bởi robot thông minh của HackerNoon

Xây dựng các nền tảng dữ liệu ML-ready trên đám mây: Chuyển đổi các thí nghiệm thành hệ thống

About Author

BÌNH LUẬN

chuyên mục

BÀI VIẾT NÀY CŨNG CÓ MẶT TẠI

Related Stories

85 Stories To Learn About Productivity Hacks

581 Stories To Learn About Non Fiction

178 Stories To Learn About Essay

147 Stories To Learn About Reading Books Online

85 Stories To Learn About Productivity Hacks

581 Stories To Learn About Non Fiction

178 Stories To Learn About Essay

147 Stories To Learn About Reading Books Online

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps