Abstract: Các container Docker là nền tảng cho các dòng công việc trí tuệ nhân tạo (AI) và máy học (ML) hiện đại, nhưng kích thước lớn của các hình ảnh ML điển hình thường dẫn đến độ trễ khởi động đáng kể, phần lớn đến từ việc rút hình ảnh trong khi khởi động lạnh. Bài viết này mô tả các chiến lược thực tế để giảm độ trễ khởi động, được trình bày từ các điều chỉnh đơn giản hơn đến các tùy chọn tiên tiến hơn. Chúng tôi bắt đầu với các tối ưu hóa cấp hình ảnh, chẳng hạn như loại bỏ sự phụ thuộc không cần thiết và sử dụng các công cụ xây dựng nhiều giai đoạn để giảm kích thước hình ảnh. Sau đó chúng tôi khám phá những cải tiến dựa trên cơ sở hạ tầng, với trọng tâm đặc biệt là Seekable OCI (SOCI). Cuối cùng, chúng tôi thảo luận về các kỹ thuật giảm trễ như hồ bơi Giới thiệu Các container Docker đã trở thành nền tảng cho việc triển khai phần mềm hiện đại do tính di động và khả năng duy trì tính nhất quán trong các môi trường đa dạng. Trong trí tuệ nhân tạo (AI) và học máy (ML), containerization đóng một vai trò trung tâm hơn: nó bao bì các framework, trình điều khiển GPU, phụ thuộc tùy chỉnh và môi trường chạy thời gian cần thiết cho các đường ống đào tạo và suy luận. Các nền tảng AI dựa trên đám mây như Amazon SageMaker Studio phụ thuộc rất nhiều vào cơ sở hạ tầng Dockerized để tạo ra môi trường ổn định để thử nghiệm và triển khai. Những hình ảnh này thường lớn (thường là vài gigabyte) bởi vì chúng kết hợp các bộ công cụ khoa học dữ liệu, CUDA, thư viện đào tạo phân tán và giao diện máy tính xách tay. Kết quả là, độ trễ khởi động container trở thành một rào cản hiệu suất quan trọng, đặc biệt là khi tải công việc cần phải mở rộng năng động hoặc khi người dùng mong đợi các phiên tương tác. Một phần đáng kể của độ trễ này (thường là 30-60%, tùy thuộc vào băng thông mạng và kích thước hình ảnh) đến từ việc kéo hình ảnh container từ một registry đến một trường hợp tính toán. Bài viết này khám phá một số kỹ thuật, từ tối ưu hóa hình ảnh đến các giải pháp cấp cơ sở hạ tầng, để giảm độ trễ này và cải thiện khả năng đáp ứng. Chiến lược giảm sự chậm trễ khởi động container Các chiến lược dưới đây tiến bộ từ những thay đổi nhỏ, tập trung vào hình ảnh để cải thiện cơ sở hạ tầng rộng hơn và mức tải công việc. Tối ưu hóa hình ảnh container Cách dễ tiếp cận và hiệu quả nhất để giảm độ trễ khởi động container là giảm kích thước hình ảnh của bạn. Hình ảnh nhỏ hơn kéo nhanh hơn, khởi động nhanh hơn và tiêu thụ ít dung lượng lưu trữ hơn. Quá trình này thường bắt đầu bằng cách đánh giá các công cụ và phụ thuộc thực tế mà kỹ sư hoặc nhà khoa học dữ liệu của bạn cần. Hình ảnh ML lớn (chẳng hạn như hình ảnh SageMaker Distribution nguồn mở) thường bao gồm các bộ công cụ mở rộng bao gồm nhiều frameworks, phiên bản và dòng công việc. Trong thực tế, hầu hết các nhóm chỉ sử dụng một tiểu bộ các công cụ này. Các kỹ sư có thể thu hẹp đáng kể kích thước hình ảnh bằng cách loại bỏ các gói Python không cần thiết, thư viện GPU, tiện ích hệ thống và tập hợp dữ liệu. Một vài cách tiếp cận thực tế bao gồm: 
 
 
 Chọn hình ảnh cơ sở mỏng hơn: Thay vì một cơ sở Ubuntu đầy đủ, các nhóm có thể sử dụng một cơ sở Debian tối thiểu, Ubuntu-minimal, hoặc một cơ sở CUDA được tối ưu hóa khi hỗ trợ GPU được yêu cầu. Tránh nhúng các hiện vật lớn: Trọng lượng mô hình, tập dữ liệu và các đối tượng được biên soạn thêm khối lượng đáng kể vào hình ảnh. Lưu trữ chúng bên ngoài bất cứ khi nào có thể, thay vì nướng chúng vào thùng chứa. Thậm chí giảm khiêm tốn có thể làm giảm đáng kể độ trễ khởi động, đặc biệt là trong môi trường nơi các container thường được tạo ra. 2. runtime cấu hình và cải tiến cơ sở hạ tầng Trong khi tối ưu hóa hình ảnh tập trung vào việc giảm lượng dữ liệu được chuyển, mức tối ưu hóa tiếp theo cải thiện cách hình ảnh được tải và xử lý trong thời gian chạy. cấu hình mạng, thiết lập sổ đăng ký và khả năng thời gian chạy container tất cả hình thành hiệu suất khởi động. 2.1 Làm cho các tuyến đường cơ sở hạ tầng hiệu quả Việc kéo container có thể chậm lại do đường lối mạng không hiệu quả hoặc tắc nghẽn giao thông. 
 
 
 
 Sử dụng VPC Endpoints (ví dụ, cho Amazon ECR) để giảm số lần nhảy mạng Đảm bảo việc kéo container xảy ra trong cùng một khu vực Sử dụng sổ đăng ký riêng hoặc bộ nhớ cache cạnh nếu độ trễ giữa máy tính và sổ đăng ký cao Những điều chỉnh này cải thiện sự nhất quán và giảm sự biến đổi. tuy nhiên, sự cải thiện đáng kể nhất trong thể loại này thường đến từ việc sử dụng Seekable OCI (SOCI). 2.2 Tìm kiếm OCI (SOCI): Lazy-Loading Container Hình ảnh giới thiệu một cách khác để khởi động container.Thay vì kéo toàn bộ hình ảnh trước khi khởi động, SOCI cho phép runtime container để kéo chỉ các siêu dữ liệu cần thiết và bộ tối thiểu các lớp cần thiết để khởi động container, trong khi phần còn lại tải theo yêu cầu.Dưới đây là một cái nhìn đơn giản về mối quan hệ giữa một hình ảnh container và chỉ số SOCI liên quan của nó: Ứng dụng Snapshotter của AWS Ứng dụng Snapshotter của AWS Kỹ thuật này làm giảm đáng kể độ trễ khởi động nhận thức. ví dụ: 
 
 
 Khách hàng Amazon Fargate báo cáo khởi động nhanh hơn 40-50% Môi trường SageMaker Unified Studio và SageMaker AI giảm 40-70% thời gian khởi động container Chiến lược này đặc biệt hiệu quả đối với khối lượng công việc AI/ML, nơi hình ảnh chứa các thư viện lớn không cần thiết ngay khi khởi động.Bằng cách trì hoãn việc tải xuống các lớp chưa sử dụng, SOCI cho phép thời gian phản hồi nhanh hơn trong khi giữ cho quy trình làm việc tổng thể không thay đổi. Đối với các tổ chức dựa trên tự động quy mô nhanh hoặc môi trường máy tính xách tay tương tác, SOCI cung cấp một trong những tỷ lệ tác động và nỗ lực cao nhất trong số các chiến lược cấp cơ sở hạ tầng. Bước 3: Latency Offloading Cách tiếp cận phức tạp nhất là tránh độ trễ kéo hình ảnh hoàn toàn bằng cách di chuyển nó ra khỏi con đường thực hiện của khách hàng. Thay vì tối ưu hóa độ trễ hoặc giảm thiểu kích thước dữ liệu, việc tải xuống độ trễ tập trung vào việc đảm bảo rằng khách hàng không bao giờ trải qua sự khởi đầu lạnh. Điều này có thể đạt được thông qua các môi trường tính toán nóng trước và hình ảnh kéo trước. 3.1 Các trường hợp tính toán nóng trước Trong kỹ thuật này, một nhà cung cấp dịch vụ duy trì một nhóm các phiên bản "nóng" đã chạy và sẵn sàng để phục vụ tải công việc của người dùng. Khi một người dùng hoặc yêu cầu công việc tính toán, hệ thống gán một phiên bản nóng thay vì cung cấp một phiên bản mới. Hồ bơi nóng tồn tại trong nhiều dịch vụ được quản lý: 
 
 
 
 Ứng dụng AWS EC2 Auto Scaling Hot Pools Google Cloud Managed Instance Group (MIG) - Hồ bơi nóng Container orchestrators (ECS Services with minTasks, Kubernetes Deployments with replicas) Những hồ bơi này có thể giữ các container hoặc các trường hợp sẵn sàng ở các cấp độ sẵn sàng khác nhau tùy thuộc vào nhu cầu hoạt động. 3.3 Pre-pulling container hình ảnh Nếu hầu hết khách hàng dựa vào một hình ảnh được chia sẻ, phổ biến, các trường hợp nóng pool cũng có thể được cấu hình để kéo trước hình ảnh đó. Khi được gán cho người dùng, trường hợp đã chạy và hình ảnh cần thiết được lưu trữ cục bộ. Phương pháp này hoàn toàn loại bỏ thời gian kéo hình ảnh, cung cấp trải nghiệm khởi động nhanh nhất có thể. Những cách tiếp cận này được mô tả chi tiết trong công việc của Gillam, L. và Porter, B. về phân tích hiệu suất của các môi trường container khác nhau (2021). Loại bỏ chậm trễ gây ra chi phí hoạt động, bao gồm công suất tính toán, logic tổ chức, và tài nguyên vắng mặt. Tuy nhiên, đối với các hệ thống có trải nghiệm người dùng hoặc quy mô nhanh là ưu tiên hàng đầu, lợi ích thường vượt quá chi phí. Kết luận Sự chậm trễ khởi động container có thể làm chậm đáng kể dòng công việc AI/ML và làm suy yếu trải nghiệm người dùng trong môi trường tương tác.Trong khi thời gian kéo hình ảnh thường thống trị độ trễ này, các tổ chức có thể chọn từ một loạt các giải pháp để giải quyết và giảm thiểu vấn đề. Cách tiếp cận nỗ lực thấp như tối ưu hóa hình ảnh cung cấp chiến thắng nhanh chóng với ít chi phí hoạt động. Cải thiện cơ sở hạ tầng, đặc biệt là thông qua các công nghệ như SOCI, cho phép giảm độ trễ đáng kể mà không yêu cầu thay đổi kiến trúc lớn. Không phải mọi chiến lược đều phù hợp với mọi môi trường. Đối với các doanh nghiệp nơi độ trễ không phải là nhiệm vụ quan trọng, duy trì một hồ bơi ấm có thể không biện minh cho chi phí hoạt động. tuy nhiên, các công ty cung cấp khả năng AI thời gian thực, máy tính xách tay tương tác hoặc dịch vụ vi mô có quy mô động có thể cải thiện đáng kể sự hài lòng của người dùng bằng cách triển khai các kỹ thuật này. Cuối cùng, tăng tốc khởi động container không chỉ là cải thiện hiệu suất mà còn làm tăng hiệu quả của nhà phát triển, nâng cao trải nghiệm người dùng và tăng cường khả năng đáp ứng của các hệ thống hiện đại chạy bằng AI. References: 
 
 
 
 
 
 
 A. Kambar. (2023). Làm thế nào để giảm Docker Image Pull Time bằng 80%: Một hướng dẫn thực tế cho nhanh hơn CI/CD. Trung bình. https://medium.com/@kakamber07/how-to-reduce-docker-image-pull-time-by-80-a-practical-guide-for-faster-ci-cd-00a690d71bf0 AWS. (n.d.). Amazon SageMaker Studio. https://aws.amazon.com/sagemaker/unified-studio/ AWS Fargate cho phép khởi động container nhanh hơn bằng cách sử dụng OCI có thể tìm kiếm. https://aws.amazon.com/blogs/aws/aws-fargate-enables-faster-container-startup-using-seekable-oci/ AWS. (n.d.). Phân phối SageMaker. https://github.com/aws/sagemaker-distribution AWS Labs. (n.d.). SOCI Snapshotter. https://github.com/awslabs/soci-snapshotter Gillam, L., & Porter, B. (2021). Hot-Started vs Cold Containers: Performance Analysis in Container-Orchestrated Environments.Proceedings of the 14th IEEE/ACM International Conference on Utility and Cloud Computing. 
 
 Bài viết này được đăng trong Chương trình Blog Kinh doanh của HackerNoon. Bài viết này được đăng trong Chương trình Blog Kinh doanh của HackerNoon. Câu chuyện này đã được xuất bản dưới HackerNoon's . Chương trình Blog doanh nghiệp Chương trình Blog doanh nghiệp

This writer has a vested interest be it monetary, business, or otherwise, with 1 or more of the products or companies mentioned within.

Nghe bài viết này bằng Tiếng Anh, đọc bởi robot thông minh của HackerNoon

Giảm độ trễ khởi động container Docker: Chiến lược thực tế cho dòng công việc AI/ML nhanh hơn

About Author

BÌNH LUẬN

chuyên mục

BÀI VIẾT NÀY CŨNG CÓ MẶT TẠI

Related Stories

223 Stories To Learn About Science

179 Stories To Learn About Reading

287 Stories To Learn About Blockchain Development

145 Stories To Learn About Book

223 Stories To Learn About Science

179 Stories To Learn About Reading

287 Stories To Learn About Blockchain Development

145 Stories To Learn About Book

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps