Abstract: Контейнеры Docker являются фундаментальными элементами современных рабочих процессов искусственного интеллекта (AI) и машинного обучения (ML), но большие размеры типичных изображений ML часто приводят к значительной задержке запуска, большая часть которой происходит от удаления изображения во время холодного старта. Эта статья описывает практические стратегии для сокращения задержки запуска, представленные от более простых корректировок до более продвинутых вариантов. Мы начинаем с оптимизации на уровне изображения, таких как устранение ненужных зависимостей и использование многоступенчатых конструкций для уменьшения размера изображения. Затем мы исследуем улучшения, основанные на инфраструктуре, с особым акцентом на Seekable OCI (SOCI). Наконец, мы обсуждаем методы задер Введение Контейнеры Docker стали фундаментальными для современного развертывания программного обеспечения благодаря своей портативности и способности поддерживать последовательность в различных средах.В искусственном интеллекте (AI) и машинном обучении (ML) контейнеризация играет еще более центральную роль: она включает в себя рамки, драйверы GPU, настраиваемые зависимости и среды, необходимые для обучения и выводных трубопроводов. Облачные платформы ИИ, такие как Amazon SageMaker Studio, в значительной степени полагаются на Dockerized инфраструктуру, чтобы создать стабильную среду для экспериментов и развертывания. Эти изображения, как правило, большие (часто несколько гигабайт), потому что они объединяют наборы инструментов для науки о данных, CUDA, распределенные учебные библиотеки и интерфейсы ноутбуков. Значительная часть этой задержки (часто 30-60%, в зависимости от пропускной способности сети и размера изображения) происходит от перетаскивания контейнерного изображения из реестра в вычислительный экземпляр. Эта статья исследует несколько методов, начиная от оптимизации изображения и заканчивая решениями на уровне инфраструктуры, чтобы уменьшить эту задержку и улучшить восприимчивость. Стратегии сокращения задержки стартапов контейнеров Стратегии, приведенные ниже, переходят от небольших, ориентированных на изображение изменений к более широким улучшениям инфраструктуры и уровня рабочей нагрузки. Оптимизация контейнерного изображения Самый доступный и экономически эффективный способ уменьшить задержку запуска контейнеров — уменьшить размер вашего изображения. Более мелкие изображения вытягиваются быстрее, начинаются быстрее и потребляют меньше хранилища. Большие изображения ML (например, изображения SageMaker Distribution с открытым исходным кодом) часто включают в себя обширные наборы инструментов, охватывающие несколько фреймворков, версий и рабочих процессов. На практике большинство команд используют только подгруппу этих инструментов. Некоторые практические подходы включают: 
 
 
 Выбирая более тонкие базовые изображения: Вместо полной базы Ubuntu, команды могут использовать минимальную базу Debian, Ubuntu-minimal или оптимизированную базу CUDA, когда требуется поддержка GPU. Избегайте встраивания больших артефактов: весы моделей, наборы данных и компилированные объекты добавляют значительную массу изображениям. Даже скромные сокращения могут значительно сократить задержку запуска, особенно в средах, где контейнеры часто создаются. Конфигурация Runtime и улучшения инфраструктуры В то время как оптимизация изображений фокусируется на уменьшении количества передаваемых данных, следующий уровень оптимизации улучшает способ загрузки и обработки изображений в рабочее время. 2.1 Создание эффективных инфраструктурных путей Вытягивание контейнеров может замедлиться из-за неэффективных сетевых путей или блокировки трафика. 
 
 
 
 Использование конечных точек VPC (например, для Amazon ECR) для уменьшения количества скачков сети Обеспечение вывоза контейнеров происходит в пределах одного региона Использование частных реестров или кэш-памяти, если задержка между вычислением и реестром высока Эти корректировки улучшают последовательность и уменьшают изменчивость, однако наиболее значительное улучшение в этой категории часто происходит от использования Seekable OCI (SOCI). Seekable OCI (SOCI): Изображения контейнеров с вялой загрузкой вводит другой способ запуска контейнеров. Вместо того, чтобы вытаскивать все изображение перед запуском, SOCI позволяет контейнерному времени вытаскивать только необходимые метаданные и минимальный набор слоев, необходимых для запуска контейнера, в то время как остальные загружаются по запросу. Социальный Snapshotter AWS Социальный Snapshotter AWS Эта техника резко сокращает воспринимаемую задержку запуска. Например: 
 
 
 Клиенты Amazon Fargate сообщили о 40-50% более быстром запуске Объекты SageMaker Unified Studio и SageMaker AI сократили время запуска контейнеров на 40-70% Эта стратегия особенно эффективна для рабочих нагрузок AI/ML, где изображения содержат большие библиотеки, которые не нужны сразу при запуске. Для организаций, которые полагаются на быструю автоскалировку или интерактивные среды ноутбуков, SOCI предлагает одно из самых высоких соотношений воздействия и усилий среди стратегий на уровне инфраструктуры. 3 Латентность отгрузки Наиболее сложный подход заключается в том, чтобы полностью избежать задержки вывода изображения, вытеснив ее из пути выполнения клиента.Вместо того, чтобы оптимизировать вывод или минимизировать размер данных, отгрузка задержки фокусируется на том, чтобы клиенты никогда не испытывали холодное начало. Это может быть достигнуто за счет предварительного нагрева вычислительных сред и предварительного вытяжения изображений. 3.1 Предварительно подогретые вычислительные инстанции В этой технике поставщик услуг поддерживает бассейн «горячих» инстанций, которые уже работают и готовы обслуживать рабочие нагрузки пользователей.Когда пользователь или запросы на работу вычисляются, система назначает теплый инстанцию вместо предоставления нового. Теплые бассейны существуют во многих управляемых услугах: 
 
 
 
 Описание AWS EC2 Auto Scaling Warm Pools Google Cloud Managed Instance Group (MIG) - теплый бассейн Контейнерные оркестраторы (ECS Services with minTasks, Kubernetes Deployments with replicas) Эти бассейны могут держать контейнеры или инстанции готовы на различных уровнях готовности в зависимости от операционных потребностей. 3.3 Предварительные изображения контейнеров Если большинство клиентов полагаются на общий, общий образ, инстанции горячего бассейна также могут быть настроены для предварительного вывода этого изображения. Когда он присвоен пользователю, инстанция уже работает, а необходимый образ локально кешируется. Эти подходы подробно описаны в работе Гиллама, Л. и Портера, Б. по анализу производительности различных контейнерных сред (2021). Задержка загрузки влечет за собой эксплуатационные затраты, включая вычислительную мощность, логику оркестрации и пустые ресурсы. Тем не менее, для систем, где пользовательский опыт или быстрая масштабировка имеют наивысший приоритет, преимущества часто превосходят затраты. Заключение Латентность запуска контейнеров может значительно замедлить рабочие процессы ИИ/МЛ и ухудшить пользовательский опыт в интерактивной среде.В то время как время вывода изображения часто доминирует в этой латентности, организации могут выбирать из спектра решений для решения и смягчения проблемы. Низкоэффективные подходы, такие как оптимизация изображения, обеспечивают быструю победу с небольшим количеством операций. Улучшения инфраструктуры, особенно с помощью технологий, таких как SOCI, позволяют существенно сократить задержку, не требуя значительных архитектурных изменений. Не каждая стратегия подходит для каждой среды.Для предприятий, где задержка не имеет решающего значения, поддержание теплого бассейна может не оправдать эксплуатационные затраты.Однако компании, предоставляющие возможности ИИ в режиме реального времени, интерактивные ноутбуки или динамически масштабируемые микросервисы, могут значительно улучшить удовлетворенность пользователей, внедряя эти методы. В конечном счете, ускорение стартапов контейнеров не только улучшает производительность, но и повышает эффективность разработчиков, улучшает пользовательский опыт и укрепляет способность реагировать на современные системы, работающие на ИИ. References: 
 
 
 
 
 
 
 A. Kambar. (2023). Как сократить время вывода изображения Docker на 80%: Практическое руководство для более быстрого CI/CD. Среднее. https://medium.com/@kakamber07/how-to-reduce-docker-image-pull-time-by-80-a-practical-guide-for-faster-ci-cd-00a690d71bf0 Amazon SageMaker Studio. https://aws.amazon.com/sagemaker/unified-studio/ AWS Fargate позволяет быстрее запускать контейнеры с использованием OCI для поиска. https://aws.amazon.com/blogs/aws/aws-fargate-enables-faster-container-startup-using-seekable-oci/ AWS. (n.d.). SageMaker Дистрибуция. https://github.com/aws/sagemaker-distribution AWS Labs. (n.d.). SOCI Snapshotter. https://github.com/awslabs/soci-snapshotter Gillam, L., & Porter, B. (2021). Hot-Started vs Cold Containers: Performance Analysis in Container-Orchestrated Environments.Proceedings of the 14th IEEE/ACM International Conference on Utility and Cloud Computing. 
 
 Эта статья была опубликована в рамках Программы бизнес-блогов HackerNoon. Эта статья была опубликована в рамках Программы бизнес-блогов HackerNoon. Эта статья была опубликована в HackerNoon's . Бизнес Блог Программа Бизнес Блог Программа

This writer has a vested interest be it monetary, business, or otherwise, with 1 or more of the products or companies mentioned within.

Этот звук создан на языке оригинала истории!

Сокращение задержки запуска контейнеров Docker: практические стратегии для более быстрых рабочих процессов AI/ML

About Author

КОММЕНТАРИИ

БИРКИ

ЭТА СТАТЬЯ БЫЛА ПРЕДСТАВЛЕНА В

Related Stories

Рост криптовалют: создание эффективных образов пользователей

Полное руководство по успешной миграции в облако: стратегии и лучшие практики

Плавание по водам: разработка RAG-приложений промышленного уровня с использованием озер данных

Руководство архитектора по созданию эталонной архитектуры для озера данных AI/ML

Рост криптовалют: создание эффективных образов пользователей

Полное руководство по успешной миграции в облако: стратегии и лучшие практики

Плавание по водам: разработка RAG-приложений промышленного уровня с использованием озер данных

Руководство архитектора по созданию эталонной архитектуры для озера данных AI/ML

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps