Abstract: Kontajnery Docker sú základom moderných pracovných postupov umelej inteligencie (AI) a strojového učenia (ML), ale veľká veľkosť typických obrázkov ML často vedie k významnej latencii pri spustení, z ktorých väčšina pochádza z vytiahnutia obrazu počas studených štartov. Tento článok opisuje praktické stratégie na zníženie latencie pri spustení, prezentované od jednoduchších úprav k pokročilejším možnostiam. Začneme optimalizáciou na úrovni obrazu, ako je odstránenie zbytočných závislostí a používanie viacstupňových budov na zníženie veľkosti obrazu. Potom preskúmame zlepšenia založené na infraštruktúre, s osobitným zameraním na Seekable OCI (SOCI). Nakoniec diskutujeme o technikách vyčerpania laten Úvodná Kontajnery Docker sa stali základom moderného nasadenia softvéru vďaka svojej prenosnosti a schopnosti udržiavať konzistenciu v rozmanitých prostrediach.V umelej inteligencii (AI) a strojovom učení (ML) zohráva kontajnerizácia ešte ústrednejšiu úlohu: zahŕňa rámce, ovládače GPU, vlastné závislosti a prostredia spúšťania potrebné pre výcvikové a záverečné potrubia. Cloudové platformy AI, ako napríklad Amazon SageMaker Studio, sa vo veľkej miere spoliehajú na dokerizovanú infraštruktúru na vytvorenie stabilných prostredí pre experimentovanie a nasadenie. Tieto obrázky sú zvyčajne veľké (často niekoľko gigabajtov), pretože spájajú databázové nástroje, CUDA, distribuované vzdelávacie knižnice a rozhrania notebookov.V dôsledku toho sa latencia spustenia kontajnerov stáva kritickou prekážkou výkonu, najmä keď sa pracovné zaťaženie musí dynamicky rozširovať alebo keď používatelia očakávajú interaktívne relácie. Významná časť tejto latencie (často 30-60%, v závislosti od šírky pásma siete a veľkosti obrazu) pochádza z ťahania obrazu kontajnera z registra do výpočtovej inštancie. Tento článok skúma niekoľko techník, od optimalizácie obrazu až po riešenia na úrovni infraštruktúry, na zníženie tejto latencie a zlepšenie odozvy. Stratégie na zníženie latencie spustenia kontajnerov Nižšie uvedené stratégie postupujú od malých, obrazu zameraných zmien k širšiemu zlepšeniu infraštruktúry a úrovne pracovného zaťaženia. Optimalizácia kontajnerového obrazu Najprístupnejší a nákladovo efektívnejší spôsob, ako znížiť latenciu pri spustení kontajnera, je znížiť veľkosť obrázka. Menšie obrázky sa ťahajú rýchlejšie, začínajú rýchlejšie a spotrebúvajú menej úložného priestoru. Tento proces zvyčajne začína hodnotením skutočných nástrojov a závislostí, ktoré vaši inžinieri alebo vedci o údajoch potrebujú. Veľké obrázky ML (napríklad obrázky SageMaker Distribution s otvoreným zdrojovým kódom) často obsahujú rozsiahle súbory nástrojov pokrývajúce viaceré rámce, verzie a pracovné postupy.V praxi väčšina tímov používa iba podskupinu týchto nástrojov. Niekoľko praktických prístupov zahŕňa: 
 
 
 Výber štíhlejších základných obrázkov: Namiesto plnej základne Ubuntu môžu tímy používať minimálnu základňu Debian, Ubuntu-minimal alebo optimalizovanú základňu CUDA, keď je potrebná podpora GPU. Vyhnite sa vkladu veľkých artefaktov: Modelové váhy, dátové súbory a kompilované objekty pridávajú obrázkom značný objem. Dokonca aj skromné zníženia môžu výrazne znížiť latenciu spustenia, najmä v prostrediach, kde sa často vytvárajú kontajnery. Konfigurácia runtime a vylepšenia infraštruktúry Zatiaľ čo optimalizácia obrazu sa zameriava na zníženie množstva prenášaných údajov, ďalšia úroveň optimalizácie zlepšuje spôsob načítania a manipulácie s obrázkami v čase spustenia. 2.1 Efektívne využívanie infraštruktúry Ťahanie kontajnerov sa môže spomaliť v dôsledku neefektívnych sieťových ciest alebo dopravných prekážok. 
 
 
 
 Používanie koncových bodov VPC (napr. pre Amazon ECR) na zníženie počtu sieťových skokov Zabezpečenie vyťahovania kontajnerov v rámci tej istej oblasti Používanie súkromných registrov alebo vyrovnávacích pamätí, ak je latencia medzi počítačom a registrom vysoká Tieto úpravy zlepšujú konzistenciu a znižujú variabilitu.Najvýznamnejšie zlepšenie v tejto kategórii však často pochádza z použitia Seekable OCI (SOCI). 2.2 Vyhľadávané OCI (SOCI): Lazy-loading Container Images zavádza iný spôsob, ako spustiť kontajnery. Namiesto toho, aby ste pred spustením vytiahli celý obrázok, SOCI umožňuje kontajnerovému runtime vytiahnuť iba základné metadáta a minimálnu sadu vrstiev potrebných na spustenie kontajnera, zatiaľ čo zvyšok sa načíta na požiadanie. Nižšie je jednoduchý pohľad na vzťah medzi obrázkom kontajnera a jeho pridruženým indexom SOCI: AWS Sociálny Snapshotter AWS Sociálny Snapshotter Táto technika dramaticky znižuje vnímanú latenciu spustenia. Napríklad: 
 
 
 Zákazníci Amazon Fargate hlásia 40-50% rýchlejšie spustenie SageMaker Unified Studio a SageMaker AI prostredia vidia 40-70% zníženie času spustenia kontajnerov Táto stratégia je obzvlášť účinná pre pracovné zaťaženia AI/ML, kde obrázky obsahujú veľké knižnice, ktoré nie sú potrebné okamžite pri spustení. Pre organizácie, ktoré sa spoliehajú na rýchle automatické škálovanie alebo interaktívne prostredia notebookov, SOCI ponúka jednu z najvyšších pomerov vplyvu k úsiliu medzi stratégiami na úrovni infraštruktúry. 3. latencia vypnutie Najkomplexnejším prístupom je úplne vyhnúť sa latencii priťahovania obrazu tým, že ju presuniete z cesty vykonávania zákazníka.Namiesto optimalizácie priťahovania alebo minimalizácie veľkosti údajov sa odkladanie latencie zameriava na zabezpečenie toho, aby zákazníci nikdy nezažili studený štart. To sa dá dosiahnuť prostredníctvom predhrievania výpočtových prostredí a predťahovania obrázkov. 3.1 Predohriate výpočtové inštancie V tejto technike poskytovateľ služieb udržiava súbor „teplých“ inštancií, ktoré sú už spustené a pripravené slúžiť pracovným zaťaženiam používateľov.Keď používateľ alebo pracovná požiadavka vypočíta, systém priradí teplú inštanciu namiesto poskytnutia novú.Toto odstraňuje 100% latencie inicializácie inštancie pre koncových používateľov. Teplé bazény existujú v mnohých spravovaných službách: 
 
 
 
 AWS EC2 Auto Scaling Teplé bazény Spoločnosť Google Cloud Managed Instance Group (MIG) Kontajnerové orchestrátory (služby ECS s minTasks, nasadenie Kubernetes s replikami) Tieto bazény môžu udržiavať kontajnery alebo inštancie pripravené na rôznych úrovniach pohotovosti v závislosti od prevádzkových potrieb. 3.3 Pre-púšťanie kontajnerové obrázky Ak sa väčšina zákazníkov spolieha na zdieľaný, spoločný obrázok, inštancie teplého bazéna môžu byť tiež nakonfigurované tak, aby predťahovali tento obrázok.Keď je priradený používateľovi, inštancia už beží a požadovaný obrázok je lokálne vyrovnaný.Táto metóda úplne odstraňuje čas vytiahnutia obrázka, čo poskytuje najrýchlejšie možné spustenie. Tieto prístupy sú podrobne popísané v práci Gillam, L. a Porter, B., na analýze výkonu rôznych kontajnerových prostredí (2021). Odkladanie oneskorenia prináša prevádzkové náklady vrátane výpočtovej kapacity, logiky orchesterovania a prázdnych zdrojov.Avšak v systémoch, kde je používateľská skúsenosť alebo rýchle škálovanie najvyššou prioritou, výhody často prevyšujú náklady. záver Latentnosť spustenia kontajnerov môže výrazne spomaliť pracovné postupy AI/ML a zhoršiť používateľské skúsenosti v interaktívnych prostrediach.Zatiaľ čo časy stiahnutia obrazu často dominujú tejto latencii, organizácie si môžu vybrať z radu riešení na riešenie a zmiernenie problému. Nízkoúčinné prístupy, ako je optimalizácia obrazu, poskytujú rýchle víťazstvá s malou prevádzkovou nadmerou. Infraštruktúrne vylepšenia, najmä prostredníctvom technológií, ako je SOCI, umožňujú výrazné zníženie latencie bez toho, aby sa vyžadovali významné architektonické zmeny. Nie každá stratégia je vhodná pre každé prostredie.Pre podniky, kde latencia nie je kritická, udržiavanie teplého bazéna nemusí ospravedlňovať prevádzkové náklady.Avšak spoločnosti poskytujúce schopnosti AI v reálnom čase, interaktívne notebooky alebo dynamicky škálované mikroslužby môžu výrazne zlepšiť spokojnosť používateľov implementáciou týchto techník. V konečnom dôsledku urýchlenie štartovania kontajnerov nie je len o zlepšovaní výkonu, ale tiež zvyšuje efektívnosť vývojárov, zlepšuje používateľské skúsenosti a posilňuje schopnosť reagovať na moderné systémy poháňané AI. References: 
 
 
 
 
 
 
 A. Kambar. (2023). Ako znížiť Docker Image Pull Time o 80%: Praktický sprievodca pre rýchlejšie CI/CD. Stred. https://medium.com/@kakamber07/how-to-reduce-docker-image-pull-time-by-80-a-practical-guide-for-faster-ci-cd-00a690d71bf0 AWS. (n.d.). Amazon SageMaker Studio. https://aws.amazon.com/sagemaker/unified-studio/ AWS. (2023). AWS Fargate umožňuje rýchlejšie spustenie kontajnerov pomocou hľadateľného OCI. https://aws.amazon.com/blogs/aws/aws-fargate-enables-faster-container-startup-using-seekable-oci/ AWS. (n.d.). SageMaker Distribúcia. https://github.com/aws/sagemaker-distribution AWS Labs. (n.d.). SOCI Snapshotter. https://github.com/awslabs/soci-snapshotter Gillam, L., & Porter, B. (2021). Hot-Started vs. Cold Containers: Performance Analysis in Container-Orchestrated Environments.Proceedings of the 14th IEEE/ACM International Conference on Utility and Cloud Computing. 
 
 Tento článok bol publikovaný pod HackerNoon Business Blogging Program. Tento článok bol publikovaný pod HackerNoon Business Blogging Program. Tento článok bol publikovaný pod HackerNoon's . Podnikateľský blog Podnikateľský blog

This writer has a vested interest be it monetary, business, or otherwise, with 1 or more of the products or companies mentioned within.

Tento zvuk je vyrobený v pôvodnom jazyku príbehu!

Zníženie latencie pri spustení kontajnerov Docker: Praktické stratégie pre rýchlejšie pracovné postupy AI/ML

About Author

KOMENTÁRE

ZAVISTE ŠTÍTKY

TENTO ČLÁNOK BOL PREDSTAVENÝ V

Related Stories

Mutmut: a Python mutation testing system

16 Best Sklearn Datasets for Building Machine Learning Models

Behavior of a shapely Spider

112 Stories To Learn About Hackernoon Community

Mutmut: a Python mutation testing system

16 Best Sklearn Datasets for Building Machine Learning Models

Behavior of a shapely Spider

112 Stories To Learn About Hackernoon Community

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps