Abstract: Els contenidors Docker són fonamentals per als moderns fluxos de treball d'intel·ligència artificial (IA) i aprenentatge automàtic (ML), però la gran grandària de les imatges ML típiques sovint resulta en una latència d'inici significativa, la major part de la qual prové de les retraccions d'imatge durant els començaments freds. Aquest article descriu estratègies pràctiques per reduir la latència d'inici, presentades des d'ajustaments més senzills a opcions més avançades. Comencem amb optimitzacions a nivell d'imatge, com ara eliminar dependències innecessàries i emprar construccions de múltiples etapes per reduir la mida d'imatge. A continuació, explorem millores basades en infraestructures, amb un enfocament particular en Seekable OCI (SOCI Introducció Els contenidors Docker s'han convertit en fonamentals per a la implementació de programari modern a causa de la seva portabilitat i la capacitat de mantenir la coherència en entorns diversos.En la intel·ligència artificial (AI) i l'aprenentatge automàtic (ML), la containerització té un paper encara més central: encapsula els marcadors, els controladors de GPU, les dependències personalitzades i els entorns d'execució necessaris per a la formació i la conducció de inferència. Les plataformes d'intel·ligència artificial basades en el núvol, com ara Amazon SageMaker Studio, depenen en gran mesura de la infraestructura Dockerized per crear entorns estables per a l'experimentació i la implementació. Aquestes imatges solen ser grans (sovint diversos gigabytes) perquè combinen els kit d'eines de ciència de dades, les CUDA, les biblioteques de formació distribuïdes i les interfícies de notes. Una part significativa d'aquesta latència (sovint 30-60%, depenent de l'amplada de banda de la xarxa i la mida de la imatge) prové de traslladar la imatge del contenidor d'un registre a una instància de computació. Aquest article explora diverses tècniques, des de l'optimització d'imatge fins a solucions a nivell d'infraestructura, per reduir aquesta latencia i millorar la capacitat de resposta. Estratègies per reduir la latencia d'inici de contenidors Les estratègies a continuació avancen des de petits canvis centrats en la imatge fins a millores més àmplies en la infraestructura i el nivell de càrrega de treball. Optimització d'imatges de contenidors La manera més accessible i econòmica de reduir la latencia d'inici de contenidors és reduir la mida de la imatge. Les imatges més petites s'arrosseguen més ràpidament, comencen més ràpidament i consumeixen menys emmagatzematge. Aquest procés sol començar avaluant l'eina real i les dependències que necessiten els enginyers o els científics de dades. Les grans imatges ML (com les imatges de distribució de SageMaker de codi obert) sovint inclouen extensos conjunts d'eines que abasten múltiples frameworks, versions i fluxos de treball. En la pràctica, la majoria dels equips només utilitzen un subconjunt d'aquestes eines. Alguns enfocaments pràctics inclouen: 
 
 
 Escollir imatges de base més primes: En comptes d'una base completa d'Ubuntu, els equips poden utilitzar una base mínima de Debian, mínima d'Ubuntu o una base CUDA optimitzada quan es requereix el suport de la GPU. Eviteu incrustar grans artefactes: els pesos del model, els conjunts de dades i els objectes compilats afegeixen un volum considerable a les imatges. Fins i tot reduccions modestes poden reduir significativament la latencia d'inici, especialment en entorns on es creen contenidors amb freqüència. Configuració de temps d'execució i millores d'infraestructura Mentre que l'optimització d'imatges se centra en la reducció de la quantitat de dades transferides, el següent nivell d'optimització millora la forma en què les imatges es carreguen i es gestionen en el temps d'execució. 2.1 Fer que les rutes d'infraestructura siguin eficients Els recorreguts de contenidors poden retardar-se a causa de camins de xarxa ineficients o d'embotellaments de trànsit. 
 
 
 
 Utilitzar punts finals VPC (per exemple, per a Amazon ECR) per reduir el nombre de salts de xarxa Assegurar que els arrossegaments de contenidors es produeixin dins de la mateixa regió Utilitzar registres privats o memòries emmagatzemades d'avantguarda si la latència entre computació i registre és alta Aquests ajustaments milloren la consistència i redueixen la variabilitat. No obstant això, la millora més significativa en aquesta categoria sovint prové de l'ús de Seekable OCI (SOCI). 2.2 OCI buscable (SOCI): imatges de contenidors de càrrega lenta introdueix una manera diferent d'iniciar els contenidors. En comptes de dibuixar tota la imatge abans de llançar-la, SOCI permet que el temps d'execució del contenidor només dibuixi les metadades essencials i el conjunt mínim de capes necessàries per iniciar el contenidor, mentre que la resta es carrega a demanda. A continuació es mostra una simple visió de la relació entre una imatge del contenidor i el seu índex SOCI associat: Snapshotter de SOCI d'AWS Snapshotter de SOCI d'AWS Aquesta tècnica redueix dramàticament la latència d'inici percebuda, per exemple: 
 
 
 Els clients d'Amazon Fargate reporten una iniciació del 40-50% més ràpida Els entorns SageMaker Unified Studio i SageMaker AI veuen una reducció del 40-70% en el temps de llançament de contenidors Aquesta estratègia és especialment eficaç per a les càrregues de treball AI/ML, on les imatges contenen grans biblioteques que no són necessàries immediatament al llançament. Per a les organitzacions que es basen en l'autoscal·lació ràpida o en entorns de notes interactius, SOCI ofereix una de les més altes relacions d'impacte i esforç entre les estratègies a nivell d'infraestructura. 3 Descarregació de la latència L'enfocament més complex és evitar la latència de la retracció d'imatges completament movent-la fora de la via d'execució del client. En lloc d'optimitzar la retracció o minimitzar la mida de les dades, la descàrrega de la latència se centra en assegurar que els clients mai experimentin començaments freds. Això es pot aconseguir mitjançant entorns de càlcul de preescalfament i imatges de pre-tracció. 3.1 Instàncies de computació preescalfades En aquesta tècnica, un proveïdor de serveis manté un conjunt d'instàncies "calentes" que ja estan executades i preparades per servir les càrregues de treball de l'usuari. Quan un usuari o una sol·licitud de feina computa, el sistema assigna una instància calenta en comptes de proporcionar-ne una nova. Les piscines calentes existeixen en molts serveis gestionats: 
 
 
 
 AWS EC2 Auto Scaling Pools calents Grup d'Instàncies Gestionades de Google Cloud (MIG) Orquestradors de contenidors (serveis ECS amb minTasks, desplegaments de Kubernetes amb rèpliques) Aquestes piscines poden mantenir els contenidors o instàncies preparats en diferents nivells de disponibilitat depenent de les necessitats operatives. 3.3 Pre-pulling imatges de contenidors Si la majoria dels clients es basen en una imatge compartida i comuna, també es poden configurar les instàncies de la piscina calenta per pre-retallar aquesta imatge. Quan s'assigna a un usuari, la instància ja s'està executant i la imatge necessària es cachega localment. Aquest mètode elimina completament el temps de retirada de la imatge, proporcionant l'experiència d'arrencada més ràpida possible. Aquests enfocaments es descriuen detalladament en el treball de Gillam, L. i Porter, B., sobre l'anàlisi del rendiment de diversos entorns de contenidors (2021). La descàrrega de retard incorpora costos operatius, incloent capacitat de computació, lògica d'orquestració i recursos inútils.No obstant això, per als sistemes on l'experiència de l'usuari o l'escalabilitat ràpida és la prioritat, els beneficis sovint superen els costos. Conclusió La latència d'inici de contenidors pot retardar significativament els fluxos de treball d'IA/ML i degradar l'experiència de l'usuari en entorns interactius.Mentre que els temps de retracció d'imatge sovint dominen aquesta latència, les organitzacions poden triar entre una gamma de solucions per abordar i mitigar el problema. Els enfocaments de baix esforç, com l'optimització d'imatges, proporcionen victòries ràpides amb poca sobrecàrrega operativa. Les millores d'infraestructura, especialment a través de tecnologies com SOCI, permeten reduir substancialment la latencia sense necessitar canvis arquitectònics importants. No totes les estratègies són adequades per a tots els entorns.Per a les empreses on la latència no és crítica per a la missió, mantenir una piscina calenta pot no justificar el cost operatiu. Finalment, accelerar l'arrencada de contenidors no és només millorar el rendiment, sinó que també augmenta l'eficiència dels desenvolupadors, millora l'experiència de l'usuari i reforça la capacitat de resposta dels sistemes moderns alimentats per la IA. References: 
 
 
 
 
 
 
 A. Kambar. (2023). Com reduir el temps de retirada d'imatges de Docker en un 80%: Una guia pràctica per a CI/CD més ràpid. Mitjà. https://medium.com/@kakamber07/how-to-reduce-docker-image-pull-time-by-80-a-practical-guide-for-faster-ci-cd-00a690d71bf0 AWS. (n.d.). Amazon SageMaker Studio. https://aws.amazon.com/sagemaker/unified-studio/ AWS. (2023). AWS Fargate habilita l'inici de contenidors més ràpid utilitzant l'OCI buscable. https://aws.amazon.com/blogs/aws/aws-fargate-enables-faster-container-startup-using-seekable-oci/ SageMaker Distribució. https://github.com/aws/sagemaker-distribució AWS Labs. (n.d.). SOCI Snapshotter. https://github.com/awslabs/soci-snapshotter Gillam, L., & Porter, B. (2021). Contenidors calents i freds: Anàlisi de rendiment en entorns orquestrats amb contenidors. 
 
 Aquesta història va ser publicada sota el programa de blogging de negocis de HackerNoon. Aquesta història va ser publicada sota el programa de blogging de negocis de HackerNoon. Aquest article ha estat publicat a HackerNoon's . Programa de blogs de negocis Programa de blogs de negocis

This writer has a vested interest be it monetary, business, or otherwise, with 1 or more of the products or companies mentioned within.

Aquest àudio és produït a l'idioma original de la història!

Reduir la latencia d'iniciació de contenidors Docker: estratègies pràctiques per a fluxos de treball d'IA/ML més ràpids

About Author

COMENTARIS

Etiquetes penjant

AQUEST ARTICLE VA SER PRESENTAT A

Related Stories

On Taxes

Meet Filestack: HackerNoon Company of the Week

Startups of The Year: Meet the Healthcare Industry

Startups of The Year: Meet the Business Industry

On Taxes

Meet Filestack: HackerNoon Company of the Week

Startups of The Year: Meet the Healthcare Industry

Startups of The Year: Meet the Business Industry

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps