MLOps, ukax Operaciones de Aprendizaje Máquina ukat jisk’a arukiwa, ukax mä conjunto de prácticas ukat herramientas ukanakawa, ukax ingenieronakan modelos ukanakan específicos munañanakap askichañatakiw ukat producción ukar apayañataki. Yaqhip organizacionanakax mä qawqha herramientas locales ukanakamp qalltasipxi, ukax sapa yant’äw tukuyatatx conjuntos de datos ukanakaruw versión ukat modelos de puntos de control ukanak sapa época de capacitación ukat qhiparux. Maysatxa, walja organizacionanakax mä herramienta formal ukar apnaqañ amtapxi, ukax experimento ukan arknaqawipampiw utji, colaboración ukan lurawinakapa, modelos ukar yanapt’añ yatiñanaka, ukatx juk’ampirus pipeline ukan lurawinakapawa, datos ukat modelos de capacitación ukanakar apnaqañataki.

Organización ukar askinjam ajlliñatakiwa, taqi kunatix utjki ukanak amuyañamawa, ukax industria ukan nayrïr MLOps herramientas ukanakat utji. Utapan yapuchañ thakhin sarasma ukhaxa, kuna lurañtï jaytkta ukanak amuyañamawa. Mä utan yapuchañ amtäwix jisk’a equiponakatakix wali askiwa, jupanakax jank’akiw sartapxañapa ukat inas jan machaq herramienta uñakipañatakix tiemponïkchiti. Jumatix mä kimsïr herramienta phuqhañ amtasksta ukhax, ukax mä herramienta ukaw ajlliñama, ukax organizacionaman ingeniería ukan irnaqawiparjam juk’amp askiwa. Ukax ch’amäspawa kunatix jichhürunakanx jach’a herramientas ukanakax wali mayjt’atawa, jupanakan jak’achasiñanakapata ukhamarak lurañ yatiñanakapata. Kunjams ajlliwaysta, infraestructura de datos ukax wakisiwa, ukax jach’a volúmenes de datos ukanak apnaqañapawa ukat conjuntos de capacitación ukaruw mä rendimiento ukan servispa. Modelos de checkpointing ukat jach’a conjuntos de datos ukar versión ukanakax capacidad escalable ukaruw munapxi, ukatx GPUs jila chanininak apnaqañax wakisispawa, infraestructura performant ukax qullqichasiwimat juk’amp askinak apsuñatakix wakisirakiniwa.

Aka post ukanx mä lista de características uñacht’ayarakï, arquitectonakax kuna enfoques jan ukax herramientas ukanakas ajllisipk ukanak amuyt’apxañapawa. Aka lista de características ukax yatxatäwinakajat juti ukat jichhürunakan kimsa jach’a MLOps aljirinakampi yant’äwinakat juti - KubeFlow ukax mä juk’a pachanakanwa , . MLflow ukax mä juk’a pachanakanwa , ukat MLRun ukax mä juk’a pachanakanwa . Organizaciones ukanakatakix mä solución utapamp qalltañ amtapki ukanakatakix mä infraestructura de datos uñacht’ayarakï, ukax escala ukat lurañjamawa. (Alerta de spoiler - taqi kunatix akan munaski ukax MinIO ukawa.) Kunawsatix kimsïr herramientas ukanakax utjki ukhax mä patrón uñjta aljirinakampi, nayax yatxatawaytwa. Organizaciones ukanakatakix MLOps herramientas ukar apnaqañ amtapxi, nayax aka patrón uñacht’ayarakïwa ukat jiwasanakamp chikaw chint’arakï Jichha pacha Datalake Referencia Arquitectura ukaxa .

Janïr lurawinakaru ukhamarak infraestructura uka mayiwinakar ch’allt’kasaxa, MLOps ukan wakiskirïtapat juk’amp amuyt’añäni. Uk lurañatakix modelo lurañax convencional aplicación desarrollo ukamp chikancht’asiñax wali askiwa.

Modelos ukat Aplicaciones ukanakan mayjt’awipa

Convencional aplicación desarrollo, kunjamatixa machaq microservicio phuqhaña ukaxa mä machaq lurawi mä aplicación ukar yapxataña, ukaxa qalltasiwa mä especificación uñakipañampi. Machaq yatxatañ utanaka jan ukax utjki uka yatxatañ utanakar mayjt’ayañax nayraqat wakicht’atawa. Diseño de datos ukax janiw mayjt’añapäkiti mä kuti codificación qalltatapatxa. Ukatx servicio ukax phuqhasiwayi, ukatx codificación ukax aka lurawinx nayrïr lurawiwa. Unidad yant’awinaka ukat tukuyat tukuyat yant’awinakax codificatarakiwa. Aka yant’awinakax uñacht’ayiwa, código ukax janiw pantjatäkiti ukatx especificación ukax chiqaparuw phuqhasi. Jupanakax mä pipeline CI/CD ukampiw automáticamente apnaqasispa janïr taqpach aplicación ukar uñstayañkama.

Mä modelo luraña ukat yatichañax mayjawa. Nayrïr amtawix crudo datos ukat wakiskir predicción ukanakat amuyañawa. ML ingenieronakax chiqpachans mä juk’a código qillqt’apxañapawa redes neuronales ukanakap phuqhañataki jan ukax algoritmo ukar utt’ayañataki, ukampis codificación ukax janiw nayrïr lurawikiti. Jilïr lurawix walja kuti yant’añawa. Yant’awi pachanxa, yatxatawi lurawi, modelo ukan lurawipa, ukhamaraki parámetros apnaqata ukanakaxa taqpachawa mayjt’ayatarakini. Sapa yant’awi tukuyatatxa, métricas ukanakaw lurasi, ukax kunjams modelo ukax kunjamtix yatichatäki ukhamarjam lurawayi uk uñacht’ayi. Ukhamaraki, métricas ukax luratarakiwa, modelo ukan lurawip uñt’ayañataki, mä conjunto de validación ukat mä conjunto de prueba ukar uñtasita. Aka métricas ukax modelo ukan suma uñt’ayasiñapatakiw apnaqasi. Sapa yant’awi tukuyatatxa modelo ukaxa imañawa, ukatxa sapa kutiwa datos ukanaka mayjt’ayañatakixa, ukhamaraki imañawa. Mä kutix mä modelo ukax mä aplicación ukar mantañatak wakicht’atäxi ukhax ukax paqueteado ukat uñstayañapawa.

Mä juk’a arumpixa, MLOps ukax maquinat yatiqañawa kunatix DevOps ukax nayra software desarrollo ukataki. Panpachaniw mä conjunto de prácticas ukat principios ukanakax ingeniería ukan equipos (Dev jan ukax ML) ukat operaciones IT (Ops) ukanakan mayacht’asiwip juk’amp askiptañatak amtata. Amtäwix nayrar sartañ jakäwip askichañawa, amtäwinakat ukhamarak lurañanakat qalltasa, uñstayañkama ukhamarak apnaqañanakkama, automatización ukamp apnaqasa. Uka amtanakan nayrïr askinakapat maynïrix sapürunjam juk’amp askinak lurañawa.

MLOps ukar mä juk’a manqhar mantañäni ukat kuna específicos ukanakas amuyt’añasa uk uñakipt’añäni.

10 MLOps Uñacht’awinaka amuyt’añataki

Yant’awinak arknaqañ ukhamarak yanapt’asiñax MLOps ukamp juk’amp uñt’atawa, ukampis jichhürunakanx juk’amp jichha pacha MLOps herramientas ukanakax juk’amp lurañjamawa. Amuyt’añataki, yaqhipanakax yant’awinakamatakix mä apnaqañ pacha churapxaspaw. Yaqhipanakax modelos ukanakax mä aplicación ukar mayacht’añatak wakicht’atäxi ukhax paquetear ukat uñstayapxaspawa.

Aka amparamp qillqt’at uñacht’awix mä superconjunto de características ukaw jichhürunakan MLOps herramientas ukan jikxatasi. Aka lista ukax yaqhanak amuyt’añatakiw utjaraki, sañäni, yanapt’awinaka ukat datos ukanakamp mayachasiña.

1. Mä jach’a anatirit yanapt’awi - MLOps técnicas ukat características ukanakax sapa kutiw mayjt’aski. Mä herramienta ukax mä jach’a anatirimp yanapt’atawa (Google, Databricks, jan ukax McKinsey and Company back Kubeflow, MLflow, ukat MLRun, ukjama), sapa kuti nayrar sartañapataki ukhamarak juk’amp askinak lurañataki. Mä chiqap uñacht’äwirjamaxa, jichhürunakanx walja wali uñt’at herramientas ukanakax jach’a modelos de lenguas (LLM) ukanakat nayraw lurasiwayi; ukatw waljax machaq lurawinakamp yapxatapxi, AI generativo ukar yanapt’añataki.

   
   

2. Jichha pacha Datalake Integración - Yant’awinakax walja wakicht’at ukhamarak jan wakicht’at yatiyawinak uñstayi. Mä herramienta MLOps ukax Modern Datalake (jan ukax Data Lakehouse) ukampiw sum mayacht’asi, ukax jan wakicht’at yatiyäwinak Data Lake ukan imatäspawa (akax MinIO chiqaw), ukatx wakicht’at yatiyäwinakax Data Warehouse ukar sarañapawa. Ukampirus llakisiñawa, walja MLOps herramientas ukax janïr Formatos de Tabla Abierta ukax utjkän ukax Modern Datalake ukaruw uñstayatayna, ukhamax jilpachanix mä sapa solución ukanipxaniwa estructurado datos ukanakataki. Akax mä base de datos relacional abierto de código fuente ukawa, ukax infraestructura de datos ukax yanapt’añapawa. Datos jan estructurados (conjuntos de datos ukat puntos de control de modelos) ukanakar yäqasa, taqi jach’a herramientas ukanakax industria ukanx MinIO uka apnaqapxi kunatix 2014 maratpachaw utjistu.

   
   

3. Yant’awinak arknaqañ - Inas mä MLOps herramienta ukan juk’amp wakiskir lurawipax sapa yant’äwitak conjuntos de datos, modelos, hiperparámetros ukat métricas ukanakar uñjañax wakischispa. Yant’awinak arknaqawix repetibilidad ukaruw yanapt’añaparaki - phisqa yant’äwinak nayrax mä munat resultado jikxatasma ukat uka qhipat yant’awinakax modelo ukan lurawip jan walt’ayawaychi ukhax herramienta MLOps ukampiw qhipäxar kutt’añama ukat hiperparámetros exactos ukanak apsuñataki, ukat conjunto de datos ukan lurawinakap apnaqañamawa ukax munat achunak apsu.

   
   

4. Yanapt’asiñ yanapt’aña —MLOps herramienta ukan mä wakiskir componente ukax portal jan ukax UI ukawa, ukax sapa yant’äwin achuwinakap uñacht’ayañatakiw apnaqasi. Aka portal ukax taqpach equipo ukankirinakaruw mantañapa, ukhamat maynit maynikam yant’äwinakap uñjapxañapataki ukhamarak iwxt’awinak lurapxañapataki. Yaqhip MLOps herramientas ukax gráficos fantásticos ukaniwa, ukax gráficos personalizados ukanakaw lurasispa, yant’äwinakat apsutanakat chikancht’asis.

   
   

5. Modelo Embalaje - Aka ch’amaxa mä modelo ukarux paquetea ukhamat yaqha programación ukan pachanakapat mantañapataki - uñt’atawa microservicio ukhama. Akax mä suma lurawiwa. Mä modelo entrenado ukax janiw kunas juk’ampikiti, mä objeto serializado ukhamawa. Walja organizacionanakax inas ukax nayratpach amuyt’apxchispa.

   
   

6. Modelo Servimiento - Mä kutixa mä modelo ukaxa mä servicio ukhama paqueteado ukhamawa, aka lurawixa permitirá despliegue automático de la servicio ukaxa modelo ukaxa utjki ukaxa organizacionan formal medios ukanakaru. Janiwa aka lurawixa wakiskiti ukaxa mä jilïr CI/CD tubería taqi software ukan yänakap pachamama taypin apnaqañ yati.

   
   

7. Registro Modelo - Mä registro modelo ukaxa taqi modelos ukanaka jichha pacha apnaqata MLOps herramienta ukampiwa mä uñakipaña churaraki. Taqi kunat sipansa, modelos de grado de producción ukanakan lurañax taqi MLOps ukan amtapawa. Aka uñjawix uñacht’ayañapawa modelos ukanakax producción ukar uñstayatäna ukhamarak modelos ukanakax janipuniw producción ukar puripkänti. Modelos ukanakax producción ukar lurapki ukanakax etiquetados ukham uñt’ayatäñapawa, ukhamat ukax mä versión de aplicación jan ukax servicio ukan uñt’ayasiñapatakiw uñt’ayasispa.

   
   

8. Jan Servidor ukan lurawinakapa - Yaqhip yänakax lurawinakampiw uñacht’ayasi, ukax código ukarux anotacionañapatakiw jayti, ukhamat mä función jan ukax módulo ukax mä servicio contenedor ukham uñt’ayasiñapataki, mä clúster ukan yant’äwinak lurañataki. Uka lurawi apnaqañ amtasksta ukhax taqi ingenieronakax aka técnica ukamp sum sarnaqapxañapatakiw uñjañama. Mä juk’a yatiqañ curva ukhamäspawa - DevOps ukan uñt’at ingenieronakax juk’amp jasakiw pachaw utjani, ukampirus ingenieronakax nayrax maquina de aprendizaje ukan juk’a codificación ukan yatxatapkän ukanakax ch’am tukupxani.

   
   

9. Datos Pipeline Capacidades - Yaqhip MLOps herramientas ukax taqpach tukuyat tukuykam capacidades ukanaka churañ amtapxi ukatx específicos características ukanakaw utji datos pipelines lurañatakix crudo datos apsuñataki, lurañataki, ukat q’uma datos imañataki. Gasoductos ukanakax ukham uñt’atawa Gráficos Acíclicos Dirigidos (DAGs) ukanakax 1.1. - yaqhipa herramientas ukanakax capacidades de horario ukanirakiwa. Kunawsatix jan servidor ukan lurawinakamp chikt’at apnaqatäki ukhax akax mä ch’aman jisk’a código ukan solución ukhamäspawa, pipelines de datos ukanakar lurañataki ukhamarak apnaqañataki. Ukax janiw wakiskiti, jumatix nayratpach mä pipeline jan ukax herramienta de flujo de trabajo apnaqañax wakisispa.

   
   

10. Yatichañ Pipeline Capacidades - Akax datos pipelines ukar uñtasitawa, ukampis mä yatichäw pipeline ukax kawkhantix datos pipelines ukanakax jaytapki ukjanw apthapi. Mä pipeline de capacitación ukax código de acceso a datos ukar jawsañatakiwa, datos ukanakax lógica de capacitación ukar apayañatakiwa, ukatx artefactos de datos ukat modelos ukanakar anotar ukhamat automáticamente imatäñapataki. Pipelines de datos ukar uñtasita, aka lurawix jan servidor ukan lurawinakamp chikt’ataw apnaqasispa DAGs ukat yant’äwinak horario ukar lurañataki. Ukax mä herramienta de capacitación distribuida ukampiw apnaqasi, ukhamax inas uka lurawix jan wakiskchiti. Mä yatichäw gasoducto ukanx yatichäwinak jaljata qalltañax wakisispawa, ukampis ukax wali ch’amäspawa.

MLOps ukat Almacenamiento ukanaka

Nayra pacha apnaqawi lurawimpi maquina yatiqañampi mayjt’awinaka uñakipt’asaxa, qhanawa, maquina yatiqañampi suma sarantañatakixa, mä juk’a MLOps ukatxa mä infraestructura de datos ukaxa wakisi lurañataki ukhamaraki capacidad escalable ukampi.

Utan yapuchañ solucionanakax wali askiwa, mä proyecto jank’ak qalltañax wakisispa ukat janiw mä herramienta formal MLOps ukar chiqanchañatakix pachax utjkiti. Ukham lurañ amtasksta ukhax suma yatiyäwix taqi kunatix infraestructura de datos ukatakix munaski ukax MinIO ukawa. MinIO ukax S3 ukampiw chikancht’asi ukhamat yaqha herramienta ukamp qalltasma ukat mä interfaz S3 ukampiw conjuntos de datos ukar mantasma, ukatx código ukax ukhamakiw irnaqani. Jumatix qalltasksta ukhax jiwasan... Python SDK ukax mä juk’a pachanakanwa , ukax S3 ukampiw uñt’ayasi. MinIO ukan versión empresarial uka apnaqañ amuyt’añäni, ukax capacidades de caché ukaniwa, ukax yatichäw conjuntos ukanakatakix datos ukar mantañax wali jank’akiw lurasispa. Uñakipt’apxañani Chiqpach Razones Kunatsa AI ukax Objeto Almacenamiento ukan luratawa kawkhantix kunjams ukat kunats MinIO ukax MLOps ukar yanapt’añatak apnaqasi ukxat ch’allt’asipxta. Organizaciones ukanakax mä solución utapatak ajllipki ukanakax tunka lurawinakatx wali uñt’atäñapawa, ukax akham uñacht’ayatawa. Inas qhipharux utan yapuchat solución ukar jilxattapxchisma, ukat nayrar sartañatakix juk’amp aski thakhix mä herramienta MLOps ukar apnaqañawa.

Mä kimsïr MLOps herramienta ukar apnaqañax jach’a tamanakatakix wali askiwa, walja AI/ML tamanakampiw kunayman kasta modelos uñstayapxi. MLOps herramienta ukax juk’amp lurawinakaniwa, janiw chiqpachapunix wali suma herramienta ukhamäkiti. Uñakipt’aña aka pata tuqina ukatxa qillqt’aña kuna lurawinakasa wakisi, kuna lurawinakasa jichhaxa utji ukaxa mä chimpu ukhama utjki uka CI/CD pipeline ukaru, ukatxa tukuyañatakixa, kuna lurawinakasa jani munata, ukaxa yanapt’ätamwa suma chiqapa jikxatañataki. MLOps herramientas ukax mä voracious apetito ukaniwa jach’a petabytes de objetos almacenamiento ukataki. Waljaniw sapa yant’awimp automáticamente versión de conjuntos de datos ukanak lurapxi ukatx sapa época ukjatx automáticamente modelos ukanakaruw uñakipapxi. Aka tuqinx mayamp, MinIO ukax yanapt’aspawa kunatix capacidad ukax janiw mä jan walt’awikiti. Utan yapuchañ solución ukar uñtasita, MinIO ukan edición empresarial uka apnaqañ amtañamawa. Caché ukan lurawinakapax mä kuti mä cubo ukar wakicht’atax automáticamente irnaqapxi ukhamat MLOps herramienta ukax jan caché apnaqañ mayikchisa - MinIO ukax automáticamentew sapa kuti mantañ yänak mä yatichäw utt’ayatjam caché ukar tukuyani.

Jutïr pachatak mä Munañ Lista

Walja herramientas MLOps ukax jichhürunakanx qhathunakanx mä base de datos relacional abierto de código fuente ukampiw apnaqasi, ukax datos estructurados generados ukanakax modelo de capacitación ukan luratawa ukax jilpachax métricas ukat hiperparámetros ukanakawa. Ukampirus, akax machaq base de datos ukawa, ukax organizacionaman yanapt’atäñapawa. Ukhamarus, mä tamax Modern Datalake (jan ukax Data Lakehouse) uksar saraski ukhax mä yaqha base de datos relacional ukax janiw wakiskiti. Kunatix jach’a MLOps aljirinakatakix wali askïspa ukax mä almacén de datos basado en OTF uka apnaqañawa, jupanakan estructurado datos ukanakap imañataki.

Taqi jach’a MLOps aljirinakax MinIO ukax capucha manqhan apnaqapxi, jan wakicht’at yatiyawinak imañataki. Ukampirus, akax taqpachanx mä sapa jisk’a instancia ukham uñt’ayatawa ukax mä chimpunakjamaw taqpach jach’a uñstayawi MLOps herramienta ukan uñstayata. Ukhamarus, ukax jilpachax mä nayra versión MinIO ukawa, ukax jiwasan ethos ukar jan walt’ayi, sapa kutiw uka... qhipa ukat jach’a . Jichha utjki uka MinIO aljirinakatakix, MLOps herramienta ukax mä cubo apnaqañapatak jaytañax wali askïspawa, mä utjki uka instalación ukan. MinIO ukar machaq aljirinakatakix, MLOps herramienta ukax MinIO ukan qhipa versión ukar yanapt’añapawa. Mä kuti utt’ayatäxi ukhaxa, MinIO ukax MLOps yänakat sipanx tama taypin amtanakatakiw apnaqasirakispa, mä arunx kawkhantix yänaka imañ ch’amapax munaski.

Tukuyawi

Aka post ukanx mä arquitecto ukan guia MLOps ukar uñacht’ayawayta, MLOps ukan panpachan lurawinakap yatxatasa ukhamarak infraestructura de datos uka lurawinakar yanapt’añatakix wakisi. Mä jach’a nivelanx organizacionanakax mä solución utapatak lurapxaspawa, jan ukax kimsïr solución ukar uñstayapxaspawa. Kawkïr thakhis ajlliwaykchixa, jichhürunakanx taqi kunatix industrian utjki ukanak amuyañax wali askiwa. Utan yapuchañ solucionanakax mä proyecto jank’ak qalltañatakiw yanapt’i, ukampis inas jank’ak solucionat sipan jilxattarakchisma. Ukhamaraki, wali askiw jumanakan específicos munañanakam amuyañaxa ukat kunjams MLOps ukax mä utjki uka CI/CD pipeline ukamp irnaqani. Walja MLOps herramientas ukax características ukaniwa ukatx lurawinakaw utji, ukax inas jan apnaqkchiti jan ukax nayratpach CI/CD pipeline ukan chikanchatawa.

MLOps ukar sum phuqhañatakix mä infraestructura de datos ukax wakisiwa, ukax yanapt’aspawa. Aka post ukanx mä sanu solución uñacht’ayawayta khitinakatix mä solución utapatak ajllisipki jupanakataki ukatx kuntix kimsïr herramientas ukanakat suyt’apxaspa ukat recursos ukanakax munapki ukanakat qhanañcht’awayta.

Mä lista de deseos ukampiw tukuyta, MLOps herramientas ukanakan juk’amp lurañataki, ukax jupanakarux Modern Datalake ukamp juk’amp sum mayacht’asiñ yanapt’aspa.

Modern Datalake apnaqañ tuqit juk’amp yatxatañatakix AI/ML irnaqäw cargas ukar yanapt’añatakix, uñakipt’añäni AI/ML Ukax Mä Modern Datalake ukankiwa .

Kuna jiskt’awinakas utjaspa ukhax jank’akiw jawst’apxita Slack ukax mä juk’akiwa !