Cada enginyer d'aprenentatge automàtic recorda la primera vegada que el seu model va a la vida.Les mètriques semblen bones, les prediccions es mantenen estables... i després, gairebé imperceptiblement, els pics de latència, les derivacions de precisió o les dependències es trenquen. Per a Saurabh Kumar, enginyer sènior de programari en un gran minorista multinacional, aquest moment fràgil entre “funciona” i “escala” defineix la diferència entre la investigació i la producció. "La producció ML no es tracta del model en si mateix", explica Saurabh. "Es tracta de com el model es comporta a l'aire lliure, sota càrrega, sota canvis i a escala. Saurabh va treballar extensament en la rearquitectura del motor de puntuació i la construcció de la plataforma MLOps des del principi per al minorista per servir publicitat a escala.El seu treball se situa en el nucli de les principals iniciatives digitals de l'empresa, integrant la IA directament en les experiències dels consumidors. No obstant això, el que distingeix el seu enfocament no és només la sofisticació tècnica, sinó una disciplina metodològica, un llibre de joc, com ell l’anomena, per mantenir els sistemes de producció ràpids, estables i amb reducció d’errors. De l’experimentació a l’execució Segons Saurabh, el viatge d'un model entrenat a un sistema llest de producció s'assembla a un procés de transformació industrial. "Un model és com un motor de prototip", diu. Aquesta realitat va inspirar el que ell anomena Production ML Playbook, un conjunt de principis operatius destil·lats a partir d'anys d'assaig, fracàs i refinament. El primer, el test de latència, tracta de la fricció invisible de l'escala. "No es pot optimitzar el que no es mesura", assenyala Saurabh. "Cada compost de mil·lisegons addicional quan està servint milions de sol·licituds." El seu equip utilitza simulacions de càrrega distribuïda que reflecteixen la demanda del món real, la prova d'estrès de la infraestructura abans del llançament. Validació de la regressió: Guardant contra les ruptures subtils Una vegada que la latència està sota control, Saurabh es converteix en el sabotador silenciós dels sistemes de producció: la regressió. “Els errors de regressió són enganyosos”, diu. Per contrarestar aquesta decadència, Saurabh va ajudar a construir una canonada de validació de regressió automatitzada que rastreja tant el rendiment com el comportament.Cada iteració del model es prova no només per a les mètriques d'exactitud, sinó també per a la consistència de la sortida a través de conjunts de dades i finestres de temps. El seu enfocament es deriva en gran mesura de l'ètica de desenvolupament impulsada per proves de l'enginyeria de programari, fusionant l'experimentació ML amb el rigor de grau de producció. "No es pot confiar només en la intuïció", subratlla Saurabh. "Necessites reproductibilitat, el tipus que fa que els teus experiments siguin defensables i els teus sistemes previsibles". Aquest equilibri de rigor i agilitat permet al seu equip navegar més ràpid i reduir les sorpreses operatives: una característica del que ell anomena maduresa en les operacions de ML. L’imperatiu de l’automatització En el llibre de Saurabh, l’automatització no és només una comoditat, és una salvaguarda. “La intervenció humana hauria de ser l’excepció, no la norma”, insisteix. “Cada pas manual és un punt de fracàs potencial”. En el paper de Saurabh en el major minorista multinacional, el seu equip utilitza conductes de desplegament automatitzades que integren validació contínua, salvaguardes de tornada i triggers d'escala dinàmica. "L'automatització et dóna llibertat", diu Saurabh, "permet centrar-te en l'estratègia, en les grans qüestions arquitectòniques, i no lluitar contra els mateixos problemes de desplegament una i altra vegada." A més de l'eficiència, l'automatització també reforça la fiabilitat.Cada nou model es sotmet a una sèrie de controls de preimplantació, incloent-hi la prova de dades sintètiques i la validació de l'ombra, abans de ser promogut per al trànsit en viu. "Tractem cada desplegament com un experiment", afegeix. Filosofia de l’escalabilitat: confiar en el procés, no en la caça Per Saurabh, l’èxit de la producció no ve de la intuïció, ve de la confiança en el procés. “No es pot escalar l’instint d’una persona”, diu. La seva filosofia més àmplia combina el rigor científic de la investigació amb el pragmatisme operatiu de l'enginyeria. Sota el seu lideratge, els equips d'IA han cultivat un cicle de retroalimentació continu, models aprenent de dades en viu, infraestructures aprenent del comportament del model i enginyers aprenent de tots dos. “La producció no és el final de l’experimentació”, diu. Cap a la fiabilitat autònoma Mirant cap endavant, Saurabh contempla la producció de canonades ML que són autoobservació i auto-correcció, capaç de detectar pics de latència o regressions de forma autònoma i reequilibrar els recursos en temps real. "L'automatització sense comprensió és només un caos més ràpid", diu. "L'objectiu no és eliminar el judici humà, és elevar-lo". Aquesta mentalitat s'ha convertit en la seva estrella del nord, la creença que els sistemes de producció, com les persones que els construeixen, han d'evolucionar a través del feedback, la transparència i la millora contínua. "Els millors sistemes", conclou, "no només funcionen eficientment. This story was published by Steve Beyatte under HackerNoon's Programa de blogs de negocis . Aquesta història va ser publicada per Steve Beyatte sota HackerNoon's Programa de blogs de negocis Programa de blogs de negocis .
