L'illusione dell'apprendimento automatico ti è andata in testa? stai girando un notebook, pulendo un set fisso di dati e addestrando un modello fino a quando la precisione non risplende. La fiducia cresce. Il prototipo è perfetto e ha eccitato le parti interessate. Questo è il punto in cui la maggior parte delle iniziative promettenti vengono tagliate prematuramente, o addirittura cancellate, in molti programmi di apprendimento automatico. Lo sviluppo di un singolo prototipo di notebook in un sistema di produzione cloud altamente fattibile non è solo un'estensione della tua demo. Ciò comporta un'enorme trasformazione nelle pratiche di ingegneria. Il cloud non può risolvere i problemi architettonici sottostanti da solo; li illumina solo. Why Notebook Success Does Not Translate to Production Reality Perché il successo del notebook non si traduce nella realtà della produzione Probabilmente, i notebook sono comodi a causa della mancanza di attrito. I tuoi dati sono statici. Il mondo intorno a te è sigillato. I casi edge e i guasti sono molto facili da ignorare. La produzione rimuove tutto ciò che è comodo. In realtà, le informazioni sono ritardate, frammentate o distorte. Si competono con altri processi di alta priorità, e quando si verificano errori, colpiscono gli utenti reali. Una delle ipotesi più rischiose che porta al fallimento del team è che un modello che ha funzionato storicamente funzionerà sotto carichi continui e simultanei nello stesso modo in cui lo ha fatto durante una singola previsione isolata in un notebook. Tale divario tra sperimentazione e realtà è raramente preso sul serio fino a quando non diventa dannoso per il business. The Data Problem Nobody Sees Coming Il problema dei dati che nessuno vede arrivare Nel tuo prototipo, le informazioni sono perfette. In produzione, tuttavia, sono i dati che dettano l'agenda. I cambiamenti di formato upstream sono spesso silenziosi. Implementi modelli costruiti su dati storici; iniziano a diventare vecchi non appena li usi in un mondo dinamico. La maggior parte delle squadre sono disposte ad espandere la dimensione della loro infrastruttura cloud e non prendono nemmeno in considerazione l'affidabilità dei dati. L'idea che sia incredibilmente facile riprendere più calcolo sui provider cloud, ma che non ci sia un pulsante di scalabilità automatica quando i tubi di dati fluiscono nella direzione sbagliata, è assolutamente spaventosa. La precisione del tuo modello si degraderà silenziosamente mentre ignora i modelli dei dati in entrata, mentre i server diventano più occupati e più occupati, facendo rumori allegri. Accuracy Is Not the Finish Line La precisione non è la linea di fine In pratica, la qualità della previsione, la sua latenza, la sua stabilità e il costo del modello nel cloud sono tutti parametri su cui dipende la performance del modello. È possibile lavorare con un modello pesante, ma si può spendere più del vostro budget di inferenza per pagare la fattura cloud. Il problema è che gli ingegneri sono più propensi a commettere l'inganno di utilizzare modelli enormi e complessi solo perché esistono. I modelli più piccoli, altamente ottimizzati sono quasi sempre la scelta ingegneristica migliore: sono più economici, più veloci e richiedono meno babysitting operativo. Environment Mismatch and Dependency Chaos Disadattamento ambientale e caos di dipendenza La distribuzione fallirà spesso a causa di incompatibilità ambientali. I server cloud di produzione non assomigliano in alcun modo agli ambienti di notebook. Le versioni della libreria differiscono. Gli acceleratori hardware non sono gli stessi. Le configurazioni del sistema introducono variazioni sottili e fastidiose nel modo in cui viene eseguito il codice. Quando le squadre non mantengono un controllo rigoroso sull'ambiente, il caos si verifica durante la distribuzione. Il set di test non viene più utilizzato per fare previsioni all-in-one. I servizi semplicemente scompaiono. Il processo di debugging diventa un incubo. La riproducibilità deve essere la preoccupazione principale. I modelli strettamente confezionati e le dipendenze contenitoriali (Docker) sono richiesti per garantire che la scalabilità sia non solo affidabile ma anche resiliente. Scaling ML Is Not the Same as Scaling Software Scaling ML non è lo stesso di scaling software Una tradizionale applicazione web può essere scalata facilmente aggiungendo server aggiuntivi dietro un bilanciatore di carico. I modelli possono richiedere hardware speciale (come GPU o TPU). Il consumo di memoria può aumentare bruscamente e in modo significativo durante la inferenza. Gli avviamenti a freddo possono rallentare i tempi di risposta a un crawl, e i carichi di lavoro in streaming in tempo reale richiedono un'architettura completamente diversa da un processo di batch notturno. Non supporre che la scalabilità automatica del cloud risolva automaticamente queste lacune in bottiglia. The Silent Danger of Poor Monitoring Il pericolo silenzioso del cattivo monitoraggio L'API e la salute del server sono strettamente monitorati dalla maggior parte dei team di ingegneria, ma il monitoraggio del modello è spesso trascurato. Quando un server web crash, fallisce bruscamente e lascia il servizio indisponibile. Con un modello ML, tuttavia, non può esserci alcun crash. Le previsioni si spostano lentamente. I pregiudizi si spostano. Il prodotto diventa disallineato. Il tuo modello si degrada, e non puoi permetterti di aspettare fino a quando i clienti si lamentano e le entrate si sono rifiutate di realizzarlo. Monitorare il drift dei dati e il drift delle previsioni non è un lusso; è l'unico modo per verificare se il tuo sistema sta effettivamente facendo ciò che hai progettato per farlo. Security and Governance Are Not Afterthoughts Sicurezza e governance non sono riflessioni La sicurezza in un prototipo di notebook non è una preoccupazione per alcune persone.Tuttavia, il lavoro che si lascia esposto su Internet aperto può contenere preziosa proprietà intellettuale e informazioni altamente sensibili. Gli hacker percepiscono gli endpoint aperti come opportunità per rubare modelli o corrompere i dati di formazione. Gli strumenti di sicurezza e governance del tuo provider cloud non dovrebbero essere lasciati inutilizzati. Accesso sicuro ai dati utilizzando ruoli IAM rigorosi. Assicurarsi che i cambiamenti di modello e le query dei dati siano audibili. Il fallimento di implementare queste misure all'inizio comporterà un ripristino della sicurezza doloroso e costoso a lungo termine. Treating ML as a Living System Trattare la ML come un sistema vivente Il più grande mito di MLOps è che lo scopo è il distacco. In realtà, il distacco è il giorno zero. I team di ingegneria di successo non considerano l'apprendimento automatico un rilascio di software, ma un organismo vivente. Devi continuare a ricostruire, affinare e monitorare i tuoi modelli mentre operano in un mondo che cambia. Questi team non percepiscono il cloud come un aiuto di banda per evitare ingegneria seria; piuttosto, lo vedono come una solida base per costruire sistemi resilienti. Closing Thoughts I pensieri chiusi In particolare, la sfida di convertire un prototipo in produzione è dove l'apprendimento automatico diventa veramente fattibile e dove molte iniziative falliscono. Essere basati sul cloud non significa vantare una dimensione del modello più grande o il numero di server che hai lanciato. Si tratta di pianificare, archiviare e rispettare la pura complessità del mondo reale.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Read My Stories

Questo audio è prodotto nella lingua originale della storia!

Perché il tuo prototipo ML fallirà nella produzione (e come risolverlo)

About Author

COMMENTI

CARTELLINI

QUESTO ARTICOLO È STATO PRESENTATO IN

Related Stories

OpenAI Has Everything Under Control 😎

HackerNoon - A User Experience Analysis: Part 2

New Year, New Exciting Features: Mint Your Name, Watch Web 2.5 and Meet The Top Startups of The Year

Indian PM Woos Tech CEOs During U.S. State Visit

OpenAI Has Everything Under Control 😎

HackerNoon - A User Experience Analysis: Part 2

New Year, New Exciting Features: Mint Your Name, Watch Web 2.5 and Meet The Top Startups of The Year

Indian PM Woos Tech CEOs During U.S. State Visit

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps