Você coloca um notebook, limpa um conjunto fixo de dados e treina um modelo até que a precisão brilhe.A confiança cresce.O protótipo é perfeito, e tem animado as partes interessadas. É aqui que a maioria das iniciativas promissoras é cortada prematuramente, ou até mesmo cancelada, em muitos programas de aprendizado de máquina. O desenvolvimento de um único protótipo de notebook em um sistema de produção de nuvem altamente viável não é apenas uma extensão de sua demonstração. envolve uma enorme transformação nas práticas de engenharia. A nuvem não pode resolver os problemas arquitetônicos subjacentes por si só; ele apenas lança mais luz sobre eles. Why Notebook Success Does Not Translate to Production Reality Por que o sucesso do notebook não se traduz em realidade de produção Provavelmente, os notebooks são confortáveis devido à falta de atrito. Seus dados são estáticos. O mundo ao seu redor está selado. Casos de borda e falhas são muito fáceis de ignorar. A produção remove tudo o que é confortável. Na realidade, a informação é atrasada, fragmentada ou distorcida. Você compete com outros processos de alta prioridade, e quando ocorrem erros, eles afetam os usuários reais. Uma das suposições mais arriscadas que levam ao fracasso da equipe é que um modelo que funcionou historicamente funcionará sob cargas contínuas e simultâneas da mesma forma que o fez durante uma previsão isolada em um notebook. The Data Problem Nobody Sees Coming O problema dos dados ninguém vê vir Em seu protótipo, a informação é perfeita. Na produção, no entanto, é os dados que ditam a agenda. As mudanças de formato de upstream são muitas vezes silenciosas. Os valores flutuam. Os padrões de usuário evoluem. Você implanta modelos construídos com base em dados históricos; eles começam a envelhecer assim que você os usa em um mundo dinâmico. A maioria das equipes estão dispostas a expandir o tamanho de sua infraestrutura de nuvem e nem sequer consideram a confiabilidade dos dados. A noção de que é incrivelmente fácil acumular mais computação em provedores de nuvem, mas que não há botão de autoescalagem quando os gasodutos de dados estão fluindo na direção errada, é absolutamente aterrorizante. A precisão do seu modelo diminuirá silenciosamente à medida que ignora os padrões de dados de entrada, enquanto os servidores ficam mais ocupados, fazendo ruídos alegres. Accuracy Is Not the Finish Line Precisão não é a linha final Na prática, a qualidade da previsão, sua latência, sua estabilidade e o custo do modelo na nuvem são todos parâmetros sobre os quais o desempenho do modelo depende. É possível trabalhar com um modelo pesado, mas você pode gastar mais do que seu orçamento de inferência para pagar a conta da nuvem. O problema é que os engenheiros são mais propensos a cometer o erro de usar modelos enormes e complexos apenas porque eles existem. modelos menores e altamente otimizados são quase sempre a melhor escolha de engenharia: eles são mais baratos, mais rápidos e exigem menos babysitting operacional. Environment Mismatch and Dependency Chaos Desmatamento ambiental e caos de dependência A implantação muitas vezes falha devido a incompatibilidades ambientais. Os servidores de nuvem de produção não se parecem com ambientes de notebooks de forma alguma. As versões da biblioteca diferem. Os aceleradores de hardware não são os mesmos. As configurações do sistema introduzem variações sutis e irritantes na forma como o código é executado. Quando as equipes não mantêm controle rigoroso sobre o ambiente, o caos surge durante a implantação. O conjunto de testes não é mais usado para fazer previsões de uma só vez. Os serviços simplesmente desaparecem. O processo de depuração torna-se um pesadelo. A reprodutibilidade deve ser a preocupação primária. Modelos estritamente embalados e dependências em contêineres (Docker) são necessários para garantir que a escala não seja apenas confiável, mas também resiliente. Scaling ML Is Not the Same as Scaling Software Scaling ML não é o mesmo que scaling software Um aplicativo web tradicional pode ser facilmente escalado adicionando servidores adicionais atrás de um balanceador de carga. Os modelos podem exigir hardware especial (como GPUs ou TPUs). O consumo de memória pode aumentar abruptamente e significativamente durante a inferência. Inicios frios podem retardar seus tempos de resposta para um crawl, e cargas de trabalho de streaming em tempo real exigem uma arquitetura completamente diferente do que um processo de lote noturno. Não assuma que a escalagem automática da nuvem irá corrigir essas lacunas automaticamente. A escalagem só é alcançável quando você gerencia adequadamente seu tráfego, alocação de recursos e entende a pegada de hardware do seu modelo. The Silent Danger of Poor Monitoring O perigo silencioso da má monitorização A API e a saúde do servidor são monitoradas de perto pela maioria das equipes de engenharia, mas o monitoramento do modelo é muitas vezes negligenciado. Quando um servidor da web falha, ele falha abruptamente e deixa o serviço indisponível. Com um modelo ML, no entanto, não pode haver um acidente. Previsões deslizam lentamente. Preconceitos entram. O produto torna-se desalinhado. O seu modelo degrada, e você não pode dar ao luxo de esperar até que os clientes se queixem e as receitas se recusam a perceber isso. Monitorar a deslizagem de dados e a deslizagem de previsão não é um luxo; é a única maneira de verificar se o seu sistema está realmente fazendo o que você projetou para fazê-lo. Security and Governance Are Not Afterthoughts Segurança e governança não são reflexões No entanto, o trabalho que você deixa exposto na Internet aberta pode conter propriedade intelectual valiosa e informações altamente sensíveis. Os hackers percebem os endpoints abertos como oportunidades para roubar modelos ou corromper dados de treinamento.As ferramentas de segurança e governança do seu provedor de nuvem não devem ser deixadas inutilizadas.Acesso seguro aos dados usando funções IAM rigorosas.Assegure que as mudanças de modelo e as consultas de dados sejam audíveis.Não implementar essas medidas no início resultará em uma reparação de segurança dolorosa e dispendiosa a longo prazo. Treating ML as a Living System Tratando o ML como um sistema vivo O maior mito do MLOps é que o propósito é a implantação. Na verdade, a implantação é dia zero. As equipes de engenharia bem-sucedidas não consideram o aprendizado de máquina como um lançamento de software, mas um organismo vivo. Você tem que continuar treinando, refinando e monitorando seus modelos à medida que operam em um mundo em mudança. Essas equipes não percebem a nuvem como uma ajuda de banda para evitar a engenharia séria; em vez disso, eles a vêem como uma base sólida para construir sistemas resilientes. Closing Thoughts Fechando pensamentos Especificamente, o desafio de converter um protótipo em produção é onde o aprendizado de máquina se torna verdadeiramente viável e onde muitas iniciativas falham. Ser baseado em nuvem não é sobre se orgulhar de um tamanho de modelo maior ou do número de servidores que você lançou. É sobre planejar, arquitetar e respeitar a complexidade pura do mundo real. O sucesso não está na versão de protótipo, mas na construção de um sistema capaz de operar de forma confiável na realidade.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Read My Stories

Este áudio é produzido no idioma original da história!

Por que seu protótipo ML falhará na produção (e como consertá-lo)

About Author

COMENTARIOS

Rótulos

ESTE ARTIGO FOI APRESENTADO EM

Related Stories

State of the Noonion: Green Clock Strikes Noon

Telegram: a ponte da Crypto Island para o continente

O guia completo para uma migração bem-sucedida para a nuvem: estratégias e práticas recomendadas

Crescimento de Criptomoedas: Criando Personas de Usuários Eficazes

State of the Noonion: Green Clock Strikes Noon

Telegram: a ponte da Crypto Island para o continente

O guia completo para uma migração bem-sucedida para a nuvem: estratégias e práticas recomendadas

Crescimento de Criptomoedas: Criando Personas de Usuários Eficazes

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps