O mundo dos dados mudou drasticamente na última década. Os bancos de dados tradicionais, que foram projetados para armazenar informações em um formato estruturado, evoluíram para enormes armazéns de dados não estruturados que ficam em vários servidores em diferentes locais. Não muito tempo atrás, estávamos acostumados a ver sistemas monolíticos dominados por gigantes, como Oracle e IBM. Se você é um analista ou usuário empresarial que precisa de acesso a esse tipo de dados — e quem não precisa? — isso significava sistemas lentos que eram incrivelmente difíceis de gerenciar.  O nascimento de uma nova pilha de software  A crescente complexidade dos sistemas eventualmente levou à necessidade de pilhas de software modernas que pudessem ajudar as organizações a executar aplicativos complexos enquanto gerenciavam para manter o custo-benefício. O movimento de código aberto ajudou nisso, diminuindo drasticamente o custo de reunir aplicativos complexos, como o Elastic Search para pesquisa de texto completo e o PyTorch para modelagem. O empacotamento robusto e as operações do software melhoraram a usabilidade, a estabilidade e a economia do sistema.  O   (MDS), que teve muita tração na última década, baseia-se no movimento de código aberto e é uma coleção de ideias, ferramentas e metodologias destinadas a construir a pilha de dados corporativos. Modern Data Stack  Desafios no escalonamento do MDS  Na década de 2010, vimos uma rápida adoção de ferramentas de software livre no MDS. No entanto, depois de seu sucesso inicial, muitas iniciativas das organizações em relação a isso enfrentaram desafios quando se tratava de escalá-las:  A   devido ao número de ferramentas, configurações, metodologias e interações que as organizações e equipes tiveram que acompanhar foi avassaladora, levando ao esgotamento e altas taxas de atrito entre os talentos sobrecarga cognitiva  A   associada a essas tecnologias foi incrivelmente íngreme. É preciso entender que a maioria dessas ferramentas de código aberto foi criada em organizações sofisticadas, como Netflix, Google e Uber, e não atende necessariamente às necessidades de organizações com implantações menores – uma fração da escala. curva de aprendizado  O ritmo da inovação no espaço também significou   . Com o ritmo em que ferramentas novas, melhores, mais rápidas e mais eficientes chegavam ao mercado, os engenheiros precisavam aprender e desaprender rapidamente. tempos de vida mais curtos para tecnologias mais recentes  A comunidade de ciência de dados tem vários pontos de vista conflitantes, resultando em uma   (o que é melhor para seus negócios). Na maioria das vezes, a única maneira de superar esse desafio é construindo, o que não é apenas caro, mas demorado. falta de clareza sobre qual abordagem deve ser adotada  Se você acompanha ciclos de hype como o Gartner, provavelmente não é surpresa para você saber que   (que chega muito mais rápido do que provavelmente há uma década). Tecnologias como Hadoop, NoSQL e Deep Learning, que eram consideradas “quentes” há pouco tempo, já passaram do pico do ciclo de hype do Gartner. os investimentos em tecnologia têm uma data final  Os pontos 1 e 2 têm desempenhado um papel importante em aumentar os níveis de estresse na indústria e também limitar o talento disponível para adotar e usar tecnologias. Vimos uma tendência semelhante no espaço DevOps, com a oferta de talentos de desenvolvimento não atendendo à demanda por novos serviços digitais.   sobre esse problema - o que tem levado a um alto esgotamento, e o tempo médio de carreira de um desenvolvedor profissional é inferior a 20 anos. Ele postou recentemente um tópico onde mergulhou fundo na complexidade do cenário liderado por desenvolvedores, e não podemos deixar de notar vários paralelos entre o que ele afirma e o espaço MLOps.​  Tyler Jewell, da Dell Capital, tem falado bastante  Os pontos 3 e 4 destacam a situação do pessoal de dados de hoje – se resolver problemas não bastasse, eles acabam gastando mais tempo tentando descobrir “como” eles podem proceder e resolver problemas sem serem capazes de pensar muito sobre o que precisa ser feito, ou o resultado esperado.  Uma mudança está chegando…  Estamos vendo uma mudança nas ferramentas de dados usadas pelas organizações, impulsionadas por um maior reconhecimento de que muitas delas não têm escolha a não ser confiar em fornecedores terceirizados para suas necessidades de infraestrutura. Isso não se deve apenas a restrições orçamentárias, mas também a outras restrições, como segurança e proveniência dos dados.  Além disso, há uma demanda crescente por processos automatizados que permitem que as empresas migrem facilmente as cargas de trabalho de um provedor para outro sem interromper as operações ou causar tempo de inatividade. Estamos vendo os efeitos disso em setores como serviços financeiros, onde o gerenciamento de dados costuma ser crítico para o sucesso (por exemplo, agências de classificação de crédito).  Como resultado de tudo isso, bem como dos desafios listados acima, houve vários desenvolvimentos na comunidade: ​  As organizações estão enfatizando cada vez mais a necessidade de construir   , dando origem a ferramentas que focam na qualidade e governança de dados. confiança em seus dados  Há uma ênfase crescente em iniciativas de aprendizado de máquina e ciência de dados vinculadas a resultados e modelos de negócios explicitamente   . alinhados a casos de uso de negócios específicos  O custo e a complexidade cada vez maiores estão resultando na consolidação por meio de extensões de recursos, aquisições e integrações. A Snowflake, por exemplo, está aumentando rapidamente sua lista de parceiros para se tornar uma pilha completa de aplicativos analíticos.  Considerando a complexidade pós-implantação do modelo, estamos vendo o surgimento de ferramentas como   , que ajudam a estimar o desempenho do modelo, detectar desvios e melhorar os modelos em produção por meio de implantações iterativas. Estamos vendo isso como uma forma de as empresas fecharem o ciclo entre o negócio, os dados e o modelo. NannyML  Uma nova organização,   , surgiu para reunir os blocos de construção essenciais para aplicativos de Inteligência Artificial. Eles estão trabalhando na construção de uma   , que visa abafar o ruído criado devido à introdução de uma infinidade de ferramentas que afirmam ser as “mais recentes e melhores” e ajudar as empresas não tecnológicas a subir de nível rapidamente . AI Infrastructure Alliance pilha canônica para aprendizado de máquina  A definição do MDS está sendo estendida para incluir produtos de dados, aplicativos e outros elementos. Isso está tornando o MDS full-stack. Estão surgindo   e serviços que cortam o espaço com base nos usuários-alvo (por exemplo, cientistas de dados versus analistas), disponibilidade de habilidades e tempo para a realização do resultado. novos produtos  A base de usuários do MDS está se expandindo para incluir as equipes analíticas e os usuários corporativos. Isso resulta em uma melhor experiência do usuário, interfaces de baixo código e automação.  E, finalmente, estamos vendo o surgimento de abordagens como a “   ”, que é essencialmente uma desconstrução das pilhas MDS e MLOps. Essas abordagens enfatizam a relevância para os negócios, bem como o consumo posterior dos recursos gerados para produzir valor comercial. pilha pós-moderna ​  O que isto significa  A consolidação de ferramentas e plataformas, desenvolvimentos de plataformas mais simples e o uso de serviços gerenciados estão acontecendo em todo o setor. Isso decorre da necessidade de as empresas lidarem com a complexidade. É um momento emocionante para fazer parte deste espaço e mal posso esperar para ver como a paisagem evolui ao longo do ano.  Na Scribble Data, (a empresa que cofundei), estamos muito cientes dessa evolução conforme ela está acontecendo. Nós nos concentramos em um problema específico - engenharia de recursos para análises avançadas e casos de uso de ciência de dados. Esse espaço de problemas tem crescido constantemente em termos de importância e evoluiu de maneira consistente com os pontos acima. Com o mix certo de tecnologia e foco na solução, é possível alinhar o valor do produto aos casos de uso, ao mesmo tempo em que atinge um tempo de valorização (TTV) 5 vezes mais rápido para cada caso de uso.  Também publicado  aqui

Stacks

Community Is

Dell

Google

Netflix

Oracle

Target

Uber

YouTube

2022 - Data Science Demon

2022 - HackerNoon Contributor of the Year - Big Data

2022 - HackerNoon Contributor of the Year - Data Privacy

Nominated for 2022 - HackerNoon Contributor of the Year - Big Data

Nominated for 2022 - HackerNoon Contributor of the Year - Data Privacy

Nominated for 2022 - Data Science Demon

Este áudio é produzido no idioma original da história!

Muito longo; Para ler

Get Free Unlimited IP Geo Data With IPinfo Lite

Complexidades crescentes de infraestrutura de dados: implicações de custo e o caminho a seguir

Complexidades crescentes de infraestrutura de dados: implicações de custo e o caminho a seguir

About Author

COMENTARIOS

Rótulos

ESTE ARTIGO FOI APRESENTADO EM

Related Stories

Guia do arquiteto para construir arquitetura de referência para um Datalake de IA/ML

Toque para ganhar: Telegram pode integrar os próximos 10 bilhões de usuários criptográficos antes de Solana

Modelo Bitcoin UTXO, alimentando um ecossistema único

Guia do arquiteto para construir arquitetura de referência para um Datalake de IA/ML

Toque para ganhar: Telegram pode integrar os próximos 10 bilhões de usuários criptográficos antes de Solana

Modelo Bitcoin UTXO, alimentando um ecossistema único

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps