Le monde des données a radicalement changé au cours de la dernière décennie. Les bases de données traditionnelles, conçues pour stocker des informations dans un format structuré, se sont transformées en entrepôts massifs de données non structurées hébergées sur plusieurs serveurs à différents endroits. Il n'y a pas si longtemps, nous étions habitués à voir des systèmes monolithiques dominés par des mastodontes, comme Oracle et IBM. Si vous êtes un analyste ou un utilisateur professionnel qui a besoin d'accéder à ce type de données (et qui n'en a pas besoin ?), cela signifiait des systèmes lents qui étaient incroyablement difficiles à gérer.  La naissance d'une nouvelle pile logicielle  La complexité croissante des systèmes a finalement conduit au besoin de piles logicielles modernes qui pourraient aider les organisations à exécuter des applications complexes tout en restant rentables. Le mouvement open source a contribué à cela, en réduisant considérablement le coût de l'assemblage d'applications complexes telles que Elastic Search pour la recherche en texte intégral et PyTorch pour la modélisation. L'emballage et les opérations robustes du logiciel ont amélioré la convivialité, la stabilité et l'économie du système.  La   (MDS), qui a connu beaucoup de succès au cours de la dernière décennie, s'appuie sur le mouvement open source et est un ensemble d'idées, d'outils et de méthodologies destinés à construire la pile de données d'entreprise. pile de données moderne  Défis liés à la mise à l'échelle de MDS  Dans les années 2010, nous avons vu l'adoption rapide d'outils open source au sein du MDS. Cependant, après leur succès initial, de nombreuses initiatives d'organisations autour de ceux-ci se sont heurtées à des défis lorsqu'il s'agissait de les mettre à l'échelle :  La   due au nombre d'outils, de configurations, de méthodologies et d'interactions que les organisations et les équipes devaient suivre était écrasante, entraînant un épuisement professionnel et des taux d'attrition élevés parmi les talents surcharge cognitive  La   associée à ces technologies était incroyablement raide. Il faut comprendre que la plupart de ces outils open source ont été créés dans des organisations sophistiquées telles que Netflix, Google et Uber et ne répondent pas nécessairement aux besoins des organisations qui ont des déploiements plus petits - une fraction de l'échelle. courbe d'apprentissage  Le rythme de l'innovation dans l'espace signifiait également   . Avec le rythme auquel des outils plus récents, meilleurs, plus rapides et plus efficaces arrivaient sur scène, les ingénieurs devaient apprendre et désapprendre rapidement. des durées de vie plus courtes pour les nouvelles technologies  La communauté de la science des données est celle qui a plusieurs points de vue contradictoires, ce qui entraîne un   (ce qui est le mieux pour son entreprise). Le plus souvent, la seule façon de surmonter ce défi est de construire, ce qui est non seulement coûteux mais chronophage. manque de clarté quant à l'approche à adopter  Si vous avez suivi des cycles de battage médiatique tels que Gartner, ce n'est probablement pas une surprise pour vous d'apprendre que   (qui arrive beaucoup plus rapidement qu'il y a probablement dix ans). Des technologies comme Hadoop, NoSQL et Deep Learning, qui étaient considérées comme "chaudes" il n'y a pas si longtemps, ont déjà dépassé leur apogée du cycle de battage publicitaire de Gartner. les investissements technologiques ont une date de fin  Les points 1 et 2 ont joué un rôle majeur dans l'augmentation des niveaux de stress dans l'industrie et dans la limitation des talents disponibles pour adopter et utiliser les technologies. Nous avons constaté une tendance similaire dans l'espace DevOps, l'offre de développeurs talentueux ne répondant pas à la demande de nouveaux services numériques.   à propos de ce problème - qui a conduit à un épuisement professionnel élevé, et la durée moyenne de carrière d'un développeur professionnel étant inférieure à 20 ans. Il a récemment publié un fil de discussion dans lequel il a approfondi la complexité du paysage dirigé par les développeurs, et nous ne pouvons pas nous empêcher de remarquer plusieurs parallèles entre ce qu'il prétend et l'espace MLOps.  Tyler Jewell de Dell Capital s'est fait entendre  Les points 3 et 4 mettent en évidence le sort des spécialistes des données d'aujourd'hui : si la résolution de problèmes ne suffisait pas, ils finissent par passer plus de temps à essayer de comprendre « comment » ils peuvent procéder et résoudre les problèmes sans pouvoir réfléchir à quoi. doit être fait, ou le résultat attendu.  Un changement s'annonce…  Nous assistons à une évolution des outils de données utilisés par les organisations, motivée par une prise de conscience croissante que nombre d'entre elles n'ont d'autre choix que de s'appuyer sur des fournisseurs tiers pour leurs besoins en infrastructure. Cela n'est pas seulement dû à des contraintes budgétaires, mais également à d'autres contraintes, telles que la sécurité et la provenance des données.  En outre, il existe une demande croissante de processus automatisés permettant aux entreprises de migrer facilement les charges de travail d'un fournisseur à un autre sans perturber les opérations ni provoquer de temps d'arrêt. Nous en constatons les effets dans des secteurs tels que les services financiers, où la gestion des données est souvent essentielle au succès (par exemple, les agences de notation de crédit).  En raison de tout cela ainsi que des défis énumérés ci-dessus, il y a eu plusieurs développements dans la communauté : ​  Les organisations insistent de plus en plus sur la nécessité d'instaurer la   , donnant naissance à des outils axés sur la qualité et la gouvernance des données. confiance dans leurs données  On met de plus en plus l'accent sur les initiatives d'apprentissage automatique et de science des données liées aux résultats, et sur les modèles commerciaux qui sont explicitement   . alignés sur des cas d'utilisation métier spécifiques  Les coûts et la complexité sans cesse croissants entraînent une consolidation par le biais d'extensions de fonctionnalités, d'acquisitions et d'intégrations. Snowflake, par exemple, étend rapidement sa liste de partenaires pour devenir une pile d'applications analytiques complètes.  Compte tenu de la complexité après le déploiement du modèle, nous assistons à l'émergence d'outils tels que   , qui aident à estimer les performances du modèle, à détecter la dérive et à améliorer les modèles en production grâce à des déploiements itératifs. Nous voyons cela comme un moyen pour les entreprises de boucler la boucle entre l'entreprise, les données et le modèle. NannyML  Une nouvelle organisation,   , a émergé pour rassembler les éléments essentiels des applications d'intelligence artificielle. Ils ont travaillé à la construction d'une   , qui vise à étouffer le bruit créé par l'introduction d'une pléthore d'outils qui prétendent être les « derniers et les meilleurs » et à aider les entreprises non technologiques à progresser rapidement. . AI Infrastructure Alliance pile canonique pour l'apprentissage automatique  La définition du MDS est étendue pour inclure les produits de données, les applications et d'autres éléments. Cela rend MDS full-stack.   et services émergent qui découpent l'espace en fonction des utilisateurs cibles (par exemple, les scientifiques des données par rapport aux analystes), de la disponibilité des compétences et du délai de réalisation des résultats. De nouveaux produits  La base d'utilisateurs de MDS s'élargit pour inclure les équipes d'analyse et les utilisateurs professionnels. Cela se traduit par une expérience utilisateur améliorée, des interfaces low-code et une automatisation.  Et enfin, on assiste à l'émergence d'approches telles que la «   », qui est essentiellement une déconstruction des stacks MDS et MLOps. Ces approches mettent l'accent sur la pertinence pour l'entreprise ainsi que sur la consommation en aval des fonctionnalités générées pour produire de la valeur commerciale. Post-Modern Stack ​  Qu'est-ce que cela signifie  La consolidation des outils et des plates-formes, des développements de plates-formes plus simples et l'utilisation de services gérés se produisent dans l'ensemble de l'industrie. Cela découle de la nécessité pour les entreprises de faire face à la complexité. C'est une période passionnante pour faire partie de cet espace, et j'ai hâte de voir comment le paysage évolue au cours de l'année.  Chez Scribble Data (l'entreprise que j'ai cofondée), nous sommes parfaitement conscients de cette évolution en cours. Nous nous concentrons sur un problème spécifique : l'ingénierie des fonctionnalités pour les cas d'utilisation d'analyse avancée et de science des données. Cet espace de problèmes n'a cessé de croître en termes d'importance et a évolué de manière cohérente avec les points ci-dessus. Avec la bonne combinaison de technologies et l'orientation de la solution, il est possible d'aligner la valeur du produit sur les cas d'utilisation, tout en obtenant un délai de valorisation (TTV) 5 fois plus rapide pour chaque cas d'utilisation.  Également publié  ici

Stacks

Community Is

Dell

Google

Netflix

Oracle

Target

Uber

YouTube

2022 - Data Science Demon

2022 - HackerNoon Contributor of the Year - Big Data

2022 - HackerNoon Contributor of the Year - Data Privacy

Nominated for 2022 - HackerNoon Contributor of the Year - Big Data

Nominated for 2022 - HackerNoon Contributor of the Year - Data Privacy

Nominated for 2022 - Data Science Demon

Cet audio est produit dans la langue originale de l'histoire !

Trop long; Pour lire

Complexités croissantes de l'infrastructure de données : implications en matière de coûts et voie à suivre

Complexités croissantes de l'infrastructure de données : implications en matière de coûts et voie à suivre

About Author

COMMENTAIRES

ÉTIQUETTES

CET ARTICLE A ÉTÉ PARU DANS

Related Stories

Appuyez pour gagner : Telegram pourrait intégrer les 10 prochains milliards d'utilisateurs de crypto avant Solana

Créer des produits cryptographiques centrés sur l'utilisateur : l'importance des retours clients

Le guide complet pour réussir une migration vers le cloud : stratégies et bonnes pratiques

Comment améliorer votre flux de travail par 10 : 17 applications essentielles

Appuyez pour gagner : Telegram pourrait intégrer les 10 prochains milliards d'utilisateurs de crypto avant Solana

Créer des produits cryptographiques centrés sur l'utilisateur : l'importance des retours clients

Le guide complet pour réussir une migration vers le cloud : stratégies et bonnes pratiques

Comment améliorer votre flux de travail par 10 : 17 applications essentielles

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps