Pourquoi tant d'initiatives d'IA échouent

Vous recherchez sur votre iPhone une photo particulière de votre ami, prise il y a quelques années. Il y a des milliers d'images à parcourir, mais l'application Apple Photo se concentre sur la bonne personne et, hop, en quelques secondes, vous trouvez l'image que vous recherchez.

Il y a beaucoup à faire dans les coulisses pour que cela se produise, y compris la reconnaissance faciale et l'analyse d'image et le marquage automatique, se réunissant pour économiser des efforts en faisant des inférences sur ce qui est nécessaire ou voulu, puis en agissant sur ces inférences en temps réel.

Des entreprises comme Apple – et Google, FedEx, Uber, Netflix également – ont passé des années à créer des systèmes et des architectures qui permettent aux utilisateurs de devenir plus simples, plus personnels et plus intuitifs. Dans certains cas, l'intelligence artificielle permet de prendre des décisions clés presque instantanément ou de faire des prédictions en temps réel, ce qui permet à une entreprise d'améliorer ses résultats sur le moment.

Cela n'échappe pas à l'univers plus large des entreprises : selon un Sondage Deloitte 2022 , 94 % des chefs d'entreprise affirment que l'IA est essentielle au succès.

Alors pourquoi est-ce que, pour la plupart des organisations, la création d'applications d'IA réussies est un énorme défi ? Cela peut se résumer à trois grands obstacles : les mauvaises données, dans la mauvaise infrastructure, au mauvais moment.

Obstacles au succès de l'IA

D'après McKinsey , 56 % des entreprises ont adopté l'IA, mais, comme le note Accenture dans un rapport , seuls 12 % réussissent à atteindre une croissance supérieure et à transformer leur entreprise grâce à l'IA.

De nombreux obstacles empêchent de réussir à intégrer l'IA dans des applications en temps réel, mais la plupart sont liés à un élément central : les données.

De nombreux systèmes ML/IA traditionnels, et les résultats qu'ils produisent, reposent sur des entrepôts de données et le traitement par lots. Le résultat : un éventail complexe de technologies, de mouvements de données et de transformations sont nécessaires pour « apporter » ces données historiques aux systèmes d'apprentissage automatique.

Les données qui sont introduites dans un modèle ML sont appelées caractéristiques (propriétés mesurables pouvant être utilisées pour l'analyse), qui sont généralement basées sur les données stockées dans une base de données d'application ou écrites dans des fichiers journaux. Ils nécessitent souvent des transformations, telles que des valeurs de mise à l'échelle ou des calculs basés sur des enregistrements antérieurs (par exemple, une moyenne mobile au moment où un enregistrement a été généré).

Cela ralentit généralement le flux de données de l'entrée à la décision à la sortie, ce qui entraîne des opportunités manquées qui peuvent entraîner une perte de clients ou des modèles de menaces de cybersécurité reconnus non détectés et non atténués. Les défis peuvent se résumer à avoir des ensembles de données inappropriés, soutenus par une infrastructure mal alignée qui évolue trop lentement.

Les mauvaises données…

En raison du volume considérable de données (et des coûts associés), elles doivent être agrégées pour faciliter le transport et la disponibilité. En termes simples, les données agrégées ou excessivement transformées empêchent les organisations d'identifier facilement les actions appropriées en temps réel et réduisent la possibilité d'obtenir un résultat préféré, qu'il s'agisse d'un produit suggéré, d'un itinéraire de livraison de colis mis à jour ou d'un réglage ajusté sur une machine dans une usine. . Cela ralentit la capacité d'une organisation à trouver des réponses à de nouvelles questions, à prévoir des résultats ou à s'adapter à un contexte en évolution rapide.

Les scientifiques des données sont obligés d'utiliser des ensembles de données grossiers qui génèrent de vagues prédictions qui, à leur tour, ne conduisent pas à l'impact commercial attendu, en particulier dans des contextes discrets comme une session client. Ils peuvent également ne pas être informés lorsque les applications sont reconfigurées ou que les sources de données évoluent, ce qui entraîne des événements essentiels qui n'alimentent pas les fonctionnalités. Ces données manquantes conduisent à une prise de décision mal informée lorsqu'il s'agit de choisir des modèles. Cela conduit à des performances de prédiction moins précises, ou pire, des modèles utilisant des données erronées peuvent conduire à de mauvaises décisions.

Enfin, l'agrégation se concentre sur la création de fonctionnalités existantes. L'ingénierie de nouvelles fonctionnalités - le traitement des données nécessaires pour choisir et former des modèles - nécessite de revenir aux données brutes pour différentes agrégations. Ce traitement supplémentaire ralentit considérablement le travail des data scientists, prolongeant le processus d'expérimentation.

… dans la mauvaise infrastructure …

Le deuxième défi est lié aux infrastructures ML actuelles qui alimentent les initiatives d'IA et à leur incapacité à traiter des ensembles de données à grande échelle. La qualité des modèles et de leurs résultats augmente avec le volume de données d'événements ingérées. Les organisations doivent souvent traiter des volumes massifs d'événements, auxquels les infrastructures héritées ne peuvent pas faire face.

La séquence des modèles d'entraînement et leur utilisation pour l'exécution de l'inférence devient complexe, d'autant plus qu'elle nécessite des mouvements de données entre chacun. Tenter de gérer l'échelle requise pour des prédictions de haute qualité pousse les architectures traditionnelles à leurs points de rupture. Il est également extrêmement lent, peu fiable et coûteux. Tout cela menace la valeur et l'impact des applications qui sont de plus en plus critiques.

… au mauvais moment

Une autre pierre d'achoppement provient du traitement des données trop tard pour avoir un impact significatif. Les architectures actuelles nécessitent le traitement des données via plusieurs systèmes pour servir un modèle, ce qui introduit une latence qui affecte les initiatives d'IA de différentes manières :

• La sortie du modèle ne peut pas modifier le cours d'une situation en développement. Par exemple, il propose une offre client à un moment où le taux de conversion a diminué, et le client a peut-être acheté autre chose.

• Le temps nécessaire pour servir des modèles et obtenir un résultat ne correspond pas aux attentes d'une expérience numérique ou d'un processus automatisé. Parfois, des jours peuvent s'écouler avant que les données ne soient prêtes à être traitées. Sur des marchés hautement concurrentiels, des données aussi anciennes sont au mieux non pertinentes et, au pire, dangereuses (pensez à une application de covoiturage qui applique une tarification en cas de crise ou de catastrophe).

• Les data scientists n'ont pas accès aux données les plus récentes. Cela peut affecter le résultat des modèles et peut obliger les data scientists à passer un temps précieux à rechercher des points ou des sources de données supplémentaires.

  
  

De nombreuses infrastructures ML actuelles ne peuvent pas servir les applications car elles sont trop coûteuses, trop complexes et trop lentes. Et, les changements réglementaires pourraient éventuellement obliger les organisations à fournir des explications plus détaillées sur la façon dont les modèles ont été formés et pourquoi ils sont arrivés à une décision particulière. Ce niveau de visibilité est impossible avec les architectures actuelles en raison du traitement, de l'agrégation et de la variété des outils impliqués.

Le problème avec de nombreuses infrastructures réside dans le cheminement que les données doivent suivre jusqu'à l'application pilotée par l'IA. La réponse au problème, tout simplement, est de faire le contraire.

Apporter l'IA aux données

Les leaders comme les entreprises mentionnées au début de cet article réussissent en agrégeant d'énormes quantités de données en temps réel provenant de clients, d'appareils, de capteurs ou de partenaires au fur et à mesure qu'elles se déplacent dans leurs applications. Ces données sont à leur tour utilisées pour former et servir leurs modèles. Ces entreprises agissent sur ces données dans l'instant, servant des millions de clients en temps réel.

Un autre élément essentiel du succès des dirigeants est le fait qu'ils collectent toutes les données au niveau le plus granulaire - sous forme d'événements horodatés. Cela signifie qu'ils n'ont pas seulement beaucoup de données ; ils peuvent également comprendre ce qui s'est passé et quand cela s'est produit, au fil du temps.

Des entreprises de premier plan comme Netflix, FedEx et Uber "apportent l'IA là où se trouvent les données" afin qu'elles puissent fournir les inférences là où l'application se trouve. En d'autres termes, ils intègrent leurs modèles ML dans leurs applications, regroupent les événements en temps réel via des services de streaming et exposent ces données aux modèles ML. Et ils ont une base de données (dans le cas des trois leaders mentionnés ci-dessus, il s'agit de la base de données NoSQL open source à haut débit Apache Cassandre ) qui peut stocker d'énormes volumes de données d'événement.

Avec la bonne plate-forme de données unifiée, les initiatives de ML disposent de la bonne infrastructure et des bonnes données. Les ingénieurs de données et les data scientists peuvent « sortir de leurs silos » et aligner leurs processus d'ingénierie de caractéristiques, d'expérimentation de modèles, de formation et d'inférence pour alimenter les prédictions. Bien que ces processus nécessitent encore de nombreux outils, ils fonctionnent tous sur la même base de données.

Propulsées par des quantités massives de données d'événements pour servir des modèles et des applications, les applications les plus performantes alimentées par l'IA se différencient et mènent en améliorant constamment les expériences qu'elles offrent aux utilisateurs finaux. Leur capacité à servir des millions de clients et à devenir plus intelligents leur permet de définir les marchés sur lesquels ils se trouvent.

Découvrez comment DataStax permet l'IA en temps réel

Par Ed Anuff.

Ed est chef de produit chez DataStax. Il a plus de 25 ans d'expérience en tant que chef de produit et de technologie dans des entreprises telles que Google, Apigee, Six Apart, Vignette, Epicentric et Wired.