多くの AI イニシアチブが失敗する理由

iPhone で、数年前に撮った友人の特定の写真を探しています。検索する画像は何千もありますが、Apple Photo アプリは適切な人に焦点を合わせ、数秒以内に探している写真を見つけます.

これを実現するために、顔認識、画像分析、自動タグ付けなど、舞台裏で多くの作業が行われています。必要なものや必要なものを推測し、リアルタイムでそれらの推測に基づいて行動することで労力を節約しています。

Apple や Google、FedEx、Uber、Netflix などの企業は、ユーザー エクスペリエンスをより簡単に、よりパーソナルに、より直感的にするためのシステムとアーキテクチャの構築に何年も費やしてきました。場合によっては、人工知能を使用すると、重要な決定をほぼ瞬時に下したり、予測をリアルタイムで行ったりして、ビジネスがその瞬間に結果を改善できるようになります。

これは、企業のより広い宇宙で失われることはありません。 2022 年デロイトの調査、ビジネス リーダーの 94% が、成功には AI が不可欠であると述べています。

では、なぜほとんどの組織にとって、成功する AI アプリケーションを構築することが大きな課題なのだろうか?それは 3 つの大きなハードルに要約できます。不適切なデータ、不適切なインフラストラクチャ、不適切なタイミングです。

AI の成功へのハードル

マッキンゼーによると、企業の 56% が AI を採用していますが、アクセンチュアが報告、AI を使用して優れた成長とビジネスの変革を達成することに成功したのはわずか 12% でした。

AI をリアルタイム アプリケーションにうまく組み込むには多くの障害がありますが、そのほとんどは 1 つの中心的な要素であるデータに関連しています。

従来の ML/AI システムの多くと、それらが生み出す結果は、データ ウェアハウスとバッチ処理に依存しています。その結果、この履歴データを機械学習システムに「取り込む」には、複雑な一連のテクノロジー、データの移動、および変換が必要になります。

ML モデルに入力されるデータは特徴 (分析に使用できる測定可能なプロパティ) と呼ばれ、通常、アプリケーション データベースに格納されているデータまたはログ ファイルに書き込まれたデータに基づいています。多くの場合、値のスケーリングや以前のレコードに基づく計算 (たとえば、レコードが生成されたときの移動平均) などの変換が必要になります。

これにより、一般に、入力から決定、出力に至るまでのデータの流れが遅くなり、機会を逃して顧客離れにつながる可能性があります。また、認識されたサイバー セキュリティの脅威パターンが検出されず、軽減されないままになる可能性があります。課題は、不適切なデータセットがあり、動きが遅すぎる不適切なインフラストラクチャによってサポートされていることと要約できます。

間違ったデータ…

データの膨大な量 (および関連するコスト) のため、転送と可用性を容易にするためにデータを集約する必要があります。簡単に言えば、集約された、または過度に変換されたデータは、組織が適切なアクションをリアルタイムで簡単に特定することを妨げ、望ましい結果を達成する可能性を減らします。 .これにより、組織が新しい疑問に対する答えを見つけたり、結果を予測したり、急速に進化する状況に適応したりする能力が低下します。

データ サイエンティストは、あいまいな予測を推進する粗粒度のデータセットを使用することを余儀なくされており、特に顧客セッションのような個別のコンテキストでは、予想されるビジネスへの影響につながりません。また、アプリケーションが再構成されたときやデータ ソースが進化したときに認識されず、機能をフィードしない重要なイベントが発生する可能性もあります。この欠落したデータは、モデルの選択に関して情報に基づいていない意思決定につながります。これにより、予測の精度が低下したり、さらに悪いことに、誤ったデータを使用するモデルが誤った決定につながる可能性があります。

最後に、集約は既存の機能の作成に重点を置いています。新しい機能エンジニアリング (モデルの選択とトレーニングに必要なデータの処理) では、さまざまな集計のために生データに戻る必要があります。この追加の処理により、データ サイエンティストの作業が大幅に遅くなり、実験プロセスが長くなります。

…不適切なインフラで…

2 つ目の課題は、AI イニシアチブを強化する現在の ML インフラストラクチャと、データセットを大規模に処理できないことに関連しています。モデルの品質とその結果は、取り込まれるイベント データの量に応じて向上します。多くの場合、組織は膨大な量のイベントを処理する必要があり、レガシー インフラストラクチャでは対応できません。

モデルをトレーニングし、推論を実行するためにモデルを提供するシーケンスは複雑になります。特に、モデル間のデータ移動が必要になるためです。高品質の予測に必要な規模を処理しようとすると、従来のアーキテクチャが限界点に追い込まれます。また、骨の折れるほど遅く、信頼性が低く、コストがかかります。これらすべてが、ますますミッション クリティカルになっているアプリの価値と影響を脅かしています。

…間違った時に

もう 1 つの障害は、データの処理が遅すぎて大きな影響を与えられないことです。現在のアーキテクチャでは、モデルを提供するために複数のシステムによるデータ処理が必要です。これにより、さまざまな方法で AI イニシアチブに影響を与えるレイテンシが発生します。

• モデルのアウトプットは、発展する状況の進路を変えることはできません。たとえば、コンバージョン率が低下した時点で顧客にオファーを提案し、顧客が何か他のものを購入した可能性があります。

• モデルを提供して結果を得るまでにかかる時間は、デジタル エクスペリエンスや自動化されたプロセスの期待と一致しません。場合によっては、データを処理する準備が整うまでに数日かかることがあります。競争の激しい市場では、これほど古いデータはせいぜい無関係であり、最悪の場合は危険です (危機や災害時に急増料金を適用するライドシェアリング アプリを考えてみてください)。

• データ サイエンティストは最新のデータにアクセスできません。これはモデルの結果に影響を与える可能性があり、データ サイエンティストは追加のデータ ポイントやソースを探すために貴重な時間を費やす必要がある場合があります。

  
  

現在の ML インフラストラクチャの多くは、コストがかかりすぎ、複雑すぎ、遅すぎるため、アプリケーションを提供できません。また、規制の変更により、組織は最終的に、モデルがどのようにトレーニングされ、特定の決定に至ったのかについて、より詳細な説明を提供する必要が生じる可能性があります。このレベルの可視性は、関連する処理、集約、およびさまざまなツールのため、現在のアーキテクチャでは不可能です。

多くのインフラストラクチャの問題は、データが AI 駆動型アプリケーションに到達するまでの道のりにあります。この問題に対する答えは、簡単に言えば、反対のことをすることです。

AI をデータにもたらす

この記事の冒頭で言及した企業のようなリーダーは、顧客、デバイス、センサー、またはパートナーからの膨大な量のリアルタイム データを、アプリケーション内を移動する際に集約することで成功を収めています。このデータは、モデルのトレーニングと提供に使用されます。これらの企業は、このデータに基づいて瞬時に行動し、何百万もの顧客にリアルタイムでサービスを提供しています。

リーダーの成功のもう 1 つの重要な要素は、タイムスタンプ付きのイベントとして、すべてのデータを最も詳細なレベルで収集するという事実です。これは、大量のデータを持っているだけではないことを意味します。また、時間の経過とともに、何がいつ起こったかを理解することもできます。

Netflix、FedEx、Uber などの大手企業は、アプリケーションが存在する場所で推論を提供できるように、「データのある場所に AI をもたらします」。つまり、ML モデルをアプリケーションに組み込み、ストリーミング サービスを通じてリアルタイムでイベントを集約し、このデータを ML モデルに公開します。そして、彼らはデータベースを持っています (上記の 3 つのリーダーの場合、それは高スループットのオープン ソース NoSQL データベースです)。アパッチ カサンドラ) には、大量のイベント データを格納できます。

適切な統合データ プラットフォームを使用することで、ML イニシアチブには適切なインフラストラクチャと適切なデータがもたらされます。データ エンジニアとデータ サイエンティストは、「サイロから抜け出し」、機能エンジニアリング、モデル実験、トレーニング、推論のプロセスを力の予測に合わせることができます。これらのプロセスには依然として多くのツールが必要ですが、それらはすべて同じデータ基盤で機能します。

モデルとアプリケーションを提供するための膨大な量のイベント データを活用し、AI を活用した最も成功したアプリケーションは、エンド ユーザーに提供するエクスペリエンスを絶えず改善することで差別化を図り、業界をリードしています。何百万もの顧客にサービスを提供し、よりスマートになる能力により、顧客は市場を定義することができます。

DataStax がリアルタイム AI を実現する方法を学ぶ

エド・アナフ著。

Ed は DataStax の最高製品責任者です。彼は、Google、Apigee、Six Apart、Vignette、Epicentric、Wired などの企業で製品および技術のリーダーとして 25 年以上の経験があります。