「未来は、どんな企業でもデータから簡単に洞察を得られる時代です」とDatabricksのAniruth氏は語る

HackerNoon では、画期的な技術の構築に関するストーリーを重視しています。これらの質問は、AI の仕組みに関するものだけではありません。最先端のツールを実現するための革新、課題、創造性に関するものであり、技術リーダー、ビルダー、未来志向の読者のコミュニティに最適です。

導入

私の名前はAniruthです。私はDatabricksのストレージ チームに所属しており、Data Intelligence Platform を使用して、顧客がオープンでスケーラブルな形式で大量のデータを保存できるように取り組んでいます。具体的には、Delta Lake と Apache Iceberg との相互運用性の取り組みに取り組んでいます。

HackerNoon:あなたの AI 製品が解決するために設計された主な問題は何ですか? また、それを解決するためのアプローチの何が効果的ですか?

Aniruth : Databricks はデータと AI を統合して、実用的なインテリジェンス、つまりデータ インテリジェンスを顧客に提供します。これには、大量のデータの取り込み、ETL、大規模ストレージ、ビジネス インテリジェンス クエリ、AI ワークロードが含まれます。過去 10 年間の機械学習で使用された手法は 1980 年代から存在しており、ビッグ データの台頭により、大規模なアルゴリズムの実行が可能になりました。

少数ショットプロンプトや RAG などの手法は、高品質のデータに依存します。より優れたデータを持つモデルは、より優れたアーキテクチャを持つモデルに勝ちます。Databricks は、データ分野における主導的な取り組みに多大な投資を行っており、オープン データ形式とオープン ガバナンスを備えたレイクハウス アーキテクチャを開拓しています。これにより、顧客はデータ レイクから最高のパフォーマンスで最高の洞察を得ることができます。

この製品に特定の AI モデルを選択する際にどのような基準を使用しましたか? また、御社ではこのような決定をどのように行いますか?

当社では、AI アシスタント用の Llama 3 など、製品内でさまざまな方法で AI モデルを使用しています。当社はオープン データと AI エコシステムを信じており、お客様が任意のモデルを使用することを推奨しています。当社は、お客様が使用するモデルに関係なく、AI ライフサイクル全体でエンドツーエンドのガバナンスが確実に行われるように支援し、お客様がユースケースに合わせてモデルを作成することに集中できるようにします。

製品がユーザーに正確で偏りのない結果を提供することをどのように保証しますか?

当社では、製品内での AI の使用において、正確性と偏りのない回答を優先することに多大な労力と投資を費やしており、頻繁にテストを実施し続けています。

プロダクトマネージャーとしての一日はどのようなものですか?

データと AI の分野は急速に進化しているので、最新情報を把握しておくことは非常に重要です。私の 1 日の仕事には、顧客との会話、市場分析、製品要件ドキュメントのまとめ、マーケティング資料の準備などが含まれます。私のお気に入りの部分は、物事がどのように機能するかを示す図を作成することです。アイデアを視覚的に表現するのはとても楽しいからです。

誰もが注目すべき AI の次の大きな進歩は何でしょうか?

大きな進歩が間もなくたくさん起こります。私が特に興味を持っているのは、コンテンツのハイパーパーソナライゼーションです。過去 10 年間、広告は特定の視聴者に合わせて微調整されてきました。Netflix がユーザーに表示するサムネイルなど、コンテンツの一部の要素は調整されていますが、実際のコンテンツ (ビデオ自体) は調整されていません。ディレクターやプロデューサーが、伝えたいストーリーとユーザーの関心のバランスをどのように取っているかを見るのは興味深いでしょう。

この AI 製品を構想から発売まで市場に投入する上で直面した最大の課題は何ですか?

私は大規模なデータ ストレージに取り組んでいますが、これは理解するのが非常に難しい場合があります。データに対してさまざまな AI 最適化を行っていますが、これらの最適化がいつ実行されるのか、どのように機能するのか、何がカバーされないのかなど、よく質問されます。このような質問に対しては、私たちが何を構築しているのか、そしてその理由について明確で一貫したメッセージを伝えることが重要です。制限の原因を説明すると、顧客の共感を非常に得られることがわかりました。

AI が人間の感情をよりよく理解し、それに応答するためにどのように進化するとお考えですか。また、その分野ではどのような課題や機会があると思いますか。

マルチモーダル モデルは今後数年間で大幅に改善され、AI との主なやり取りの方法が変わるでしょう。人間の感情を理解するのは、テキストよりも視覚情報や音声情報の方がはるかに簡単です。より幅広いシナリオでより自然なやり取りを生み出すチャンスがあると思います。

この AI 製品の成功を測定するために、どのようなパフォーマンス指標または KPI を追跡していますか?

私たちは通常、良いフィードバックと使用状況を確認したいと考えています。私は頻繁に顧客と話をして、彼らが私たちの製品についてどのように、そしてなぜ考えているのかを把握します。これは、指標に特定の傾向が見られる理由を説明する鍵となります。

機能的であるだけでなく、ユーザーにとって魅力的で記憶に残る製品エクスペリエンスを設計するには、どのようにアプローチしますか?

大規模なデータ製品は、使いにくいことで有名です。シンプルな例は簡単に設定できますが、実稼働ワークロードでは、通常、構成とコードが複雑になります。製品の使用を非常にシンプルにしながら、顧客が必要とする機能を構築することが、私にとっての最優先事項でした。

将来は、あらゆる企業がデータから簡単に洞察を得られるようになります。現在の世界では、データ駆動型のビジネス洞察は大企業に限定されていますが、そのような企業でもよりシンプルなエクスペリエンスを望んでいます。

長期的には、AI はどのようにして個人が潜在能力を最大限に発揮するのに役立つと思いますか?

個人としては、ハードウェアへの AI の統合に非常に期待しています。これまで、AI は主に Web サイトなどのソフトウェア アプリケーションで見られてきました。AI を活用したデバイスを構築する大規模なアプリケーションは数多くあり、すでに自動車や携帯電話でその影響が見られ始めています。

今後数年間で製品はどのように進化していくとお考えですか? また、追加することに最も期待している機能は何ですか?

Databricks は、ますますシンプルかつ強力になる道を歩んでいます。大規模なデータやコンピューティングの扱いやすさから、クエリやワークフローのパフォーマンス向上まで、私たちはあらゆる面で多くの取り組みを行っています。個人的には、AI を使用したワークフローをはるかに簡単にするエキサイティングな機能が製品全体に近々登場すると考えています。たとえば、データに対する AI 生成コメント、ノートブック エディターでの AI コード提案、データとチャットするための AI インターフェイス (Databricks AI/BI Genie など) などです。

AI が仕事に与える影響についてどのような見解をお持ちですか? また、製品戦略においてそれらの懸念にどのように対処しますか?

AI によって仕事の数が減るのではないかという懸念があります。当社の製品は、多くの場合ユーザーと連携して得られる貴重な洞察を増やすように設計されています。たとえば、AI/BI Genie を使用すると、ユーザーは自分のデータにインターフェイスを作成できます。これは魔法のような体験で、ユーザーは質問をして、自分専用の回答を得ることができます。実際、ユーザーは使用されている SQL をチェックして、それが探しているものであることを確認することさえできます。これはアナリストとの共同作業であり、アイデアから洞察に至るまでの時間を短縮します。

どのようなユーザーからのフィードバックがあなたを驚かせ、ロードマップ、戦略、または製品エクスペリエンスの変更につながりましたか?

私にとって大きな驚きの 1 つは、一部の大企業が抱える複雑さでした。これにより、私一人では考えもしなかったような要件が製品に導入されます。よくある例としては、新製品を導入する際の移行戦略の検討が挙げられます。通常、大企業は既存のテクノロジー (通常はオープンソース ソフトウェア) を組み合わせるか、新しい製品が取り組む問題を解決するためにカスタム ソフトウェアを構築します。すべての可能性をカバーするソリューションを確実に提供するために、これらを組み合わせる理由と方法を理解するには、通常、少し時間がかかります。