Snowflake または BigQuery を実行しているすべての企業は、毎月の請求書が到着すると、予想以上に40%高くなり、誰も正確に理由を説明できません。 データチームは、ガソリンパイプラインを構築する代わりに倉庫を手動で再構築するのに週10時間以上費やしています。 Ido Arieli Noga、CEOおよび共同創設者 彼はこのサイクルの中で12年以上を過ごし、最初は政府の大規模なデータ環境を管理し、次にLighticoのデータ責任者として、Snowflakeコストのスパイラルを見ていました。 ユキ このインタビューでは、データインフラストラクチャをスケーリングするためのデフォルトアプローチがなぜ破損しているのか、AI時代のワークロードがクラウド予算にどのような影響を与えているのか、そして業界がデータコストの管理を最初からどのように再考する必要があるのかについて説明します。 Hi Ido, welcome to our "Behind the Startup" series. You have worked in government, DevOps, data architecture, and eventually Head of Data at Lightico. それは広い道です。 Ishan Pandey: 私のチームは、インフラストラクチャに時間の60%を費やしていました - 倉庫のサイズ、コストの消防、調節を必要としなかったクエリの調節。 Ido Arieli Noga: 私は問題が解決できることを知っていました DevOps - Spot.io のような企業がクラウドインフラストラクチャのための自律的な最適化を構築し、効果を発揮しました. 同じことがデータプラットフォームでは存在しませんでした. したがって、Spot.io の共同創設者である Yakir Daniel に連絡を取り、彼にデータに適用されるアイデアを提示し、彼はすぐにそれを手に入れた。 あなたは、Snowflake、BigQuery、Databricksの400以上のデータチームと話しました。 Ishan Pandey: プラットフォームに関係なく、同じ frustration エンジニアは彼らが過払いしていることを知っています。 彼らはそれを見ることができます。 しかし、それを修正するには継続的な監査が必要です - 倉庫ごとに、ワークロードごとにワークロード、そして誰にもそのための帯域幅はありません。 Ido Arieli Noga: プラットフォーム自体はあなたに限られたオプションを与えます. あなたは倉庫のサイズを変更することができますが、それは単純なツールです。 
 
 実際の最適化はクエリレベルで行われます - 各クエリには異なる計算要件、異なる同期パターン、異なるタイミングがあります。 スライダーを移動することによって解決することはできません。 実際の最適化はクエリレベルで行われます - 各クエリには異なる計算要件、異なる同期パターン、異なるタイミングがあります。 スライダーを移動することによって解決することはできません。 このスペースの200以上のベンダーは、ほとんどがより多くのダッシュボードを追加します。このギャップは、クエリレベルで、ユーザーコードに触れずに、継続的に動作するものです。 倉庫の拡散、スロットの乱用、クラスター拡散 - 異なるプラットフォーム、同じ問題。 Ishan Pandey: Provisioning is easy. Right-sizeing is hard. A team needs compute for a new use case, spins something up, and moves on. Nobody audits utilization across dozens of resources on a continuous basis - the workload shifts every month anyway. チームは新しい使用ケースのために計算する必要があります。 Ido Arieli Noga: 我々はそれを一貫して見ている: Snowflake では、中規模のクエリの 40% が超小規模で実行される可能性があります。BigQuery では、スロット予約は通常、実際の需要の 3-4 倍です。 典型的な展開は何のように見えるのか、そしてどこに短くなっているのか。 Ishan Pandey: 私たちは、アプリケーションとデータプラットフォームの間で接続レベルで座っています. We see every query in real time — size, complexity, concurrency, historical pattern and route it to appropriately sized compute. No code changes because we are not touching queries. すべてのクエリをリアルタイムで表示します。 Ido Arieli Noga: 衝撃の速度は、ほとんどの環境でどのくらいのヘッドルームが存在するかによって生じます。 ほとんどのアカウントは1日から大幅に過剰供給されています。 
 
 アンジェル・スタジオズは接続ストレンド交換で54分でライブで、コスト削減60%を観た。 アンジェル・スタジオズは接続ストレンド交換で54分でライブで、コスト削減60%を観た。 また、手動最適化にすでに多額の投資を行っているチーム、安定したパターンがない非常に不規則なワークロード、またはコストの大半がコンピューティングではなくストレージやデータ転送である環境などが機能しない。 あなたの価格設定は、実際の節約のパーセントです - 節約なし、料金なし。それが企業SaaSでは珍しいです。 Ishan Pandey: それは信念から来た。もし製品が効くなら、節約に合わせることは正直だ。もし特定の環境に効かないなら、我々は請求すべきではない。 Ido Arieli Noga: CFOとの会話はシンプルです。30日間のパイロットを無料で実行します。節約を生み出さない場合、請求書はありません。これは評価リスクを完全に除去します。もっと難しい部分は通常、調達です - いくつかの金融チームは、結果ベースのSaaSのためのクリーンバケットを持っていません。しかし、彼らがそれを理解すると、取引を承認しやすくなります。 AI実験は古いコンピュータ廃棄物の問題の新しいバージョンを生み出しています。 Ishan Pandey: AIワークロードは探求的でしばしば放棄されます。チームは実験を実行し、終了またはキャンセルされ、コンピュータは動き続けます。 Ido Arieli Noga: ワークロード意識の層は計算を変えることができます チームは、インフラストラクチャが調整することを知っているため、通常のコスト不安なしにワークロードを回転させることができます それは小さく聞こえますが、それは実際の摩擦ポイントを除去します - あなたは「これを実行する余裕がありませんか?」と尋ねるのをやめ、「これから何を学びますか?」と尋ね始めます。 それはまた、データリーダーシップにAI支出がどこに向かっているか - チーム、ワークロードの種類、結果によって - 実際の可視性を提供します。 予測不能な請求書とエンジニアがインフラワークにこだわるデータの責任者にとっては、今週、あらゆるプラットフォームで監査すべき3つのこと。 Ishan Pandey: まず、タイムウィンドウによるコンピューティング利用です. ほとんどの環境は、ピーク時間の外で重要な空白コンピューティングを持っています. Fast to find, fast to fix. Ido Arieli Noga: 次に、リソースレベルと実際のクエリ需要の比較で、割り当てられた計算レベルでグループ化されたクエリ履歴の30日間です。 第三に、アクティブなワークロードなしの常に利用可能なリソースです. 決して完全に停止しない倉庫、クラスター、またはスロットの予約 - 通常、バックグラウンドプロセスによって誤って構成され、または生き残っています. Pure waste, fixable quickly. あなたは Snowflake を超えて BigQuery と Databricks に拡張しています。 Ishan Pandey: ビジョンは、すべての主要なデータプラットフォームで統一された最適化層であり、Snowflakeツールではなく、コストツールです。 Ido Arieli Noga: 現在、最適化層なしのデータプラットフォームを実行することは、エンジニアに頼って自動化されるべき何かをすることを意味します。これから5年後には、手動サーバープロビジョニングが今日のように見えるようになります - 間違っていません、ただ不要です。 データインフラストラクチャは現在、コアビジネスインフラストラクチャとなっています。 ストーリーを気に入ってシェアすることを忘れないでください!

This story contains new, firsthand information uncovered by the writer.

Hot off the press! This story contains factual information about a recent event.

Between Two Computer Monitors: This story includes an interview between the writer and guest/interviewee. 

Winner of Noonies 2020 for the award Hacker Noon Contributor of the Year - DATA.

2020 - Hacker Noon Contributor of the Year in DATA

Read My Stories

このオーディオは、ストーリーの元の言語で制作されています。

Yuki CEO on Data Cost Optimization: Why Your Snowflake and BigQuery Bill Is 40% & Rising Due to AI データコスト最適化:なぜあなたのスノーフレイクとBigQuery Billが40%増加しているのか

About Author

コメント

ラベル

この記事は

Related Stories

デジタルノマドの皆さん、タイの新しい DTV ビザについて知っておくべきこと

Telegram: クリプト島と本土を結ぶ橋

HackerNoon Coded: HackerNoonが最も活発に活動している上位10カ国

HackerNoon ライティングコンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

デジタルノマドの皆さん、タイの新しい DTV ビザについて知っておくべきこと

Telegram: クリプト島と本土を結ぶ橋

HackerNoon Coded: HackerNoonが最も活発に活動している上位10カ国

HackerNoon ライティングコンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps