一つの過剰に使われたセマンティック・モデルが私たちのBI能力をどう崩壊させたか...そして私たちが学んだこと。 The Monday Morning Spike 月曜日の朝 スパイク 米国の300以上の店舗が先週の準備を進め、Power BIから日々の販売と在庫レポートを印刷していました。 再び本部に戻り、日々は他のすべてのように始まりました - モニターの静かな混雑、コーヒーの最初の飲み物、メールボックスの充填。 その後、最初のメッセージが届きました。 “Hey, my report’s not loading - can you please check, I need it for a meeting?” 数分後、もう一つ。 “Hey, PowerBI is slow - can you please bump up the capacity ?” その後、もう3つ。 Teams ウィンドウでは、10 分以内に表示されるヘルプ デスク クエイ フォーマットが表示されました。 I accessed the ダッシュボードで、私が見ることを期待していた小さな問題を見つけることができます. グラフの全体の範囲は赤い値を表示しました. Fabric capacity Utilization had spiked to 350 %, and I was completely taken aback. ダッシュボードは反応しなくなり、ページ化されたレポートはロードに時間がかかり、300店舗をサポートしたBIプラットフォームは重要なパフォーマンス問題を経験しました。 The day had just started, and we were already in firefighting mode. Tracing the Problem 私たちの最初のステップは、オープンすることでした。 利用グラフは、1つのワークスペースのコンピューティングユニットが突然最大容量に達したため、最も高い使用量を示した。 Fabric Capacity Metrics dashboard 深く掘り下げて見つけた one dataset consuming over 10× more compute than every other model combined. それにより、さまざまなページ化された定期的なレポートを生成し、すべての詳細なストアカテゴリのパフォーマンス情報を提供することができました。 企業レポートのためのBIセンターである当社が構築したもので、当社の組織は自営業分析モデルに従っているため、誰でもこのデータセットを使用してレポートを構築し、共有することができます。 This was a critical dataset 20 million-row semantic model The operations followed their typical pattern until that specific week. So what changed? 私たちは、タイムウィンドウとレポートの接続と共に活動ログを追跡し始めました. システムは、同じ時間ウィンドウの周りでストアに向かうページ化レポートを通じて、同じモデルに300人の異なるユーザーがアクセスしたことを示したパターンを明らかにしました. 確認するため、私たちはそのレポートを1日だけ無効にしました。 システムが稼働 at its peak capacity since the beginning of its operation. We had our culprit. The Discovery: XMLA Read Operations The Discovery: XMLA Read Operations(XMLAリリースオペレーション) 詳細な操作の視点を調べたとき、一つのメトリックが支配した。 XMLA Read Operations. That was puzzling. The native Power BI feature Paginated Reports operated as external connections. 
 
 
 マイクロソフト自身のドキュメンタリーが答えを示しています: XMLA エンドポイントは、Power BI Premium データセットで読み書き操作を可能にし、外部ツールや API でクエリを実行し、データ モデルを制御できます。 Microsoft’s own documentation gives the answer: XMLA エンドポイントは、Power BI Premium データセットで読み書き操作を可能にし、外部ツールや API でクエリを実行し、データ モデルを制御できます。 XMLA エンドポイントは、Paginated Reports がセマンティック モデルにアクセスできるようにします。 データセットエンジンは、すべてのページレンダリングおよびエクスポート操作から直接DAXバッチ実行を受け取ります。 Excel, DAX Studio or any external system 
 
 
 SQLBIが指摘するように: Paginated レポートは、それぞれの rendered ページが独自の DAX クエリ バッチを実行しているため、高いクエリの共通性を生成します。 As SQLBI notes: Paginated レポートは、それぞれの rendered ページが独自の DAX クエリ バッチを実行しているため、高いクエリの共通性を生成します。 各ストアのユーザーの印刷レポートは、複数のXMLAセッションを作成し、それぞれが重い、完全な読み込みでした。 THE 分散型コンピューティングシステムの崩壊に発展した。 standard Monday printing operation Evaluating the Fixes Fixes を評価 私たちは、効果的な方法を発見するまで、さまざまなソリューションをテストする前に根本原因を発見しました。 
 
 
 
 
 
 
 
 
 
 
 Option 
 Description 
 Outcome 
 
 
 
 
 Keep Live to BigQuery 
 Maintain DirectQuery to BigQuery to avoid imported semantic model. 
 ❌ Too costly; XMLA reads still consume Fabric compute. 
 
 
 
 
 Fabric-Ingested Tables 
 Ingest data into Fabric and use a DirectQuery in the semantic model. 
 ⚠️ Minor improvement but XMLA concurrency remained. 
 
 
 
 
 SQL Endpoint with OLE DB 
 Connect paginated reports directly to SQL endpoint. 
 ⚠️ Technically possible but complex; lost relationships and added IT overhead. 
 
 
 
 
 Lean Semantic Model (Chosen) 
 Create a simplified model with only necessary granularity and metrics. 
 ✅ Massive reduction in compute usage and stable performance. Keep Live to BigQuery(ビッグキャリア) DirectQuery を BigQuery に維持して、インポートされたセマンティック モデルを回避します。 XMLA はまだ Fabric コンピュータを消費しています。 タブレット テーブル Fabric にデータを入力し、Semantic モデルで DirectQuery を使用します。 ⚠️小さい改善でしたが、XMLAの競合は残りました。 SQL Endpoint with OLE DB Paginated レポートを SQL エンドポイントに直接接続します。 ⚠️技術的に可能ですが、複雑で、関係を失い、ITのオーバーヘッドを追加しました。 Lean Semantic Model(選択) 必要な細かさとメトリクスだけを含むシンプルなモデルを作成します。 コンピュータ使用量の大幅な削減と安定したパフォーマンス The Fix That Worked 働いた修正 チームは、ページ化されたレポートのための特定のリーンセマンティックモデルを開発した。 only required granularity and metrics. 私たちがそれを展開したとき、次の月曜日は物語を語った。 Peak utilization fell from 350 % to under 80% システムは、100人以上のユーザーがシステムにアクセスしたときに問題なく動作するページ化レポートを生成しました。 Interactive dashboards remained fast and stable. Fabric metrics ダッシュボードは、この計算を示しました。 had been declining at a steady rate. より薄いモデルは、シンプルな設計構造を通じてコントロールを達成しました。 Why XMLA Read Operations Matter なぜXMLAの読書操作が重要なのか この事件は、ページ化されたレポートがインタラクティブなレポートと異なるキャッシュメカニズムに依存していることを明らかにし、XMLAはデータセットエンジンを直接クエリするために完全にバックパスキャッシュを読み取っている。 Excel、Paginated Reports、またはカスタム スクリプトに接続するために XMLA を使用するツールは、各クエリの容量からインタラクティブ コンピューティング ユニット (CU) を使用します。 
 
 
 TDWIの研究によると、 容量のピークの主な理由は、データの量に焦点を当てる代わりに、同時にクエリを実行することを考慮しない設計パターンから来ています。 As TDWI research notes: 容量のピークの主な理由は、データの量に焦点を当てる代わりに、同時にクエリを実行することを考慮しない設計パターンから来ています。 システムは複数のリクエストを同時に処理し、データ量に変化はなかった。 エンタープライズBIチームにとって、これはパフォーマンスプランニングがモデルサイズと同じくらいの使い方に関係していることを意味します。 類似の問題を避けるために: 
 
 
 
 セグメントワークロード: システムは、インタラクティブな機能とページ化された操作のために2つの異なるモデルを動作させる必要があります。 モニター XMLA オペレーション: Fabric では、そのオペレーションレベルのメトリックを通じて最初に現れるパフォーマンスの問題を特定できます。 Align capacity scaling: システムは、指定された重い作業期間中に、低いと高い間のSKU同期を実行する必要があります。 What We Learned 私たちが学んだこと Paginated Reports のパフォーマンスは、システムが過酷なワークロード条件下で動作する場合に悪化します。 Dashboards aren’t the main compute consumers. XMLA はすべてのセッションを 1 つのアクセスレベルを通じて実行します. 1 人のアナリストと 300 店舗の分析プロセスは、同じ計算経路に従います. 
 
 
 
 
 
 
 単純化は複雑性を打ち負かす: lean モデルは複雑な複数のレイヤーワークラウンドよりも優れた結果を生み出す。 可視性は危機を防ぐ: Fabric Metrics アプリは、不確実な仮定に基づく意思決定を強制する代わりに、正確な診断機能を提供しました。 ガバナンスはパフォーマンスに等しい:組織は、チームメンバーが共有モデルにいつアクセスできるかを指定する特定のガイドラインを作成する必要があります。 Self-service requires oversight: Teams gain significant power through report-building autonomy but need monitoring systems to track their activities and defined ownership rules. リソースへの自由なアクセスの間の可視性の欠如は、隠された共有リソースの過剰負荷につながります。 キャッシングは普遍的ではありません:インタラクティブなレポートのキャッシング行動はページ化されたレポートとは異なりますので、組織は予期せぬ計算ピークを防ぐためにクエリ処理メカニズムを理解する必要があります。 Prevention is cheaper than recovery: Every new dataset implementation now includes workload segmentation and XMLA monitoring as standard features. 設計段階における予防的ガバナンス措置の実装は、緊急解決作業よりも大きな利点を生み出す。 より大きな画像 信頼性の問題は、建築設計とガバナンスシステムの両方の適切な運用を必要とするため、複数のモデルに影響を与えた。 Retail BIの運用はリズム的なパターンに依存するため、価格設定、人員配置、完了および販売操作に関する決定を行うためにリアルタイムのデータが必要です。 
 
 
 MITのSloan Management Reviewによると、 アナリティクスリーダーは、より多くのレポートを生成することではなく、データがどのように消費されるかを制御することによって、他者を上回ります。 As MIT Sloan Management Review writes: アナリティクスリーダーは、より多くのレポートを生成することではなく、データがどのように消費されるかを制御することによって、他者を上回ります。 当社のシステムは、負荷と所有を処理するために再設計され、緊急ベースの消防からスケジュール管理に移行することができました。 信頼できる意思決定支援が必要だからです。 The main focus of BI goes beyond fast data delivery 閉鎖思考 その月曜日の教訓は、私たちが学んだ永遠の真実になりました。 システム容量の故障の本当の原因は、システム操作の適切な知識なしで行われた設計選択から生じる。 Dashboards visualize data. Paginated reports distribute it. But BI engineers govern how it all holds together. コンピュータスピークは解決策を得たが、当社のチームは、Fabric、XMLA、およびエンタープライズ分析の安定性をサポートするガバナンスシステムの間で重要なリンクを発見した。 Next time, when 300 stores print again, we’ll be ready. 著者について Rupesh Ghoshは、Cumberlands大学のビジネスにおけるエグゼクティブ博士号を追求しながら、Total Wine & Moreのリーディングビジネスインテリジェンスエンジニアとして働いています。

The writer was physically present in relevant location(s) to this story. The location is also a prevalent aspect of this story be it news or otherwise.

This story contains new, firsthand information uncovered by the writer.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Read My Stories

このオーディオは、ストーリーの元の言語で制作されています。

300ストアが一度に印刷されたとき:Power BI Fabricで350%のコンピュータスピークのデバッグ

About Author

コメント

ラベル

この記事は

Related Stories

目に見えない層: ユーザーインタビューがかけがえのない資産である理由

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

デジタルノマドの皆さん、タイの新しい DTV ビザについて知っておくべきこと

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

目に見えない層: ユーザーインタビューがかけがえのない資産である理由

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

デジタルノマドの皆さん、タイの新しい DTV ビザについて知っておくべきこと

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps