Como um modelo semântico sobreutilizado certamente colidiu com nossa capacidade de BI... e o que aprendemos. The Monday Morning Spike Segunda-feira de manhã Spike Mais de 300 lojas nos EUA estavam se preparando para a próxima semana, imprimindo seus relatórios diários de vendas e estoques do Power BI. Voltando à sede, o dia começou como qualquer outro - um monte de monitores silenciosos, as primeiras xícaras de café, o enchimento da caixa de entrada. A primeira mensagem veio depois disso. “Hey, my report’s not loading - can you please check, I need it for a meeting?” Alguns minutos depois, outro “Hey, PowerBI is slow - can you please bump up the capacity ?” Depois mais três. A janela Teams exibiu um formato de fila de ajuda que se tornou visível em dez minutos. Eu acessei o painel para encontrar um problema menor que eu esperava ver. Toda a faixa do gráfico mostrou valores vermelhos. Fabric capacity Utilization had spiked to 350 %, and I was completely taken aback. Os painéis tornaram-se irresponsáveis, enquanto os relatórios paginados demoraram muito a carregar e a plataforma de BI que suportava 300 lojas experimentou problemas críticos de desempenho. The day had just started, and we were already in firefighting mode. Tracing the Problem O primeiro passo foi abrir o Os gráficos de utilização mostraram o maior uso porque uma unidade de computação de espaço de trabalho de repente atingiu sua capacidade máxima. Fabric Capacity Metrics dashboard Escavando mais fundo, descobrimos one dataset consuming over 10× more compute than every other model combined. Isso nos permitiu gerar vários relatórios regulares e paginados que apresentaram todas as informações detalhadas sobre o desempenho da loja. construído por nós, que é o Centro de Excelência BI para relatórios empresariais. No entanto, porque nossa organização segue um modelo de análise de auto-serviço, qualquer pessoa pode construir e compartilhar relatórios usando este conjunto de dados. This was a critical dataset 20 million-row semantic model The operations followed their typical pattern until that specific week. So what changed? O sistema revelou um padrão que mostrou que 300 usuários diferentes acessaram o mesmo modelo através de relatórios paginados em direção à loja em torno da mesma janela de tempo. Para confirmar, desativamos esses relatórios por um único dia. O sistema opera at its peak capacity since the beginning of its operation. We had our culprit. The Discovery: XMLA Read Operations A descoberta: operações de leitura do XMLA Quando examinamos a visão de operações detalhadas, uma métrica dominou: XMLA Read Operations. That was puzzling. The native Power BI feature Paginated Reports operated as external connections. 
 
 
 A própria documentação da Microsoft dá a resposta: O endpoint XMLA permite operações de leitura/escrita em conjuntos de dados do Power BI Premium, o que permite que ferramentas e APIs externos executem consultas e controlem modelos de dados. Microsoft’s own documentation gives the answer: O endpoint XMLA permite operações de leitura/escrita em conjuntos de dados do Power BI Premium, o que permite que ferramentas e APIs externos executem consultas e controlem modelos de dados. O endpoint XMLA permite que os relatórios paginados acessem modelos semânticos da mesma forma que O motor do conjunto de dados recebe a execução de lote DAX direta de todas as operações de renderização e exportação de páginas. Excel, DAX Studio or any external system 
 
 
 Como observa o SQLBI: Relatórios paginados geram grande concorrência de consultas porque cada página renderizada executa seu próprio lote de consultas DAX. As SQLBI notes: Relatórios paginados geram grande concorrência de consultas porque cada página renderizada executa seu próprio lote de consultas DAX. Cada relatório de impressão do usuário da loja estava criando várias sessões do XMLA - cada uma com uma leitura pesada e completa. O Evolução de um sistema de computação distribuída. standard Monday printing operation Evaluating the Fixes Avaliação dos fixos Descobrimos a causa raiz antes de começar a testar diferentes soluções até descobrir o método eficaz. 
 
 
 
 
 
 
 
 
 
 
 Option 
 Description 
 Outcome 
 
 
 
 
 Keep Live to BigQuery 
 Maintain DirectQuery to BigQuery to avoid imported semantic model. 
 ❌ Too costly; XMLA reads still consume Fabric compute. 
 
 
 
 
 Fabric-Ingested Tables 
 Ingest data into Fabric and use a DirectQuery in the semantic model. 
 ⚠️ Minor improvement but XMLA concurrency remained. 
 
 
 
 
 SQL Endpoint with OLE DB 
 Connect paginated reports directly to SQL endpoint. 
 ⚠️ Technically possible but complex; lost relationships and added IT overhead. 
 
 
 
 
 Lean Semantic Model (Chosen) 
 Create a simplified model with only necessary granularity and metrics. 
 ✅ Massive reduction in compute usage and stable performance. Mantenha-se vivo com o BigQuery Mantenha o DirectQuery em BigQuery para evitar o modelo semântico importado. Muito caro; o XMLA ainda consome computação Fabric. Tabelas fabricadas Insira dados no Fabric e use um DirectQuery no modelo semântico. ⚠️ Melhoria menor, mas a concorrência do XMLA permaneceu. SQL Endpoint com OLE DB Conecte relatórios paginados diretamente ao endpoint SQL. ⚠️ Technically possible but complex; lost relationships and added IT overhead. Modelo Semântico Lean (Escolhido) Crie um modelo simplificado com apenas a granularidade e métricas necessárias. ✅ Redução maciça no uso de computação e desempenho estável. The Fix That Worked A solução que funcionou A equipe desenvolveu um modelo semântico específico para relatórios paginados que incluiu only required granularity and metrics. Quando o lançamos, a segunda-feira seguinte contou a história. Peak utilization fell from 350 % to under 80% O sistema produziu relatórios paginados que funcionaram sem problemas quando mais de 100 usuários acessaram o sistema. Interactive dashboards remained fast and stable. O painel de métricas do Fabric mostrou que a computação had been declining at a steady rate. O modelo mais magro alcançou o controle através de sua estrutura de design simples. Why XMLA Read Operations Matter Por que as operações de leitura do XMLA são importantes O incidente revelou que os relatórios paginados dependem de um mecanismo de cache diferente do que os relatórios interativos, e o XMLA lê o bypass de cache inteiramente para consultar o motor do conjunto de dados diretamente. Qualquer ferramenta que use o XMLA para se conectar ao Excel, Relatórios Paginados ou scripts personalizados usará unidades de computação interativas (CUs) de capacidade para cada consulta. 
 
 
 Como observa a pesquisa da TDWI: A principal razão para os picos de capacidade vem de padrões de design que não consideram a execução de consulta simultânea em vez de se concentrar no volume de dados. As TDWI research notes: A principal razão para os picos de capacidade vem de padrões de design que não consideram a execução de consulta simultânea em vez de se concentrar no volume de dados. O sistema processou múltiplas solicitações simultaneamente, o que resultou em nenhuma mudança no nosso volume de dados. Para as equipes de BI da empresa, isso significa que o planejamento de desempenho é tanto sobre o comportamento de uso quanto sobre o tamanho do modelo. Para evitar problemas semelhantes: 
 
 
 
 Cargas de trabalho de segmento: O sistema requer dois modelos distintos para funcionar para funções interativas e operações paginadas. Monitor de operações XMLA: Fabric permite identificar problemas de desempenho quando eles aparecem pela primeira vez através de suas métricas de nível de operação. Alinhamento de escala de capacidade: O sistema precisa executar a sincronização SKU entre os níveis mais baixos e mais altos durante seus períodos de operação pesados designados. What We Learned O que aprendemos O desempenho do Paginated Reports deteriora-se quando o sistema opera sob condições de carga de trabalho pesadas. Dashboards aren’t the main compute consumers. O XMLA opera todas as sessões através de um único nível de acesso.O processo de análise para um analista e 300 lojas segue a mesma rota computacional. 
 
 
 
 
 
 
 Simplificação supera a complexidade: um modelo magro produz resultados superiores a trabalhos complexos de várias camadas. Visibilidade evita crises: O aplicativo Fabric Metrics forneceu vistas com capacidades de diagnóstico precisas, em vez de forçá-las a basear suas decisões em suposições incertas. Governança equivale ao desempenho: a organização precisa criar diretrizes específicas que especifiquem quando os membros da equipe podem acessar modelos compartilhados. Auto-serviço requer supervisão: As equipes ganham poder significativo através da autonomia de construção de relatórios, mas precisam de sistemas de monitoramento para rastrear suas atividades e regras de propriedade definidas. O comportamento de cache de relatórios interativos difere dos relatórios paginados, por isso as organizações precisam entender seus mecanismos de processamento de consultas para evitar picos de computação inesperados. A prevenção é mais barata do que a recuperação: cada nova implementação do conjunto de dados agora inclui a segmentação da carga de trabalho e o monitoramento XMLA como recursos padrão. A imagem maior O problema de confiabilidade afetou vários modelos porque exigia o bom funcionamento de sistemas de design arquitetônico e de governança. As operações da Retail BI dependem de um padrão rítmico porque necessita de dados em tempo real para tomar decisões sobre preços, pessoal, cumprimento e operações de vendas. 
 
 
 De acordo com o MIT Sloan Management Review: Os líderes de análise superam os outros não produzindo mais relatórios, mas governando como os dados são consumidos. As MIT Sloan Management Review writes: Os líderes de análise superam os outros não produzindo mais relatórios, mas governando como os dados são consumidos. Nossos sistemas foram redesenhados para lidar com a carga e a propriedade, o que nos permitiu passar da luta contra incêndios baseada em emergência para a governação programada. porque requer apoio de tomada de decisão confiável. The main focus of BI goes beyond fast data delivery Fechamento do pensamento A lição daquela segunda-feira tornou-se uma verdade permanente que aprendemos. A verdadeira causa de falhas de capacidade do sistema vem de escolhas de design que foram feitas sem conhecimento adequado das operações do sistema. Dashboards visualize data. Paginated reports distribute it. But BI engineers govern how it all holds together. O pico de computação recebeu uma solução, mas nossa equipe encontrou a ligação crítica entre Fabric, XMLA e sistemas de governança que suportam a estabilidade da análise empresarial. Next time, when 300 stores print again, we’ll be ready. Sobre o autor Rupesh Ghosh trabalha como Engenheiro de Inteligência de Negócios na Total Wine & More enquanto persegue seu PhD Executivo em Negócios na Universidade de Cumberlands. Seus interesses de pesquisa incluem governança de dados, inteligência de decisão, gerenciamento de projetos e análise de BI econômica.

The writer was physically present in relevant location(s) to this story. The location is also a prevalent aspect of this story be it news or otherwise.

This story contains new, firsthand information uncovered by the writer.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Read My Stories

Este áudio é produzido no idioma original da história!

Quando 300 lojas são impressas de uma só vez: Debugging um pico de computação de 350% em Power BI Fabric

About Author

COMENTARIOS

Rótulos

ESTE ARTIGO FOI APRESENTADO EM

Related Stories

Como melhorar seu fluxo de trabalho em 10 vezes: 17 aplicativos essenciais

Aumente sua produtividade com estas 18 ferramentas para desenvolvedores 🚀🔥

Guia do arquiteto para construir arquitetura de referência para um Datalake de IA/ML

Criando produtos criptográficos centrados no usuário: a importância do feedback do cliente

Como melhorar seu fluxo de trabalho em 10 vezes: 17 aplicativos essenciais

Aumente sua produtividade com estas 18 ferramentas para desenvolvedores 🚀🔥

Guia do arquiteto para construir arquitetura de referência para um Datalake de IA/ML

Criando produtos criptográficos centrados no usuário: a importância do feedback do cliente

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps