Kako je jedan prekomjerno korišten semantički model gotovo srušio naš BI kapacitet ... i ono što smo naučili. The Monday Morning Spike Ponedjeljak ujutro Spike Više od 300 trgovina diljem SAD-a pripremalo se za sljedeći tjedan, štampajući svoje dnevne prodajne i inventarne izvještaje iz Power BI-a. Povratak u sjedište, dan je počeo kao i svaki drugi - tiha gužva monitora, prve gutljaje kave, popunjavanje poštanskog sandučića. Prva poruka stigla je poslije toga. “Hey, my report’s not loading - can you please check, I need it for a meeting?” Nekoliko minuta kasnije, još jedan. “Hey, PowerBI is slow - can you please bump up the capacity ?” Zatim još tri. U prozoru Teams prikazan je format čeka za pomoćni stol koji je postao vidljiv u roku od deset minuta. Pristupio sam tablicu kako bih pronašao manji problem koji sam očekivao.Cijeli raspon grafikona prikazivao je crvene vrijednosti. Fabric capacity Utilization had spiked to 350 %, and I was completely taken aback. Tablice su postale neodgovarajuće, dok su paginirana izvješća trebala biti previše vremena za učitavanje, a BI platforma koja je podržavala 300 trgovina imala je kritične probleme s učinkovitošću. The day had just started, and we were already in firefighting mode. Tracing the Problem Prvi korak bio je otvoriti Grafici iskorištavanja pokazali su najvišu upotrebu jer je jedna računalna jedinica radnog prostora iznenada dosegla svoj maksimalni kapacitet. Fabric Capacity Metrics dashboard Kopajući dublje, pronašli smo one dataset consuming over 10× more compute than every other model combined. To nam je omogućilo da generiramo različite stranice i redovita izvješća koja su predstavljala sve detaljne informacije o uspješnosti kategorije trgovina. Izgradili smo BI centar izvrsnosti za izvješćivanje o poduzećima.Međutim, budući da naša organizacija slijedi model samoposlužne analize, svatko može izraditi i dijeliti izvješća koristeći ovaj skup podataka.Ta fleksibilnost je snažna, ali također otežava praćenje i kontrolu dnevne potrošnje. This was a critical dataset 20 million-row semantic model The operations followed their typical pattern until that specific week. So what changed? Sustav je otkrio uzorak koji je pokazao da je 300 različitih korisnika pristupilo istom modelu kroz izvješća na stranici oko istog vremenskog prozora. Da bismo to potvrdili, isključili smo te izvještaje za jedan dan. Sustav je djelovao at its peak capacity since the beginning of its operation. We had our culprit. The Discovery: XMLA Read Operations Otkriće: XMLA čitanje operacija Kada smo ispitali detaljan pregled operacija, dominirala je jedna metrika: XMLA Read Operations. That was puzzling. The native Power BI feature Paginated Reports operated as external connections. 
 
 
 Microsoftova vlastita dokumentacija daje odgovor: XMLA konačna točka omogućuje čitanje/pisanje operacija na Power BI Premium skupovima podataka, što omogućuje vanjskim alatima i API-jima za izvršavanje upita i kontrolu modela podataka. Microsoft’s own documentation gives the answer: XMLA konačna točka omogućuje čitanje/pisanje operacija na Power BI Premium skupovima podataka, što omogućuje vanjskim alatima i API-jima za izvršavanje upita i kontrolu modela podataka. XMLA krajnica omogućuje Paginated Reports pristup semantičkim modelima na isti način kao i Motor skupova podataka prima izravnu izvođenje serije DAX-a iz svih operacija prikazivanja i izvoza stranice. Excel, DAX Studio or any external system 
 
 
 Kao što SQLBI napominje: Paginirani izvještaji stvaraju visoku istovremenost upita jer svaka renderirana stranica izvršava vlastitu grupu DAX upita. As SQLBI notes: Paginirani izvještaji stvaraju visoku istovremenost upita jer svaka renderirana stranica izvršava vlastitu grupu DAX upita. Svaki trgovinski korisnički izvještaj o tiskanju stvarao je nekoliko XMLA sesija - svaka je teška, puna čitanja. Naš Razvijen je u raspad distribuiranog računalnog sustava. standard Monday printing operation Evaluating the Fixes Procjena fiksnih Otkrili smo korijenski uzrok prije nego što smo počeli testirati različita rješenja dok nismo otkrili učinkovitu metodu. 
 
 
 
 
 
 
 
 
 
 
 Option 
 Description 
 Outcome 
 
 
 
 
 Keep Live to BigQuery 
 Maintain DirectQuery to BigQuery to avoid imported semantic model. 
 ❌ Too costly; XMLA reads still consume Fabric compute. 
 
 
 
 
 Fabric-Ingested Tables 
 Ingest data into Fabric and use a DirectQuery in the semantic model. 
 ⚠️ Minor improvement but XMLA concurrency remained. 
 
 
 
 
 SQL Endpoint with OLE DB 
 Connect paginated reports directly to SQL endpoint. 
 ⚠️ Technically possible but complex; lost relationships and added IT overhead. 
 
 
 
 
 Lean Semantic Model (Chosen) 
 Create a simplified model with only necessary granularity and metrics. 
 ✅ Massive reduction in compute usage and stable performance. Ostani na BigQuery-u Održavajte DirectQuery na BigQuery kako biste izbjegli uvezeni semantički model. Previše skupo; XMLA čita još uvijek konzumira Fabric računalo. Tkanine za stolove Unesite podatke u Fabric i koristite DirectQuery u semantičkom modelu. ⚠️ Malo poboljšanje, ali XMLA konkurencija je ostala. SQL Endpoint s OLE DB-om Povezati paginirane izvještaje izravno na SQL krajnju točku. ⚠️ Tehnički moguće, ali složeno; izgubljeni odnosi i dodatni IT nadređeni. Lean semantički model (izabran) Stvorite pojednostavljeni model s samo potrebnom granularnošću i metrikama. ✅ Masivno smanjenje upotrebe računala i stabilna izvedba. The Fix That Worked Popravak koji je radio Tim je razvio specifičan lean semantički model za paginirane izvještaje koji su uključivali only required granularity and metrics. Kada smo ga postavili, sljedeći ponedjeljak je ispričao priču. Peak utilization fell from 350 % to under 80% Sustav je proizveo stranice koje su funkcionirale bez problema kada je pristupilo više od 100 korisnika. Interactive dashboards remained fast and stable. Tablica s metrikama tkanine pokazala je da računanje had been declining at a steady rate. Mlađi model postigao je kontrolu kroz svoju jednostavnu strukturu dizajna. Why XMLA Read Operations Matter Zašto XMLA čita operacije Incident je otkrio da se paginirani izvještaji oslanjaju na drugačiji mehanizam bušenja od interaktivnih izvješća, a XMLA čita bušenje bušenja u potpunosti kako bi direktno upitao motor skupova podataka. Bilo koji alat koji koristi XMLA za povezivanje s Excelom, Paginiranim izvješćima ili prilagođenim skriptima će koristiti interaktivne računalne jedinice (CU) iz kapaciteta za svako upit. 
 
 
 Kao što TDWI istraživanje napominje: Glavni razlog za pike kapaciteta proizlazi iz dizajnerskih uzoraka koji ne uzimaju u obzir istodobno izvršenje upita umjesto da se usredotoče na volumen podataka. As TDWI research notes: Glavni razlog za pike kapaciteta proizlazi iz dizajnerskih uzoraka koji ne uzimaju u obzir istodobno izvršenje upita umjesto da se usredotoče na volumen podataka. Situacija se razvila na isti način kao što je opisano.Sustav je istodobno obrađivao više zahtjeva, što nije rezultiralo promjenom našeg volumena podataka. Za poduzetničke BI timove, to znači da je planiranje performansi toliko o ponašanju korištenja koliko i o veličini modela. Kako bi se izbjegli slični problemi: 
 
 
 
 Segmentna radna opterećenja: sustav zahtijeva dva različita modela za rad interaktivnih funkcija i paginiranih operacija. Monitor XMLA operacija: Fabric vam omogućuje da identificirate probleme s učinkovitošću kada se prvi put pojavljuju kroz metriku na razini operacije. Usklađivanje kapaciteta: sustav mora izvršiti sinhronizaciju SKU-a između nižih i viših tijekom određenih težih radnih razdoblja. What We Learned Što smo naučili Učinak Paginated Reports pogoršava kada sustav radi pod teškim uvjetima opterećenja. Dashboards aren’t the main compute consumers. Proces analize za jednog analitičara i 300 trgovina slijedi isti računalni put. 
 
 
 
 
 
 
 Pojednostavljenje nadmašuje složenost: Lean model proizvodi superiorne rezultate od složenih višeslojnih poteškoća. Vidljivost sprječava krize: Aplikacija Fabric Metrics pruža poglede s preciznim dijagnostičkim mogućnostima umjesto da ih prisili da svoje odluke temelje na neizvjesnim pretpostavkama. Upravljanje je jednako uspješnosti: organizacija mora stvoriti posebne smjernice koje će odrediti kada članovi tima mogu pristupiti dijeljenim modelima. Samoposluživanje zahtijeva nadzor: Timovi dobivaju značajnu moć kroz autonomiju izrade izvješća, ali trebaju sustave praćenja kako bi pratili svoje aktivnosti i definirala pravila vlasništva. Caching nije univerzalno: ponašanje caching interaktivnih izvješća razlikuje se od izvješća na stranici, tako da organizacije trebaju razumjeti mehanizme obrade upita kako bi spriječile neočekivane računalne šipke. Prevencija je jeftinija od oporavka: Svaka nova implementacija skupova podataka sada uključuje segmentaciju radnog opterećenja i praćenje XMLA-e kao standardne značajke. Veća slika Problem pouzdanosti utjecao je na više modela jer je zahtijevao pravilno funkcioniranje arhitektonskog dizajna i sustava upravljanja. Operacije Retail BI-a ovise o ritmičkom obrascu jer zahtijevaju podatke u realnom vremenu kako bi se donijele odluke o cijenama, osposobljavanju, ispunjenju i prodajnim operacijama. 
 
 
 Kao što MIT Sloan Management Review piše: Analitički lideri nadmašuju druge ne proizvodnjom više izvješća, već upravljanjem načinom na koji se podaci konzumiraju. As MIT Sloan Management Review writes: Analitički lideri nadmašuju druge ne proizvodnjom više izvješća, već upravljanjem načinom na koji se podaci konzumiraju. Naši sustavi su podvrgnuti redizajniranju kako bi se nosili s opterećenjem i vlasništvom, što nam je omogućilo da se prebacimo s hitne požarne zaštite na planirano upravljanje. jer zahtijeva pouzdanu potporu u donošenju odluka. The main focus of BI goes beyond fast data delivery Završetak misli Lekcija iz tog ponedjeljka postala je trajna istina koju smo naučili. Stvarni uzrok neuspjeha kapaciteta sustava proizlazi iz odabira dizajna koji su napravljeni bez odgovarajućeg znanja o operacijama sustava. Dashboards visualize data. Paginated reports distribute it. But BI engineers govern how it all holds together. Računalni šipak dobio je rješenje, ali naš tim je pronašao ključnu vezu između Fabrica, XMLA-e i sustava upravljanja koji podržavaju stabilnost korporativne analize. Next time, when 300 stores print again, we’ll be ready. O autoru Rupesh Ghosh radi kao vodeći inženjer poslovne inteligencije na tvrtki Total Wine & More dok nastavlja svoj izvršni doktorat u poslovanju na Sveučilištu Cumberlands. Njegovi istraživački interesi uključuju upravljanje podacima, odluke o inteligenciji, upravljanje projektima i troškovno učinkovitu analizu BI-a.

The writer was physically present in relevant location(s) to this story. The location is also a prevalent aspect of this story be it news or otherwise.

This story contains new, firsthand information uncovered by the writer.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Read My Stories

Ovaj zvuk je proizveden na izvornom jeziku priče!

Kada se 300 trgovina ispisuje odjednom: Debugging 350% Compute Spike u Power BI Fabric

About Author

KOMENTARI

VIJESI OZNAKE

OVAJ ČLANAK JE PREDSTAVLJEN U

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps