Strávili sme štyri mesiace budovaním samoobslužnej analýzy.Potom som sledoval, ako sa ľudia skutočne snažia ju použiť. Budem úprimný o tom, čo to vyvolalo. Nebola to intelektuálna zvedavosť. Namiesto toho som našiel správu v troch odsekoch od manažéra produktu, ktorý vysvetľoval, že sa po dvadsiatich minútach pozerala na ovládací panel a stále nedokázala zistiť, či jej spustenie funkcie bolo úspešné. Prístrojová doska fungovala perfektne. Každý graf je načítaný. Každý filter reagoval. Údaje boli čerstvé, presné a dobre modelované. Vytvoril som ho sám a bol som na to hrdý. Stále nemohla odpovedať na svoju otázku. Konečne som sa rozhodol urobiť niečo, čo som nikdy predtým neurobil. Vzal som jeden z našich najpoužívanejších prístrojov a sledoval päť rôznych tímov, ktoré sa snažia použiť na skutočné rozhodnutie. Nastavenie Prístrojový panel bol zhrnutím nášho záväzku produktov. Mal denných aktívnych používateľov, rýchlosť prijatia funkcií, krivky uchovávania a hŕstku metrík súvisiacich s príjmami. Bol postavený v Lookeri, pripojený k dobre testovanému modelu dbt, obnovený každých štyri hodiny. Vybral som päť tímov, ktoré pravidelne pristupovali k tejto tabuľke podľa našich denníkov používania. Produkt chcel vedieť, či nedávny prepracovaný onboarding zlepšil aktiváciu. Marketing chcel vedieť, ktoré kanály viedli používateľov s najvyššou hodnotou. Zákaznícky úspech chcel vedieť, ktoré účty zobrazovali skoré signály churn. Predajcovia chceli vedieť, či vzory používania súvisia s pripravenosťou na predaj. Financie chceli vedieť, či je trend nákladov na používateľa udržateľný pri súčasnom raste. Rovnaké dáta. päť skutočných otázok z piatich skutočných tímov, všetko kvôli tomuto týždňu. Spýtal som sa každého tímu, či by som mohol sedieť s nimi (alebo sa pripojiť k ich videohovoru), zatiaľ čo pracovali cez ich otázku pomocou ovládacieho panela. Priznám sa vopred. očakával som, že aspoň tri z piatich dostanú to, čo potrebujú. vybudoval som tento prístrojový panel s krížovým použitím na mysli. pridal som popisy kontextu ku každej grafe. dokonca som napísal krátky how-to-doc, ktorý nikto, ako sa ukázalo, nečítal. Čo sa skutočne stalo produktov Tím produktov strávil prvých osem minút snahou izolovať svoju kohortu na palube. Dashboard mal filter dátumu a filter funkcií, ale žiadny filter kohortu. Potrebovali porovnať používateľov, ktorí sa prihlásili pred prepracovaním, s používateľmi, ktorí sa prihlásili po ňom. PM otvoril SQL editor v samostatnej karte. Napísala dotaz na vytiahnutie užívateľských ID podľa dátumu prihlásenia, potom sa pokúsila vložiť ich do filtra prístrojovej dosky. Filter mal limit 100 hodnôt. Ona sa vzdala a Slacked ma, žiada o vlastné rezanie dát. Celkový čas na prístrojovej doske: štrnásť minút. Rozhodnutie z prístrojovej dosky: žiadny. Marketingový Marketing mal najzaujímavejšie zlyhanie, pretože technicky našli to, čo hľadali. Dashboard ukázal zlyhania akvizícií kanálov. Videli, že platené sociálne hospodárstvo viedlo k väčšine nových používateľov. Zistili, že platené sociálne hospodárstvo je ich najvýkonnejším kanálom a začali vypracovať návrh na prerozdelenie rozpočtu. Paid social mal najviac používateľov, ale najnižšiu mieru retencie (ktorá bola viditeľná na inej karte; neklikali) a najnižšiu priemernú hodnotu zmluvy (ktorá bola na inej tabuľke úplne). Rozhodli sa.Bolo to nesprávne.Po zasadnutí som to označil.Boli vďační, ale aj frustrovaní. „Prečo nám prístrojová doska jednoducho neukazuje, ktorý kanál je najlepší?“ opýtal sa jeden z nich. Pretože „najlepšie“ znamená pre každý tím niečo iné. Dashboard ukázal metriky. Neukázal odpovede. To je filozofia dizajnu, ku ktorej sa vrátime. Zákaznícky úspech Zákaznícky úspech bol tím, ktorý skutočne uspel, a stojí za to pochopiť, prečo. Ich vedúci strávil tri mesiace budovaním mentálneho modelu toho, ako vyzerá skorý churn. Vedela špecifickú kombináciu signálov: klesajúce týždenné prihlásenia, žiadne prijatie funkcií nad rámec základného pracovného postupu a frekvencia podpory nad prahovou hodnotou. Nepotrebuje prístrojovú dosku, aby jej povedala odpoveď. Potrebovala to, aby potvrdila to, čo už podozrievala. Otvorila ovládací panel, filtrovala svoje účty, skontrolovala tri grafy v rade a povedala: "Áno, tieto štyri účty potrebujú tento týždeň intervenčné hovory." Prístrojová doska pre ňu pracovala, pretože už vedela, čo hľadať a ako čítať signály spoločne. predaja Predaj strávil dvanásť minút na prístrojovej doske a potom mi položil otázku, o ktorej stále premýšľam: "Môžete mi povedať, ktoré účty mám zavolať?" Panel im poskytol rozmery a opatrenia. mohli vidieť trendy používania na účet, ale preklad "používanie tohto účtu vzrástol o 40% minulý mesiac" do "tento účet je pripravený na rozhovor" vyžadoval kontext, ktorý panel nemal. Nevedel dátum obnovenia zmluvy, existujúcu úroveň plánu alebo či bol účet už kontaktovaný. Predajný zástupca bol o tom zdvorilý. povedala, že prístrojová doska je "zaujímavá", čo je obchodný ekvivalent "Nikdy to znova neotvorím." Financie Financie nepoužívali ovládací panel. Exportovali základné údaje do tabuľky v priebehu prvých dvoch minút. Keď som sa opýtal, prečo, odpoveď bola jednoduchá: "Potrebujem vytvoriť model, nie pozrieť sa na graf." Potrebovali spustiť scenáre. Čo sa stane s nákladmi na používateľa pri 20% rastu oproti 40% rastu? Aký je rozdiel? Prístrojový panel ukázal aktuálny stav. Financie potrebné na manipuláciu s vstupmi. Statická vizualizácia, bez ohľadu na to, ako presná, nemôže byť nástrojom na plánovanie. Nepočítam to ako zlyhanie ovládacieho panela. Je to nesúlad prípadov použitia. Ale to vyvoláva otázku, či by sme mali vybudovať tento tím šablónu tabuľky namiesto karty ovládacieho panela. Nepýtali sme sa. Predpokladáme, že každý chce ovládacie panely. Scorecard je 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Team 
 Found relevant data? 
 Answered their question? 
 Made a decision? 
 Time spent 
 
 
 
 
 
 
 Product 
 Partially 
 No 
 No 
 14 min 
 
 
 
 
 
 
 Marketing 
 Yes 
 Yes (incorrectly) 
 Yes (wrong one) 
 18 min 
 
 
 
 
 
 
 Customer Success 
 Yes 
 Yes 
 Yes 
 6 min 
 
 
 
 
 
 
 Sales 
 Partially 
 No 
 No 
 12 min 
 
 
 
 
 
 
 Finance 
 Yes 
 N/A (wrong format) 
 No 
 2 min produktov čiastočne nie nie 14 minút Marketingový áno Áno (ne správne) Áno (nesprávny jeden) 18 minút Zákaznícky úspech áno áno áno 6 minút predaja čiastočne nie nie 12 minút Financie áno N/A (zlý formát) nie 2 minúty Čo som sa dozvedel, že som nečakal Najnebezpečnejším výsledkom je sebavedomá nesprávna odpoveď. Marketingová skúsenosť ma vydesila viac ako akákoľvek iná. Dashboard im dal údaje. Interpretovali údaje. Zhodli sa. Záver bol nesprávny, pretože dashboard ukázal neúplný obrázok a nemali dôvod domnievať sa, že je neúplný. Dashboard, ktorý vám dáva nesprávnu odpoveď, si myslíte, je horší ako dashboard, ktorý vám nič nedáva. Aspoň "Neviem" nespôsobuje prerozdelenie rozpočtu. Rozdiel medzi metrikami a rozhodnutiami je obrovský. Každý tím prišiel s otázkou. Žiadna z týchto otázok nemohla byť zodpovedaná jediným grafom. Rozhodnutia vyžadujú kombináciu viacerých signálov, uplatňovanie obchodného kontextu a uskutočňovanie súdneho volania. Dashboards ukazujú metriky. Preklad od metriky k rozhodnutiam sa deje úplne v ľudskej hlave a väčšina dashboardu poskytuje tomuto prekladovému procesu nulovú podporu. Doménové odborné znalosti sú skutočným filtrom. Úspech zákazníkov bol úspešný kvôli skúsenostiam ich vedúcich, nie kvôli dizajnu prístrojového panela. Vedela, čo hľadať. Všetci ostatní prehľadávali, dúfajúc, že správny pohľad by vyskočil. Self-serve analýza predpokladá odborné znalosti domén, ktoré väčšina tímov ešte nevytvorila. Nikto nečíta dokumentáciu. Napísal som kontextové popisy. Napísal som sprievodcu, ako to urobiť. Pridal som vysvetlenia tipov na nástroje ku každej metrike. Údaje o používaní ukazujú, že nula ľudí (nie nízka, nula) klikla na metrické popisy v minulom štvrťroku. Ľudia nečítajú inline dokumentáciu v prístrojových doskách z toho istého dôvodu, že nečítajú podmienky služby. Tímy, ktoré exportujú do tabuľkových hárkov, to nerobia zle. Inštinkt financovania na export bol najracionálnejšou odpoveďou na ich skutočnú potrebu. Export tabuľkových hárkov považujeme za zlyhanie našej vrstvy BI. Možno je to vlastne signál, že niektorí používatelia potrebujú interaktívne, manipulovateľné dáta namiesto kurovaných vizualizácií. Vytvorenie tabuľky pre niekoho, kto potrebuje tabuľkový hárok, je ako vytváranie správy pre niekoho, kto potrebuje konverzáciu. "Self-serve" je spektrum, nie prepínač. Úspech zákazníka bol self-serve. Výrobok mohol byť self-serve s lepším kohortovým filtrom. Marketing potreboval zástrčky. Predaj potreboval motor odporúčaní, nie prístrojový panel. Financie potrebovali surové dáta so scenárnym modelovaním. Všetci sme ich nazývali "self-serve analytickí používatelia" a dali im všetci ten istý nástroj. To je zlyhanie správy zamaskované ako rozhodnutie o produkte. Čo som zmenil neskôr Obnovil som ovládací panel, ale obnova nebola to, čo by ste očakávali. Pridal som menej. Odstránil som tri karty a konsolidoval zostávajúcu jednu okolo jednej otázky: "Je táto metrika zdravá, dôležitá alebo kritická?" Pridal som podmienené formátovanie, ktoré zmení karty na červenú, žltú alebo zelenú na základe prahov, ktoré tím definoval. Nie som hrdý na to, ako jednoduché to vyzerá teraz. Pre produkt som vytvoril samostatný nástroj na porovnávanie kohort. Je to škaredé. Je to parametrizovaný Looker Explore s dvoma dátumovými vyberateľmi a výpočtom delta. Pre marketing som pridal kompozitné skóre, ktoré kombinuje objem, retenciu a hodnotu zmluvy do jednej metriky efektívnosti kanála.Stále môžu vidieť komponenty, ale predvolené zobrazenie odpovedá na skutočnú otázku: ktorý kanál je najlepší na zachovanie dolára. Pre predaj som sa úplne vzdal ovládacích panelov. Vytvoril som zoznam skóre účtov, ktorý beží týždenne, zoradí účty podľa signálov upsell a pristane v kanáli Slack. Trvalo to menej času na vytvorenie ako karta ovládacieho panela, ktorú som nahradil. Pre financie som vytvoril šablónu Google Sheet, ktorá čerpá živé dáta prostredníctvom rozhrania API Looker. Spoločný prameň: Prestal som sa pýtať "čo metriky tento tím potrebuje?" a začal sa pýtať "čo rozhodnutie tento tím robí opakovane, a aká je najkratšia cesta od údajov k tomuto rozhodnutiu?" Čo by som povedal svojmu minulému ja Ak nemôžete pomenovať konkrétne rozhodnutie, ktoré má ovládací panel podporovať, budujete múzejnú expozíciu. Sledujte, ako niekto používa váš prístrojový panel predtým, než ho odošlete.Nie je to demonštrácia zainteresovaných strán, kde sa pripájajú.Skutočná pracovná relácia, kde sa snažia odpovedať na otázku, o ktorú sa zaujímajú.Dozviete sa viac za dvadsať minút pozorovania ako za mesiac zhromažďovania požiadaviek. Najlepšia BI nie je vždy prístrojová doska. Niekedy je to upozornenie Slack. Niekedy je to tabuľka s živými údajmi. Niekedy je to zoznam skóre. Medium by malo zodpovedať rozhodovaciemu vzoru, nie naopak. A ak vaše denníky používania ukazujú, že ľudia otvárajú váš ovládací panel a opúšťajú ho do dvoch minút, ovládací panel nie je pomalý. Najťažšou časťou podnikovej inteligencie nie je budovanie dátového modelu, ale pochopenie toho, čo ľudia v skutočnosti robia, keď otvoria vašu prácu.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Read My Stories

Tento zvuk je vyrobený v pôvodnom jazyku príbehu!

Dal som 5 tímom rovnakú tabuľku - iba 1 sa s ňou rozhodol

About Author

KOMENTÁRE

ZAVISTE ŠTÍTKY

TENTO ČLÁNOK BOL PREDSTAVENÝ V

Related Stories

16 Best Sklearn Datasets for Building Machine Learning Models

THE CRAB-SPIDER

Code Smell 298 - How to Fix Microsoft Windows Time Waste

Mutmut: a Python mutation testing system

16 Best Sklearn Datasets for Building Machine Learning Models

THE CRAB-SPIDER

Code Smell 298 - How to Fix Microsoft Windows Time Waste

Mutmut: a Python mutation testing system

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps