Problem izjave Izgradim i upravljam platformama podataka/ML-a u realnom vremenu, a jedna ponavljajuća bol koju vidim unutar bilo kojeg org-a podataka je ova: "Zašto ovaj atribut ima tu vrijednost?"Kada ime tvrtke, industrija ili prihodi izgledaju pogrešno, istrage se često zaustavljaju bez inženjerske pomoći. Ovo je plan koji sam isporučio: usluga sljedivosti bez poslužitelja s niskim održavanjem koja traži terabajte u sekundi i košta arašide. Što je ovaj alat trebao učiniti (za ne-inženjere) 
 
 
 
 
 Objasnite vrijednost: Zašto je atribut X za tvrtku Y jednako Z upravo sada? Prikaži povijest: Kada se to promijenilo? Pokaži dokaze: Koji su izvori i pravila stvorili tu vrijednost? Budite samostalni: API + jednostavno korisničko okruženje kako bi timovi mogli istražiti bez inženjera Arhitektura (serverless na svrhu) 
 
 
 
 
 
 Amazon API Gateway: sigurna prednja vrata za API AWS Lambda: upravljači zahtjevima bez statusa (bez praznog računanja za plaćanje) Amazon S3 + Apache Hudi: jeftino skladištenje s putovanjem kroz vrijeme AWS Glue Data Catalog: metapodatci o shemi i odjeljku Amazon Athena: SQL preko S3/Hudi, plaćanje po podacima, nula infra Zašto ti izbori? 
 
 
 
 Troškovi: skladištenje na S3 je jeftino; Athena naplaćuje samo za skenirane bajte; Lambda je plaćena po pozivu Skala: S3/Hudi trivijalno podržava TB→PB, a Athena skale horizontalno Održavanje: nema flote za patch; infra otisak ostaje mali kako se upotreba povećava 
 
 Raspored podataka: performanse su problem podataka (ne problem računanja) Athena je brza kada čita gotovo ništa, a spora kada planira ili skenira previše. Raspored podataka: performanse su problem podataka (ne problem računanja) Athena je brza kada čita gotovo ništa, a spora kada planira ili skenira previše. Strategija dijeljenja (na temelju uzoraka upita) 
 
 
 
 created_date (datum): većina upita je vremenski ograničena atribute_name (enum): zaposlenici, prihodi, linkedin_url, founded_year, industrija, itd entity_id_mod (integer bucket): mod(entity_id, N) za ravnomjerno raspršivanje vrućih ključeva To ograničava podatke skenirane i, što je još važnije, sužava koje metapodatke particije Athena treba uzeti u obzir. Tri stvari koje su ga učinile brzim: 
 
 
 
 
 
 
 : Partitioning 
 
 
 
 
 Put only frequently filtered columns in the partition spec. 
 
 Use integer bucketing (mod) for high‑cardinality keys like  entity_id. 
 
 
 Partition Indexing (first win, partial): 
 
 
 
 
 We enabled partition indexing so Athena could prune partition metadata faster during planning. 
 
 This helped until the partition count grew large; planning was still the dominant cost. 
 
 
 Partition Projection (the actual game‑changer): 
 
 
 Instead of asking Glue to store millions of partitions, we taught Athena how partitions are shaped. Result: planning time close to zero; queries jumped from “slow-ish with growth” to consistently 1–2 seconds for typical workloads. Athena TBLPROPERTIES (minimal example) TBLPROPERTIES (
  'projection.enabled'='true',

  'projection.attribute_name.type'='enum',
  'projection.attribute_name.values'='employees,revenue,linkedin_url,founded_year,industry',

  'projection.entity_id_mod.type'='integer',
  'projection.entity_id_mod.interval'='1',
  'projection.entity_id_mod.range'='0,9',

  'projection.created_date.type'='date',
  'projection.created_date.format'='yyyy-MM-dd',
  'projection.created_date.interval'='1',
  'projection.created_date.interval.unit'='days',
  'projection.created_date.range'='2022-01-01,NOW'
)
 Zašto ovo djeluje 
 
 
 
 Athena više ne dobiva veliku listu particija od Glue-a; izračunava particije na mlazu iz gore navedenih pravila Skeniranje pada na "samo datoteke koje odgovaraju ograničenjima" Vrijeme planiranja postaje zanemarivo, čak i dok se podaci i particije povećavaju Što me iznenadilo (i što je bilo teško) 
 
 
 
 
 "Gotcha" je bilo planiranje upita, a ne izračunavanje. Često optimiziramo motore, ali ovdje je najsporiji dio bio brojanje particija. Odabir ključeva za particije je pola umjetnosti, pola znanosti. Prekomjerna particija i utopljeni ste u metapodatcima; ispod particije i plaćate po skeniranju. Za domene s niskom kardinalnošću (attribute_name), projekcija enuma je jednostavna i brza. Prava podrška za bucketing je ograničena u Ateni, ali mod-based cijela particija vam daje većinu prednosti. Troškovi i latencija (stvarni brojevi) 
 
 
 
 
 Tipična upita: 1–2 sekunde od kraja do kraja (Lambda hladni početak je isključen) Veličina podataka: više TB u S3/Hudi Cijena: penije po 100 zahtjeva (Athena skeniranje + Lambda invocations) Ops: blizu nule – bez poslužitelja, bez ručnog komprimiranja izvan Hudi održavanja Uobičajene zamke (tako da ih možete preskočiti) 
 
 
 
 
 Nemojte dijeliti polja visoke kardinalnosti izravno (npr. raw entity_id); broj dijelova će eksplodirati Nemojte preskočiti projekciju ako očekujete da će particije rasti; samo indeksiranje vas neće spasiti Nemojte čuvati metapodatke particije za svaki ključ ako ga pravilo može generirati (projekcija postoji upravo iz tog razloga) Nemojte dopustiti da Glue sheme drift; verzija ih i validirati u CI Pokušajte to kod kuće (minimalni kontrolni popis) 
 
 
 
 
 
 
 
 Model your top 3 queries; pick partitions that match those predicates 
 
 Use enum projection for low‑cardinality fields; date projection for time; integer ranges for buckets 
 
 Store data in columnar formats (Parquet/ORC) via Hudi to keep scans small and enable time travel 
 
 Add a thin API (API Gateway + Lambda) to turn traceability SQL into JSON for your UI 
 
 Measure planning vs. scan time; optimize the former first Što je to otključalo za moje korisnike 
 
 
 
 
 Analitičari i podrška mogu odgovoriti "zašto" bez inženjera Proizvod može provjeriti promjene atributa po vremenu i uzroku Inženjerstvo troši više vremena na popravke i manje vremena na forenziku Org više vjeruje podacima jer su dokazi udaljeni jednim klikom Završetak razmišljanja Odlična izvedba obično je priča o rasporedu podataka. Prije nego što razmjerite izračun, popravite kako pohranjujete i pronađete bajte.U analizi bez poslužitelja, najbrži upit je onaj koji planira odmah i ne čita gotovo ništa, a projekcija particija je poluga koja vas tamo dovodi.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Read My Stories

Ovaj zvuk je proizveden na izvornom jeziku priče!

Unutar jeftinog, beslužbenog sustava linije podataka izgrađenog na AWS-u

About Author

KOMENTARI

VIJESI OZNAKE

OVAJ ČLANAK JE PREDSTAVLJEN U

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps