Տեղադրություն Ես ստեղծում եմ եւ աշխատում եմ իրական ժամանակի տվյալների / ML պլատֆորմները, եւ մեկ վերականգնումը, որը ես տեսնում եմ ցանկացած տվյալների org- ում, այս է: «Ինչու այս հատկանիշը ունի այս արժեքը»: Երբ ընկերության անունը, արդյունաբերությունը, կամ մանրամասները տեսնում են սխալ, հետազոտությունները հաճախ կանգնած են, առանց ինժեներային օգնության. Սա է, ինչ ես տվել եմ: Մի սերտիֆիկ, ցածր պահեստության վերահսկողության ծառայություն, որը կտրում է terabytes- ում մի քանի րոպեում, եւ գնում է սերտիֆիկները: Ինչ պետք է անել այս գործիքը (լուսանկարներ) 
 
 
 
 
 Կարդալ մի արժեքը: Ինչու է X- ի գործառույթը ընկերության Y-ի համար այժմ միավոր է Z-ի համար: Տեսեք պատմությունը: Ինչպե՞ս փոխվել այն։ Ինչպե՞ս են անցյալ տարբերակները։ Տեսագրություն: Ո՞վ է այդ արժեքը արտադրել: Be self-serve: API + հեշտ UI- ը, որպեսզի թիմերը կարող են հետազոտել առանց ինժեներների The Architecture (Serverless on Purpose) (Համշակել սերտիֆիկացիա) 
 
 
 
 
 
 Amazon API Gateway- ը, որը ապահովում է API-ը AWS Lambda: Statsless պահանջների կառավարիչներ (լուսանկարներ) Amazon S3 + Apache Hudi: գեղեցիկ սարքավորումներ եւ ժամանակի ճանապարհորդություն AWS Glue Data Catalog- ը: Schema եւ Partition MetaData- ը Amazon Athena: SQL- ի հետ S3/Hudi, pay-per-data-scanned, Zero infra Ինչու են այդ ընտրությունները 
 
 
 
 Ապրանքներ: S3- ի սարքավորումը գեղեցիկ է; Athena վճարում է միայն scanned bytes- ի համար; Lambda է pay-per-invocation S3/Hudi- ը խոշորորեն աջակցում է TB→PB- ը, եւ Athena- ը խոշորում է horizontally Մատակարարություն: ոչ մի լաստանավը, որը պետք է փաթեթավորվի: infraspeed- ը կախված է, քանի որ օգտագործումը աճում է 
 
 Data layout: performance is a data problem (not a compute problem) Athena- ը արագ է, երբ այն կարդում է ոչինչ, եւ արագ է, երբ պլանավորում է կամ scans շատ. The entire project depended on getting partitions and projection right. The Athena is fast when it reads almost nothing, and slow when it plans or scans too much. . Data layout getting partitions and projection right Partitioning Strategy (հարկվում է փոստի մոդելների վրա) 
 
 
 
 Created_date (Date): Շատ հարցերը ժամանակավոր են attribute_name (enum): աշխատակիցները, մանրամասները, linkedin_url, founded_year, արդյունաբերության եւ այլն entity_id_mod (integral bucket): mod(entity_id, N) է խոշոր խոշոր կոճակները միասին թարմացնել Այսպիսիքը սահմանում է ստուգված տվյալները եւ, ավելի կարեւոր է, խմում է, թե ինչ թերթիկ metadata Athena պետք է իմանալ. Երկու բաները, որոնք արագ են: 
 
 
 
 
 
 
 : Partitioning 
 
 
 
 
 Put only frequently filtered columns in the partition spec. 
 
 Use integer bucketing (mod) for high‑cardinality keys like  entity_id. 
 
 
 Partition Indexing (first win, partial): 
 
 
 
 
 We enabled partition indexing so Athena could prune partition metadata faster during planning. 
 
 This helped until the partition count grew large; planning was still the dominant cost. 
 
 
 Partition Projection (the actual game‑changer): 
 
 
 Instead of asking Glue to store millions of partitions, we taught Athena how partitions are shaped. Result: planning time close to zero; queries jumped from “slow-ish with growth” to consistently 1–2 seconds for typical workloads. Athena TBLPROPERTIES (minimal example) TBLPROPERTIES (
  'projection.enabled'='true',

  'projection.attribute_name.type'='enum',
  'projection.attribute_name.values'='employees,revenue,linkedin_url,founded_year,industry',

  'projection.entity_id_mod.type'='integer',
  'projection.entity_id_mod.interval'='1',
  'projection.entity_id_mod.range'='0,9',

  'projection.created_date.type'='date',
  'projection.created_date.format'='yyyy-MM-dd',
  'projection.created_date.interval'='1',
  'projection.created_date.interval.unit'='days',
  'projection.created_date.range'='2022-01-01,NOW'
)
 Ինչու է դա աշխատում 
 
 
 
 «Athena- ը ավելի քան մեկ անգամ չի ստանում Glue- ից մեծ բաղադրիչների ցուցակը: Դա բաղադրիչները բաղադրիչների վրա բաղադրիչների վրա բաղադրիչների համար բաղադրիչների համար բաղադրիչ է: Scan- ը տեւում է «Ես միայն այն ֆայլերը, որոնք համատեղելի են սահմանափակումներին» Պլանավորման ժամանակը դարձնում է անսահմանափակ, նույնիսկ այն ժամանակ, երբ տվյալները եւ կատեգորիաները աճում են Ո՞վ է խուսափել ինձ ( եւ ինչ է խուսափել) 
 
 
 
 
 «Gotcha»-ը պլանավորել է փոստը, ոչ թվարկը: Մենք հաճախ optimize ենք մեքենաներ, բայց այստեղ լայնագույն մասը սեղմել է փաթեթները: Փաթեթավորման projektion- ը լուծել է ճիշտ խնդիրը: Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդվածը Enum- ի բաղադրիչները սխալվում են: Երկրորդի բաղադրիչների համար (attribute_name) enum- ի բաղադրիչը հեշտ եւ արագ է: Real bucketing support- ը սահմանափակ է Athena-ում, բայց mod- ի վրա հիմնված միասնական բաղադրիչը ստանում է ձեր առավելությունները: Ապրանքներ & Latency (Ապրանքներ եւ գործառույթներ) 
 
 
 
 
 Հիմնական հարցեր: 1–2 րոպե end-to-end (Lambda սառուցվում է սառուցվում) Data Size: Multiple TB է S3/Hudi Գինը: pennies per 100s of requests (Athena scan + Lambda invocations) Հաջորդ: Հաջորդը: Հաջորդը: Հաջորդը: Հաջորդը: Հաջորդը: Հաջորդը: Հաջորդը: Հաջորդը: Հաջորդը: Հաջորդը: Հաջորդը: Հաջորդը Գործիքներ (հարկե դուք կարող եք վերցնել նրանց) 
 
 
 
 
 Կարդալ չեք, թե ինչ է անում, թե ինչ է անում, թե ինչ է անում, թե ինչ է անում: Չեք փնտրել արտադրությունը, եթե փնտրում եք տարբերակները աճելու համար: indexing միայն չի փնտրում ձեզ Ոչ փնտրեք կատեգորիաների մետա-դանետները յուրաքանչյուր կատեգորիաների համար, եթե այն կարող է ստեղծել (լուսանկարներ) Ոչ մոռացեք Glue schemes- ից, թարմացեք նրանց եւ ստուգեք CI- ում Տեղադրեք այն տունում (minimum checklist) 
 
 
 
 
 
 
 
 Model your top 3 queries; pick partitions that match those predicates 
 
 Use enum projection for low‑cardinality fields; date projection for time; integer ranges for buckets 
 
 Store data in columnar formats (Parquet/ORC) via Hudi to keep scans small and enable time travel 
 
 Add a thin API (API Gateway + Lambda) to turn traceability SQL into JSON for your UI 
 
 Measure planning vs. scan time; optimize the former first Ինչպե՞ս կարող եմ բացել իմ օգտվողներին 
 
 
 
 
 «Ինչու» պատասխանը կարող է լինել ինժեներների առանց Ապրանքը կարող է վերահսկել բաղադրիչների փոփոխություններ ժամանակի եւ պատճառի կողմից Engineering- ը ավելի շատ ժամանակ է գործում Fixes- ում եւ ավելի փոքր ժամանակ է գործում Forensics- ում The org trusts the data more because the evidence is one click away Հիմնական տեղեկատվություն Հիմնական Thinking Բարձր արդյունավետությունը սովորաբար է տվյալների լարման պատմություն. Երբ դուք scale computing, վերահսկել, թե ինչպես եք պահել եւ գտնել բուտեր. In serverless analytics, ամենաարձրագույն փոստը այն է, որը պլանավորում է անմիջապես եւ կարդում է ոչինչ, եւ partition projection է լարման, որը ստանում եք այն.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Read My Stories

Այս աուդիոն պատրաստվել է պատմության բնօրինակ լեզվով:

AWS- ի վրա կառուցված ցանցային, Serverless Data Lineage համակարգի վրա

About Author

ՄԵԿՆԱԲԱՆՈՒԹՅՈՒՆՆԵՐ

ԿԱԽՎԵԼ ՏԵԳՍԵՐ

ԱՅՍ ՀՈԴՎԱԾԸ ՆԵՐԿԱՅԱՑՎԵԼ Է Մ

Related Stories

HyveDA Secures $50 Million in Pre-Deposits After Symbiotic Mainnet Launch

HyperCycle Announces Strategic Split into Two Distinct Operations

How HyperCycle Is Building the Internet for AI: A Deep Dive with Toufi Saliba

Hypernative Bolsters Bitcoin L2 Security as Stacks Ecosystem Gets Real-Time Protection

HyveDA Secures $50 Million in Pre-Deposits After Symbiotic Mainnet Launch

HyperCycle Announces Strategic Split into Two Distinct Operations

How HyperCycle Is Building the Internet for AI: A Deep Dive with Toufi Saliba

Hypernative Bolsters Bitcoin L2 Security as Stacks Ecosystem Gets Real-Time Protection

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps