ප් රශ්නය ප් රකාශය මම සැබෑ කාලීන දත්ත / ML වේදිකාවන් ගොඩනැගීම සහ ක්රියාත්මක කිරීම සඳහා, මම ඕනෑම දත්ත org ඇතුළේ නැවත වරක් දැක ඇති වේදනාවක් වන්නේ මෙයයි: "ඇයි මෙම අංගය මෙම වටිනාකම ඇත?"එක් සමාගමේ නාමය, කර්මාන්තය, හෝ ආදායම වැරදි පෙනුම විට, පර්යේෂණ බොහෝ විට ඉංජිනේරු උපකාර නොමැතිව නතර වේ. මෙය මම යැවූ ව් යාප්තයයි: තත්පර කිහිපයකදී ටරාබයිට් ප්රශ්න කර ඇති සහ අමුද් රව් ය වියදම් කරන සැපයුම්කරුවන් නොමැති, අඩු රඳවා ගැනීමේ අනුකූලතාව සේවා. මෙම මෙවලම කළ යුත්තේ කුමක්ද (නංජිනේරුවන් සඳහා) 
 
 
 
 
 අගය පැහැදිලි කරන්න: සමාගම Y සඳහා අංගය X දැන් Z සමාන වන්නේ ඇයි? ඉතිහාසය පෙන්වන්න: එය වෙනස් වුයේ කවදාද? සාක්ෂි පෙන්වන්න: මෙම වටිනාකම නිෂ්පාදනය කරන මූලාශ් ර සහ නීති මොනවාද? ස්වයං සේවා: API + සරල UI කණ්ඩායම් ඉංජිනේරුවන් නොමැතිව විමර්ශන කළ හැකිය ඉලක්කය (serverless on purpose) 
 
 
 
 
 
 Amazon API Gateway: API සඳහා ආරක්ෂිත ප්රථම දොරටුව AWS Lambda: stateless request handlers (කැමැති පරිගණක සඳහා ගෙවිය යුතු) Amazon S3 + Apache Hudi: කාලය ගමන් හා upserts සමග ලාභ ගබඩා AWS Glue Data Catalog: ස්කෑම් සහ Partition Metadata Amazon Athena: SQL over S3/Hudi, pay-per-data-scanned, zero infra ඇයි මේ තෝරාගැනීම්? 
 
 
 
 වියදම: S3 මත ගබඩා කිරීම ලාභයි; Athena සකස් කරන බයිටම් සඳහා පමණක් ගාස්තු; Lambda ගෙවීම්-සැලකිල්ල ප්රමාණය: S3/Hudi TB→PB ප්රමාණය සහ Athena ප්රමාණය ප්රමාණය ප්රවාහන: කිසිදු පැතිර යාත්රාවක් නොමැත; පරිභෝජනය වර්ධනය වන විට අර්බුද පඩිපෙළ කුඩා වේ 
 
 Data layout: performance is a data problem (not a compute problem) Athena is fast when it reads almost nothing, and slow when it plans or scans too much. Data layout: performance is a data problem (not a compute problem) Athena is fast when it reads almost nothing, and slow when it plans or scans too much. Partitioning Strategy (Query Patterns මත පදනම්ව) 
 
 
 
 created_date (date) : බොහෝ ප්රශ්න කාලය සීමා වේ attribute_name (enum): සේවකයින්, ආදායම්, linkedin_url, founded_year, කර්මාන්තය ආදිය entity_id_mod (integer bucket): උණුසුම් යතුරු සමානව බෙදා හැරීම සඳහා mod(entity_id, N) මෙය ස්කෑන් කරන ලද දත්ත සීමා කරන අතර, වඩාත් වැදගත් වන්නේ, Athena හි සැලකිලිමත් විය යුතු බෙදාහැරීමේ මෙටා දත්ත සීමා කිරීමයි. එය ඉක්මන් කර ඇති කරුණු තුනක්: 
 
 
 
 
 
 
 : Partitioning 
 
 
 
 
 Put only frequently filtered columns in the partition spec. 
 
 Use integer bucketing (mod) for high‑cardinality keys like  entity_id. 
 
 
 Partition Indexing (first win, partial): 
 
 
 
 
 We enabled partition indexing so Athena could prune partition metadata faster during planning. 
 
 This helped until the partition count grew large; planning was still the dominant cost. 
 
 
 Partition Projection (the actual game‑changer): 
 
 
 Instead of asking Glue to store millions of partitions, we taught Athena how partitions are shaped. Result: planning time close to zero; queries jumped from “slow-ish with growth” to consistently 1–2 seconds for typical workloads. Athena TBLPROPERTIES (minimal example) TBLPROPERTIES (
  'projection.enabled'='true',

  'projection.attribute_name.type'='enum',
  'projection.attribute_name.values'='employees,revenue,linkedin_url,founded_year,industry',

  'projection.entity_id_mod.type'='integer',
  'projection.entity_id_mod.interval'='1',
  'projection.entity_id_mod.range'='0,9',

  'projection.created_date.type'='date',
  'projection.created_date.format'='yyyy-MM-dd',
  'projection.created_date.interval'='1',
  'projection.created_date.interval.unit'='days',
  'projection.created_date.range'='2022-01-01,NOW'
)
 ඇයි මේ වැඩ කරන්නේ 
 
 
 
 Athena තවදුරටත් Glue වෙතින් විශාල බෙදාහැරීම් ලැයිස්තුවක් ලබා නොගනී; එය ඉහත නීති වලින් පුවරු මත බෙදාහැරීම් ගණනය කරයි Scanning drops to “only the files that match the constraints” (නිර්මාණයට ගැලපෙන ගොනු පමණි) සැලසුම් කාලය නොපෙනෙනු ඇත, දත්ත සහ බෙදාහැරීම් වර්ධනය වන විට පවා මොනවද මට පුදුම වුනේ (ඒත් මොනවද අමාරු) 
 
 
 
 
 "gotcha" ප්රශ්න සැලැස්ම, පරිගණක නොවේ.අපි බොහෝ විට එන්ජින් ආකෘතිය, නමුත් මෙහිදී වේගවත්ම කොටසක් කොටස් අංකය විය. Partition keys තෝරා ගැනීම භාගයේ කලාපය, භාගයේ විද් යාවයි. Over-partition සහ ඔබ මෙටා දත්ත ඇතුළත්; under-partition සහ ඔබ ස්කෑන් සඳහා ගෙවීම්. Enum ප්රදර්ශනය පහසු සහ වේගවත් වන අතර low-cardinality domains (attribute_name) සඳහා enum ප්රදර්ශනය පහසු සහ වේගවත් වේ. True bucketing support is limited in Athena, but a mod-based integer partition gets you most of the benefits.එතැනදී සැබෑ bucketing සහාය සීමා වේ. වියදම සහ latency (real numbers) 
 
 
 
 
 සාමාන් ය ප්රශ්න: 1–2 තත්පර end-to-end (Lambda cold starts excluded) දත්ත ප්රමාණය: S3/Hudi හි බොහෝ TB වියදම: ඉල්ලීම් 100s සඳහා pennies (Athena scan + Lambda invocations) Ops: near-zero – කිසිදු සේවාදායක, Hudi ප්රතිරෝධය කාඩ්න්ස් පිටත කිසිදු අමුද්රව්ය සංකීර්ණ කිරීම Common traps (So you can skip them) 
 
 
 
 
 High-cardinality fields විසින් සෘජුවම partition නොකරන්න (උදාහරණයක් වශයෙන්, raw entity_id); you will explode the partition count ඔබ බෙදාහැරීම් වර්ධනය කිරීමට බලාපොරොත්තු වන විට ප්රදර්ශනය අමතක නොකරන්න; ඉංජිනේරු කිරීම පමණක් ඔබට ඉතිරි නොකරයි සෑම යතුරකටම බෙදාහැරීමේ මෙතැපැල් දත්ත ඉතිරි නොකරන්න, නීතිය එය නිර්මාණය කළ හැකි නම් (ප ් රදර්ශනය නිසැකවම එම හේතුවක් නිසා පවතී) Glue ව්යාපෘති මඟහැරීමට ඉඩ නොදෙන්න; ඒවා පරිවර්තනය සහ CI දී තහවුරු කරන්න මෙය ගෙදරදී පරීක්ෂා කරන්න (minimal checklist) 
 
 
 
 
 
 
 
 Model your top 3 queries; pick partitions that match those predicates 
 
 Use enum projection for low‑cardinality fields; date projection for time; integer ranges for buckets 
 
 Store data in columnar formats (Parquet/ORC) via Hudi to keep scans small and enable time travel 
 
 Add a thin API (API Gateway + Lambda) to turn traceability SQL into JSON for your UI 
 
 Measure planning vs. scan time; optimize the former first මගේ පරිශීලකයින් සඳහා මෙම විවෘත කරන දේ 
 
 
 
 
 විශ්ලේෂකයින් සහ සහාය ඉංජිනේරුවන් නොමැතිව "ඇයි" පිළිතුරු ලබා ගත හැකිය නිෂ්පාදනයක් කාලය හා හේතු අනුව ආකෘති වෙනස්කම් පරීක්ෂා කළ හැකිය ඉංජිනේරු උපකරණ සඳහා වැඩි කාලයක් හා අධිකරණ විද්යාව සඳහා අඩු කාලයක් ගත කරයි org දත්ත වඩා විශ්වාස කරන නිසා සාක්ෂි එක ක්ලික් දුර සිතුවිලි වහන්න විශිෂ්ට කාර්ය සාධනය සාමාන්යයෙන් දත්ත තැපැල් ඉතිහාසය වේ. ඔබ පරිගණක පුළුල් කිරීමට පෙර, ඔබ ගබඩා කරන ආකාරය සහ බයිට් සොයා ගන්නේ කෙසේදැයි නිවැරදි කර ගන්න.Serverless analytics දී, වේගවත්ම ප්රශ්නය වේගයෙන් සැලසුම් කරන අතර කිසිවක් කියවන අතර, බෙදාහැරීමේ ප්රදර්ශනය ඔබ එතනට ගෙන එන්නේය.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Read My Stories

මෙම ශ්‍රව්‍යය කතාවේ මුල් භාෂාවෙන් නිෂ්පාදනය කර ඇත!

AWS මත ගොඩනැගුණු ලාභදායී, සේවාදායක තොරව දත්ත සංකේත පද්ධතිය ඇතුළත

About Author

අදහස්

ටැග් එල්ලන්න

මෙම ලිපිය ඉදිරිපත් කරන ලදී

Related Stories

AN INDIAN'S TREACHERY

Meet IONOS: HackerNoon Company of the Week

Meet the HackerNoon Top Writers - Wes Huber's Journey In Tech

New Licensing Options for Pixel Icon Library: Free, Starter & Pro Plans

AN INDIAN'S TREACHERY

Meet IONOS: HackerNoon Company of the Week

Meet the HackerNoon Top Writers - Wes Huber's Journey In Tech

New Licensing Options for Pixel Icon Library: Free, Starter & Pro Plans

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps