Fanambarana momba ny olana Izaho dia mamorona sy miasa amin'ny daty/ML sehatra amin'ny fotoana tena izy, ary iray amin'ireo aretina mahazatra hitako ao anatin'ny angon-drakitra org dia izao: "Nahoana ity toetra ity dia manana ity lanjany ity?"Raha toa diso ny anaran'ny orinasa, ny orinasa na ny fidiram-bola, ny fanadihadiana matetika mitsahatra tsy misy fanampiana ara-teknika. Ity no drafitra nandefa ahy: Ny serivisy tsy misy serivisy, ny fanaraha-maso ambany izay manontany terabytes ao anatin'ny segondra ary mandoa ara-nofo. Inona no tokony hatao amin'ity fitaovana ity (ho an'ny tsy injeniera) 
 
 
 
 
 Ampahafantaro ny lanjany: Nahoana ny toetra X ho an'ny orinasa Y dia mitovy amin'ny Z amin'izao fotoana izao? Jereo ny tantara: Rehefa niova izany? Inona ny dikan-teny teo aloha? Asehon'ny porofo: Inona avy ireo loharano sy ny fitsipika nahatonga io lanjany io? Manompo ny tenanao: API + interface tsotra mba ahafahan'ny ekipa manadihady tsy misy injeniera Ny fanorenana (serverless amin'ny tanjona) 
 
 
 
 
 
 Amazon API Gateway: varavarankely azo antoka ho an'ny API AWS Lambda: fandefasana fangatahana tsy misy fananana (tsy misy solosaina tsy misy vola) Amazon S3 + Apache Hudi: fitehirizana madinika miaraka amin'ny fandehan-javatra sy ny fanatsarana AWS Glue Data Catalog: fandaharam-potoana sy metadata amin'ny fizarana Amazon Athena: SQL amin'ny S3/Hudi, pay-per-data-scanned, zero infra Nahoana ireo safidy ireo? 
 
 
 
 Ny vidiny: ny fitehirizana ao amin'ny S3 dia lafo; Athena dia mandoa vola fotsiny ho an'ny bytes voamarina; Lambda dia mandoa vola isaky ny fangatahana Scale: S3/Hudi dia manohana ny TB→PB, ary ny Athena dia manampy amin'ny horonantsary Fitehirizana: tsy misy fiaramanidina ho an'ny patch; ny fiaramanidina infra dia mbola kely rehefa mitombo ny fampiasana 
 
 Data layout: ny fampisehoana dia olana momba ny angon-drakitra (tsy olana amin'ny solosaina) Athena dia haingana rehefa tsy mamaky na inona na inona, ary haingana rehefa mikasa na mamantatra be loatra. Data layout: ny fampisehoana dia olana momba ny angon-drakitra (tsy olana amin'ny solosaina) Athena dia haingana rehefa tsy mamaky na inona na inona, ary haingana rehefa mikasa na mamantatra be loatra. Partitioning Strategy (miorina amin'ny fanontaniana endrika) 
 
 
 
 created_date (data): ny ankamaroan'ny fanontaniana dia voafetra amin'ny fotoana atribute_name (enum): mpiasa, fidiram-bola, linkedin_url, founded_year, orinasa, sns entity_id_mod (integer bucket): mod(entity_id, N) amin'ny fampielezan-kevitra amin'ny hot keys Izany dia mampihena ny angon-drakitra voamarina ary, zava-dehibe kokoa, mampihena izay metadata partition Athena mila mandinika. Ny zavatra telo izay nahatonga azy ho haingana: 
 
 
 
 
 
 
 : Partitioning 
 
 
 
 
 Put only frequently filtered columns in the partition spec. 
 
 Use integer bucketing (mod) for high‑cardinality keys like  entity_id. 
 
 
 Partition Indexing (first win, partial): 
 
 
 
 
 We enabled partition indexing so Athena could prune partition metadata faster during planning. 
 
 This helped until the partition count grew large; planning was still the dominant cost. 
 
 
 Partition Projection (the actual game‑changer): 
 
 
 Instead of asking Glue to store millions of partitions, we taught Athena how partitions are shaped. Result: planning time close to zero; queries jumped from “slow-ish with growth” to consistently 1–2 seconds for typical workloads. Athena TBLPROPERTIES (minimal example) TBLPROPERTIES (
  'projection.enabled'='true',

  'projection.attribute_name.type'='enum',
  'projection.attribute_name.values'='employees,revenue,linkedin_url,founded_year,industry',

  'projection.entity_id_mod.type'='integer',
  'projection.entity_id_mod.interval'='1',
  'projection.entity_id_mod.range'='0,9',

  'projection.created_date.type'='date',
  'projection.created_date.format'='yyyy-MM-dd',
  'projection.created_date.interval'='1',
  'projection.created_date.interval.unit'='days',
  'projection.created_date.range'='2022-01-01,NOW'
)
 Nahoana no miasa izany 
 
 
 
 Athena dia tsy mahazo lisitry ny fizarana goavana avy amin'ny Glue intsony; manombana ny fizarana eo amin'ny fandefasana avy amin'ny fitsipika etsy ambony Ny fanodinana dia mihena amin'ny "tsy ny rakitra mifanaraka amin'ny fepetra voafetra" Ny fandaharam-potoana dia lasa tsy ampy, na dia mitombo ny angon-drakitra sy ny fizarana aza Inona no mahagaga ahy (ary inona no sarotra) 
 
 
 
 
 Ny "gotcha" dia fanombanana fanontaniana, fa tsy solosaina. Matetika isika no manatsara ny motera, fa eto ny ampahany haingana indrindra dia ny famantarana ny fizarana. Ny fanapahan-kevitra ny partition keys dia antsasaky ny zavakanto, antsasaky ny siansa. Over-partition ary ianao dia maty ao amin'ny metadata; under-partition ary ianao dia mandoa isam-bolana. Ho an'ny sehatra ambany amin'ny kardinality (attribute_name), ny fametrahana enum dia tsotra sy haingana. Ny fanohanana ny bucketing marina dia voafetra ao Athena, fa ny fizarana isan-karazany mifototra amin'ny mod dia mahazo anao ny tombontsoa lehibe indrindra. Ny vidiny sy ny fahatarana (fotsiny) 
 
 
 
 
 Fanontaniana mahazatra: 1-2 segondra amin'ny faran'ny farany (tsy voafetra ny fanombohan'i Lambda) Ny habetsaky ny angon-drakitra: TB maro ao amin'ny S3/Hudi Ny vidiny: pennies isaky ny 100s ny fangatahana (Athena scan + Lambda fangatahana) Ops: manodidina ny zero—tsy misy mpizara, tsy misy fanamafisana an-tanana mihoatra noho ny faharetan'ny fanamafisana Hudi Ny fanafody mahazatra (tsy azonao atao ny mandalo azy ireo) 
 
 
 
 
 Aza mivezivezy amin'ny sehatra avo lenta (ohatra, raw entity_id); Hipoaka ny isan'ny fizarana Aza miala amin'ny famaritana raha manantena ny fitomboan'ny fizarana ianao; ny indexing irery dia tsy hamonjy anao. Aza mamonjy ny metadata partition ho an'ny tsirairay ny fanalahidy raha ny fitsipika dia afaka mamorona izany (ny famolavolana dia misy noho izany antony izany) Aza avela hivoaka ny fandaharam-potoana amin'ny Glue; Version azy ireo ary valide ao amin'ny CI Azonao atao ny manandrana izany any an-trano (ny lisitry ny fitsapana kely) 
 
 
 
 
 
 
 
 Model your top 3 queries; pick partitions that match those predicates 
 
 Use enum projection for low‑cardinality fields; date projection for time; integer ranges for buckets 
 
 Store data in columnar formats (Parquet/ORC) via Hudi to keep scans small and enable time travel 
 
 Add a thin API (API Gateway + Lambda) to turn traceability SQL into JSON for your UI 
 
 Measure planning vs. scan time; optimize the former first Inona no misokatra ho an'ny mpampiasa ahy 
 
 
 
 
 Ireo mpikaroka sy ny fanohanana dia afaka mamaly ny "hoana" tsy misy injeniera Ny vokatra dia afaka manamarina ny fiovana amin'ny toetra amin'ny fotoana sy ny antony Ny injeniera dia mandany fotoana bebe kokoa amin'ny fikarakarana sy ny fotoana kely kokoa amin'ny forensics Ny org dia matoky ny angon-drakitra kokoa satria ny porofo dia tsindrio iray Ny fanapahan-kevitra Ny vokatra tsara dia matetika ny tantara momba ny tahirin-kevitra. Alohan'ny handrefesana ny solosaina, dia mamaha ny fomba fametrahana sy ny fikarohana ny bytes. Ao amin'ny fanadihadiana tsy misy mpizara, ny fanontaniana haingana indrindra dia izay manamboatra avy hatrany ary tsy mamaky na inona na inona, ary ny fametrahana ny fizarana dia ny fiantraikany izay mahatonga anao ho any.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Read My Stories

Ity horonam-peo ity dia novokarina tamin'ny fiteny niandohan'ny tantara!

Ao anatin'ny rafitra fanaraha-maso ny angon-drakitra amin'ny vidin'ny vidin'ny serivisy tsy misy serivisy izay vita amin'ny AWS

About Author

COMMENTS

HANG TAGS

ITY ARTICLE ITY NO NARESAKA TAMIN'NY

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps