Nan mond ideyal la nan yon enjenyè, enjenyè a se toujou bèl. Nan mond reyèl la nan sistèm gwo-scale, ou gen yo fè kompromis. Youn nan pwoblèm fonksyonèl yo yon enjenyè ta dwe panse sou nan kòmansman an se vicious. trade-off between Write Speed and Read Speed. Souvan, ou sacrifice youn pou lòt. Men, nan ka nou an, travay ak petabytes nan done nan AWS, kompromis sa a pa te chanje vitès nou an - li te chanje . wallet Nou te bati yon sistèm ki ekri done pafè, men chak fwa li li li soti nan arkiv la, li te brûle nan budgèt la nan fason ki pi doulè yo imajine. Pandan tout, li petabytes soti nan AWS koute lajan pou transfè done, kantite demann, ak retrè klas depo... Yon anpil lajan! Isit la se istwa a nan ki jan nou optimize li yo fè li pi efikas ak pri-efikas! Pandan 0: Ki jan nou te finalman pase $ 100,000 nan frè AWS! Istwa reyèl: Gen kèk mwa de sa, youn nan arsitèk solisyon nou yo te vle retire yon echantiyon ekspòte soti nan yon sit entènèt rare, ki ba trafik yo demontre pwodwi a nan yon kliyan potansyèl. Akòz yon bug nan API a, limit sekirite sou konte dosye pa te aplike. Kòm done pou sit sa a "rare" te disperse nan dè milyon de dosye ansanm ak sit trafik segondè, sistèm la te eseye restaure prèske mwatye nan tout magazen istorik nou an yo jwenn kèk paj sa yo. Sa a erè onèt te finalman koute nou espesyalman $100,000 in AWS fees! Koulye a, mwen retire bug API a imedyatman (ak ajoute limite estrikti), men kwasans nan arsitektur la te rete. Li te yon bom tan tikè... Mwen ta di ou istwa a nan Bright Data Architecture: ki jan mwen te kondwi sistèm la nan kabann nan "pwodwi pou magazen bon mache" ak ki jan mwen te monte soti lè l sèvi avèk yon . Web Archive nan Rearrange Pipeline Web Archive nan Web Archive nan Pwen 1 - Legacy la nan "Write-First" Lè mwen te kòmanse travay sou Web Archive, sistèm la te deja absorbe yon flux gwo nan done: milyon de demann pou chak minit, dè santèn de terabytes pou chak jou. Arkitektur fondasyon an te bati ak yon objektif prensipal: capture tout bagay san yo pa pèdi done. Li depann sou estrateji a ki pi durab pou sistèm pwodiksyon segondè: Append-only Log. 
 
 
 
 
 Done (HTML, JSON) se buffered. Yon fwa buffè a touche ~ 300 MB, li se "sealed" nan yon dosye TAR. Dosye a vole soti nan S3. Apre 3 jou, dosye yo deplase nan S3 Glacier Deep Archive. Pou faz la enterè, konsepsyon sa a te senp. Depoze done nan Deep Archive koute penny, ak pèfòmans ekri se pratikman san limit. Problèm nan: sa a pri Nuance Arkitektur la travay pafè pou ekri ... jiskaske kliyan te mande pou done istorik. Sa a se lè mwen te fè fas a yon kontradiksyon fonksyonèl: 
 
 
 The System Writes by Time: Yon arkiv soti nan 12:00 PM gen yon miks nan cnn.com, google.com, ak shop.xyz. Sistèm Lèt pa Domain: Kliyan an mande: "Done m 'tou paj soti nan cnn.com pou ane ki sot pase a." Isit la se erè a ki te enspire a atik sa a. Kòm anpil enjenyè, mwen te itilize yo panse sou Men, mwen te omwen nan . latency, IOPS, and throughput AWS Glacier billing model Mwen te panse: "Bou, retire kèk mil dosye se lontan (48 èdtan), men li se pa sa chè." AWS peye pa sèlman pou apèl la API, men pou ($ pou chak GB retrete). The Reality: volume of data restored Efè a nan "Golden Byte" Imagine yon kliyan mande 1,000 paj soti nan yon sèl domèn. Paske logik la nan ekri te kronolojik, paj sa yo ka distribiye nan 1,000 diferan archives TAR. Pou bay kliyan sa yo 50 MB nan done itil, yon dezastre rive: 
 
 
 
 
 Sistèm lan ta dwe aktive yon Restore pou 1000 dosye. Li retire 300 GB nan done soti nan "frigè" (1,000 dosye × 300 MB). AWS chaje nou pou restaure 300 GB. Mwen ekstrè 50 MB ki nesesè ak jere lòt 299.95 GB . Nou te peye pou restaure terabytes nan bwason sèlman pou ekstrè grenn lò. Li te yon klasik se yon pwoblèm ki te devlope nan yon gou nwa finansye. Data Locality Pwen dezyèm: Fixing the Error: The Rearrange Pipeline Mwen pa t 'kapab rapidman chanje metòd la engraving - flux la envantè se trè paralèl ak masiv pou sòt "sou vwayaj la" (men mwen ap travay sou sa a), epi mwen te bezwen yon solisyon ki travay pou done deja archivée, tou. Se konsa, mwen te fèt , yon pwosesis background ki "defragment" dosye a. Rearrange Pipeline Sa a se yon asynchronous ETL (Extract, Transform, Load) pwosesis, ak plizyè eleman kle kritik: 
 
 
 
 
 
 
  It makes no sense to sort data that clients aren’t asking for. Thus, I direct all new data into the pipeline, as well as data that clients have specifically asked to restore. We overpay for the retrieval the first time, but it never happens a second time. Selection: 
 
  Multiple workers download unsorted files in parallel and organize buffers by domain. Since the system is asynchronous, I don’t worry about the incoming stream overloading memory. The workers handle the load at their own pace. Shuffling (Grouping): 
 
 
  I write the sorted files back to S3 under a new prefix (to distinguish sorted files from raw ones). Rewriting: 
 
 
 Before:   →  2024/05/05/random_id_ts.tar [cnn, google, zara, cnn] After:   →  2024/05/05/cnn/random_id_ts.tar [cnn, cnn, cnn...]  
 
 
  In Snowflake, the metadata table is append-only. Doing   or   is prohibitively expensive. Metadata Swap: MERGE INTO UPDATE 
 
 The Solution: I found it was far more efficient to take all records for a specific day, write them to a separate table using a JOIN, delete the original day’s records, and insert the entire day back with the modified records. I managed to process   in just a few hours on a 4X-Large Snowflake warehouse. 300+ days and 160+ billion UPDATE operations Rezilta a Chanjman sa a radikalman chanje ekonomi a nan pwodwi a: 
 
 
 
 Pinpoint Accuracy: Koulye a, lè yon kliyan mande pou cnn.com, sistèm la restaure sèlman done a kote cnn.com ap viv. Efikasite: Depann sou granularite a nan demann an (Enter domèn vs. URL espesifik atravè regex), mwen te reyalize yon 10% a 80% rediksyon nan retire "done pou rezo" (ki se dirèkteman proportionnel nan pri a). Nouvo Kapasite: Anplis de sa jis sove lajan sou depo, sa a louvri tout nouvo ka itilizasyon biznis. Paske retrè done istorik se pa plis agonizantman chè, nou ka kounye a pèmèt yo ekstrè seri gwo done pou fòmasyon modèl AI, fè rechèch mache long-tanm, ak bati baz konesans pou sistèm agantik AI rezonab (pensyon motè rechèch espesyalize). Ki sa ki te anvan yon misyon pwomès finansye se kounye a yon operasyon estanda. Nou ankouraje Bright Done ap anplwaye Web Archive an plis ankò. Si ou jwi: 
 
 
 
 
 
 Sistèm Distribisyon segondè-poupe, Enjenyè done nan masiv, Konstriksyon pipelines serye anba chaj reyèl mond lan, Pushing Node.js nan limit absoli li yo, Solisyon pwoblèm ki pa parèt nan liv lekòl ... Apre sa, mwen ta renmen pale. Nou angaje enjenyè Node.js fò yo ede bati jenerasyon pwochen nan Web Archive la. Ki gen enjenyè done ak eksperyans ETL se trè avantaj. Senpleman santi ou lib yo voye CV ou a . Pwodwi pou Telefòn Brightdata.com Pwodwi pou Telefòn Brightdata.com Pwodwi pou Telefòn Brightdata.com Plis ajou yo vini kòm mwen kontinye scaling arkiv la - ak kòm mwen kontinye jwenn nouvo ak kreyatif fason yo ranpli li!

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

This writer has a vested interest be it monetary, business, or otherwise, with 1 or more of the products or companies mentioned within.

Kreye yon Petabyte-Scale Web Archiv

About Author

KÒMANtè

KANDYE TAGS

ATIK SA A TE PREZANTE NAN

Related Stories

HackerNoon Contributor Nikita Vasilev on Programming, Python, and More

It's Gonna Be May... a New Mobile App Update, Pixelated Avatars, Revamped Story Pages and More

Handling Smart Contracts with Ioana Frincu on The HackerNoon Podcast

2022 Noonies Nominee Veronika Vasileva on Programming, Python, and More

HackerNoon Contributor Nikita Vasilev on Programming, Python, and More

It's Gonna Be May... a New Mobile App Update, Pixelated Avatars, Revamped Story Pages and More

Handling Smart Contracts with Ioana Frincu on The HackerNoon Podcast

2022 Noonies Nominee Veronika Vasileva on Programming, Python, and More

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps