Өргөтгөсөн зүйлс - эрчим хүчний сүлжээ, аж үйлдвэрийн үйлдвэр, логистикийн хяналтын өрөө гэж бодож байгаа газар дээр өгөгдөл ямар ч хэзээ ч урсгалтай байдаг. Гэхдээ мэдлэг? Энэ нь өөр түүх юм. Месси ETL хоолой, хязгаарлагдмал өгөгдлийн формат, хязгаарлагдмал оркестрийг хэзээ ч гэсэн үг юм. Python, SQL, PySpark, Airflow, Terraform, дээд түвшний өгөгдлийн хадгаламжийн хэрэгслүүдтэй хүчтэй чадалтай, Purva нь өгөгдлийн хязгаарлагч биш - тэд экосистемыг бий болгодог. Энэ нь хязгаарлагдмал, хязгаарлагдмал дамжуулалтыг бодит дэлхий даяар үйл ажиллагаа явуулахын тулд тохиромжтой платформ руу өөрчлөх болно. Түүний playbook? Энэ нь өгөгдлийн үзүүлэлттэй, хоолой идэвхжүүлэлттэй, уян хатан метадан сав ба төв, тавтай морилно уу, тавтай морилно уу. Эдгээр үйл явдлын нэг юм. Тэр нь дөрвөлжин мэдээллийн систем, телеметрийн болон документын суурилсан хүчин чадалтай бүх зүйлийг хянах зориулагдсан дистрибьюторын аналитик платформ шинэчлэхэд удирдах. Тэр нь энэ нь зүгээр л хуваалцахгүй, энэ нь шинэчлэгдсэн бөгөөд Airflow DAG-ийг харьцуулахад тохиромжтой, автоматаар даатгалын ширээг шалгахын тулд давхаргасан. Үнэлгээ нь маш их байсан: дөрвөлжин өгөгдлийн давхарга 60% -ийг багассан. Гэхдээ энэ нь зүгээр л хурдтай биш юм. Шинэ ролын суурилсан хандалтын хяналтын болон динамик метадан сав баглаа боодол нь үйл ажиллагааны өгөгдлийн хоёр гаруй терабайт нь одоогийн Purva-ийн алдартай ажиллуулалт нь зүгээр л хоолой дамжуулан маш их байдаг. Энэ нь системийн найдвартай инженерийн чиглэлээр гүнзгий байдаг. Хэвлэсэн хяналтын програм хангамжийн 100,000 гаруй туршилтын бүртгэлг харах үед, Энэ нь хязгаарлагдмал суралцах загвар бий. Энэ нь хязгаарлагдмал хязгаарлалт дээр нульч, чанарын баталгаажуулахад туслах. Эцэст нь? Нийтэлтийн дараах хязгаарлалт 30% -ийг бууруулж байна. Тэгээд энэ нь Jenkins-тэй CI / CD хоолойны хоолой руу шууд холбогдсон бөгөөд бүх барилга нь автоматаар регрессийн туршилтын шинэ туршид байна. Хязгаарлалт бага, хязгаарлалттай хязгаар Өнгө мэдлэг, компьютерийн үзэсгэлэн дээр түүний ажил нь практик шинэчлэлт зориулалттай туслалтыг харуулсан юм. Газрын тоног төхөөрөмж нь хязгаарлагдмал GPU гэрэлтүүлэгтэй байдаг бөгөөд энэ нь адаптив шинж чанарын экстракци, PCA, K-means clustering-ийг нэгтгэсэн олон үе шаттай харах системийг нэгтгэсэн. Энэ нь 93% -ийн нарийвчлалтай байдаг боловч ихэвчлэн компьютерийн зардал нь хязгаарлагдмал юм. баг нь аюулгүй хандах, бага эрчим хүчний IoT суулгахын тулд хэрэглэдэг бөгөөд энэ нь өмнө ямар ч хэзээ ч боломжийг олгосон газард хүчтэй идентичлэл хяналтыг хүргэж байна. Энэ нь IOT-д суурилсан ачаалал илрүүлэх загварыг хэрэглэдэг акцелерометрийн болон ширхэг боловсруулах ашиглан бий болгосон бөгөөд 95% -ийн илрүүлэх нарийвчлалтай. Энэ нь сенсор fusion болон ширхэг илрүүлэх үед эхний ажил юм? Энэ нь одоо дэлхий даяар аж үйлдвэрийн IOT системийн ДНК-д хавхсан байна. Even during her time at the University of Houston, Texas, Purva was already thinking a step ahead.  Өнгөрсөн долоо хоногийн дараа, энэ нь тавтай морилно уу, эсвэл тавтай морилно уу, эсвэл тавтай морилно уу, эсвэл тавтай морилно уу. Өвөртөө системийн архитектор хэлсэн хэдий ч, "Түүний хоолой нь зүгээр л үйл ажиллагаатай биш - тэд харах боломжтой болгон хийсэн байна. Дараа нь DAG, API, log нь системийн эрүүл мэндийн талаархи түүх хэлдэг. Энэ нь томоохон инженерийн алдартай байдал юм." Purva-ийн бүх карьер нь хязгаарлагдмал, хаотик өгөгдлийн орчинд тогтвортой, гаралтай системийг өөрчлөн өөрчлөх урт хугацааны загвар юм. Энэ нь federated data layers, clustering keys болон micro-partitioning ашиглан тохирсон Snowflake хүчин чадал, Terraform ашиглан автоматаар хөнгөн цагааны инфраструктурыйг боловсруулсан. Тэр ч байтугай энэ нь хөнгөн цагааны болон өгөгдлийн хөнгөн цагааны хөнгөн цагааны хөнгөн цагааны хөнгөн цагааныг сайжруулдаг. Энэ нь хамгийн чухал зүйл гэж үзнэ үү, Тэр ч байтугай: "Data Engineering нь хоолойны талаар биш юм - энэ нь итгэл тухай юм. Бид үүсгэх систем нь бүх аналитик, өгөгдлийн шинжлэх ухааны, анхааралтай хүмүүсийг ямар ч түвшинд хариу авч болно.

This story contains new, firsthand information uncovered by the writer.

Энэхүү аудио нь түүхийн эх хэлээр хийгдсэн болно!

Хаос нь ягаан туяаны: Purva Desai-ийн өгөгдлийн платформ дахь инженерийн санаа

About Author

Сэтгэгдлүүд

TAG ҮҮ

ЭНЭ ӨГҮҮЛЛИЙГ ТОЛГОЙЛУУЛСАН

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps