ඔබේ පරිගණකය කඩා වැටේ, දුරකථනය සීතල වන අතර, ඔබේ Netflix වැඩ කිරීමට නතර වේ. එය ඉතා කලකිරීමකි. දැන්, ඔබේ මුළු දත්ත පද්ධතිය අසාර්ථක වන ව්යාපාරයක් ක්රියාත්මක කිරීමට සිතා බලන්න. සමාගම් ඔවුන්ගේ පද්ධති අසාර්ථක වන විට බරපතල මුදල් අහිමි වේ. විශාල සමාගම් පැයට ඩොලර් 300,000 ක් අහිමි විය හැක, සමහර දේවල් බිඳ වැටෙන විට, සමහර අය තව තවත් අහිමි විය හැක. Gartner සමාගම අනුව, පරිගණක නතර කිරීමේ සාමාන් ය වියදම විනාඩියකට ඩොලර් 5,600කි. සමාගම් ඔවුන්ගේ දත්ත සමුදාය වෙනස් කිරීමට අවශ්ය විට එය වඩාත් නරක වේ. ඔබ තවමත් එහි ජීවත් වන අතර ඔබේ නිවසේ නවීන කිරීම මෙන් එය සිතන්න. බොහෝ විට, ඔබ මුලින්ම පිටතට ගමන් කළ යුතුය. දත්ත සමුදාය සමග එසේම - ඔබට වෙනස්කම් සිදු කිරීමට පෙර සෑම දෙයක්ම නතර කළ යුතුය. ඒ පිස්සු සල්ලි නැතිවෙලා යනවා. නවතම දත්ත පෙන්වති, 44% සංවිධාන දැන් ඔවුන්ගේ පැය අතුරුදහන් වියදම් $ 1 මිලියන දක්වා ගණනය කරයි Kumar Sai Sankar Javvaji සෑම දිනකම මෙම නරක සිහිනයක් සමඟ කටයුතු කරමින් සිටියා. ඔහු දත්ත ඉංජිනේරුවෙකු ලෙස විශාල අන්තර්ජාල වෙළෙඳසැලකින් සේවය කරන ලදී. ඔහු පාරිභෝගික දත්ත විශාල ප්රමාණයේ නිශ්චිත ප්රවාහය තබා ගැනීම සඳහා වගකිව සිටියේය. නමුත් ඒ දත්ත සංවිධානය කරන ආකාරය යාවත්කාලීන කිරීමට අවශ්ය සෑම අවස්ථාවකදීම සියල්ල නතර විය. එය සාමාන් යයෙන් යාවත්කාලීන කිරීමක් විය යුත්තේ මොහොතේදී. සමාගම පාරිභෝගික තොරතුරු ගබඩා කරන ආකාරය වෙනස් කිරීමට අවශ් ය විය. ඔවුන්ගේ පද්ධතිය පැය ගණනාවක් වසා දැමීමකින් තොරව මෙම වෙනස්කම් කටයුතු කළ නොහැකි විය. පාරිභෝගිකයින් මිලදී ගැනීමට නොහැකි විය. විකිණීම් නතර විය. මුදල් අතුරුදහන් වූ අතර ඔහු සහ ඔහුගේ කණ්ඩායම සියල්ල නිවැරදි කිරීමට උත්සාහ කළහ. වැඩ කරන දෙයක් හදන්න ඔහු මේ අවුලෙන් මහන්සි වුණා. ඔහු වාඩිවෙලා සම්පූර්ණයෙන්ම වෙනස් දෙයක් ගොඩනැගුවා. ඔහුගේ නව පද්ධතිය කිසිවක් වසා දැමීමකින් තොරව දත්ත පදනම වෙනස් කර ගත හැකි විය. තවත් හදිසි රැස්වීම් නැහැ. තවත් හදිසි දුරකථන ඇමතුම් නැහැ. තවත් අහිමි මුදල් නැහැ. ඔහුගේ විසඳුම එකට වැඩ කරන කොටස් තුනක් තිබුණා. පළමුව, නව ව්යුහයන් නිර්මාණය කරන විට පැරණි දත්ත ඉතිරි කර ඇති ස්වයංක්රීය ටැබ්ලට් සංස්කරණය. දෙවනුව, එක් වරක් බොහෝ ක්රියාවලියේ ඉතිහාස තොරතුරු පිටපත් කරන ස්මාර්ට් පැරණි backfilling. තුන්වනුව, නව සහ පැරණි සංස්කරණ එකිනෙක වැඩ කිරීමට ඉඩ සලසන යාවත්කාලීන කිරීම. එය සැබවින්ම ක්රියා කරන ආකාරය මෙන්න. පරිගණකයින් දත්ත සමුදාය වෙනස් කිරීමට අවශ්ය වූ විට, ඔහුගේ පද්ධතිය ස්වයංක්රීයව වර්තමානයේ අනුවාදය රඳවා ගනු ඇත. එවිට එය පැරණි අනුවාදය සමඟ අළුත් අනුවාදය නිර්මාණය කරනු ඇත. දෙකම එකම වේලාවක ක්රියාත්මක විය හැකිය. පැරණි ඉල්ලීම් පැරණි දත්ත සමඟ ක්රියාත්මක විය. නව ඉල්ලීම් නව පද්ධතිය භාවිතා කර ඇත. කිසිදු බාධාවක්. කිසිදු ගැටලුවක්. මෙම තාක්ෂණික ස්ථාපනය Delta Lake හි ගනුදෙනු ක්රියාකාරීත්වය භාවිතා කරන ලදී. පද්ධතිය සැබෑ කාලය තුළ දත්ත සමුදාය වෙනස් කිරීම සඳහා නිරීක්ෂණය කළේය, සම්පූර්ණ ඉතිහාසය තබාගෙන කිසිවක් අහිමි වී නැත, හා විවිධ සංස්කරණය සාමකාමීව එකිනෙකා ජීවත්වීමට ඉඩ දුන්නා. විවිධ පරිශීලක යන්ත්රයන් විවිධ කොටස් හරහා දත්ත සකස් කළ අතර, සෑම දෙයක්ම නිශ්චිතව ක්රියාකාරී විය. ඔහුගේ ව්යුහය සියල්ල ස්වයංක්රීයව කළමනාකරණය කළේය. සංවර්ධකයින් ස්කෑම් වෙනස්වීම් ස්ථාපනය කරන විට, පද්ධතිය බලපාන දත්ත ව්යුහයන් සොයාගෙන, නව අනුවාදය නිර්මාණය කර, හා සමන්විතව ඓතිහාසික දත්ත සකස් කිරීම ආරම්භ කළේය මෙම පද්ධතිය සාමාන්යයෙන් අසාර්ථකත්වයට හේතු වූ සංකීර්ණ සංකීර්ණ සංකීර්ණ සංකීර්ණ තත්වයන් කළමනාකරණය කර ඇත.එම පද්ධතිය සංකීර්ණව ගැටුම් සහිත දත්ත සංකේත වෙනස්කම්, දත්ත වර්ගයේ අසාර්ථකතාවයන් විසඳා, සහ විවිධ තැපැල් අනුවාදය අතර සම්බන්ධතා සකස් කර ඇත.එම පද්ධතිය අවදානමක් සහිත දත්ත සංකේත යාවත්කාලීන පහසු, සාමාන්ය ක්රියාවලි බවට පරිවර්තනය කර ඇත. වර්ගීකරණ යාවත්කාලීන කිරීම හොඳම කොටසක් විය. සෑම දෙයක්ම වසා දැමීම වෙනුවට, නව දත්ත පදනම අනුවාදය පැරණි දත්ත සමඟ වැඩ කළ හැකිය. නව දත්ත යාවත්කාලීන ව්යුහයන් හරහා ගමන් කරන අතර, පැරණි ඓතිහාසික දත්ත සොයමින් සාමාන්යයෙන් ක්රියාත්මක විය. හැමදේම හොඳට වෙනස් වෙනවා ඔහුගේ පද්ධතිය සෑම මෘදුකාංග ප් රදර්ශනයකටම අත් යවශ් ය විය. ඉංජිනේරු කණ්ඩායම් වේගයෙන් දත්ත පද්ධති ව්යුහය වෙනස් කළ හැකි අතර සංකීර්ණ රැකියා වින්ඩෝස් සැලසුම් කිරීම හෝ දේවල් බිඳ දැමීම ගැන සැලකිලිමත් නොවීම. පැය ගණනක් පැය ගණනක් පැය ගණනාවක් පැය ගණනාවක් පැය ගණනාවක් පැය ගණනාවක් පැය ගණනාවක් පැය ගණනාවක් පැය ගණනාවක් පැය ගණනාවක් පැය ගණනාවක් පැය ගණනාවක් පැය ගණනාවක් පැය ගණනාවක් පැය ගණනාවක් පැය ගණනාවක් පැය ගණනාවක් පැය ගණනාවක් පැය ගණනාවක් පැය ගණනාවක් පැය ගණනාවක් පැය ගණනාවක් පැය ගණනාවක් පැය ගණනාවක් පැය ගණනාවක් පැය ගණනාවක් පැය ගණනාවක් පැය ගණනාවක් පැය ගණනාවක් පැය ගණනාවක් පැය ගණනාවක් පැය ගණනාවක් පැය ගණනාවක් පැය ගණනාවක් පැය ගණනාවක් පැය ගණනාවක් පැය ගණනාවක් පැය ගණනාවක් පැය ගණනාවක් පැය ගණනාවක් සමාගමේ නායකත්වය ඔහුගේ කාර්යය කෙතරම් විශාලදැයි අවබෝධ කර ඇති අතර එය සංවිධානය පුරා අනෙකුත් දත්ත ව්යාපෘතිවලට බලපෑම් කිරීමට පටන් ගත්තේය. "ප් රදායික පද්ධති හදිසි තත්වයන් ලෙස සැලකේ," Kumar Sai Sankar Javvaji පැහැදිලි කරයි. "සෑම දෙයක්ම නැවතුණේ, කණ්ඩායම් ක්රියාවලිය අතින් යාවත්කාලීන කිරීම සඳහා හදිසි වන අතර, ව්යාපාරික ක්රියාකාරකම් අපගේ පද්ධති නැවත සමඟ අමුත්තන් ලබා ගැනීමට තරඟකාරී වන අතර." අනෙකුත් ඉංජිනේරු කණ්ඩායම් ඔහුගේ සාර්ථකත්වයට අවධානය යොමු කිරීමට පටන් ගත්තේය. ඔහුගේ නිර්මාණ අදහස් බොහෝ ව්යාපෘතිවල දත්ත ආකෘතිය තීරණවලට බලපෑම් කිරීමට පටන් ගත්තේය. නිෂ්පාදන පරිසරවල දත්ත පද්ධති වෙනස්වීම් ක්රියාත්මක කිරීම සඳහා නව ප්රමිතීන් වර්ධනය විය. දත්ත සමුදාය කළමනාකරුවන් ඔහුගේ පද්ධතිය ඔවුන්ගේ දිනපතා වැඩ වෙනස් කරන ආකාරය ප්රේක්ෂා කරන ලදී. පෙර, දත්ත සමුදාය වෙනස් කිරීම සැලසුම්, දිගු ප්රතිකාර වින්ඩෝස්, සහ දත්ත නිවැරදි බව තහවුරු කිරීම සඳහා ස්ථාවර අධීක්ෂණය අවශ්ය විය. ලොකුම ඡායාරූපය ඔහුගේ රැකියාව දත්ත පද්ධති ගැන සංවිධාන හිතන ආකාරයේ ප්රධාන වෙනසක් පෙන්වයි. පැරණි පාසල් දත්ත ඉංජිනේරු පද්ධති සැලසුම් සහ අඛණ්ඩ වැඩ මගින් වෙනස්කම් පවත්වා ගත හැකි පද්ධති ගොඩනැගීම මත අවධානය යොමු කර ඇත. ඔහුගේ පද්ධතිය ව්යාපාරික අවශ්යතා සපුරාලීම වෙනුවට ඒවා සීමා කිරීම සඳහා අනුකූල වන ප් රායෝගික පද්ධතිය වෙත මෙම සංවර්ධනය සකස් කරයි.This matches broader industry trends towards zero-downtime deployment strategies and continuous integration practices that have transformed software development. දත්ත ප්රමාණය දිගින් දිගටම වර්ධනය වන අතර ව්යාපාරික අවශ්යතා වේගයෙන් වෙනස් වන අතර, දත්ත අර්බුදය සැබවින්ම අනුකූල වන අනාගතය සඳහා ඔහුගේ ප්රවේශය ලෙස විසඳුම්. ඔහුගේ බලපෑම වහාම තාක්ෂණික ක්රියාත්මක කිරීමෙන් පිටතට ගොස් තිබුණා.මේ සංවිධානයේ අනෙකුත් කණ්ඩායම් ආයුධ ප්රශ්නවලට සමාන ලෙස ප්රතිකාර කිරීමට පටන් ගත් අතර, ප්රතික්රීය ගින්න ප්රතිරෝධය වෙනුවට ප්රතික්රීය ස්වයංක්රීයතා සංස්කෘතිය ප්රවර්ධනය කර ඇත.ඔහුගේ කාර්යයේ විශාලතම දීර්ඝ කාලීන බලපෑම වන්නේ සංස්කෘතිය වෙනස් කිරීම විය හැකිය. දැන් ඔහුගේ පද්ධතිය සමාගම විසින් කරන සෑම මෘදුකාංග යාවත්කාලීන කොටසක් වේ. කණ්ඩායම් දේවල් බිඳ දැමීම ගැන සැලකිලිමත් නැතිව වෙනස්කම් තැබිය හැක. සමාගම් කළමනාකරුවන් එය වැඩ කරන නිසා එය ආදරය කරයි සහ සංවිධානයේ අනෙකුත් දත්ත ව්යාපෘති ගොඩනැගීමට බලපෑම් කර ඇත. "මෙම පද්ධතිය දත්ත පයිප්පල් සංරක්ෂණය ගැන අපි හිතන ආකාරය වෙනස් කළා," Kumar Sai Sankar Javvaji පවසයි. "අපේ කණ්ඩායම් ව්යාපාරික වටිනාකම ප් රවර්ධනය කරන විශේෂාංග ගොඩනැගීමට අවධානය යොමු කළ හැක." අනෙකුත් දත්ත ඉංජිනේරුවන් සමාන ප්රතිකාර වලින් ඉගෙන ගත හැකිය ඔහු නිර්මාණය කරන දේ. ඔහුගේ ක්රමයක් දර්ශනය වන අතර, දත්ත පද්ධති වෙනස්වීම් ඉදිරියේදී අනතුරක් ලෙස දකින්න වෙනුවට, ඔබට පහසුවෙන් ඒවා කළමනාකරණය කළ හැකි පද්ධති නිර්මාණය කළ හැකිය. Kumar Sai Sankar Javvaji ගේ වැඩ වැදගත් දෙයක් ඔප්පු කරයි: හොඳම නවකතා සැබෑ ප්රශ්න සකස් කිරීමෙන් පැමිණෙන අතර එය සැබවින්ම වැදගත්.

This story contains new, firsthand information uncovered by the writer.

මෙම ශ්‍රව්‍යය කතාවේ මුල් භාෂාවෙන් නිෂ්පාදනය කර ඇත!

දිග වැඩියි; කියවීමට

Make resilience your competitive advantage

The Guy Who Fixed One of Tech's Most Expensive Problems - තාක්ෂණය පිළිබඳ වැඩි විස්තර

About Author

අදහස්

ටැග් එල්ලන්න

මෙම ලිපිය ඉදිරිපත් කරන ලදී

Related Stories

Meet PennyFly Entertainment, Startups of the Year Winner (Malibu, CA)

Streamlining the API Lifecycle: Interview with Startups of The Year 2024 Nominee, Ambassador

Seamless Sign-ups on the Move: Unlock Access as You Take Action!

Technology's 24 Most Important Social Networks for Content Distribution

Meet PennyFly Entertainment, Startups of the Year Winner (Malibu, CA)

Streamlining the API Lifecycle: Interview with Startups of The Year 2024 Nominee, Ambassador

Seamless Sign-ups on the Move: Unlock Access as You Take Action!

Technology's 24 Most Important Social Networks for Content Distribution

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps