paint-brush
சிலிக்கான் வேலியின் பைட் பைபர் இப்போது புதிய சுருக்க தொழில்நுட்பத்திற்கு நன்றிமூலம்@thetechpanda
புதிய வரலாறு

சிலிக்கான் வேலியின் பைட் பைபர் இப்போது புதிய சுருக்க தொழில்நுட்பத்திற்கு நன்றி

மூலம் The Tech Panda4m2024/10/09
Read on Terminal Reader

மிக நீளமானது; வாசிப்பதற்கு

HBO இன் சிலிக்கான் வேலி பைட் பைப்பரை அறிமுகப்படுத்தியது, இது ஒரு புத்திசாலித்தனமான சுருக்க தொழில்நுட்பத்துடன் கூடிய கற்பனையான தொடக்கமாகும். 2024 ஆம் ஆண்டில், SQream Blue போன்ற நிஜ உலக நிறுவனங்கள், வேகம் மற்றும் செலவில் டேட்டாபிரிக்ஸ் போன்ற முக்கிய போட்டியாளர்களை விஞ்சி, இதே போன்ற தரவு தீர்வுகளை வழங்குகின்றன. தரவு அளவுகள் உயர்ந்து வருவதால், திறமையான சுருக்கத்திற்கான தேவை முன்னெப்போதையும் விட மிகவும் அவசரமானது, இது கலையைப் பின்பற்றுவதற்கு வாழ்க்கையை நெருக்கமாகக் கொண்டுவருகிறது.
featured image - சிலிக்கான் வேலியின் பைட் பைபர் இப்போது புதிய சுருக்க தொழில்நுட்பத்திற்கு நன்றி
The Tech Panda HackerNoon profile picture
0-item


HBO இன் நகைச்சுவைத் தொடரான சிலிக்கான் வேலி விமர்சன ரீதியான பாராட்டுக்களைப் பெற்றது மற்றும் ராட்டன் டொமாட்டோஸில் கிட்டத்தட்ட சரியான மதிப்பெண்ணைப் பெற்றது.


பெரும்பாலான சிறந்த நகைச்சுவைகளைப் போலவே, 2014-2019 க்கு இடையில் பே ஏரியா தொழில்நுட்பக் காட்சியின் சில அயல்நாட்டு கூறுகளில் நிஜ வாழ்க்கைக் காட்சிகளை நையாண்டியாக எடுத்துரைக்கும் திறனால் நிகழ்ச்சியின் வெற்றிக்கு நன்றி சொல்லலாம்.


இந்த வழக்கில், பைட் பைப்பரின் நிறுவனர் மற்றும் அவரது குழு தனது நாவல் சுருக்க தொழில்நுட்பத்தை உலகிற்கு கொண்டு வரும் பணியில் ஈடுபட்டுள்ளனர்.


இந்தத் தொடர் தயாரிப்பில் இருந்தபோது, இந்த சுருக்கத் தொழில்நுட்பமானது ஒரு புத்திசாலித்தனமான கதைசொல்லும் சாதனத்தை விட அதிகமாக இல்லை, இது இந்த ஸ்கிராப்பி ஸ்டார்ட்அப் அதன் அற்புதமான தீர்வின் மூலம் என்ன ஒரு முக்கிய இடத்தைக் கண்டறிந்தது என்பதைக் காட்ட உதவியது.


GenAI தொழில்நுட்பத்தின் ஏற்றம் மற்றும் தரவுகளுக்கான முன்னோடியில்லாத தேவையுடன், 2024 ஆம் ஆண்டிற்கு நாம் வேகமாக முன்னேறினால், சிலிக்கான் பள்ளத்தாக்கின் படைப்பாளர்களால் முன்வைக்கப்படும் ஒரு தீர்வுக்கான அவசரத் தேவை எப்போதும் இல்லை.


இருப்பினும், வியக்கத்தக்க வகையில் ஒரே மாதிரியான சுருக்க மாதிரியை உருவாக்குவதில் ஒரு நிறுவனம் வெற்றி பெற்றுள்ளது போல் தெரிகிறது.

சிலிக்கான் பள்ளத்தாக்கைப் புரிந்துகொள்ள, சிலிக்கான் பள்ளத்தாக்கைப் பாருங்கள்

தொடரில், Pied Piper என்பது உங்கள் தரவை உடனடி அணுகலை வழங்கும் சுருக்க தொடக்கமாகும்.


கலையைப் பின்பற்றும் வாழ்க்கையின் ஒரே உதாரணத்திலிருந்து இது வெகு தொலைவில் உள்ளது. உண்மையில், தரவு சுருக்கக் கருவியின் கருத்து பைட் பைப்பரின் ஒரே உறுப்பு அல்ல, அது உண்மையில் கடந்து செல்கிறது.


உண்மையில் நிகழ்ச்சியின் ஆராய்ச்சிக்காக பேராசிரியர்கள் ஆலோசிக்கப்பட்டனர், வைஸ்மேன் ஸ்கோர் தொடருக்காகவே உருவாக்கப்பட்ட ஒரு புதிய சுருக்க அளவீடு ஆகும். இருப்பினும், இது நிஜ உலக ஆராய்ச்சியாளர்களை உண்மையில் பயன்படுத்துவதைத் தடுக்கவில்லை.


இதற்கிடையில், ஐபிஎம்மின் வாட்சன் குழுமத்தின் ஆராய்ச்சியாளரான வினித் மிஸ்ரா, இந்த நிகழ்ச்சிக்காக ஆலோசனை நடத்தினார், சுருக்க அல்காரிதத்திற்கு கற்பனையான முன்னேற்றத்தை வழங்கும் தொழில்நுட்ப கட்டுரையை எழுதினார்.


எவ்வாறாயினும், நிகழ்ச்சிக்காக முன்வைக்கப்பட்ட சுருக்க வழிமுறை புனைகதையாக இருந்தாலும், சக்திவாய்ந்த புதிய வகை GPUகள் மற்றும் மேம்பட்ட செயலாக்க சில்லுகள் அடுத்த நிலை தரவு செயலாக்க திறன்கள் இப்போது சாத்தியக்கூறுகளுக்குள் உள்ளன.

பைட் பைப்பரின் கனவை நனவாக்குதல்

ஒரு சில நிறுவனங்கள் தரவு சுருக்கத்திற்கான 'உண்மையான பைட் பைபர்' என்ற பட்டத்தை சம்பாதிப்பதற்கு நெருங்கி வரும் நிலையில், ஒரு நியூயார்க் ஸ்டார்ட்அப் இந்த நிபுணத்துவத்தில் முன்னேறியதற்காக தாமதமாக கவனத்தை ஈர்த்து வருகிறது.


SQream Blue, தரவு முடுக்கம் தளத்திலிருந்து தரவு லேக்ஹவுஸ் தீர்வு, சமீபத்தில் சந்தையில் இதே போன்ற தீர்வுகளை ஒரு நாட்டின் மைல் மூலம் விஞ்சியது.


வேகம் மற்றும் விலைக்கு வரும்போது, SQream Blue மற்றும் அதன் காப்புரிமை பெற்ற தொழில்நுட்ப சுருக்க தீர்வு சோதனையின் ஒப்பீட்டு கூறுகளின் போது டேட்டாபிரிக்ஸின் விலையில் 3 மடங்கு வேகமாகவும் பாதி விலையிலும் செயல்பட்டது.


இதை இன்னும் விரிவாகக் கூற, SQream Blue இன் மொத்த இயக்க நேரம் 2462.6 வினாடிகள், தரவை இறுதி முதல் இறுதி வரை செயலாக்குவதற்கான மொத்த செலவு $26.94 ஆகும். டேட்டாபிரிக்ஸின் மொத்த இயக்க நேரம் $76.94 செலவில் 8332.4 வினாடிகள் ஆகும், இது பெரிய தரவு பகுப்பாய்வுக்காக SQream Blue மூலம் குறிப்பிடத்தக்க செலவு-செயல்திறன் நன்மையைக் குறிக்கிறது.


இந்த முடிவுகளைப் பெற, SQream ஆனது, அமேசான் வலை சேவைகளில் (AWS) 30,000 அளவுகோலுடன் தரப்படுத்தியது, இது SQream இன் ஒப்பீட்டு திறன்களை அளவில் சோதிக்க, சுமார் 30 TB தரவுத்தொகுப்பை உருவாக்குகிறது. உருவாக்கப்பட்ட அனைத்து தரவுகளும் Amazon Simple Storage Service (Amazon S3) இல் Apache Parquet கோப்புகளாக சேமிக்கப்பட்டன, மேலும் வினவல்கள் தரவுத்தளத்தில் முன் ஏற்றப்படாமல் செயலாக்கப்பட்டன.


அறிவிப்பின்படி, SQream Blue இன் இணையற்ற வேகமானது, அமெரிக்க லைப்ரரி ஆஃப் காங்கிரஸில் உள்ள ஒவ்வொரு பட்டியலிடப்பட்ட புத்தகத்தையும் ஒரு மணி நேரத்திற்குள் படிப்பதற்குச் சமமாக இருந்தது - பின்னர் அவை அனைத்தையும் $25க்கும் குறைவாக வாங்குகிறது, இது பைட் பைப்பரின் வெய்ஸ்மேனின் சிறப்பான முடிவுகளை நினைவூட்டுகிறது. TechCrunch Disrupt இல் பிரபலமற்ற சிலிக்கான் வேலி எபிசோடில் சோதனை.


2024ல், இந்த வகையான ஆதாயங்கள் போதுமான அளவு விரைவாக வராது.

எங்கள் தரவு அடிமைத்தனத்தை சமாளித்தல்

கோடீஸ்வரர் மூத்த நிர்வாகியும் சிலிக்கான் பள்ளத்தாக்கின் முக்கிய எதிரியுமான கேவின் பெல்சன், இந்த விஷயத்தில், “தரவு உருவாக்கம் வெடிக்கிறது. அனைத்து செல்ஃபிகள் மற்றும் பயனற்ற கோப்புகளை மக்கள் கிளவுட்டில் நீக்க மறுக்கிறார்கள், உலகின் 92 சதவீத தரவு கடந்த இரண்டு ஆண்டுகளில் மட்டும் உருவாக்கப்பட்டது. தற்போதைய விகிதத்தில், உலகின் தரவு சேமிப்பு திறன் அடுத்த வசந்த காலத்தில் முந்திவிடும். இது ஒரு பேரழிவுக்குக் குறையாது. ”


"தரவு பற்றாக்குறை, தரவு விநியோகம், தரவு கருப்பு சந்தைகள். யாரோ ஒருவரின் சுருக்கமானது டேட்டா-கெடானிலிருந்து உலகைக் காப்பாற்றும், மேலும் அது நிச்சயமாக நியூக்ளியஸாக இருப்பது நல்லது, பைட் பைபர் அல்ல!"


ஆனால் இது செல்ஃபிகள் மற்றும் உள்ளடக்கத்தைப் பற்றியது அல்ல. பொது மேகங்கள் இப்போது அனைத்து நிறுவன பணிச்சுமைகளிலும் பாதிக்கும் மேலானவை மற்றும் சில வணிகங்கள் அந்த இடத்தில் ஆண்டுதோறும் $12 மில்லியனுக்கு மேல் செலவிடுகின்றன.


தற்போதைய முறைகளைப் பயன்படுத்தி நிர்வகிக்க முடியாத நிலையில் இருக்கும் வணிக-முக்கியமான தரவுகளின் பெரிய அளவை இது பிரதிபலிக்கிறது. இந்த காரணத்திற்காகவே நிஜ உலகிற்கு பைட் பைபர் தேவைப்படுகிறது.