Սիլիկոնային հովտի Pied Piper-ն այժմ իրական է նոր սեղմման տեխնոլոգիայի շնորհիվ

HBO-ի «Սիլիկոնյան հովիտը» կատակերգական սերիալն արժանացել է քննադատների գնահատականին և գրեթե կատարյալ գնահատականին Rotten Tomatoes-ում:

Ինչպես մեծ կատակերգությունների մեծ մասը, շոուի հաջողությունը, ամենայն հավանականությամբ, պայմանավորված է 2014-2019 թվականներին Bay Area-ի տեխնոլոգիական տեսարանի որոշ ավելի տարօրինակ տարրերով իրական կյանքի սցենարներ առաջարկելու նրա ունակության շնորհիվ:

Այս դեպքում, Pied Piper- ի հիմնադիրը և նրա թիմը առաքելություն ունեն՝ ներկայացնելու իր նոր սեղմման տեխնոլոգիան աշխարհ, որտեղ այն կարող է մասսայական լինել:

Դեռ այն ժամանակ, երբ սերիալը արտադրվում էր, սեղմման այս տեխնոլոգիան ոչ ավելին էր, քան խելացի պատմող սարք, որը ցույց էր տալիս, թե ինչ տեղ է գտել այս անպիտան ստարտափն իր բեկումնային լուծումով:

Այնուամենայնիվ, եթե մենք շտապենք մինչև 2024 թվականը, GenAI տեխնոլոգիայի բումով և տվյալների աննախադեպ պահանջարկով, երբեք ավելի հրատապ անհրաժեշտություն չի եղել Սիլիկոնային հովտի ստեղծողների կողմից առաջադրված լուծման նման:

Այնուամենայնիվ, թվում է, թե մեկ ընկերության հաջողվել է ստեղծել զարմանալիորեն նման սեղմման մոդել, որը կարծես թե ճեղքելու է տվյալների հսկայական ծավալները, որոնք այսօր գործում են:

Սիլիկոնային հովիտը հասկանալու համար դիտեք Սիլիկոնային հովիտը

Շարքում Pied Piper-ը սեղմման մեկնարկ է, որն ապահովում է ակնթարթային մուտք դեպի ձեր տվյալները:

Եվ դա հեռու է արվեստը նմանակող կյանքի միակ օրինակից: Իրոք, տվյալների սեղմման գործիքի հայեցակարգը Pied Piper-ի միակ տարրը չէ, որն իրականություն է դարձել:

Իրականում շոուի հետազոտության համար խորհրդակցել են դասախոսների հետ, ընդ որում Weissman Score-ը նոր սեղմման չափիչ է, որը մշակվել է հենց սերիայի համար: Այնուամենայնիվ, դա չխանգարեց իրական աշխարհի հետազոտողներին իրականում օգտագործել այն:

Միևնույն ժամանակ, IBM-ի Watson Group-ի հետազոտող Վինիթ Միսրան, որը խորհրդակցել էր շոուի համար, այնքան հեռուն գնաց, որ գրեց տեխնիկական փաստաթուղթ , որն առաջարկում էր գեղարվեստական կատարելագործում սեղմման ալգորիթմում:

Այնուամենայնիվ, թեև շոուի համար առաջադրված սեղմման ալգորիթմը գեղարվեստական էր, GPU-ների և առաջադեմ մշակման չիպերի հզոր նոր տեսակը նշանակում է, որ տվյալների մշակման հաջորդ մակարդակի հնարավորություններն այժմ հնարավորության սահմաններում են:

Պայդ Փայփերի երազանքը իրականություն դարձնելով

Մինչ մի քանի ընկերություններ ավելի են մոտենում տվյալների սեղմման համար «իսկական Pied Piper» կոչմանը, Նյու Յորքի մի ստարտափ վերջին շրջանում մեծ ուշադրություն է գրավում այս մասնագիտության մեջ իր առաջընթացի համար:

SQream Blue-ը՝ տվյալների արագացման հարթակի տվյալների լճային տան լուծումը, վերջերս շուկայում մեկ կիլոմետրով գերազանցեց նմանատիպ լուծումները:

Ինչ վերաբերում է արագությանը և արժեքին, SQream Blue-ը և նրա արտոնագրված տեխնոլոգիական սեղմման լուծումը կատարեցին 3 անգամ ավելի արագ և կիսով չափ Databricks-ի արժեքով թեստի համեմատական տարրի ընթացքում:

Սա ավելի մանրամասն ներկայացնելու համար SQream Blue-ի ընդհանուր գործարկման ժամանակը կազմել է 2462,6 վայրկյան, ընդ որում տվյալների վերջնական մշակման ընդհանուր արժեքը կազմում է $26,94: Databricks-ի ընդհանուր գործարկման ժամանակը կազմել է 8332,4 վայրկյան՝ 76,94 դոլար արժողությամբ, ինչը ցույց է տալիս SQream Blue-ի ծախսերի արդյունավետության զգալի առավելությունը մեծ տվյալների վերլուծության համար:

Այս արդյունքները ստանալու համար SQream-ը գործարկել է Amazon Web Services-ի (AWS) չափանիշը՝ 30,000 մասշտաբով, որը ստեղծում է շուրջ 30 TB տվյալների բազա՝ SQream-ի հարաբերական հնարավորությունները մասշտաբով ստուգելու համար: Բոլոր գեներացված տվյալները պահվել են որպես Apache Parquet ֆայլեր Amazon Simple Storage Service-ում (Amazon S3), և հարցումները մշակվել են առանց տվյալների բազայի նախնական բեռնման:

Համաձայն հայտարարության՝ SQream Blue-ի անզուգական արագությունը հավասարազոր էր ԱՄՆ Կոնգրեսի գրադարանի յուրաքանչյուր գրացուցակային գիրք կարդալուն մեկ ժամից պակաս ժամանակում, և այնուհետև գնել բոլորը 25 դոլարից պակաս գնով, ինչը մոտիկից հիշեցնում է Pied Piper-ի աչքի ընկնող արդյունքները Weissman-ում: փորձարկում տխրահռչակ Սիլիկոնային հովտի դրվագի վրա TechCrunch Disrupt- ում:

2024 թվականին նման ձեռքբերումները չեն կարող բավական արագ հասնել:

Մեր տվյալների կախվածության դեմ պայքարը

Գևին Բելսոնը, միլիարդատեր ավագ գործադիրը և Սիլիկոնային հովտի գլխավոր հակառակորդը, այս թեմայի շուրջ հնչեցրած խոսակցությունը. «Տվյալների ստեղծումը պայթում է: Բոլոր սելֆիներով և անօգուտ ֆայլերով, որոնք մարդիկ հրաժարվում են ջնջել ամպի վրա, աշխարհի տվյալների 92 տոկոսը ստեղծվել է միայն վերջին երկու տարում: Ընթացիկ տեմպերով տվյալների պահպանման համաշխարհային հզորությունը կգերազանցի հաջորդ տարվա գարնանը: Դա կլինի ոչ այլ ինչ, քան աղետ»:

«Տվյալների պակաս, տվյալների ռացիոնալացում, տվյալների սև շուկաներ. Ինչ-որ մեկի սեղմումը կփրկի աշխարհը տվյալների գեդոնից, և, իհարկե, ավելի լավ կլինի Nucleus-ը, այլ ոչ թե անիծյալ Pied Piper-ը»:

Բայց սա միայն սելֆիների և բովանդակության մասին չէ: Հանրային ամպերն այժմ հյուրընկալում են ձեռնարկությունների աշխատանքային ծանրաբեռնվածության կեսից ավելին, և որոշ ձեռնարկություններ այդ տարածքի վրա տարեկան ծախսում են ավելի քան 12 միլիոն դոլար :

Սա ներկայացնում է բիզնեսի համար կարևորագույն տվյալների հսկայական քանակ, որոնք ներկայիս մեթոդներով կառավարելն անկայուն վիճակում է: Այս պատճառով է, որ իրական աշխարհին պետք է Pied Piper: