Pied Piper от Силиконовата долина вече е истински благодарение на новата технология за компресиране

Комедийният сериал на HBO Силиконовата долина получи одобрение от критиците и почти перфектен резултат от Rotten Tomatoes.

Подобно на повечето страхотни комедии, успехът на сериала вероятно се дължи на способността му да предложи сатиричен поглед върху реални сценарии за някои от по-странните елементи на технологичната сцена в Bay Area между 2014-2019 г.

В този случай, основателят на Pied Piper и неговият екип са на мисия да представят новата си технология за компресиране в света, където тя може да се разшири до масите.

Когато поредицата беше в производство, тази технология за компресиране не беше много повече от умно устройство за разказване на истории, което служеше да покаже каква ниша е намерил този слаб стартъп с революционното си решение.

И все пак, ако пренесем бързо напред към 2024 г., с бума на технологията GenAI и безпрецедентното търсене на данни, никога не е имало по-спешна нужда от решение, подобно на това, предложено от създателите на Силиконовата долина.

Въпреки това изглежда, че една компания е успяла да създаде изненадващо подобен модел на компресия, който изглежда да пробие огромните обеми данни, които се играят днес.

За да разберете Силиконовата долина, гледайте Силиконовата долина

В поредицата Pied Piper е стартиране на компресия, което осигурява незабавен достъп до вашите данни.

И това далеч не е единственият пример за живот, имитиращ изкуство. Всъщност концепцията за инструмент за компресиране на данни не е единственият елемент на Pied Piper, който премина в реалността.

Всъщност за изследването на шоуто бяха консултирани професори, като резултатът на Вайсман беше нов показател за компресия, разработен за самата серия. Това обаче не попречи на изследователите от реалния свят действително да го използват.

Междувременно Винит Мисра, изследовател от Watson Group на IBM, консултиран за шоуто, стигна дотам, че написа технически документ , който предлага измислено подобрение на алгоритъма за компресиране.

Въпреки това, докато алгоритъмът за компресиране, предложен за шоуто, беше измислица, мощна нова порода графични процесори и усъвършенствани чипове за обработка означават, че възможностите за обработка на данни от следващо ниво вече са в сферата на възможностите.

Превръщане на мечтата на Pied Piper в реалност

Докато няколко компании са все по-близо до спечелването на титлата „истински пъстър свирач“ за компресиране на данни, една стартираща фирма в Ню Йорк напоследък привлича много внимание заради напредъка си в тази специализация.

SQream Blue, решението за съхранение на данни от платформата за ускоряване на данни, наскоро надмина подобни решения на пазара с една миля в страната.

Що се отнася до скорост и цена, SQream Blue и неговото патентовано технологично решение за компресия се представиха 3 пъти по-бързо и на половината от цената на Databricks по време на сравнителния елемент на теста.

За да представим това в по-големи подробности, общото време на работа на SQream Blue е 2462,6 секунди, като общата цена за обработка на данните от край до край е $26,94. Общото време на работа на Databricks беше 8332,4 секунди, на цена от $76,94, което показва значително предимство на SQream Blue в съотношението цена-производителност за анализ на големи данни.

За да получи тези резултати, SQream проведе бенчмарк на Amazon Web Services (AWS) с коефициент на мащабиране 30 000, което създава набор от данни от около 30 TB, за да тества относителните възможности на SQream в мащаб. Всички генерирани данни бяха съхранени като Apache Parquet файлове в Amazon Simple Storage Service (Amazon S3) и заявките бяха обработени без предварително зареждане в база данни.

Според съобщението, несравнимата скорост на SQream Blue е еквивалентна на това да прочетеш всяка каталогизирана книга в Библиотеката на Конгреса на САЩ за по-малко от час – и след това да ги купиш всичките за по-малко от $25, давайки близко напомняне за изключителните резултати на Pied Piper върху Weissman тест на скандалния епизод от Силиконовата долина в TechCrunch Disrupt .

През 2024 г. тези печалби не могат да дойдат достатъчно бързо.

Справяне с нашата зависимост от данни

Гавин Белсън, милиардер, старши изпълнителен директор и основен антагонист на Силиконовата долина, произнесе красноречиво изказване по тази тема: „Създаването на данни експлодира. С всички селфита и безполезни файлове, които хората отказват да изтрият в облака, 92 процента от данните в света са създадени само през последните две години. При сегашния темп световният капацитет за съхранение на данни ще бъде надминат до следващата пролет. Това няма да е нищо повече от катастрофа.

„Недостиг на данни, нормиране на данни, черни пазари на данни. Нечия компресия ще спаси света от data-geddon и със сигурност по-добре да е Nucleus, а не проклетия Pied Piper!“

Но тук не става дума само за селфита и съдържание. Обществените облаци сега хостват повече от половината от всички корпоративни работни натоварвания и някои фирми харчат над 12 милиона долара годишно за това пространство.

Това представлява огромно количество критични за бизнеса данни, които са в състояние да бъдат неустойчиви за управление с помощта на настоящите методи. Поради тази причина реалният свят наистина се нуждае от пъстра свирка.