Пиед Пипер из Силицијумске долине је сада стваран захваљујући новој технологији компресије

ХБО-ова хумористична серија Силицијумска долина добила је признање критике и скоро савршену оцену на Роттен Томатоес-у.

Као и већина великих комедија, успех емисије је вероватно захваљујући њеној способности да понуди сатиричан поглед на истините сценарије на неким од чудноватијих елемената технолошке сцене у области залива између 2014.-2019.

У овом случају, оснивач Пиед Пипер- а и његов тим су у мисији да своју нову технологију компресије изнесу у свет где се може проширити на масе.

У време када је серија била у производњи, ова технологија компресије није била ништа више од паметног уређаја за приповедање који је служио да покаже какву је нишу овај скромни стартап пронашао са својим револуционарним решењем.

Ипак, ако пређемо напред до 2024. године, са бумом технологије ГенАИ и потражњом за подацима без преседана, никада није било хитније потребе за решењем сличним оном које су изнели креатори Силицијумске долине.

Међутим, чини се да је једна компанија успела да створи изненађујуће сличан модел компресије који изгледа да пробије огромне количине података који су данас у игри.

Да бисте разумели Силицијумску долину, погледајте Силиконску долину

У серији, Пиед Пипер је стартуп који омогућава тренутни приступ вашим подацима.

И далеко од тога да је то једини пример живота који имитира уметност. Заиста, концепт алата за компресију података није једини елемент Пиед Пипер-а који је прешао у стварност.

У ствари, за истраживање емисије консултовани су професори, при чему је Вајсманов резултат био нова метрика компресије развијена за саму серију. Међутим, то није спречило истраживаче из стварног света да га стварно користе.

У међувремену, Винит Мисра, истраживач у ИБМ-овој Ватсон групи који је консултовао емисију, отишао је толико далеко да је написао технички рад који је понудио измишљено побољшање алгоритма компресије.

Међутим, док је алгоритам компресије који је представљен за емисију био фикција, моћна нова врста ГПУ-а и напредних процесорских чипова значе да су могућности обраде података следећег нивоа сада у границама могућности.

Остваривање сна Пиед Пипер-а

Док се неколико компанија приближава звању 'правог Пиед Пипер-а' за компресију података, један њујоршки стартуп у последње време привлачи велику пажњу својим искорацима у овој специјалности.

СКреам Блуе, решење дата лакехоусе са платформе за убрзање података, недавно је надмашило слична решења на тржишту за једну миљу.

Када је реч о брзини и цени, СКреам Блуе и његово патентирано решење за компресију радили су 3 пута брже и по пола цене од Датабрицкс-а током упоредног елемента теста.

Да бисмо ово детаљније објаснили, укупно време рада СКреам Блуе-а било је 2462,6 секунди, са укупним трошковима обраде података од краја до краја 26,94 долара. Укупно време рада Датабрицкс-а било је 8332,4 секунде, по цени од 76,94 долара, што указује на значајну предност у односу на цену и перформансе СКреам Блуе-а за анализу великих података.

Да би добио ове резултате, СКреам је покренуо бенцхмарк на Амазон Веб Сервицес (АВС) са фактором скале од 30.000, што ствара скуп података од око 30 ТБ, да би тестирао релативне могућности СКреам-а у великој мери. Сви генерисани подаци су ускладиштени као Апацхе Паркует датотеке на Амазон Симпле Стораге Сервице (Амазон С3), а упити су обрађени без претходног учитавања у базу података.

Према најави, неупоредива брзина СКреам Блуе-а била је еквивалентна читању сваке каталогизоване књиге у америчкој Конгресној библиотеци за мање од сат времена – а затим да их све купите за мање од 25 долара, дајући изблиза подсећање на изузетне резултате Пиед Пипер-а на Веиссману тестирајте на злогласној епизоди Силиконске долине на ТецхЦрунцх Дисрупт .

У 2024. овакви добици не могу доћи довољно брзо.

Борба против наше зависности од података

Гавин Белсон, милијардер, виши извршни директор и главни антагониста у Силицијумској долини, рекао је на ову тему: „Креирање података експлодира. Уз све селфије и бескорисне датотеке које људи одбијају да избришу у облаку, 92 процента података у свету створено је само у последње две године. Тренутним темпом, светски капацитет складиштења података ће бити престижен до следећег пролећа. То неће бити ништа друго до катастрофа.”

„Недостатак података, рационирање података, црна тржишта података. Нечија компресија ће спасити свет од дата-гедона, и сигурно је боље да је Нуклеус, а не проклети Пиед Пипер!“

Али не ради се само о селфијима и садржају. Јавни облаци сада угошћују више од половине свих пословних оптерећења предузећа и нека предузећа троше више од 12 милиона долара годишње на тај простор.

Ово представља огромну количину пословно критичних података којима је немогуће управљати коришћењем тренутних метода. Из тог разлога је стварном свету потребан Пиед Пипер.