Pied Piper din Silicon Valley este acum real datorită noii tehnologii de compresie

Serialul de comedie de la HBO, Silicon Valley, a primit aprecieri de critică și un scor aproape perfect pentru Rotten Tomatoes.

La fel ca majoritatea comediilor grozave, succesul serialului se datorează probabil capacității sale de a oferi o interpretare satirică a scenariilor realiste ale unora dintre elementele mai ciudate ale scenei tehnologice din Bay Area în perioada 2014-2019.

În acest caz, fondatorul Pied Piper și echipa sa au misiunea de a aduce noua sa tehnologie de compresie în lume, unde se poate extinde la masele.

Pe vremea când seria era în producție, această tehnologie de compresie nu era cu mult mai mult decât un dispozitiv inteligent de povestire care a servit pentru a arăta ce nișă a găsit acest startup prost cu soluția sa inovatoare.

Cu toate acestea, dacă avansăm rapid până în 2024, cu boom-ul tehnologiei GenAI și cererea fără precedent de date, nu a existat niciodată o nevoie mai urgentă pentru o soluție asemănătoare cu cea propusă de creatorii Silicon Valley.

Cu toate acestea, se pare că o companie a reușit să creeze un model de compresie surprinzător de similar, care pare să străpungă volumele uriașe de date aflate în joc astăzi.

Pentru a înțelege Silicon Valley, urmăriți Silicon Valley

În serie, Pied Piper este un startup de compresie care oferă acces instantaneu la datele dvs.

Și este departe de singurul exemplu de viață care imit arta. Într-adevăr, conceptul de instrument de comprimare a datelor nu este singurul element al Pied Piper care a trecut în realitate.

De fapt, pentru cercetarea emisiunii au fost consultați profesori, Weissman Score fiind o nouă măsurătoare de compresie dezvoltată pentru seria în sine. Cu toate acestea, acest lucru nu i-a împiedicat pe cercetătorii din lumea reală să-l folosească efectiv.

Între timp, Vinith Misra, un cercetător de la IBM Watson Group consultat pentru emisiune, a mers până acolo încât a scris o lucrare tehnică care a oferit o îmbunătățire fictivă a algoritmului de compresie.

Cu toate acestea, în timp ce algoritmul de compresie propus pentru spectacol era ficțiune, o nouă generație puternică de GPU și cipuri avansate de procesare înseamnă că capacitățile de procesare a datelor de nivel următor sunt acum în sfera posibilităților.

Aducând visul lui Pied Piper în realitate

În timp ce câteva companii se apropie de câștigarea titlului de „adevărat Pied Piper” pentru compresia datelor, un startup din New York a atras multă atenție în ultimul timp pentru progresele sale în această specialitate.

SQream Blue, soluția data lakehouse din platforma de accelerare a datelor, a depășit recent soluțiile similare de pe piață cu o milă de țară.

Când vine vorba de viteză și cost, SQream Blue și soluția sa de compresie cu tehnologie patentată au funcționat de 3 ori mai rapid și la jumătate din costul Databricks în timpul elementului de comparație al testului.

Pentru a pune acest lucru în detaliu, durata totală de rulare a SQream Blue a fost de 2462,6 secunde, costul total pentru procesarea datelor de la capăt la capăt fiind de 26,94 USD. Durata totală de rulare a Databricks a fost de 8332,4 secunde, la un cost de 76,94 USD, indicând un avantaj semnificativ cost-performanță oferit de SQream Blue pentru analiza big data.

Pentru a obține aceste rezultate, SQream a rulat benchmark-ul pe Amazon Web Services (AWS) cu un factor de scară de 30.000, care creează un set de date de aproximativ 30 TB, pentru a testa capabilitățile relative ale SQream la scară. Toate datele generate au fost stocate ca fișiere Apache Parquet pe Amazon Simple Storage Service (Amazon S3), iar interogările au fost procesate fără încărcare prealabilă într-o bază de date.

Potrivit anunțului, viteza de neegalat a lui SQream Blue a echivalat cu citirea fiecărei cărți catalogate în Biblioteca Congresului SUA în mai puțin de o oră – și apoi cumpărarea lor pe toate cu mai puțin de 25 USD, oferind o reamintire atentă a rezultatelor remarcabile ale lui Pied Piper la Weissman. test pentru infamul episod din Silicon Valley la TechCrunch Disrupt .

În 2024, astfel de câștiguri nu pot veni suficient de repede.

Abordarea dependenței noastre de date

Gavin Belson, director executiv miliardar și principal antagonist pe Silicon Valley, a rostit o dezgustă grăitoare pe acest subiect: „Crearea de date explodează. Cu toate selfie-urile și fișierele inutile pe care oamenii le refuză să le ștergă pe cloud, 92% din datele lumii au fost create doar în ultimii doi ani. În ritmul actual, capacitatea de stocare a datelor la nivel mondial va fi depășită până în primăvara viitoare. Va fi nimic mai puțin decât o catastrofă.”

„Lipsa de date, raționalizarea datelor, piețele negre de date. Comprimarea cuiva va salva lumea de data-geddon-ul și cu siguranță ar fi bine să fie Nucleus și nu nenorocitul de Pied Piper!”

Dar nu este vorba doar despre selfie-uri și conținut. Cloudurile publice găzduiesc acum mai mult de jumătate din toate sarcinile de lucru ale întreprinderilor, iar unele companii cheltuiesc peste 12 milioane USD anual pe acel spațiu.

Aceasta reprezintă o cantitate imensă de date critice pentru afaceri, care se află în punctul de a fi nesustenabil de gestionat folosind metodele actuale. Din acest motiv, lumea reală are nevoie de un Pied Piper.