El flautista de Hamelin de Silicon Valley ahora es una realidad gracias a la nueva tecnología de compresión

La serie de comedia de HBO Silicon Valley recibió elogios de la crítica y una puntuación casi perfecta en Rotten Tomatoes.

Como la mayoría de las grandes comedias, el éxito del programa probablemente se deba a su capacidad de ofrecer una visión satírica de escenarios reales sobre algunos de los elementos más extravagantes de la escena tecnológica del Área de la Bahía entre 2014 y 2019.

En este caso, el fundador de Pied Piper y su equipo tienen la misión de llevar su novedosa tecnología de compresión al mundo donde pueda escalarse a las masas.

Cuando la serie estaba en producción, esta tecnología de compresión no era mucho más que un ingenioso recurso narrativo que servía para mostrar el nicho que esta pequeña empresa había encontrado con su innovadora solución.

Sin embargo, si avanzamos rápidamente hasta 2024, con el auge de la tecnología GenAI y una demanda de datos sin precedentes, nunca ha habido una necesidad más urgente de una solución similar a la propuesta por los creadores de Silicon Valley.

Sin embargo, parece que una empresa ha logrado crear un modelo de compresión sorprendentemente similar que busca superar los enormes volúmenes de datos que hay en juego hoy en día.

Para entender Silicon Valley, vea Silicon Valley

En la serie, Pied Piper es una startup de compresión que brinda acceso instantáneo a sus datos.

Y no es ni mucho menos el único ejemplo de la vida imitando al arte. De hecho, el concepto de una herramienta de compresión de datos no es el único elemento de Pied Piper que se ha trasladado a la realidad.

De hecho, para la investigación del programa se consultó a profesores, ya que el Weissman Score es una nueva métrica de compresión desarrollada para la propia serie. Sin embargo, esto no impidió que los investigadores del mundo real la utilizaran.

Mientras tanto, Vinith Misra, un investigador del Grupo Watson de IBM consultado para el programa, llegó al extremo de escribir un documento técnico que ofrecía una mejora ficticia del algoritmo de compresión.

Sin embargo, aunque el algoritmo de compresión propuesto para el programa era ficción, una nueva y poderosa generación de GPU y chips de procesamiento avanzados significan que las capacidades de procesamiento de datos de siguiente nivel ahora están dentro del ámbito de lo posible.

Haciendo realidad el sueño del Flautista

Mientras que algunas compañías están cada vez más cerca de ganarse el título de "verdadero flautista de Hamelin" de la compresión de datos, una startup de Nueva York está atrayendo mucha atención últimamente por sus avances en esta especialidad.

SQream Blue, la solución de almacenamiento de datos de la plataforma de aceleración de datos, recientemente superó por mucho a soluciones similares en el mercado.

En cuanto a velocidad y costo, SQream Blue y su solución de compresión de tecnología patentada funcionaron tres veces más rápido y a la mitad del costo de Databricks durante el elemento de comparación de la prueba.

Para explicarlo con más detalle, el tiempo de ejecución total de SQream Blue fue de 2462,6 segundos, con un costo total de procesamiento de los datos de extremo a extremo de $26,94. El tiempo de ejecución total de Databricks fue de 8332,4 segundos, con un costo de $76,94, lo que indica una importante ventaja en cuanto a costo-rendimiento por parte de SQream Blue para el análisis de big data.

Para obtener estos resultados, SQream ejecutó el benchmark en Amazon Web Services (AWS) con un factor de escala de 30 000, lo que crea un conjunto de datos de alrededor de 30 TB, para probar las capacidades relativas de SQream a escala. Todos los datos generados se almacenaron como archivos Apache Parquet en Amazon Simple Storage Service (Amazon S3) y las consultas se procesaron sin precargarlas en una base de datos.

Según el anuncio, la velocidad incomparable de SQream Blue era equivalente a leer todos los libros catalogados en la Biblioteca del Congreso de los Estados Unidos en menos de una hora y luego comprarlos todos por menos de 25 dólares, lo que recuerda mucho los resultados sobresalientes de Pied Piper en la prueba de Weissman en el infame episodio de Silicon Valley en TechCrunch Disrupt .

En 2024, este tipo de ganancias no podrán llegar lo suficientemente rápido.

Cómo afrontar nuestra adicción a los datos

Gavin Belson, ejecutivo multimillonario y principal antagonista de Silicon Valley, pronunció una diatriba elocuente sobre este tema: “La creación de datos está en pleno auge. Con todos los selfies y archivos inútiles que la gente se niega a borrar en la nube, el 92 por ciento de los datos del mundo se crearon solo en los últimos dos años. Al ritmo actual, la capacidad de almacenamiento de datos del mundo se habrá sobrepasado en la próxima primavera. Será nada menos que una catástrofe”.

“Escasez de datos, racionamiento de datos, mercados negros de datos. La compresión de alguien salvará al mundo del gedón de los datos, y más vale que sea Nucleus y no el maldito Flautista de Hamelin”.

Pero no se trata solo de selfies y contenido. Las nubes públicas ahora albergan más de la mitad de todas las cargas de trabajo empresariales y algunas empresas gastan más de 12 millones de dólares al año en ese espacio.

Esto representa una enorme cantidad de datos críticos para el negocio que está a punto de volverse insostenible de gestionar con los métodos actuales. Es por esta razón que el mundo real necesita un flautista de Hamelin.