La economía de la repatriación a la nube pública y por qué resulta prohibitivamente costosa a gran escala

Lo que ha quedado claro en los últimos años es que la nube pública, a pesar de todos sus beneficios, no ofrece ahorros de costos a gran escala. Ofrece ganancias de productividad, hasta cierto punto, pero no reducirá sus costos. La nube pública tiene sus ventajas, ya que ofrece una propuesta de valor increíblemente poderosa (infraestructura disponible de inmediato, exactamente en la escala que necesita la empresa), lo que impulsa la eficiencia tanto en las operaciones como en la economía. La nube también ayuda a cultivar la innovación, ya que los recursos de la empresa se liberan para centrarse en nuevos productos y en el crecimiento. Sin embargo, el mero acto de interactuar con sus datos genera costos de salida, que han demostrado ser notoriamente predatorios. Esto es particularmente cierto cuando las aplicaciones y las cargas de trabajo son persistentes, consistentes y hacen un uso intensivo de los datos (alto volumen/velocidad/variedad de llamadas de lectura y escritura), o implican análisis de alto rendimiento; simplemente no son sostenibles en la nube pública a medida que crecen.

“…a medida que la experiencia de la industria con la nube madura y vemos una imagen más completa del ciclo de vida de la nube en la economía de una empresa, se está volviendo evidente que, si bien la nube claramente cumple su promesa al comienzo del recorrido de una empresa, la presión que pone sobre los márgenes puede comenzar a superar los beneficios a medida que una empresa escala y el crecimiento se desacelera ” . Sara Wang y Martín Casado, Andreessen-Horowitz, 2021

Esa idea, aunque increíblemente profética, es de 2021. En 2024, los datos han crecido (un promedio de ~20% por año según un Estudio de IDC de 2022 ), las cargas de trabajo se han vuelto más grandes y la escala se ha convertido en el problema. No es la tecnología de escalado, sino el costo, específicamente, de escalar en la nube pública. Según David Linthicum, hay tres razones principales por las que la nube pública está siendo “Echado a la calle” :

Costo : para ciertas cargas de trabajo, es demasiado costoso ejecutarlas en la nube. Los precios del hardware básico han caído tanto en los últimos años que el hardware ya no representa el enorme gasto de capital que solía representar.

Migraciones fallidas : las cargas de trabajo que no se han refactorizado de forma óptima o que no se han ajustado para que sean nativas de la nube han acabado costando aproximadamente 2,5 veces más de lo que se había previsto originalmente. Las aplicaciones ineficientes en las instalaciones resultaron ser ineficientes en la nube. Hacerlas más eficientes cuesta demasiado y acaba por no merecer la pena.

Necesidad en disminución: las aplicaciones que originalmente necesitaban ejecutarse de manera rápida y eficiente, además de poder escalar, se han escalado en la nube, pero ahora son solo una máquina de tareas repetitivas y almacenamiento de datos. Estas aplicaciones ya no se benefician de la rápida escalabilidad que puede proporcionar la nube y ahora solo utilizan una gran cantidad de almacenamiento costoso. Ya no existe la necesidad de un modelo flexible y rápidamente escalable. La mercantilización del hardware ha presentado una forma nueva y rentable de ejecutar estas cargas de trabajo. Según un informe reciente de Barclay's Encuesta del CIO Muchos CIO están de acuerdo.

A partir de eso mismo articulo a16z -

“En 2017, Dropbox detalló en su S-1 un enorme ahorro acumulado de 75 millones de dólares durante los dos años anteriores a la IPO gracias a la revisión de la optimización de su infraestructura, la mayor parte de la cual implicó repatriar cargas de trabajo desde la nube pública”.

Cuando los costos de la nube comienzan a rondar el 50 % o más de sus costos de ingresos (como Asana , Perro de datos, Prerender.io , y otros), es hora de comenzar a analizar lo que hacen sus cargas de trabajo en la nube pública. Los líderes de la organización y la empresa deben ser conscientes de esto para poder adaptarse. Ciertas cargas de trabajo, como ejecutar un cubo de análisis de datos, una base de datos en memoria o un clúster de análisis de datos, se adaptan mejor a la infraestructura local. Pero estos son solo algunos ejemplos.

Para centrarnos en una tendencia en particular que se verá afectada por este problema de escala, analicemos la IA/ML y, específicamente, los LLM (Large Language Models). Si su iniciativa de IA actual le obliga a crear su propio LLM o modelo de base, considere las desventajas de hacerlo en la nube pública:

1. Altos costos de escala : capacitar y ejecutar LLM a escala es costoso y, a medida que el LLM se hace más grande, también lo hacen los costos de la nube pública.

   
   

2. Pérdida de control : tiene menos control y visibilidad sobre la implementación, la infraestructura y el rendimiento.

   
   

3. Dependencia del proveedor : si ha formado a sus alumnos en una plataforma de nube, será difícil trasladarlos a otra plataforma. Además, depender únicamente de un único proveedor de nube conlleva riesgos inherentes, en particular en lo que respecta a las fluctuaciones de políticas y precios.

   
   

4. Privacidad y seguridad de los datos : también me gustaría mencionar aquí la soberanía de los datos. La conclusión es que estás confiando tus datos a un proveedor con servidores repartidos por todo el mundo.

   
   

Si su empresa trabaja con petabytes o tiene tendencia a alcanzar ese nivel de escala, la economía favorece a la nube privada. Sí, eso significa construir la infraestructura (o alquilársela a alguien como Equinix), incluidos los bienes raíces, el hardware, la energía y la refrigeración, pero la economía sigue siendo muy favorable. La nube pública es un lugar increíble para aprender el estilo nativo de la nube y obtener acceso a una cartera de aplicaciones nativas de la nube, pero no es un lugar increíble para escalar.

Un ejemplo de la economía

Entonces, ¿cuáles son los aspectos económicos? A modo de ejemplo, tomemos un lago de datos moderno de 10 PB que utiliza Kubernetes para administrar Apache Spark y Dremio para cargas de trabajo de análisis persistentes y consistentes. Estos tipos de cargas de trabajo requieren lecturas y escrituras frecuentes de datos desde el almacenamiento de objetos para el análisis, la actualización y la presentación. Desde una perspectiva de estructura de costos, utilizaremos algunas suposiciones para los principales impulsores de costos:

• Estos lagos de datos y cargas de trabajo tienen una utilidad limitada si no podemos utilizar los datos. Los datos brindan información, sirven a otras aplicaciones y es posible que sea necesario procesarlos fuera del entorno de almacenamiento. Esto requiere que los datos se transfieran fuera del almacenamiento. Si suponemos que se accede a 500 TB por mes, eso solo representa el 5 % de los datos a los que se accede por mes.

  
  

• Para las solicitudes de datos/objetos (PUT, GET, HEAD, etc.), hemos trabajado con clientes con cargas de trabajo consistentes y persistentes similares que reciben más de 10 mil millones de solicitudes de objetos por mes. Por lo tanto, podemos usar 10 mil millones como una suposición conservadora para este tipo de carga de trabajo.

  
  

• De manera similar, esos mismos clientes ven aproximadamente la misma cantidad de solicitudes de cifrado para esos objetos, por lo que nuevamente utilizamos 10b como una suposición conservadora para nuestro ejemplo.

  
  

Con esas suposiciones, el coste de la nube pública podría ser algo así:

Costos anuales de la nube pública para 10 PB = $7,3 millones o $0,061 por GB/mes

Las suposiciones anteriores son solo eso, y el hecho de que haya tantas indica cuán variables pueden ser los costos según el uso particular y los factores de carga de trabajo. Esto crea desafíos significativos al intentar elaborar un presupuesto. Además, no tener niveles ni ninguna actividad de ciclo de vida de los datos también es algo poco común, ya que las organizaciones generalmente mueven los datos a niveles más fríos si los datos se vuelven menos "activos". Pero todo eso solo aumenta el costo, ya que los diferentes niveles tienen diferentes precios por GB/mes, así como un costo por mover objetos automáticamente a esos niveles.

MinIO le permite escalar en la nube privada (un centro de datos o un centro de datos) utilizando las mismas tecnologías que se utilizan en la nube pública: almacenamiento de objetos compatible con API S3, computación densa, redes de alta velocidad, Kubernetes, contenedores y microservicios. Una diferencia importante es que no hay costos por las solicitudes de objetos (GET, PUT, etc.) ni hay límites en la cantidad de solicitudes, siempre que la infraestructura lo admita. Además, el cifrado está incluido en las versiones Enterprise y Community de MinIO y no hay límites en la cantidad de objetos cifrados solicitados.

Esta opción ofrece la combinación ideal de costos operativos, flexibilidad y control. Es cierto que deberá asumir gastos de capital para el hardware, pero si comienza con poco y aprovecha las lecciones clave de la nube (elasticidad, escalabilidad por componente, desacoplamiento de la computación del almacenamiento), las empresas pueden minimizar el desembolso inicial y maximizar los ahorros operativos.

Cuando se combina con hardware básico y opera en un centro de datos propietario o de ubicación, MinIO puede reducir esos costos de nube pública (así como los costos asociados con la gestión de esos costos de nube) entre un 50 % y un 70 % y, en algunos casos, incluso más.

Costos anuales de Colo/MinIO para 10 PB = $1,7 millones por año o $0,014 por GB/mes

Esto equivale a una reducción de aproximadamente el 77 % en los costos de almacenamiento para 10 PB de almacenamiento en comparación con la nube pública. Incluso para necesidades de capacidad de almacenamiento más pequeñas (200 TB - 2 PB), vale la pena explorar los ahorros. Sin mencionar que obtiene el mejor rendimiento de almacenamiento de la industria, un firewall integrado para seguridad a nivel de depósito, capacidad de observación diseñada específicamente para almacenamiento de objetos y Muchas otras características de valor añadido Eso le costaría más en una nube pública.

El factor recurso

Un elemento adicional que merece un rápido análisis son los recursos (el tipo humano). Nuestros clientes nos han dicho que la cantidad de recursos necesarios para gestionar infraestructuras de nube pública puede oscilar entre 5 y 10 ETP, según el tamaño de la infraestructura de nube. Eso incluye ingenieros de nube, líderes de equipo de nube, ingenieros de DevOps y administradores de proyectos de nube. Utilizando rangos salariales y medianas de Puerta de cristal , esos costos de FTE pueden variar entre $700.000 y $1,5 millones por año, con todos los costos incluidos.

Nuestros clientes (el 76 % de ellos, según una encuesta reciente) también afirman que uno de los factores clave que impulsan el valor de MinIO es su facilidad de uso y capacidad de gestión. La misma encuesta reveló que el 60 % de ellos mencionó la capacidad de MinIO para ofrecer una mayor eficiencia operativa.

“MinIO…ha reducido el coste de soporte y mantenimiento para nosotros”.

• Empresa de servicios profesionales

"MinIO como producto es una muy buena solución de almacenamiento, ha reducido el coste de los recursos en más del 50%".

• Un proveedor líder de soluciones tecnológicas especializado en ofertas DevOps de extremo a extremo

A nivel interno, utilizamos MinIO para muchas cargas de trabajo diferentes, necesidades de almacenamiento, pruebas, etc., y estimamos que MinIO puede ser administrado por 1 a 3 FTE para infraestructuras PB+. Eso permite una infraestructura masiva a escala con recursos mínimos.

Empezando

Ahora que ha visto cómo y por qué la economía funciona para la nube privada, estoy seguro de que se estará preguntando cuáles son los pasos para comenzar a recorrer este camino. Mis colegas han escrito sobre esto aquí y aquí y sugiero que sus equipos de nube y de DevOps consulten estos blogs para obtener detalles sobre cómo migrar desde la nube pública.

Hemos visto a docenas de nuestros clientes repatriar sus datos utilizando hardware básico y sus propios centros de datos o un colo, y obtener ahorros y beneficios reales gracias a la solución de almacenamiento de objetos simple y de alto rendimiento de MinIO.

Como demuestra el análisis anterior, las empresas pueden lograr ahorros de costos significativos, superiores al 50 % de su factura implícita anual de nube pública S3, al repatriar los datos a su propio hardware en un centro de datos o un servicio de coubicación. En el escenario anterior, con solo 10 PB, su empresa podría ahorrar alrededor de $6,5 millones en los próximos cinco años.

La verdad es que la nube pública tiene un costo prohibitivo a escala. La naturaleza inherentemente elástica de la nube pública hace que la escalabilidad en ella parezca atractiva, pero casi siempre es la opción incorrecta desde una perspectiva económica. Esto es particularmente cierto para tareas que requieren un uso intensivo de datos, como la IA y el ML, donde los costos y la pérdida de control en la nube pública pueden ser sustanciales. A medida que los datos se escalan, las soluciones de nube privada con MinIO se vuelven económicamente superiores, ofreciendo tecnologías equivalentes (posiblemente mejores) a costos reducidos. Al aprovechar el hardware básico y la infraestructura de nube privada, las empresas pueden lograr ahorros de costos significativos y beneficios de rendimiento en comparación con la nube pública, a veces hasta un 70 %. Sugerimos explorar la migración fuera de la nube pública para sus cargas de trabajo y usar MinIO para modernizar y escalar sus aplicaciones comerciales críticas.

Si desea obtener más información y aprovechar nuestra función de ingeniería de valor para ejecutar sus propios modelos, comuníquese con nosotros en [email protected] y podemos empezar la conversación.