La nueva nube privada desde la perspectiva de un arquitecto

Esta publicación apareció inicialmente en The New Stack .

Durante algunos años, el término "nube privada" tuvo una connotación negativa. Pero, como sabemos, la tecnología es más una rueda que una flecha y, justo en ese momento, la nube privada está recibiendo mucha atención y todo es positivo. Las estadísticas son claras: la encuesta sobre la nube de infraestructura de 2023 de Forrester indicó que el 79 % de los 1300 tomadores de decisiones empresariales que respondieron dijeron que estaban implementando nubes privadas. Informe de Citrix en el Reino Unido El 94% de los líderes de TI habían participado en un esfuerzo de repatriación. El venerable IDC descubrió que el 80% de las empresas repatriaron parte o la totalidad de sus datos dentro del año posterior a haberlos trasladado a la nube. Hasta ahí llegaron las afirmaciones del complejo industrial de la nube de que "no hay nada que ver aquí..."

Las razones son variadas y las detallaremos, pero lo más importante es: ¿cuál es la arquitectura adecuada para repatriar? ¿Cuáles son los principios básicos de ingeniería de la nube privada? Y, por último, ¿cómo diseñar teniendo en cuenta los requisitos de infraestructura de datos de la IA?

El porqué de la repatriación a la nube privada

La principal razón por la que las empresas repatrian es el coste. Ahorran hasta un 70% con la repatriación. Esto ha sido demostrado públicamente por empresas tan diversas como 37 señales , incógnita y Ahrefs .

Algo relacionado, pero no lo mismo, es la previsibilidad. Las nubes privadas tienen menos elasticidad, pero mayor previsibilidad (a continuación abordamos algunos trucos para mejorar la elasticidad). Para la mayoría de los CIO que comprenden sus cargas de trabajo, esta disyuntiva vale la pena. Para los CFO, es una elección aún más sencilla.

En tercer lugar se encuentran las cuestiones de seguridad. Esto no quiere decir que la nube pública sea intrínsecamente insegura, no lo es. Lo que sí indica es que los CISO no confían del todo en sus socios de nube pública (de hecho, la mayoría de los proveedores de nube se reservan el derecho de examinar sus depósitos) en este aspecto. Los riesgos son cada vez mayores en la era de la IA.

En una nota relacionada, el control es una prioridad para todos los CIO. Junto con el ahorro de costos, la previsibilidad y la seguridad, no solo tiene el control total de su infraestructura de datos de IA, sino que esos datos están cerca para que todos sus aplicaciones los consuman, lo que le permite alojar sus modelos en una infraestructura de datos de IA donde usted y su equipo pueden establecer estándares de seguridad para que coincidan con sus requisitos de seguridad únicos, incluso el acceso físico.

La madurez también es un factor importante. La nube moderna es un modelo operativo, no una ubicación. Ese modelo, que alguna vez fue propiedad exclusiva de las principales nubes públicas, ahora está en todas partes, desde el borde hasta el núcleo. La contenedorización, la orquestación, los microservicios, la infraestructura definida por software y las API RESTful son procedimientos operativos estándar. No importa dónde los ejecutes, y si no importa, ¿por qué pagarías dos o tres veces el costo?

Las regulaciones también juegan un papel, en particular a medida que evolucionan. Algunas arquitecturas, algunas geografías, algunos escenarios de implementación (militares o de inteligencia) no requerían nubes privadas en un principio, pero ahora sí.

Nuevamente, las razones serán diferentes, pero el efecto es el mismo. La nube privada está nuevamente de moda. La pregunta es: ¿qué ha cambiado en los últimos años?

El patrón de diseño favorito de la nube privada es el lago de datos moderno

Como se señaló anteriormente, la nube privada, al igual que la nube pública, se ejecuta en el modelo operativo de la nube. La nube perimetral se ejecuta en el modelo operativo de la nube. La coubicación se ejecuta en el modelo operativo de la nube.

Ese modelo operativo define una arquitectura determinada y, una y otra vez, esa arquitectura hace posible el lago de datos moderno. Sin duda, existen otras arquitecturas, pero el uso de la nube privada para crear su lago de datos moderno permite a las organizaciones pagar solo por lo que necesitan. Cuando su negocio crece, la escalabilidad es tan sencilla como agregar más recursos a un clúster. No es necesario un rediseño. IA/ML es compatible. Análisis avanzado —compatible. Análisis de registros/análisis de amenazas —compatible. Reemplazo/migración de HDFS — apoyado.

Un lago de datos moderno es mitad almacén de datos y mitad lago de datos y utiliza almacenamiento de objetos para todo. La capa de almacenamiento de objetos está definida por software, es escalable, nativa de la nube y de alto rendimiento. El rendimiento se puede ajustar mediante la selección de Hardware (NVMe) y red (100 GbE o superior) , que están fácilmente disponibles en los estantes de proveedores como Supermicro, Dell y HPE.

El uso del almacenamiento de objetos con el lago de datos es estándar, su uso con el almacén de datos es nuevo, posible gracias a los formatos de tabla abierta (OTF) como Apache Iceberg, Apache Hudi y Delta Lake. Hay muchos detalles sobre esta arquitectura que van más allá del alcance de este artículo. Para ello, recomiendo leer el libro completo de Keith Pijanowski. Artículo sobre el lago de datos moderno Aquí está la arquitectura:

Esta arquitectura está diseñada para ofrecer lo siguiente, todos ellos principios operativos básicos de la nube y, por extensión, principios básicos de la nube privada:

Alto rendimiento: si bien la nube privada puede diseñarse para ofrecer capacidad, la nube privada moderna busca ofrecer rendimiento a escala. Esta arquitectura prioriza las herramientas que enfatizan la velocidad y la eficiencia. Como dice Jeff Bezos, ¿quién quiere pagar más y esperar más para obtenerlo? Aquí se aplican los mismos principios: ¿quién lo quiere más lento?

Computación y almacenamiento desacoplados: desvincular estos componentes ofrece mayor flexibilidad y escalabilidad, lo que permite que la infraestructura, los servicios y las herramientas elegidos se destaquen en sus respectivas áreas de especialización.

Estándares abiertos: los estándares abiertos no solo fomentan la interoperabilidad, sino que también protegen sus inversiones a futuro. Esto abarca no solo las soluciones de código abierto, sino también los formatos de tablas abiertas, como veremos más adelante. No cree una nube privada con un dispositivo de almacenamiento por estos motivos (y por el hecho de que nunca serán nativos de la nube).

Compatibilidad con API RESTful: la interconectividad es imprescindible. Sus herramientas deben compartir un lenguaje común, y S3 debe ser la lengua franca para el almacenamiento en la nube. Por este motivo, no cree su nube privada con una solución centrada en POSIX, incluso si afirma ser compatible con S3. Elija la solución real.

Impulsado por software/Infraestructura como código: automatice y deje que Kubernetes se encargue de orquestar su infraestructura, lo que le permitirá abstraer las complejidades de la gestión manual y permitir una escalabilidad rápida y eficiente.

Mayor seguridad y cumplimiento normativo: dado que las nubes privadas proporcionan una infraestructura dedicada, ofrecen un mayor control sobre los datos y medidas de seguridad mejoradas. Esto es particularmente beneficioso para las industrias que manejan información confidencial, como las finanzas y la atención médica.

Cumplimiento normativo: esta arquitectura puede respaldar el cumplimiento normativo al proporcionar configuraciones de seguridad personalizables y controles de auditoría para cumplir con estándares específicos de la industria.

Poniendo su nube privada en juego

Hemos visto varios enfoques para potenciar la nube privada. Todos ellos pueden funcionar; en realidad, depende de la empresa y del caso de uso.

• Un modelo híbrido de tiempo limitado donde algunos datos y aplicaciones permanecen en la nube pública mientras la nube privada se hidrata.
• Repatriación completa de la nube pública a una nube privada.
• Construcción de una nube privada desde cero. Esto es particularmente popular a medida que las empresas ponen en producción sus experimentos de IA.
• Repatriación de datos abandonados, en la que se trasladan los datos y la infraestructura de la nube pública a una implementación de nube privada existente. Si bien este enfoque es económico, tiene algunas desventajas.
• La categoría “otros” (tablas de ruptura y externas).

Enfoque híbrido de tiempo limitado: el enfoque híbrido de tiempo limitado básicamente convierte la nube pública en almacenamiento en frío y construye su huella de nube privada durante un período de tiempo (meses/trimestres, no años). Esto implica comprar y configurar su infraestructura y pila de software en la nube privada. Luego, apunta su canal de datos a la nube privada, no a la nube pública. Puede haber un período de tiempo en el que pueda hacer ambas cosas. Sin embargo, el objetivo es utilizar la nube pública como almacenamiento en frío por niveles y la nube privada como almacenamiento en caliente. Con el tiempo, la nube pública pasa de fría a congelada, mientras que la nube privada se convierte en el tipo de almacenamiento principal y dominante.

Esto es lo que hizo una empresa líder en ciberseguridad. Comenzó por configurar una nube privada junto con MinIO y Equinix, y luego dirigió el flujo de datos de 250 tebibytes (TiB) por día en esa dirección. Dado que el análisis de registros tiene una función de decaimiento alta en términos de valor operativo, no pasó mucho tiempo hasta que la nueva nube privada se convirtió en la fuente principal de datos de búsqueda de amenazas. Esta nube privada ha crecido hasta casi un exabyte (y cruzará ese umbral pronto) y la decisión de trasladar estas cargas de trabajo (efectivamente el negocio principal) a una nube privada (con gastos operativos, no de capital) mejoró el margen bruto del negocio en más del 2%. Como resultado, esta empresa tiene un múltiplo de valoración que es la envidia de sus pares.

Repatriación completa : hay ocasiones en las que mantener las aplicaciones y los datos tanto en la nube pública como en la privada no es una opción. En estos casos, debe romper con su proveedor de nube. Es difícil, e incluso con la eliminación de las tarifas de salida, lo hacen doloroso (la letra pequeña básicamente dice que todo tiene que desaparecer para obtener algún alivio de la tarifa de salida). Es muy factible; solo requiere un poco más de planificación y un poco más de fricción comercial. En este caso, aprovisione su colo o nube privada y pila de aplicaciones. Luego, haga una copia de seguridad del camión de datos o alquile la red para enviar los datos a su infraestructura de datos de nube privada. En este punto, es libre, pero cuente con pagar el doble por un mes o dos si es del tipo de persona que se pone un cinturón y tirantes. Una de las principales empresas de transmisión adoptó este enfoque cuando abandonó la nube pública. Trasladó medio exabyte a la nueva nube privada, incluidas todas las películas, programas, documentales, etc. El proceso tardó aproximadamente tres cuartos. Sin embargo, la recompensa fue enorme y la complejidad se redujo en gran medida para el equipo que administraba el servicio. También disfrutaron del beneficio adicional de un agradable refresco en " tiempo hasta el primer byte " — una métrica clave en el espacio.

Nube privada Greenfield:

Se trata de una propuesta bastante sencilla y que, por lo general, implica que todo es nuevo. El proyecto es nuevo, los datos del proyecto serán nuevos (o relativamente nuevos) o se generarán a partir de alguna fuente que se está poniendo en línea (como una planta de fabricación gigante o un nuevo servicio de vídeo a la carta en la nube). Aquí se dimensiona la carga de trabajo (incluso se puede probar en la nube pública), pero la idea es que, desde el principio, se ejecute en la nube privada. Estamos viendo esto con bastante frecuencia con la infraestructura de datos de IA. Los primeros experimentos se están realizando en la nube pública. Los datos no son tan significativos. La disponibilidad de GPU es bastante buena. No obstante, la empresa sabe que la carga de trabajo debe estar en la nube privada para la producción, tanto por escala como por seguridad, privacidad y control. Una de las principales empresas automotrices del mundo cambió recientemente su iniciativa de conducción autónoma completa de un sistema basado en reglas a uno que se basa en el comportamiento de los conductores reales.

Ese comportamiento se “aprende” a partir de millones y millones de vídeos y archivos de registro que se obtienen de sus vehículos. Buenos conductores, malos conductores, conductores promedio. No solo del vídeo, sino de otros elementos de la telemetría del vehículo, como el frenado, la aceleración, el par de dirección, etc. El enfoque de ML basado en reglas tenía una escala de petabytes; el vídeo tiene una escala de exabytes. La empresa no comparte esos datos con nadie (de hecho, dos de las nubes públicas tienen iniciativas en competencia). Esa carga de trabajo de IA (más de 300 servidores) siempre fue una iniciativa de nube privada.

Nube privada Brownfield:

Seremos honestos: vemos esto, pero no nos gusta. Esto incluye intentar ejecutar cargas de trabajo de alto rendimiento en unidades de disco duro para superponer MinIO en parte superior de una SAN/NAS (red de área de almacenamiento/almacenamiento conectado a red).

Funciona, pero rara vez es la solución óptima. Es económica (se reutiliza el hardware), no genera mucha fricción (no hay que adquirirla), pero rara vez es eficaz. No obstante, la incluimos aquí para que sea exhaustiva. Plantea un punto importante: cuando diseñe su nube privada, en cualquiera de los escenarios, planifique la heterogeneidad. Es una garantía y, francamente, debería ser parte del plan. En uno de los escenarios anteriores, la mitad del hardware es de Supermicro y la otra mitad de Dell. A medida que el mundo cambia y aparecen nuevas tecnologías, su software no debería preocuparse.

Los otros:

Hay otros dos escenarios que son menos frecuentes pero que se deben tener en cuenta. Uno es el enfoque híbrido de ráfagas y el otro es el enfoque de tablas externas. Ambos están relacionados con la opción híbrida, pero pueden no estar limitados en el tiempo. En el enfoque híbrido de ráfagas, se mantiene una nube privada mientras se la diseña para que se expanda sin problemas, o "se expanda", hacia la nube pública para una mayor flexibilidad. Esta estrategia se adopta a menudo para aprovechar la capacidad adicional de la GPU o para utilizar servicios de nube específicos. En este modelo, ciertas tareas se transfieren temporalmente a la nube pública para su procesamiento. Una vez que se completa el análisis, los resultados se envían de vuelta a la nube privada y luego se desmantelan los recursos de la nube pública. Tenemos un importante cliente de servicios financieros que hace esto con cálculos de riesgo crediticio y riesgo de mercado. Utiliza la nube pública para algunas operaciones de cómputo y la combina con un lago de datos de nube privada que utiliza MinIO y Dremio. La belleza del modelo operativo de la nube es que la arquitectura debe admitir operaciones en ambos lugares. Es, efectivamente, una calle de doble sentido.

En un momento dado, era una calle de un solo sentido, pero el mundo ha cambiado y ahora existe la opción de las tablas externas para las empresas. Con la opción de tablas externas, las organizaciones pueden seguir beneficiándose de los principios del modelo operativo de la nube mediante la integración de sus almacenes de datos en la nube existentes, como Snowflake y SQL Server, con un lago de datos construido sobre la nube privada. Esta configuración híbrida permite a las empresas beneficiarse del rendimiento, la seguridad de los datos y el diseño de estándares abiertos de un lago de datos moderno, al mismo tiempo que capitalizan las inversiones existentes en infraestructura de nube. Todos los principales proveedores de bases de datos ahora ofrecen soporte para tablas externas. Esta funcionalidad permite a los usuarios consultar datos en el almacenamiento de objetos donde sea que se encuentren, como si fueran una tabla normal en la base de datos sin la molestia de la migración. Sus datos permanecen en la nube privada, pero están disponibles donde sea que se los necesite.

Reflexiones finales y consejos

Hemos sido parte de muchas de estas repatriaciones/nuevas compilaciones de nubes privadas a lo largo de los años. Una cosa que sorprende a los equipos es la gestión del hardware nuevamente. En la nube, es transparente. Los ingenieros de DevOps y de confiabilidad del sitio solo interactúan con la infraestructura a nivel de API. Si una máquina virtual no funciona correctamente, se termina y se inicia una nueva en su lugar. Desafortunadamente, en la nueva nube privada, en lugar de simplemente desechar el hardware y comprar uno nuevo, tenemos que hacer que el hardware existente funcione.

La gestión de la infraestructura es una cuestión que forma parte del trabajo. No debería ser algo que dé miedo, pero debería planificarse. Es necesario que exista una delimitación de responsabilidades entre el equipo de ingeniería de software/DevOps y el ingeniero del centro de datos. Este experto en la materia (SME) en los centros de datos debería conocer todos los detalles de todo el hardware. Será responsable de todo lo relacionado con el hardware, incluidas las fallas, los reemplazos y cualquier mantenimiento.

El software es importante en este caso. Por eso MinIO incorporó la capacidad de observación en su consola global. En el mundo de la nube privada, se debería utilizar software inteligente y hardware tonto. Pero ese software tiene que soportar la carga operativa de este botín económico. Los chicos del hardware simplemente no podían construir la capa de capacidad de observación, MinIO tuvo que hacerlo.

Si su organización implementa una vez por semana, eso significa que cada implementación es probablemente un espectáculo. Esto se debe a que, con implementaciones poco frecuentes, es difícil predecir y corregir errores. Cuando las implementaciones no salen como se planea, todos deben ponerse manos a la obra. En general, el flujo se vería así:

• Diseño para implementar su aplicación en una configuración distribuida
• Pruébelo en su entorno local
• Validar más en un entorno de desarrollo y ensayo
• Agregue monitoreo, métricas, seguimiento y modificación.
• Implemente entornos locales, híbridos y en la nube

Cuando estos principios de CI/CD se aplican en la práctica, un ingeniero de centro de datos competente que trabaja en estrecha colaboración con otro ingeniero de DevOps/SRE competente puede gestionar fácilmente más de 5000 nodos en una nube privada o una instalación de centro de datos. Tenemos clientes que hacen exactamente esto. Una vez que se siguen los principios básicos de CI/CD, casi todo puede y debe automatizarse, y los ingenieros de DevOps y del centro de datos se centrarán solo en aquellas tareas que no se puedan automatizar. Por último, en caso de que no lo hayas notado, los centros de datos son sinónimos de nuestra definición de nube privada.

La coubicación ofrece un punto intermedio entre la infraestructura totalmente local y la nube pública, ofreciendo los beneficios de ambos mundos. Con acceso a redes de primer nivel y proximidad a los proveedores de nube pública, las coubicaciones facilitan conexiones de baja latencia y configuraciones de nube híbrida, lo que permite una transferencia y procesamiento de datos eficientes. Esta flexibilidad y el potencial para implementaciones exitosas de nube híbrida son cruciales para las empresas que buscan optimizar sus operaciones y mantener una ventaja competitiva. Para obtener más información sobre cómo funciona esto, consulte nuestra Página de MinIO y Equinix .