Con sede en Australia, construye plataformas y productos de software de clase mundial que permiten el monitoreo, control, optimización y orquestación de una amplia gama de recursos energéticos distribuidos y activos a escala de utilidades. Evergén Evergén La misión de Evergen es descarbonizar el sistema energético facilitando la transición a sistemas de energía resilientes y renovables.Su enfoque nativo de la nube asegura que todas las partes interesadas en toda la cadena de energía renovable tengan acceso a la información que necesitan para tomar decisiones informadas sobre su uso y producción de energía. A medida que la infraestructura de Evergen se escalaba, buscaba una plataforma de análisis de serie temporal y en tiempo real que pudiera escalar con sus necesidades.Este es el modo en que Evergen descubrió TigerData (creadores de TimescaleDB), y cómo TigerData transformó sus operaciones, basado en una entrevista con el ingeniero de software principal de Evergen, José Luis Ordiales Coscia. Por qué Evergen necesitaba una base de datos de series temporales “La optimización de las energías renovables”, dice José, “es una gran parte del negocio de Evergen, y los datos de la serie temporal son esenciales para ello. Evergen había recurrido originalmente al Atlas de MongoDB para las series de tiempo porque era su base de datos predeterminada para los datos regulares de las series de tiempo. Sin embargo, la configuración de las series de tiempo de Evergen usando MongoDB resultó ser costosa y técnicamente restrictiva: “Nuestro equipo creó su propio esquema en la parte superior de MongoDB al almacenar datos en buckets, donde cada bucket es un día. El punto de inflexión para MongoDB fue el número de dispositivos embarcados en el sistema y los datos de frecuencia de minutos que generaron. “Vimos que a medida que los datos pasaban, MongoDB se volvió más difícil de usar porque estábamos rectificando más datos y almacenando más datos al mismo tiempo”, dice Jose. Condiciones técnicas de complejidad y escalabilidad El desafío técnico comenzó con los límites de almacenamiento de datos crudos en MongoDB. Evergen tiene cientos de integraciones para garantizar la compatibilidad entre los fabricantes de dispositivos, y a intervalos regulares, extrae datos de cada una de esas integraciones y los envía a un tema Kafka donde publica todas las muestras crudas. “Hemos hecho pre-agregaciones en memoria”, dice Jose, “porque era demasiado caro para nosotros almacenar todas las observaciones crudas en MongoDB. Si queríamos tener tanto los datos crudos como las agregaciones, teníamos que hacer todo eso manualmente para cada uno”. agregados continuos agregados continuos Debido al alto volumen de datos, su servicio de procesamiento de flujo Kafka era enorme. Evergen ejecutó unas 30 instancias de ese servicio, lo que representó un gran porcentaje de su uso en Kubernetes. Los datos de llegada tardía, más de 15 minutos para la agregación de cinco minutos y una hora para la agregación de 30 minutos, se perdieron porque ya no tenían los datos pre-agregados en la memoria. No tener los datos crudos creó una falta de transparencia para las pistas de auditoría y el borrado. El rendimiento de MongoDB para las series de tiempo, según Jose, era sub-par: “Todo el mundo sabía que no era ideal, pero era una de esas cosas que usted piensa, en algún momento lo arreglaremos, pero nadie lo hizo realmente. El proceso de evaluación de la base de datos En su proceso de evaluación, Evergen miró brevemente a InfluxDB, pero dado que en ese momento estaba cayendo el apoyo para la región de Australia, eso fue un no-go desde el principio. Debido a que toda su infraestructura está en AWS y utilizan otros servicios de AWS, Evergen evaluó por primera vez Amazon Timestream.   Retraso en el rendimiento (incluso recoger datos durante un día o una semana fue en el orden de 2-5 segundos) y falta de consulta o ajuste de rendimiento. Imposibilidad de ejecutar una base de datos de Timestream localmente con Docker (mientras que ejecutar Postgres y TimescaleDB localmente era fácil) – ejecutar pruebas locales con Timestream requería conectarse a AWS para crear una base de datos real y luego eliminarla al final. No se utiliza para la predicción de energía renovable, por lo que Timestream permitió almacenar datos solo hasta 15 minutos en el futuro. Evergen entonces intentó usar Timestream para datos de series temporales históricas y Redis para datos de series temporales previstas.Tenían trabajos y lógica para mover datos de Redis a Timestream con el tiempo, pero los datos relacionados con dispositivos y sitios todavía estaban en MongoDB. Eso era una de las cosas clave que estábamos mirando cuando empezamos este proceso de evaluación: poder usar una única base de datos para todos nuestros datos: serie de tiempo y serie no-tiempo. Eso fue un gran punto de venta para nosotros cuando llegó a TimescaleDB porque es sólo Postgres debajo. Puedes usarlo como una base de datos relacional regular.   Evergen también probó el soporte de serie de tiempo en MongoDB: “Tienen este nuevo tipo de colección en MongoDB que maneja datos de serie de tiempo. pero estaban perdiendo un montón de características que TigerData tiene, como agregados continuos, políticas de retención y compresión. Descubrir y probar TigerData José se enteró inicialmente de TigerData a través de un amigo que trabajó allí como ingeniero de backend. Después de aprender sobre el producto, José se había aplicado a trabajar en TigerData, cuando estaba buscando cambiar roles de una empresa anterior. Luego, cuando se unió a Evergen, se convirtió en un gran defensor del uso de TimescaleDB como su equipo comenzó a considerarlo - ya sabía sus características y que estaba construido sobre tecnología antigua, aburrida y probada en la batalla, que es "grande para una base de datos - no quieres ninguna sorpresa allí". Durante la evaluación de TimescaleDB, Evergen aprovechó los recursos de TigerData: “La documentación oficial fue muy completa y fácil de entender y seguir.El blog de TigerData también tiene algunas discusiones realmente agradables sobre los compromisos de diferentes enfoques.   La prueba de concepto de Evergen involucró la configuración de escritos dobles y lecturas dobles ejecutando MongoDB y TimescaleDB en paralelo. Esto les permitió probar TimescaleDB sin interrumpir las operaciones o afectar a los clientes. Una vez que tenían unos pocos meses de datos almacenados en TimescaleDB, hicieron el cambio. Desde una perspectiva de escalabilidad, operacional y experiencia de desarrollador, TimescaleDB comprobó todas las cajas - entregando rendimiento de ingestión / consulta, flexibilidad y facilidad de uso. “Debido a que tenemos cientos de miles de dispositivos, y potencialmente mirando a millones de dispositivos en el futuro, necesitamos asegurarnos de que la tasa de ingestión sea suave. “Debido a que tenemos cientos de miles de dispositivos, y potencialmente mirando a millones de dispositivos en el futuro, necesitamos asegurarnos de que la tasa de ingestión sea suave. “Porque tenemos cientos de miles de dispositivos, y potencialmente mirando a millones de dispositivos en el futuro, necesitamos asegurarnos de que la tasa de ingesta sea suave. Hasta ahora ha sido increíble con TigerData”, dice Jose. Evergen también apreció el rendimiento de la consulta de TimescaleDB porque esos datos permiten dashboards en tiempo real dirigidos al cliente: “No quieres que tus usuarios tengan que esperar 5-10 segundos solo para ver esos gráficos”. La disponibilidad de herramientas para desarrolladores también fue un factor decisivo: “Porque Postgres es un jugador tan establecido en el mercado, hay miles de bibliotecas y herramientas con las que trabajar.” Así fue la familiaridad con cómo consultar los datos: “Todo el mundo conoce SQL a algún nivel, incluso personas no técnicas. “Todo el mundo conoce SQL en algún nivel, incluso las personas no técnicas.Podemos dar a alguien en el equipo de ciencia de datos o el equipo de soporte al cliente acceso a TimescaleDB, y ellos descubrirán cómo consultar los datos, lo que no fue el caso con MongoDB.” – Jose Luis Ordiales Coscia, ingeniero de software principal en Evergen “Todo el mundo conoce SQL en algún nivel, incluso las personas no técnicas.Podemos dar a alguien en el equipo de ciencia de datos o el equipo de soporte al cliente acceso a TimescaleDB, y ellos descubrirán cómo consultar los datos, lo que no fue el caso con MongoDB.” – Jose Luis Ordiales Coscia, ingeniero de software principal en Evergen La seguridad también fue una consideración. cumplimiento de las exigencias de Evergen. Características de seguridad de TigerData Características de seguridad de TigerData Cómo utiliza Evergen TigerData La sustitución de MongoDB por TimescaleDB para los datos de la serie de tiempo y la configuración de un “Servicio de telemetría” logró una centralización de datos que no era posible antes. “Intentamos encapsular y aislar el acceso a un servicio que está tratando los datos de la serie de tiempo. Un objetivo de esta migración fue consolidar todas las lecturas y escrituras en un solo lugar: el “Servicio de Telemetría”. (Managed TimescaleDB) instancia en Evergen. Una excepción es el acceso que proporcionan a su equipo de ciencia de datos para la consulta exploratoria de los datos. de la base de datos principal, sólo para ese equipo, ayuda ya que da acceso sin afectar el rendimiento. Nube de tigre Leer Replica Nube de tigre Leer Replica Evergen también utiliza fuertemente el IDE PopSQL integrado de TigerData. dice José: “Es una gran herramienta para explorar bases de datos y compartir consultas. No lo tuvimos con MongoDB. Teníamos que iniciar sesión en la página Atlas de MongoDB cada vez y escribir manualmente nuestras consultas”. Cómo Tiger Cloud beneficia a los clientes finales Con MongoDB, Evergen sólo podía almacenar tres meses de datos debido a las restricciones de costo. “Ahora con TigerData”, comparte Jose, “es nuestra responsabilidad definir esas políticas de retención. Eso es definitivamente un punto de venta para nuestro equipo de productos, lo que permite un informe de energía doméstica para el año pasado en comparación con uno para los últimos tres meses".   El rendimiento de la consulta fue otro gran triunfo: “Antes, tuviste que esperar unos segundos al acceder a tu aplicación web o a tu aplicación móvil para ver esos gráficos.Ahora está justo por debajo de los 500 milisegundos, lo que es realmente, realmente bueno. Los datos de la serie de tiempo ahora manejados por TigerData también son críticos para el servicio de optimización de energía de Evergen.Este servicio incluye la optimización detrás del medidor (optimización de aprendizaje automático que proporciona una optimización de costes de electricidad individualizada avanzada) y la optimización del front-of-meter (que permite monetizar los activos desplegables). Lo que la adopción de Tiger Cloud significó para Evergen Para Evergen, el reemplazo de MongoDB por Tiger Cloud redujo el uso de los recursos del clúster de Kubernetes en más del 50%. los ahorros en costos, la compresión eficiente, el almacenamiento en capas y el acceso constante a los datos históricos significaron una nueva agilidad técnica y empresarial. “Tener esa libertad para decidir cuántos datos guardar, qué es útil y qué no es”, dice José, “ha sido una gran victoria porque antes había un límite duro de cuántos datos podíamos almacenar. Ahora tenemos esa flexibilidad para decir estos datos viejos – queremos mantenerlos en S3. Será más lento para acceder, pero eso es bueno. Y queremos mantener esta gran cantidad de datos en almacenamiento de alto rendimiento. Definitivamente eso ha sido una gran victoria para la organización porque Tiger Cloud es esencialmente Postgres mejorado”. Tiger Cloud también simplificó la pila de Evergen: "Simplificar nuestra arquitectura -ser capaz de reemplazar todas estas diferentes bases de datos específicas- es una gran cosa para la complejidad general de la arquitectura, lo que facilita la extensión de esto en el futuro también".   El acceso a todos los datos brutos significaba que podían referirse a ellos para el borrado y rastrearlo a dispositivos específicos, lo que es mucho más fácil de hacer con los datos brutos que con los datos preagregados. "La capacidad de almacenar todos los datos crudos", explica José, "significa que podemos crear nuevas agregaciones que ni siquiera hemos considerado -en el vuelo. no podíamos hacer eso antes. Con TigerData, si mañana decidimos que necesitamos estos nuevos datos derivados de los datos crudos, podemos simplemente crear un nuevo agregado, ejecutar todo el proceso de recogida, y eso es lo que tenemos. Construido sobre el familiar Postgres, Tiger Cloud tuvo un impacto positivo en la incorporación del equipo. “Porque todo el mundo conoce SQL, en algún nivel, y todo el mundo ha trabajado con SQL en algún momento de su carrera, fue sencillo para [ingenieros recién contratados] simplemente saltar al código de almacenamiento y averiguar lo que estaba sucediendo”. Planes para el futuro utilizando TigerData La elección de TigerData ayudó a Evergen a probar su arquitectura en el futuro a medida que se escaló. “Es cierto—puedes usar Postgres para todo en estos días. Hay una extensión para absolutamente todo. Eso fue otro gran factor para la decisión—pensando qué pasaría si necesitamos almacenar este tipo de datos en el futuro? Con TigerData, Evergen construyó una base de datos para la escalabilidad para apoyar sus planes de llegar a nuevos mercados y aumentar la cantidad de dispositivos que tienen por un orden de magnitud. El consejo de Jose a los ingenieros que consideran el cambio: “Cuando creamos abstracciones en su base de código, mantenga todo lo relacionado con una tecnología particular aislado del resto del código, ya que eso nos facilitó mucho ejecutar nuestro experimento de doble lectura y doble escritura, porque había un solo lugar en la base de código que tuvimos que ir y cambiar para que eso suceda.

This story contains new, firsthand information uncovered by the writer.

Stop database overprovisioning with Dynamic PostgreSQL. Try it out for free

Stop database overprovisioning with Dynamic PostgreSQL Try it out for free

Este audio es producido en el idioma original de la historia!

Demasiado Largo; Para Leer

Make resilience your competitive advantage

Cómo Evergen utiliza TigerData para escalar su arquitectura de monitoreo de energía renovable

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Valhalla de Floki se une como patrocinador asociado de la gira de la India por Sri Lanka

El modelo Bitcoin UTXO, impulsando un ecosistema único

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Valhalla de Floki se une como patrocinador asociado de la gira de la India por Sri Lanka

El modelo Bitcoin UTXO, impulsando un ecosistema único

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps