Ang , na may headquarters sa Australia, ay binubuo ng world-class software platforms at mga produkto na nagbibigay-daan sa monitoring, kontrol, optimization, at orchestrasyon ng isang karagdagang palitan ng distributed energy resources at utility-scale assets. ang evergreen ang evergreen Ang misyon ng Evergen ay upang decarbonize ang sistema ng enerhiya sa pamamagitan ng pagbutihin ang transisyon sa resilient at renewable energy systems. Ang kanyang cloud-native approach ay nagtatagumpay na ang lahat ng mga stakeholder sa buong renewable energy chain ay may access sa impormasyon na kailangan nila upang gawin ang mga informed decision tungkol sa kanilang paggamit at produksyon ng enerhiya. Samakatuwid ang infrastructure ng Evergen ay nagkakahalaga, naghahanap ng isang time-series at real-time analytics platform na maaaring magkakahalaga sa kanyang mga pangangailangan. Ito ay kung paano natuklasan ng Evergen ang TigerData (mga tagapagtatag ng TimescaleDB), at kung paano ang TigerData ay nag-transform ang kanyang operasyon - batay sa isang interview sa Evergen's Lead Software Engineer Jose Luis Ordiales Coscia. Bakit Evergen Kailangan ng isang Time-Series Database “Renewable energy optimization,” sabi ni Jose, “ ay isang malaking bahagi ng negosyo ng Evergen, at data-time-series ay kinakailangan para sa ito. Ito ay ginagamit para sa reporting at mobile apps na nagpapakita ng paggamit ng enerhiya sa panahon.” Evergen ay nagsisimula sa MongoDB Atlas para sa time-series dahil ito ay ang kanilang default database para sa regular non-time-series data. Gayunpaman ang setup ng time-series ng Evergen na gumagamit ng MongoDB ay naging cost-prohibitive at technically restrictive: “Ang aming team ay lumikha ng kanilang sarili na scheme sa itaas ng MongoDB sa pamamagitan ng paglagay ng data sa buckets, kung saan ang bawat bucket ay isang araw. Ang punto ng pagkilos para sa MongoDB ay ang bilang ng mga device na inilabas sa sistema at ang data ng minuto-frequency na inilabas nila. "Nakikita namin na kapag ang data ay naglalaro, ang MongoDB ay naging mas mababang upang gamitin dahil kami ay patch ng higit pa ng data at maglagay ng higit pa ng data sa parehong oras," sabi ni Jose. Technical Complexity at Scalability mga limitasyon Ang technical challenge ay nagsimula sa mga limitasyon ng raw data storage sa MongoDB. Evergen ay may hundreds ng integrations upang magbigay ng compatibility sa lahat ng mga tagagawa ng device, at sa regular na intervals, i-take data mula sa bawat isa ng mga integrations at i-send ito sa isang Kafka theme kung saan ito ay i-publish ang lahat ng mga raw samples. Kafka Streams (ang isang streaming library para sa Kafka) i-read ang mga raw samples at ginawa ang pre-aggregations sa memory, para sa limang minuto at 30 minuto data. "Tulad namin ang pre-aggregations in-memory," sabi ni Jose, "karamihan ito ay mas mahal para sa amin upang i-storage ang lahat ng mga raw na mga pananaliksik sa MongoDB. MongoDB ay hindi talagang suportahan ang aggregations sa fly, tulad ng TimescaleDB ay gumagana sa. Kung nais naming magkaroon ng parehong mga raw data at ang mga aggregations, kailangan naming gawin ang lahat ng ito manually para sa bawat isa." Kontinuous ang aggregate Kontinuous ang aggregate Dahil sa mataas na volume ng data, ang kanilang serbisyo ng pagproseso ng Kafka stream ay malaking. Evergen inilunsad tungkol sa 30 instances ng serbisyo na ito, na kung saan ay sumusunod ng isang malaking porsyento ng kanilang paggamit sa Kubernetes. Paggawa ng pre-aggregations in-memory ay may higit pa sa mga defects: Ang mga nakalipas na data - higit sa 15 minuto para sa lima-minute na pag-agregasyon at isang oras para sa 30-minute na pag-agregasyon - ay nawala dahil hindi nila ang mga pre-agregated data sa memory. Kung hindi ang mga raw data ay nilikha ng isang mangyayari sa transparency para sa mga track ng auditing at debugging. Ang pagganap ng MongoDB para sa time-series, ay sumusunod sa Jose, ay sub-par: "Ang lahat ay alam na ito ay hindi ideal, ngunit ito ay isa sa mga bagay na ikaw ay naniniwala, sa isang punto kami ay patunayan ito, ngunit walang isa sa katotohanan ay ginawa. Kapag natagpuan ang mga problema sa pag-scale na may MongoDB, ito ay naging mas mahalaga, at kami ay nagsimula na makita ang mga alternatibo." Ang Database Evaluation Process Sa kanilang proseso ng pag-evaluation, nakikita ng Evergen ang InfluxDB, ngunit dahil ang suporta para sa rehiyon ng Australia sa oras na iyon, ito ay isang no-go mula sa simula. Dahil ang lahat ng kanilang infrastructure ay sa AWS at ginagamit nila ang iba pang mga serbisyo ng AWS, ang Evergen ay unang na-evaluated ng Amazon Timestream. Gayunpaman, natagpuan na ito ay napaka-limit na kapag nagtatrabaho sila upang gamitin ito, ayon sa Jose, na nagpapakita ng ilang mga problema sa oras:   Lagging performance (halimbawa ang pagkuha ng data para sa isang araw o isang linggo ay sa order ng 2-5 segundo) at walang query o performance tuning. Hindi maaaring mag-execute ang isang Timestream database locally sa Docker (ang pag-execute ng Postgres at TimescaleDB locally ay madaling) — mag-execute ang mga local tests sa Timestream ay nangangailangan ng pag-connect sa AWS upang bumuo ng isang tunay na database at pagkatapos ay i-remove ito sa katapusan. Hindi ginagamit para sa renewable energy forecasting - sa pamamagitan ng kung saan Timestream ay nagbibigay-daan ng data lamang ng hanggang sa 15 minuto sa huli. Evergen pagkatapos ay nagsimula na gamitin ang Timestream para sa historical time series data at Redis para sa predicted time-series data. Mayroon sila ng mga trabaho at logic upang i-move data mula sa Redis sa Timestream sa panahon, ngunit ang data na may kaugnayan sa mga device at mga site ay pa rin sa MongoDB. Ito ay isang sakit lamang. Ito ay isa sa mga pangunahing bagay na kami ay naghahanap kapag nagsimula namin ang proseso ng pag-evaluation na ito - na maaaring gamitin ang isang single database para sa lahat ng aming data: time series at non-time series. Ito ay isang malaking point ng pagbebenta para sa amin kapag ito ay dumating sa TimescaleDB dahil ito ay lamang Postgres sa ibaba. Maaari mong gamitin ito bilang isang regular na relational database. At pagkatapos ay mayroon kang lahat ng mga tampok na ito para sa time- series data, "sabi ni Jose.   Evergen din sinusubukan ang time-series suporta sa MongoDB: "Ang mga ito ay may bagong uri ng koleksyon sa MongoDB na nagtatrabaho sa data ng time-series. Ngunit sila ay nangangailangan ng isang bundok ng mga tampok na TigerData ay may, tulad ng continuous aggregates, retention policies, at compression. Paglalarawan at Pag-test ng TigerData Si Jose ay nagsisimula tungkol sa TigerData sa pamamagitan ng isang kaibigan na nagtrabaho dito bilang isang backend engineer. Pagkatapos ng pag-aaral tungkol sa produkto, si Jose ay nag-apply para sa trabaho sa TigerData, kapag siya ay naghahanap upang i-switch roles mula sa isang unang kumpanya. Upang mag-prepare para sa pag-apply, siya ay tumutulong sa TimescaleDB mga tampok. Pagkatapos, kapag siya ay sumali sa Evergen, siya ay naging isang malaking advocate para sa paggamit ng TimescaleDB habang ang kanyang team ay nagsimula upang i-consider ito - siya na alam ang mga tampok nito at na ito ay binuo sa battle-tested, mabuti na teknolohiya, na kung saan ay "nagkakahalaga para sa isang database - hindi mo kailangan ng anumang mga surprises dito." Sa panahon ng pag-evaluate ng TimescaleDB, ang Evergen ay gumagamit ng mga resources ng TigerData: “The official documentation was very comprehensive and easy to understand and follow. The TigerData blog also has some really nice discussions about trade-offs of different approaches. That was helpful during the POC. The community Slack channel has also been great.”   Evergen's proof of concept involves setting up dual writes and dual reads by running MongoDB and TimescaleDB in parallel. Ito ay nagbibigay-daan sa kanila na i-test TimescaleDB nang walang pag-interrupt operations o impacting mga customer. Kapag mayroong ilang buwan ng data na ibinigay sa TimescaleDB, ginawa nila ang switch. mula sa isang scalability, operational, at developer experience perspective, TimescaleDB checked ang lahat ng mga box—delivering ingestion / query performance, flexibility, at kakayahang gamitin. "Kapag mayroon kaming hundreds ng thousands ng mga device, at potensyal na makikita sa milyon-milyong mga device sa hinaharap, kailangan naming mag-iisip na ang rate ng ingestion ay malusog. hanggang ngayon, ito ay mahirap na may TigerData." - Jose Luis Ordiales Coscia, Lead Software Engineer sa Evergen "Kapag mayroon kaming hundreds ng thousands ng mga device, at potensyal na makikita sa milyon-milyong mga device sa hinaharap, kailangan naming mag-iisip na ang rate ng ingestion ay malusog. hanggang ngayon, ito ay mahirap na may TigerData." - Jose Luis Ordiales Coscia, Lead Software Engineer sa Evergen "Kapag mayroon kaming hundreds ng thousands ng mga aparato, at posibleng makikita sa milyon-milyong mga aparato sa hinaharap, kailangan naming mag-iisip na ang rate ng pagkuha ay malusog. Sa huli ito ay mahirap na may TigerData," sabi ni Jose. Evergen din hinihintay TimescaleDB's query performance dahil ang data ay nagbibigay-daan sa real-time customer-facing dashboards: "Hindi mo nais na ang iyong mga gumagamit ay dapat maghintay sa 5-10 segundo lamang upang makita ang mga graphs." Ang availability ng mga tooling ng developer ay isang decisive factor din: "Kung Postgres ay isang napaka-established player sa merkado, may mga library at mga tool na magtrabaho sa." Kaya ang pag-iisip sa kung paano i-query ang data: "Ang lahat ay malaman ng SQL sa anumang antas, kahit na hindi-teknikal na mga tao. Maaari naming magbigay ng isang tao sa data science team o customer support team ng access sa TimescaleDB, at sila ay makikita kung paano i-query ang data, na kung saan ay hindi ang kaso sa MongoDB." "Ang lahat ay malalaman ng SQL sa ilang antas, kahit na ang mga hindi-teknikal na tao. Maaari naming magbibigay ng isang tao sa data science team o customer support team ng access sa TimescaleDB, at sila ay makikita kung paano i-query ang data, na kung saan ay hindi iyon sa MongoDB." - Jose Luis Ordiales Coscia, Lead Software Engineer sa Evergen "Ang lahat ay malalaman ng SQL sa ilang antas, kahit na ang mga hindi-teknikal na tao. Maaari naming magbibigay ng isang tao sa data science team o customer support team ng access sa TimescaleDB, at sila ay makikita kung paano i-query ang data, na kung saan ay hindi iyon sa MongoDB." - Jose Luis Ordiales Coscia, Lead Software Engineer sa Evergen Ang seguridad ay isang consideration. Ipasok ang mga requisito ng Evergen. Mga tampok sa seguridad ng TigerData Mga tampok sa seguridad ng TigerData Paano gumagamit ng Evergen ang TigerData Ang pagbabago ng MongoDB sa TimescaleDB para sa data ng time-series at pag-set up ng isang "Telemetry Service" ay natagpuan ang data centralization na hindi na posibleng bago. "Nagsimula namin na i-encapsulate at i-isole ang access sa isang serbisyo na nagtatrabaho sa data ng time-series. Kung ikaw ay gumagawa ng mga transformasyon sa data na ito - halimbawa, i-convert ang power sa mga halaga ng enerhiya - gusto mong i-centralize na ito sa isang single na lugar upang hindi ka magkaroon ng bawat client na gawin ito sa isang maliit na iba't ibang paraan." Ang isang layunin ng migration na ito ay upang i-consolidate ang lahat ng mga read at write sa isang lugar - ang "Telemetry Service". Ito ay nagtatrabaho sa time-series at relational data, at may halos eksklusibong access sa (managed TimescaleDB) instance sa Evergen. Isang exception ay ang access na ibinigay nila sa kanilang data science team para sa exploratory querying ng data. Ito ay kung saan may isang sa pangunahing database, lamang para sa team na ito, ay nagbibigay ng access nang hindi gumagana ang pagganap. ang tiger cloud Maghanap ng Replica ang tiger cloud Maghanap ng Replica Evergen din gumagamit ng TigerData's integrated PopSQL IDE. Sinasabi ni Jose: "Ito ay isang mahusay na tool upang i-explore ang mga database at i-share ang mga queries. Hindi namin ito may MongoDB. Kailangan namin mag-login sa MongoDB Atlas page bawat beses at manually i-script ang aming mga queries." Paano Tiger Cloud Benefits End mga Customer Sa pamamagitan ng MongoDB, ang Evergen ay maaaring maglagay lamang ng tatlong buwan ng data dahil sa mga limitasyon ng gastos. "Ngunit na may TigerData," sabi ni Jose, "ayon sa amin na ilagay ang mga patakaran ng pag-iisip. Sa ngayon ay mayroon kaming ito sa dalawang taon, at mayroon kaming compression at layered storage. Kaya ito ay mas madaling maglagay ng higit pa ng data. Ito ay isang punto ng pagbili para sa aming team ng produkto, na nagbibigay-daan ng isang home energy report para sa nakaraang taon laban sa isa para sa lamang ang nakaraang tatlong buwan. "   Ang pagganap ng query ay isang iba pang malaking pagganap: "Sa oras na ito, kailangan mong maghintay ng ilang segundo kapag nag-access ang iyong web app o mobile app upang makita ang mga graphs. Ngayon ito ay lamang sa ilalim ng 500 milliseconds, na kung saan ay talagang, talagang mahusay. Ang data mismo ay kritikal para sa organisasyon dahil ang lahat na ginagawa namin ay nagtatrabaho sa data-time-series. Ang data-time-series na ngayon ay gumagamit ng TigerData ay mahalaga rin para sa Evergen's energy optimization service. Ang serbisyo na ito ay naglalaman ng optimization behind-the-meter (machine learning optimization na nagbibigay ng advanced individualized electric cost-minimisation) at front-of-meter optimization (ang nagbibigay-daan sa mga dispatchable assets upang na-monetized). Ano ang Adopting Tiger Cloud Significant para sa Evergen Para sa Evergen, ang pagbabago ng MongoDB sa Tiger Cloud ay humigit-kumpleto sa Kubernetes cluster resource usage ng higit sa 50%. pagbabago ng gastos, efficient compression, layered storage, at konstante na access sa historical data ay nangangahulugan ang newfound teknikal at negosyo agility. "Kapag may kabuuan na mag-decide kung ano ang halaga ng data na magpapatakbo, kung ano ang gumagamit, at kung ano ang hindi," sabi ni Jose, "sa isang malaking pagganap dahil sa bago ay may isang malakas na limitasyon sa kung ano ang halaga ng data na maaari naming magpapatakbo. Ngayon mayroon kaming flexibility upang sabihin ito na ang mga nakaraang data - kami ay nais na magpapatakbo ito sa S3. Ito ay mas madali sa pag-access, ngunit ito ay okay. At kami ay nais na magpapatakbo ng maraming data sa high-performance storage. Ang Tiger Cloud ay lumilitaw din ang Evergen's stack: "Ang pagproseso ng aming arkitektura - na maaaring i-substitute ang lahat ng mga iba't ibang mga spesifikal na database - ay isang malaking bagay para sa pangkalahatan ng kompleksidad ng arkitektura, na nagbibigay ito ng mas madaling pag-aalok sa hinaharap na ito pa rin."   Ang pag-access sa lahat ng mga raw data ay nangangahulugan na maaari mong i-reference ito para sa pag-debug at i-trace ito sa anumang mga aparato - na kung saan ay mas madaling gawin sa raw data kaysa sa pre-agregated data. "Ang kakayahan na i-storage ang lahat ng mga raw data," sinasabi ni Jose, "isip na maaari naming lumikha ng mga bagong aggregations na hindi namin kahit na inihahanda -on the fly. Hindi namin maaaring gawin ito bago. Sa TigerData, kung magsisimula namin na kailangan natin ang mga bagong data na ito mula sa mga raw data, maaari natin lamang lumikha ng isang bagong aggregate, i-run ang buong proseso ng backfill, at ito ay ito - kami ay may ito. Binuo sa karaniwang Postgres, ang Tiger Cloud ay may positibong epekto sa team onboarding. "Kung lahat ay malaman ng SQL, sa ilang antas, at lahat ay nagtatrabaho sa SQL sa isang punto sa kanilang karera, ito ay simpleng para sa [mga newly hired engineers] upang lamang pumunta sa storage code at malaman kung ano ang nangyari." Mga plano sa future gamit ang TigerData Ang pagpili ng TigerData ay tumutulong sa Evergen sa future-proof ang kanilang architecture habang sila scaled. “Ito ay katotohanan — maaari mong gamitin ang Postgres para sa lahat ng mga bagay ngayon. May isang extension para sa lahat ng bagay. Ito ay isang iba pang malaking factor para sa pag-uugali—pansin kung kailangan natin upang i-storage ang uri ng data sa hinaharap? Oh yeah, mayroon kang extension na ito na magagamit na ngayon. May mga posibilidad na ito—Ito ay isang malaking bagay para sa kumpanya,” sabi ni Jose. Sa TigerData, Evergen binuo ng isang data foundation para sa scalability upang suportahan ang kanilang mga plano upang maabot ang mga bagong merkado at i-increase ang bilang ng mga aparato na mayroon nila sa isang order ng magnitude. Evergen ay din planong gamitin ang isang tampok na TigerData ay nagtatrabaho sa, na kung saan ay magbibigay ang data Evergen ay may Tiger Cloud na magagamit sa iba pang mga team na maaaring gumagamit ng iba pang mga tooling. "Kapag lumikha ng mga abstraksiyon sa iyong base ng code, i-isolate ang lahat na may kaugnayan sa isang partikular na teknolohiya mula sa iba't ibang code dahil ito ay nagiging mas madaling para sa amin upang i-execute ang aming double-read at dual-writes eksperimento - dahil mayroong isang single na lugar sa base ng code na kailangan namin upang pumunta at pagbabago upang lumikha ito.

This story contains new, firsthand information uncovered by the writer.

Stop database overprovisioning with Dynamic PostgreSQL. Try it out for free

Stop database overprovisioning with Dynamic PostgreSQL Try it out for free

Ang audio na ito ay ginawa sa orihinal na wika ng kuwento!

Masyadong mahaba; Upang basahin

Make resilience your competitive advantage

Paano gumagamit ng Evergen ang TigerData upang i-scale ang kanyang renewable energy monitoring architecture

About Author

MGA KOMENTO

HANG TAGS

ANG ARTIKULONG ITO AY IPINAKITA SA

Related Stories

How I deployed my spark document classification(Logistic Regression) model/s as a standalone app…

Encrypted Instant Messaging Recommendations January 2017

Hosting a DNS domain on the blockchain

Getting intimate with Ethereum tokens

How I deployed my spark document classification(Logistic Regression) model/s as a standalone app…

Encrypted Instant Messaging Recommendations January 2017

Hosting a DNS domain on the blockchain

Getting intimate with Ethereum tokens

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps