El teu ordinador s'enfonsa, el teu telèfon es congela i el teu Netflix deixa de funcionar. És bastant frustrant. Ara, imagina executar un negoci on tot el teu sistema de dades fracassa. Les empreses perden diners en efectiu quan els seus sistemes fracassen. Les grans empreses poden perdre 300.000 dòlars a l'hora quan les coses es trenquen.Alguns perden encara més.És com tenir un foc de diners que continua cremant fins que algú ho apaga. Segons Gartner, el cost mitjà d'aturades de TI és de 5.600 dòlars per minut Això empitjora quan les empreses necessiten canviar les seves bases de dades. Penseu en això com renovar la vostra casa mentre encara viu en ella. La majoria del temps, vostè ha de sortir primer. El mateix amb les bases de dades - tot ha de tancar abans de fer canvis. Això és diners bojos que simplement desapareixen. Les estadístiques recents mostren que el 44% de les organitzacions ara compten amb un cost horari d'aturada de més d'un milió de dòlars Kumar Sai Sankar Javvaji estava tractant amb aquest malson cada dia. Va ser empleat per un gran minorista en línia com a enginyer de dades. Va ser responsable de mantenir el flux sense problemes d'enormes volums de dades de clients. El punt d'inflexió va arribar durant el que hauria de ser una actualització de rutina. L'empresa volia canviar la forma en què emmagatzema la informació del client per afegir noves característiques. El seu sistema no podia gestionar el canvi sense tancar durant hores. Els clients no podien comprar. Les vendes es van aturar. Els diners van desaparèixer mentre ell i el seu equip es van esforçar per arreglar-ho tot. Construir alguna cosa que funcioni Es va cansar d'aquesta confusió. es va asseure i va construir alguna cosa completament diferent. El seu nou sistema podia manejar canvis en la base de dades sense tancar res. No més reunions d'emergència. No més trucades telefòniques de pànic. No més diners perduts. La seva solució tenia tres parts que funcionaven junts. primer, la versió automàtica de taula que emmagatzema les dades antigues mentre crea noves estructures. segon, el backfilling paral·lel intel·ligent que copia la informació històrica a través de múltiples processos alhora. tercer, les actualitzacions de rodament que permeten que les versions noves i antigues funcionin plegats. Quan els desenvolupadors necessitaven canviar l'estructura de la base de dades, el seu sistema emmagatzemava automàticament la versió actual, com fer una imatge instantània. Llavors crearia la nova versió al costat de l'antiga. Ambdós podien executar-se al mateix temps. Les velles consultes continuaven treballant amb les velles dades. Les noves consultes utilitzaven la nova estructura. La configuració tècnica va utilitzar les característiques de transaccions de Delta Lake amb el programari de planificació personalitzat que ell mateix va escriure. El sistema va vigilar els canvis de la base de dades en temps real, va mantenir històries completes perquè res es perdés i va permetre que les diferents versions coexistien pacíficament. Molts motors de processament van gestionar la còpia de dades a diferents seccions simultàniament, mantenint tot funcionant sense problemes. El seu marc va gestionar tot automàticament. Quan els desenvolupadors van desplegar canvis d'esquema, el sistema va trobar les estructures de dades afectades, va crear noves versions i va començar a copiar les dades històriques en paral·lel. Tots els sistemes connectats i les canonades de dades es van actualitzar sense problemes. El sistema va gestionar amb destresa els casos d'avantguarda complexos que normalment causaven fallades. Es va gestionar sense problemes els canvis de base de dades conflictius, va resoldre els errors de tipus de dades i va mantenir les connexions entre les diferents versions de taules. Les actualitzacions de rodament eren la part més divertida. En lloc de tancar-ho tot, les noves versions de la base de dades podrien funcionar al costat de les velles. Les noves dades fluïen a través d'estructures actualitzades mentre que les velles cerques de dades històriques continuaven funcionant normalment. Tot ha canviat per a millor El seu sistema es va fer essencial per a cada versió de programari.Els equips d'enginyeria podien canviar ràpidament les estructures de les bases de dades sense planificar finestres de manteniment complexos o preocupar-se de trencar coses.L'automatització va reduir els errors humans durant les transicions de les bases de dades mantenint les dades disponibles per a funcions empresarials crítiques. Les tasques que feien falta hores de coordinació acurada ara es produeixen automàticament. En comptes de mantenir els sistemes actuals, això va alliberar temps d'enginyeria per crear noves característiques. En comptes d'abordar problemes de llarga durada, les persones es poden concentrar en el desenvolupament de nous productes innovadors. El lideratge de l'empresa es va adonar de la gran importància de la seva feina. va començar a influir en altres projectes de dades a tota l'organització. L'enfocament va demostrar que el disseny intel·ligent podria fer que els sistemes de dades donessin suport al creixement de l'empresa en comptes de retardar-lo. "Els sistemes tradicionals tracten els canvis d'esquema com a emergències", explica Kumar Sai Sankar Javvaji. "Tot s'atura, els equips es barallen per actualitzar els processos manualment, i les operacions empresarials pateixen mentre lluitem per tornar els sistemes en línia." Altres equips d'enginyeria van començar a prestar atenció al seu èxit.Les seves idees de disseny van començar a influir en les decisions d'arquitectura de dades en diversos projectes.Nosaltres estàndards per gestionar els canvis en les bases de dades en els entorns de producció van sorgir.Les característiques d'automatització es van demostrar especialment valuoses durant els freqüents llançaments de programari, on el treball manual hauria creat càrregues de treball impossibles. Els administradors de la base de dades van estimar com el seu sistema va canviar el seu treball diari. Abans, els canvis de la base de dades requerien una planificació acurada, finestres de manteniment llargues i un seguiment constant per assegurar-se que les dades es mantinguessin correctes. La imatge més gran El seu treball mostra un canvi important en la forma en què les organitzacions pensen sobre els sistemes de dades. L'enginyeria de dades de l'antiga escola es va centrar en la construcció de sistemes que podrien sobreviure als canvis a través de la planificació acurada i el treball manual. El seu sistema representa aquesta evolució cap a una infraestructura proactiva que s'adapta a les necessitats de l'empresa en comptes de restringir-les. Això coincideix amb les tendències més àmplies de la indústria cap a estratègies de desplegament zero-downtime i pràctiques d'integració contínua que han transformat el desenvolupament de programari. A mesura que les quantitats de dades continuen creixent i els requisits empresarials canvien més ràpidament, solucions com el seu punt cap a un futur on la infraestructura de dades esdevé realment adaptable.La tecnologia mostra que amb un disseny acurat i processos automatitzats, els equips de dades poden construir sistemes que embruten el canvi com a combustible per a la innovació en comptes de mals de cap operatius. La seva influència va anar més enllà de la implementació tècnica immediata.Els altres equips de l'organització van començar a abordar de manera similar els problemes d'infraestructura, fomentant una cultura d'automatització proactiva en lloc de combatre incendis reactius. Ara el seu sistema és part de cada actualització de programari que fa l'empresa. Els equips poden empènyer els canvis amb confiança sense preocupar-se de trencar les coses. Els patrons de l'empresa l'estimen perquè funciona i ha influït en com es construeixen altres projectes de dades a tota l'organització. "Aquest sistema va canviar la forma en què pensem sobre el manteniment de la canonada de dades", reflexiona Kumar Sai Sankar Javvaji. "En comptes d'espantar els canvis d'esquema, els equips poden centrar-se en la construcció de característiques que impulsin el valor empresarial." Altres enginyers de dades que s'enfronten a mals de cap similars poden aprendre del que va construir. El seu mètode demostra que en comptes de veure els canvis de la base de dades com catàstrofes imminents, podeu crear sistemes que els gestionin amb facilitat. El treball de Kumar Sai Sankar Javvaji demostra una cosa important: les millors innovacions provenen de la reparació de problemes reals que realment tenen importància.

This story contains new, firsthand information uncovered by the writer.

Aquest àudio és produït a l'idioma original de la història!

Massa Llarg; Per llegir

Make resilience your competitive advantage

El noi que va solucionar un dels problemes més costosos de la tecnologia

About Author

COMENTARIS

Etiquetes penjant

AQUEST ARTICLE VA SER PRESENTAT A

Related Stories

Startups of The Year: Meet the Healthcare Industry

Your Next Viral Article Is a Google Trend Away

Startups of The Year: Meet the Programming Industry

Get Out of That Post-Summer Slump With a Template!

Startups of The Year: Meet the Healthcare Industry

Your Next Viral Article Is a Google Trend Away

Startups of The Year: Meet the Programming Industry

Get Out of That Post-Summer Slump With a Template!

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps