컴퓨터가 충돌하고 휴대폰이 얼어붙고 넷플릭스가 작동을 중단합니다.이것은 매우 좌절합니다.이제 전체 데이터 시스템이 실패하는 비즈니스를 운영하는 것을 상상해보십시오. 기업은 시스템이 실패할 때 심각한 현금을 잃습니다. 큰 회사는 무언가가 붕괴되면 시간당 300,000 달러를 잃을 수 있습니다. 일부는 더 많은 것을 잃을 수 있습니다. Gartner에 따르면 IT 중단 시간의 평균 비용은 분당 $5,600입니다. 이것은 회사가 데이터베이스를 변경해야 할 때 더욱 악화됩니다.당신이 여전히 거기에 살고있는 동안 집을 개조하는 것처럼 생각하십시오.대부분의 시간,당신은 먼저 이동해야합니다.데이터베이스와 마찬가지로 -당신이 변경할 수 있기 전에 모든 것이 종료해야합니다. 그 미친 돈은 단지 사라지고 있습니다. 최근 통계에 따르면 44 %의 조직은 현재 시간당 중단 비용을 1 백만 달러 이상으로 계산합니다. Kumar Sai Sankar Javvaji는 매일이 악몽을 다루고있었습니다.그는 데이터 엔지니어로 큰 온라인 소매 업체에 고용되었습니다.그는 엄청난 양의 클라이언트 데이터의 원활한 흐름을 유지하기 위해 책임이있었습니다.그러나 그들이 그 데이터가 어떻게 조직되었는지 업데이트해야 할 때마다 모든 것이 멈추어야했습니다. 회사는 고객 정보를 저장하는 방법을 변경하고 새로운 기능을 추가하려고했습니다.그들의 시스템은 몇 시간 동안 닫지 않고도 변경을 처리할 수 없었습니다.고객들은 쇼핑을 할 수 없었습니다.매출이 중단되었습니다.돈이 사라졌고 그와 그의 팀은 모든 것을 고치기 위해 노력했습니다. 작동하는 무언가를 만들기 그는 이 혼란에 지쳤다.그는 앉아서 완전히 다른 무언가를 만들었다.그의 새로운 시스템은 아무것도 닫지 않고 데이터베이스 변경을 처리 할 수있었습니다.더 이상 비상 회의 없습니다.더 이상 패닉 전화 통화 없습니다.더 이상 돈을 잃지 않습니다. 그의 솔루션에는 함께 작동하는 세 부분이 있었다.첫째, 새로운 구조를 만들면서 오래된 데이터를 저장하는 자동 테이블 버전화. 둘째, 여러 프로세스에 걸쳐 역사 정보를 한 번에 복사하는 똑똑한 병렬 백필링. 셋째, 새로운 버전과 오래된 버전이 함께 작동하도록 하는 롤링 업데이트. 개발자가 데이터베이스 구조를 변경해야 할 때 시스템은 스냅샷과 같은 현재 버전을 자동으로 저장합니다.그런 다음에는 오래된 버전과 함께 새 버전을 만들 것입니다.둘 다 동시에 실행할 수 있습니다.오래된 쿼리는 오래된 데이터로 계속 작동합니다.새로운 쿼리는 새 구조를 사용했습니다. 기술 설정은 Delta Lake의 트랜잭션 기능을 사용하여 스스로 작성한 사용자 지정 스케줄링 소프트웨어를 사용했습니다. 시스템은 실시간으로 데이터베이스 변경을 감시하고 완전한 스토리를 유지하여 아무것도 손실되지 않았고 다른 버전이 평화롭게 동존하도록했습니다. 다중 처리 엔진은 동시에 다른 섹션을 통해 데이터를 복사하여 모든 것을 원활하게 실행했습니다. 그의 프레임 워크는 모든 것을 자동으로 관리했습니다. 개발자가 스케일 변경을 배포했을 때 시스템은 영향을받은 데이터 구조를 발견하고 새로운 버전을 만들었으며 동시에 역사 데이터를 복사하기 시작했습니다. 모든 연결된 시스템과 데이터 파이프라인은 순조롭게 업데이트되었습니다. 이 시스템은 일반적으로 실패를 일으키는 복잡한 가장자리 케이스를 능숙하게 관리했습니다.이 시스템은 충돌하는 데이터베이스 변경 사항을 완벽하게 처리하고, 데이터 형식 불일치를 해결하고, 다른 테이블 버전 간의 연결을 유지했습니다.It transformed risky database updates into straightforward, routine processes. 롤링 업데이트는 모든 것을 닫는 대신 오래된 데이터베이스 버전과 함께 새로운 데이터베이스 버전이 작동할 수 있습니다.새로운 데이터는 업데이트 된 구조를 통해 흐르고 오래된 역사 데이터 검색은 정상적으로 작동했습니다. 모든 것이 더 나은 것으로 바뀌었다. 그의 시스템은 모든 소프트웨어 릴리스에 필수적이되었습니다. 엔지니어링 팀은 복잡한 유지 보수 창을 계획하지 않고도 데이터베이스 구조를 신속하게 변경할 수 있었습니다. 조심스럽게 조정하는 데 시간이 걸리는 작업은 이제 자동으로 발생합니다.현재 시스템을 유지하는 대신에 새로운 기능을 만드는 엔지니어링 시간을 자유롭게합니다.오래된 문제를 해결하는 대신에 사람들은 혁신적인 새로운 제품을 개발하는 데 집중할 수 있습니다. 회사 리더십은 그의 작업이 얼마나 큰 거래인지 알게되었고 조직 전체에 걸쳐 다른 데이터 프로젝트에 영향을 미치기 시작했습니다.이 접근 방식은 스마트 디자인이 데이터 시스템을 비즈니스 성장을 억제하는 대신 지원할 수 있음을 입증했습니다. "전통적인 시스템은 계획 변경을 비상 상황처럼 취급합니다."Kumar Sai Sankar Javvaji는 설명합니다. "모든 것이 멈추고 팀은 프로세스를 수동으로 업데이트하고 비즈니스 운영은 시스템을 온라인으로 되돌리기 위해 경쟁하는 동안 고통을 겪습니다." 다른 엔지니어링 팀은 그의 성공에 관심을 기울이기 시작했습니다. 그의 디자인 아이디어는 여러 프로젝트에 걸쳐 데이터 아키텍처 결정에 영향을 미치기 시작했습니다. 생산 환경에서 데이터베이스 변경을 다루는 새로운 표준이 등장했습니다. 데이터베이스 관리자는 그의 시스템이 일상적인 작업을 어떻게 바꾸는지 좋아했습니다.이전에는 데이터베이스 변경에는 신중한 계획, 긴 유지 창 및 데이터가 올바르게 유지되도록 지속적인 모니터링이 필요했습니다.새로운 시스템은 이러한 작업을 자동으로 처리하여 팀이 일상적인 유지 보수 대신 전략적 프로젝트에 집중할 수있었습니다. 더 큰 그림 그의 작품은 조직이 데이터 시스템에 대해 어떻게 생각하는지에 큰 변화를 보여줍니다.오래된 데이터 엔지니어링은 신중한 계획과 수동 작업을 통해 변화에 살아남을 수있는 시스템을 구축하는 데 초점을 맞추었습니다. 그의 시스템은 비즈니스 요구에 적응하는 적극적 인 인프라로의 진화를 나타냅니다.이 시스템은 제로 다운타임 배포 전략과 소프트웨어 개발을 변화시킨 지속적인 통합 관행을 향한 광범위한 업계 추세와 일치합니다. 데이터 양이 지속적으로 증가하고 비즈니스 요구 사항이 빠르게 변화함에 따라, 데이터 인프라가 진정으로 적응성이되는 미래를 향한 그의 솔루션과 같은 솔루션.이 기술은 신중한 설계와 자동화 된 프로세스로 데이터 팀이 운영의 두통 대신 혁신 연료로 변화를 포용하는 시스템을 구축 할 수 있음을 보여줍니다. 그의 영향력은 즉각적인 기술적 구현을 넘어갔다.이 조직의 다른 팀들은 인프라 문제를 비슷하게 다루기 시작했고, 반응적 화재 방지보다는 적극적인 자동화 문화를 육성했다. 이제 그의 시스템은 회사가 수행하는 모든 소프트웨어 업데이트의 일부입니다.팀은 무언가를 깨는 것에 대해 걱정하지 않고 자신있게 변경을 밀어낼 수 있습니다.회사 보스는 작동하고 조직 전체에 걸쳐 다른 데이터 프로젝트가 어떻게 구축되는지에 영향을 미쳤기 때문에 그것을 좋아합니다. "이 시스템은 우리가 데이터 파이프라인 유지 보수에 대해 생각하는 방식을 변화시켰습니다."라고 Kumar Sai Sankar Javvaji는 반영합니다. "두려운 계획 변경 대신 팀은 비즈니스 가치를 구축하는 기능을 구축하는 데 집중할 수 있습니다." 비슷한 두통을 다루는 다른 데이터 엔지니어는 그가 만든 것에서 배울 수 있습니다.그의 방법은 데이터베이스 변화가 다가오는 재해로 보이는 대신에 쉽게 관리 할 수있는 시스템을 만들 수 있음을 보여줍니다.좋게 설계된 데이터 인프라가 회사의 성장을 억제하는 것이 아니라 가속화 할 수 있습니다. Kumar Sai Sankar Javvaji의 작품은 뭔가 중요한 것을 증명합니다 : 최고의 혁신은 실제로 중요한 문제를 해결하는 것에서 오는 것입니다. 그는 기업에게 많은 어려움과 돈을주는 무언가를 단조롭고 자동화 된 무언가로 바꾸었습니다.

This story contains new, firsthand information uncovered by the writer.

이 오디오는 이야기의 원래 언어로 제작되었습니다!

기술의 가장 비싼 문제 중 하나를 해결 한 사람

About Author

코멘트

태그 걸기

이 기사는 다음에서 발표되었습니다.

Related Stories

AI/ML 데이터레이크용 참조 아키텍처 구축을 위한 설계자 가이드

HackerNoon 글쓰기 대회에서 우승하고 싶으신가요? #crypto-api 대회 우승자들이 추천하는 내용은 다음과 같습니다.

AI의 힘을 발휘하세요. 최첨단 기술의 체계적 검토: 개요 및 소개

바다 항해: 데이터 레이크를 사용하여 프로덕션 등급 RAG 애플리케이션 개발

AI/ML 데이터레이크용 참조 아키텍처 구축을 위한 설계자 가이드

HackerNoon 글쓰기 대회에서 우승하고 싶으신가요? #crypto-api 대회 우승자들이 추천하는 내용은 다음과 같습니다.

AI의 힘을 발휘하세요. 최첨단 기술의 체계적 검토: 개요 및 소개

바다 항해: 데이터 레이크를 사용하여 프로덕션 등급 RAG 애플리케이션 개발

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps