Máy tính của bạn sụp đổ, điện thoại của bạn đóng băng, và Netflix của bạn ngừng hoạt động. Nó khá thất vọng. Bây giờ, tưởng tượng chạy một doanh nghiệp nơi toàn bộ hệ thống dữ liệu của bạn thất bại. Mỗi giây thời gian ngừng hoạt động tốn tiền cho bạn. Các công ty mất tiền mặt nghiêm trọng khi hệ thống của họ thất bại. Các công ty lớn có thể mất 300.000 đô la một giờ khi mọi thứ bị phá vỡ, một số tổn thất thậm chí nhiều hơn, giống như có một ngọn lửa tiền tệ tiếp tục cháy cho đến khi ai đó dập tắt nó. Theo Gartner, chi phí trung bình của thời gian ngừng hoạt động là 5.600 USD mỗi phút. Điều này trở nên tồi tệ hơn khi các công ty cần phải thay đổi cơ sở dữ liệu của họ. Hãy nghĩ về nó như là cải tạo ngôi nhà của bạn trong khi bạn vẫn đang sống trong đó. Hầu hết thời gian, bạn phải di chuyển ra ngoài trước. Đó là tiền điên rồ chỉ biến mất. Các số liệu thống kê gần đây cho thấy 44% các tổ chức hiện đang tính chi phí ngừng hoạt động hàng giờ của họ trên 1 triệu đô la. Kumar Sai Sankar Javvaji đang đối phó với cơn ác mộng này mỗi ngày. Ông được thuê bởi một nhà bán lẻ trực tuyến lớn làm kỹ sư dữ liệu. Ông chịu trách nhiệm duy trì dòng chảy liền mạch của khối lượng dữ liệu khách hàng khổng lồ. Nhưng mỗi khi họ cần cập nhật cách dữ liệu đó được tổ chức, mọi thứ phải dừng lại. Điểm đột phá xảy ra trong những gì nên là một bản cập nhật thường xuyên. Công ty muốn thay đổi cách lưu trữ thông tin khách hàng để thêm các tính năng mới. Hệ thống của họ không thể xử lý sự thay đổi mà không đóng cửa trong nhiều giờ. Khách hàng không thể mua sắm. Bán hàng dừng lại. Tiền đã biến mất trong khi ông và nhóm của ông cố gắng sửa chữa mọi thứ. Xây dựng một cái gì đó hoạt động Ông đã mệt mỏi với sự lộn xộn này. Ông ngồi xuống và xây dựng một cái gì đó hoàn toàn khác. hệ thống mới của ông có thể xử lý các thay đổi cơ sở dữ liệu mà không đóng bất cứ điều gì. Không còn cuộc họp khẩn cấp. Không còn cuộc gọi điện thoại hoảng loạn. Không còn mất tiền nữa. Giải pháp của ông có ba phần làm việc cùng nhau. Thứ nhất, phiên bản bảng tự động lưu dữ liệu cũ trong khi tạo cấu trúc mới. Thứ hai, backfilling song song thông minh sao chép thông tin lịch sử trên nhiều quy trình cùng một lúc. thứ ba, cập nhật cuộn cho phép các phiên bản mới và cũ làm việc song song. Đây là cách nó thực sự hoạt động.Khi các nhà phát triển cần thay đổi cấu trúc cơ sở dữ liệu, hệ thống của ông sẽ tự động lưu phiên bản hiện tại, như chụp ảnh tức thời.Sau đó nó sẽ tạo phiên bản mới cùng với phiên bản cũ.Cả hai có thể chạy cùng một lúc.Các truy vấn cũ tiếp tục làm việc với dữ liệu cũ.Các truy vấn mới sử dụng cấu trúc mới.Không thời gian ngừng hoạt động.Không có vấn đề. Các thiết lập kỹ thuật sử dụng các tính năng giao dịch của Delta Lake với phần mềm lập lịch tùy chỉnh mà ông đã viết. Hệ thống theo dõi các thay đổi cơ sở dữ liệu trong thời gian thực, giữ lịch sử hoàn chỉnh để không có gì bị mất và để các phiên bản khác nhau tồn tại hòa bình. Các công cụ xử lý đa xử lý xử lý dữ liệu sao chép trên các phần khác nhau cùng một lúc, giữ cho mọi thứ hoạt động suôn sẻ. Khung của ông quản lý mọi thứ tự động. Khi các nhà phát triển triển triển các thay đổi sơ đồ, hệ thống tìm thấy các cấu trúc dữ liệu bị ảnh hưởng, tạo ra các phiên bản mới và bắt đầu sao chép dữ liệu lịch sử song song. Tất cả các hệ thống và đường ống dẫn dữ liệu được cập nhật liền mạch. Mọi thứ vẫn ổn định trên toàn bộ thiết lập mà không ai phải làm cho quá trình trở nên tồi tệ Hệ thống khéo léo quản lý các trường hợp cạnh phức tạp thường gây ra sự thất bại. Nó liền mạch xử lý các thay đổi cơ sở dữ liệu mâu thuẫn, giải quyết sự không phù hợp kiểu dữ liệu và duy trì kết nối giữa các phiên bản bảng khác nhau. Cập nhật cuộn là phần tuyệt vời nhất.Thay vì tắt mọi thứ, các phiên bản cơ sở dữ liệu mới có thể làm việc cùng với các phiên bản cũ.Dữ liệu mới chảy qua các cấu trúc cập nhật trong khi các tìm kiếm dữ liệu lịch sử cũ vẫn hoạt động bình thường.Nó tương tự như có hai phiên bản đồng thời của ngôi nhà của bạn. Mọi thứ thay đổi cho tốt hơn Hệ thống của ông trở nên cần thiết cho mỗi bản phát hành phần mềm. các nhóm kỹ thuật có thể thay đổi cấu trúc cơ sở dữ liệu một cách nhanh chóng mà không cần lên kế hoạch bảo trì phức tạp hoặc lo lắng về việc phá vỡ mọi thứ. Các nhiệm vụ mà trước đây mất hàng giờ để phối hợp cẩn thận bây giờ xảy ra tự động.Thay vì duy trì các hệ thống hiện tại, điều này đã giải phóng thời gian kỹ thuật để tạo ra các tính năng mới.Thay vì giải quyết các vấn đề lâu dài, mọi người có thể tập trung vào việc phát triển các sản phẩm mới sáng tạo. Lãnh đạo công ty nhận thấy công việc của ông lớn như thế nào. nó bắt đầu ảnh hưởng đến các dự án dữ liệu khác trên toàn tổ chức. Cách tiếp cận này chứng minh rằng thiết kế thông minh có thể làm cho các hệ thống dữ liệu hỗ trợ tăng trưởng kinh doanh thay vì ngăn chặn nó. “Các hệ thống truyền thống đối xử với những thay đổi biểu đồ như những trường hợp khẩn cấp”, Kumar Sai Sankar Javvaji giải thích. “Mọi thứ dừng lại, các nhóm vấp ngã để cập nhật thủ công các quy trình, và các hoạt động kinh doanh phải chịu đựng trong khi chúng tôi chạy đua để đưa các hệ thống trở lại trực tuyến.” Các nhóm kỹ thuật khác bắt đầu chú ý đến thành công của ông. ý tưởng thiết kế của ông bắt đầu ảnh hưởng đến các quyết định kiến trúc dữ liệu trên nhiều dự án. các tiêu chuẩn mới để xử lý các thay đổi cơ sở dữ liệu trong môi trường sản xuất đã xuất hiện. các tính năng tự động hóa đặc biệt có giá trị trong các bản phát hành phần mềm thường xuyên, nơi công việc thủ công sẽ tạo ra tải công việc không thể. Các quản trị viên cơ sở dữ liệu thích cách hệ thống của ông thay đổi công việc hàng ngày của họ. Trước đó, các thay đổi cơ sở dữ liệu đòi hỏi phải lập kế hoạch cẩn thận, cửa sổ bảo trì dài và giám sát liên tục để đảm bảo dữ liệu vẫn đúng. hệ thống mới xử lý các hoạt động này tự động, cho phép các nhóm tập trung vào các dự án chiến lược thay vì bảo trì thường xuyên. Hình ảnh lớn hơn Công việc của ông cho thấy một sự thay đổi lớn trong cách các tổ chức suy nghĩ về các hệ thống dữ liệu. kỹ thuật dữ liệu cũ tập trung vào việc xây dựng các hệ thống có thể tồn tại thay đổi thông qua lập kế hoạch cẩn thận và công việc thủ công. phương pháp tiếp cận hiện đại nhấn mạnh các hệ thống xây dựng phát triển trên sự thay đổi thông qua tự động hóa và thiết kế thông minh. Hệ thống của ông đại diện cho sự tiến hóa này hướng tới một cơ sở hạ tầng chủ động thích nghi với nhu cầu kinh doanh thay vì hạn chế chúng. Khi số lượng dữ liệu tiếp tục phát triển và nhu cầu kinh doanh thay đổi nhanh hơn, các giải pháp như điểm của ông hướng tới một tương lai nơi cơ sở hạ tầng dữ liệu trở nên thực sự thích ứng. công nghệ cho thấy rằng với thiết kế cẩn thận và quy trình tự động, các nhóm dữ liệu có thể xây dựng các hệ thống nắm lấy sự thay đổi như nhiên liệu đổi mới thay vì đau đầu hoạt động. Ảnh hưởng của ông vượt ra ngoài việc thực hiện kỹ thuật ngay lập tức. các nhóm khác của tổ chức bắt đầu giải quyết các vấn đề cơ sở hạ tầng tương tự, thúc đẩy một nền văn hóa tự động hóa chủ động hơn là chống cháy phản ứng. Bây giờ hệ thống của anh ta là một phần của mỗi bản cập nhật phần mềm mà công ty thực hiện. Nhóm có thể đẩy thay đổi một cách tự tin mà không phải lo lắng về việc phá vỡ mọi thứ. "Hệ thống này đã thay đổi cách chúng tôi nghĩ về việc duy trì đường ống dẫn dữ liệu", Kumar Sai Sankar Javvaji phản ánh. "Thay vì thay đổi sơ đồ đáng sợ, các nhóm có thể tập trung vào việc xây dựng các tính năng thúc đẩy giá trị kinh doanh." Các kỹ sư dữ liệu khác đối phó với những cơn đau đầu tương tự có thể học hỏi từ những gì ông đã xây dựng. phương pháp của ông chứng minh rằng thay vì nhìn thấy những thay đổi cơ sở dữ liệu như những thảm họa sắp xảy ra, bạn có thể tạo ra các hệ thống quản lý chúng dễ dàng. Công việc của Kumar Sai Sankar Javvaji chứng minh điều gì đó quan trọng: những đổi mới tốt nhất đến từ việc sửa chữa những vấn đề thực sự quan trọng.

This story contains new, firsthand information uncovered by the writer.

Nghe bài viết này bằng Tiếng Anh, đọc bởi robot thông minh của HackerNoon

dài quá đọc không nổi

Make resilience your competitive advantage

The Guy Who Fixed One of Tech's Most Expensive Problems

About Author

BÌNH LUẬN

chuyên mục

BÀI VIẾT NÀY CŨNG CÓ MẶT TẠI

Related Stories

85 Stories To Learn About Travel

145 Stories To Learn About Book

85 Stories To Learn About Productivity Hacks

189 Stories To Learn About Reading Books

85 Stories To Learn About Travel

145 Stories To Learn About Book

85 Stories To Learn About Productivity Hacks

189 Stories To Learn About Reading Books

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps