Làm chủ dữ liệu thời gian thực: Chiến lược xây dựng nền tảng dữ liệu đáng tin cậy của Rahul Chaturvedi

Công nghệ không ngừng thúc đẩy các ngành công nghiệp phát triển. Về dữ liệu lớn, học máy và trí tuệ nhân tạo, việc xử lý và phân tích khối lượng lớn dữ liệu thời gian thực đã trở thành một lợi thế cạnh tranh quan trọng cho tất cả các công ty. Tuy nhiên, việc xây dựng và duy trì các nền tảng dữ liệu đáng tin cậy có khả năng xử lý quy mô như vậy đặt ra những thách thức ghê gớm. Hơn bao giờ hết, các kỹ sư phần mềm phải là những nhà tư tưởng và đổi mới sáng tạo.

Rahul Chaturvedi , Kỹ sư phần mềm nhân viên tại Uber Technologies Inc., là một ví dụ xuất sắc về khả năng giải quyết vấn đề mà những thách thức này yêu cầu. Các phương pháp tiếp cận đổi mới của ông đối với cơ sở hạ tầng dữ liệu đang đáp ứng mọi tiêu chuẩn hướng tới tương lai trong ngành công nghệ ngày nay.

Với gần hai thập kỷ kinh nghiệm trong lĩnh vực công nghệ phần mềm, Chaturvedi đã khẳng định mình là chuyên gia về dữ liệu lớn, công nghệ phát trực tuyến và cơ sở hạ tầng đám mây. Chuyên môn của anh, được trau dồi qua vai trò tại các công ty khổng lồ trong ngành và được củng cố bởi thành tích học tập của anh tại IIT Kharagpur và Đại học Washington, đã góp phần giải quyết một số thách thức dữ liệu phức tạp nhất mà các công ty công nghệ hiện đại phải đối mặt.

Tại Uber, Chaturvedi luôn đi đầu trong việc tối ưu hóa một trong những triển khai Kafka lớn nhất thế giới, một hệ thống xử lý hàng nghìn tỷ tin nhắn và hàng petabyte dữ liệu hàng ngày. Công việc của ông giải quyết các nhu cầu trước mắt về xử lý dữ liệu theo thời gian thực và đặt nền tảng cho hệ sinh thái AI mạnh mẽ có thể mở rộng quy mô hiệu quả trong môi trường đám mây.

Quy mô của thách thức: Hệ sinh thái dữ liệu của Uber

Để thực sự đánh giá cao tầm quan trọng của những đóng góp của Rahul Chaturvedi, trước tiên người ta phải nắm bắt được quy mô tuyệt đối của hệ sinh thái dữ liệu của Uber. Là một trong những nền tảng vận tải hàng đầu thế giới, hoạt động của Uber tạo ra khối lượng dữ liệu khổng lồ: hàng nghìn tỷ tin nhắn mỗi ngày, lên tới hàng petabyte thông tin phải được xử lý, phân tích và xử lý theo thời gian thực.

Cơn lũ dữ liệu này bắt nguồn từ nhiều nguồn khác nhau: yêu cầu chuyến đi, vị trí tài xế, điều kiện giao thông, giao dịch thanh toán và vô số điểm dữ liệu khác từ mạng lưới dịch vụ toàn cầu của Uber. Mỗi luồng dữ liệu đều quan trọng đối với hoạt động của công ty, cung cấp dữ liệu cho các hệ thống hỗ trợ mọi thứ, từ thuật toán định giá linh hoạt đến tối ưu hóa lộ trình và phát hiện gian lận.

Sự phức tạp trong bối cảnh dữ liệu của Uber còn phức tạp hơn bởi một số yếu tố, bao gồm yêu cầu xử lý theo thời gian thực, phân phối dữ liệu toàn cầu, khả năng mở rộng liền mạch mà không ảnh hưởng đến hiệu suất hoặc độ tin cậy cũng như hiệu quả chi phí. Thách thức của Chaturvedi là duy trì hệ thống này và nâng cao hiệu suất của nó trong khi chuẩn bị cho việc di chuyển đám mây đáng kể. Điều này đòi hỏi những cách tiếp cận sáng tạo đối với các vấn đề tồn tại lâu dài trong hệ thống phân tán và kỹ thuật dữ liệu - những giải pháp cần hoạt động ở quy mô chưa từng có.

Đổi mới các giải pháp: Chiến lược tối ưu hóa Kafka

Phần lớn công việc của Rahul Chaturvedi tại Uber được xác định bằng cách tiếp cận sáng tạo của ông nhằm tối ưu hóa Kafka, một nền tảng phát trực tuyến phân tán tạo thành xương sống của cơ sở hạ tầng xử lý dữ liệu thời gian thực của Uber. Một trong những đóng góp quan trọng nhất của Chaturvedi là dẫn đầu nỗ lực định vị Kafka với các công nghệ khác trên cùng một máy chủ. Do tính chất quan trọng của công nghệ, động thái này chưa từng được thực hiện trước đây tại Uber. Chiến lược này rất quan trọng để cho phép Uber di chuyển lên đám mây đồng thời tối ưu hóa chi phí.

Co-location đưa ra những thách thức mới, đặc biệt là vấn đề "hàng xóm ồn ào", trong đó một dịch vụ có thể ảnh hưởng đến hiệu suất của những dịch vụ khác trên cùng một máy chủ. Những thách thức khác bao gồm hạn chế về tài nguyên và thách thức về phiên bản kernel, nhưng Chaturvedi đã làm việc với nhiều nhóm khác nhau để giải quyết những vấn đề này.

Kết quả của những nỗ lực tối ưu hóa này rất đáng kể. Chúng không chỉ mở đường cho việc di chuyển sang đám mây một cách suôn sẻ mà còn dẫn đến những cải tiến đáng kể về hiệu quả và độ tin cậy của hệ thống. Chỉ riêng chiến lược co-location đã ước tính giúp Uber tiết kiệm hàng triệu đô la hàng năm cho chi phí cơ sở hạ tầng.

Kết quả hướng tới tương lai: Xây dựng hệ sinh thái AI mạnh mẽ

Công việc của Rahul Chaturvedi tại Uber không chỉ dừng lại ở việc tối ưu hóa Kafka và quản lý di chuyển đám mây. Những nỗ lực của ông là công cụ giúp xây dựng một hệ sinh thái mạnh mẽ hỗ trợ các sáng kiến học máy và AI mở rộng của Uber. Cơ sở hạ tầng Kafka được tối ưu hóa cho phép nhập và phân phối các luồng dữ liệu lớn cần thiết cho việc đào tạo và cung cấp dữ liệu trực tiếp cho các mô hình AI, đồng thời nó có thể xử lý các yêu cầu về khối lượng dữ liệu khác nhau và thường không thể đoán trước của các mô hình ML và quy trình đào tạo khác nhau.

Ngoài Kafka, công việc của Chaturvedi còn liên quan đến việc tích hợp Redis vào cơ sở hạ tầng dữ liệu của Uber. Điều này cho phép các nhóm ML/AI lưu trữ dữ liệu được truy cập thường xuyên hoặc các tính năng được xử lý trước vào bộ đệm, cải thiện đáng kể hiệu quả của các mô hình AI trong quá trình đào tạo và suy luận. Bằng cách sử dụng Redis cùng với Kafka một cách chiến lược, nhóm của Chaturvedi đã tạo ra một hệ thống cung cấp quyền truy cập có độ trễ cực thấp vào dữ liệu quan trọng cần thiết cho các ứng dụng AI thời gian thực.

Sự kết hợp mượt mà của Redis với cơ sở hạ tầng Kafka được đặt cùng vị trí hiệu quả chính là kiểu đổi mới tập trung vào tương lai mà các kỹ sư nên khao khát. Công việc của Chaturvedi đặt nền tảng cho những tiến bộ trong tương lai về khả năng AI của Uber nhờ nền tảng dữ liệu được thiết kế với khả năng linh hoạt để kết hợp các công nghệ và phương pháp AI mới khi chúng xuất hiện.

Chaturvedi đã đóng một vai trò quan trọng trong việc tạo ra một hệ sinh thái nơi AI và ML có thể phát triển ở quy mô lớn của Uber thông qua công việc của ông về Kafka, Redis và cơ sở hạ tầng dữ liệu tổng thể.

Tác động của ngành: Kỹ thuật của tương lai

Đóng góp của Rahul Chaturvedi đối với cơ sở hạ tầng dữ liệu của Uber đã có ý nghĩa sâu rộng đối với công ty và ngành công nghệ nói chung. Việc đặt Kafka cùng với các công nghệ khác dự kiến sẽ tiết kiệm cho Uber hàng triệu đô la chi phí cơ sở hạ tầng hàng năm. Việc giảm độ trễ trong các cụm Kafka quan trọng đã cải thiện khả năng phản hồi tổng thể của hệ thống, ảnh hưởng trực tiếp đến trải nghiệm người dùng. Cơ sở hạ tầng được tối ưu hóa giờ đây có thể xử lý khối lượng dữ liệu khổng lồ hàng ngày của Uber - hàng nghìn tỷ tin nhắn - một cách hiệu quả hơn.

Tầm quan trọng của Tác phẩm của Chaturvedi đã không được chú ý. Anh ấy đã nhận được ba "Giải thưởng Tác động đến Dữ liệu Lưu trữ Tìm kiếm (SSD)" đáng thèm muốn vào năm 2023 tại Uber Technologies Inc., và các phương pháp tiếp cận đổi mới của anh ấy đã thu hút được sự chú ý trong cộng đồng công nghệ, giúp anh ấy trở thành nhà lãnh đạo tư tưởng về cơ sở hạ tầng và dữ liệu lớn.

Công việc của Rahul Chaturvedi tại Uber là một ví dụ điển hình về vai trò quan trọng của kỹ thuật dữ liệu đổi mới trong các công ty công nghệ hiện đại. Chiến lược xây dựng nền tảng dữ liệu đáng tin cậy, có thể mở rộng và hiệu quả của ông đã giải quyết những thách thức trước mắt và đưa Uber lên vị trí dẫn đầu về công nghệ dữ liệu lớn và AI. Những giải pháp như thế này, dù được thực hiện trên quy mô lớn như Uber hay quy mô nhỏ hơn bởi các công ty khởi nghiệp và doanh nghiệp nhỏ đầy tham vọng, sẽ truyền cảm hứng cho công nghệ mới và chiến lược mới trong những thập kỷ tới.