技术不断推动行业发展。对于大数据、机器学习和人工智能而言，处理和分析大量实时数据已成为所有公司的关键竞争优势。然而，构建和维护能够处理如此大规模的可靠数据平台是一项艰巨的挑战。现在，软件工程师比以往任何时候都更需要成为创造性的思考者和创新者。 是 Uber Technologies Inc. 的一名高级软件工程师，他就是这些挑战所需的问题解决者的典范。他对数据基础设施的创新方法满足了当今科技行业面向未来的每一项标准。 拉胡尔·查图维迪  Chaturvedi 在软件工程领域拥有近 20 年的经验，已成为大数据、流媒体技术和云基础设施领域的权威。他在行业巨头任职期间磨练出的专业技能，并在印度理工学院 Kharagpur 分校和华盛顿大学取得的学术成就进一步巩固了其专业知识，在解决现代科技公司面临的一些最复杂的数据挑战方面发挥了重要作用。 在 Uber，Chaturvedi 一直处于优化全球最大 Kafka 部署之一的前沿，该系统每天处理数万亿条消息和数 PB 的数据。他的工作满足了实时数据处理的迫切需求，并为可在云环境中有效扩展的强大 AI 生态系统奠定了基础。 挑战的规模：Uber 的数据生态系统 要真正理解 Rahul Chaturvedi 的贡献意义，首先必须了解 Uber 数据生态系统的规模。作为全球领先的交通平台之一，Uber 的运营产生了天文数字般的数据量：每天产生数万亿条消息，相当于 PB 级的信息，必须实时处理、分析和采取行动。 这些数据来自各种来源：乘车请求、司机位置、交通状况、支付交易以及 Uber 全球服务网络中的无数其他数据点。每个数据流对于公司的运营都至关重要，它们为从动态定价算法到路线优化和欺诈检测等所有系统提供支持。  Uber 数据环境的复杂性还因多种因素而进一步加剧，包括实时处理要求、数据的全球分布、不影响性能或可靠性的无缝可扩展性以及成本效率。Chaturvedi 面临的挑战是维护该系统并提高其性能，同时为大规模云迁移做好准备。这需要创新方法来解决分布式系统和数据工程中长期存在的问题 - 这些解决方案需要以前所未有的规模发挥作用。 解决方案创新：Kafka 优化策略 Rahul Chaturvedi 在 Uber 的大部分工作都体现了他优化 Kafka 的创新方法，Kafka 是一个分布式流媒体平台，构成了 Uber 实时数据处理基础设施的支柱。Chaturvedi 最重要的贡献之一是领导将 Kafka 与其他技术共置在同一主机上的努力。由于该技术的关键性质，Uber 此前从未尝试过这一举措。这一策略对于实现 Uber 的云迁移并优化成本至关重要。 共置带来了新的挑战，尤其是“吵闹邻居”问题，即一项服务可能会影响同一主机上其他服务的性能。其他挑战包括资源限制和内核版本挑战，但 Chaturvedi 与多个团队合作解决了这些问题。 这些优化工作成果显著。它们不仅为顺利迁移到云铺平了道路，还显著提高了系统效率和可靠性。据估计，仅共置策略一项每年就能为 Uber 节省数百万美元的基础设施成本。 面向未来的成果：构建强大的人工智能生态系统 Rahul Chaturvedi 在 Uber 的工作不仅限于优化 Kafka 和管理云迁移。他的努力对于构建一个强大的生态系统起到了重要作用，该生态系统支持 Uber 广泛的 AI 和机器学习计划。优化的 Kafka 基础设施允许提取和分发训练和向 AI 模型提供实时数据所需的大量数据流，并且可以处理不同 ML 模型和训练过程不断变化的、通常不可预测的数据量需求。 除了 Kafka，Chaturvedi 的工作还包括将 Redis 集成到 Uber 的数据基础设施中。这使得 ML/AI 团队可以缓存经常访问的数据或预处理的功能，从而显著提高 AI 模型在训练和推理过程中的效率。通过战略性地将 Redis 与 Kafka 结合使用，Chaturvedi 的团队创建了一个系统，该系统可以超低延迟访问实时 AI 应用程序所必需的关键数据。  Redis 与高效共置 Kafka 基础设施的无缝结合正是工程师们应该追求的面向未来的创新。Chaturvedi 的工作为 Uber 未来 AI 能力的进步奠定了基础，这要归功于一个数据平台，该平台设计灵活，可以随时纳入新的 AI 技术和方法。  Chaturvedi 通过在 Kafka、Redis 和整体数据基础设施方面的工作，在创建 AI 和 ML 可以在 Uber 大规模范围内蓬勃发展的生态系统中发挥了关键作用。 行业影响：未来工程 对 Uber 数据基础设施的改进对该公司和更广泛的科技行业产生了深远的影响。Kafka 与其他技术的共置预计将为 Uber 每年节省数百万美元的基础设施成本。关键 Kafka 集群的延迟减少提高了整体系统响应能力，直接影响了用户体验。优化的基础设施现在可以更有效地处理 Uber 每天的海量数据——数万亿条消息。 Rahul Chaturvedi 的贡献 意义 并没有被忽视。他在 2023 年获得了 Uber Technologies Inc. 的三项令人垂涎的“搜索存储数据 (SSD) 影响力奖”，他的创新方法引起了科技界的关注，使他成为大数据和基础设施领域的思想领袖。 Chaturvedi 的作品  Rahul Chaturvedi 在 Uber 的工作很好地体现了创新数据工程在现代科技公司中发挥的关键作用。他构建可靠、可扩展且高效的数据平台的策略解决了眼前的挑战，并使 Uber 处于大数据和人工智能技术的前沿。无论是像 Uber 这样的大规模解决方案，还是雄心勃勃的初创公司和小型企业的小规模解决方案，这些解决方案都将在未来几十年激发新技术和新战略。 ：本文作者是通过我们的商业博客计划发表文章的独立撰稿人。HackerNoon 已审查了报告的质量，但本文的主张属于作者。#DYOR。 既得利益披露

This writer has a vested interest be it monetary, business, or otherwise, with 1 or more of the products or companies mentioned within.

Between Two Computer Monitors: This story includes an interview between the writer and guest/interviewee. 

該音頻是用故事的原始語言製作的！

掌握实时数据：Rahul Chaturvedi 构建可靠数据平台的策略

About Author

註釋

標籤

这篇文章刊登在

Related Stories

架构师指南：构建 AI/ML 数据湖参考架构

比特币 UTXO 模型，为独特的生态系统提供动力

Floki 的 Valhalla 成为印度环斯里兰卡赛事联合赞助商

从论坛到信息流：社交媒体算法如何塑造数字互动

架构师指南：构建 AI/ML 数据湖参考架构

比特币 UTXO 模型，为独特的生态系统提供动力

Floki 的 Valhalla 成为印度环斯里兰卡赛事联合赞助商

从论坛到信息流：社交媒体算法如何塑造数字互动

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps