A evolução da computação em nuvem e da inteligência artificial transformou fundamentalmente a forma como as empresas construem e dimensionam plataformas de tecnologia.A infraestrutura de nuvem moderna deve lidar com milhões de usuários simultâneos em dezenas de regiões geográficas, mantendo padrões de segurança, confiabilidade e desempenho que atendam às demandas das agências governamentais e das empresas da Fortune 500. Os engenheiros de infraestrutura mais bem-sucedidos demonstram versatilidade em vários domínios, desde redes e segurança até sistemas de IA e machine learning.Esses profissionais entendem que a construção de plataformas usadas por milhões requer não apenas experiência técnica, mas também a capacidade de antecipar desafios de escala meses ou anos antes.A transição da infraestrutura de nuvem tradicional para sistemas de inteligência de documentos alimentados por IA representa uma evolução natural para os engenheiros que dominaram os fundamentos da computação distribuída em hiperescala. Com sete anos no Microsoft Azure seguidos de papéis de liderança em IA empresarial na Docusign, Abhinav Sharma exemplifica esta jornada abrangente através da engenharia moderna de nuvem e IA. Sua experiência abrange a infraestrutura global do Azure Networking, a evolução da plataforma do Azure AI Search durante a era pré-LLM, e agora arquitetando sistemas de inteligência de documentos que processam mais de 150 milhões de acordos. Nesta conversa, exploramos a jornada de Abhinav através dessas diversas equipes de engenharia e o trabalho envolvido na construção e escalação de infraestruturas de nuvem e IA em grande escala. Arquitetura de quadros de teste contínuo para a infraestrutura de nuvem global “Os primeiros dias no Azure Networking foram intensos. Como um novo grau, foi esmagador mergulhar em um ecossistema tão vasto de componentes de rede operando na escala da nuvem. Foi fácil se perder no mar de acrónimos de três letras – cada um apontando para uma equipe ou subsistema diferente – sem um senso claro de como todos eles se encaixam na arquitetura de rede mais ampla. Apenas aprender as camadas da pilha levou vários meses”, recorda Abhinav, refletindo sobre sua carreira inicial depois de concluir seu mestrado na Universidade de Columbia em 2016. Ele logo tomou um projeto que lhe deu uma exposição profunda e end-to-end à pilha de rede pública do Azure – balançadores de carga de software, redes virtuais e sub-redes, conjuntos de escala de máquinas virtuais, grupos Este esforço de teste e monitoramento em larga escala permitiu à Abhinav projetar e implantar um quadro altamente configurável que ajudou a organização de rede mais ampla a identificar os problemas de regressão mais cedo, particularmente em regiões com baixo tráfego. Ao capturar esses problemas antes de escalarem, a equipe conseguiu evitar centenas de interrupções críticas que poderiam ter impactado os clientes do Azure e erodido a confiança na confiabilidade da plataforma. “Foi um daqueles projetos óbvios que simplesmente precisavam existir – um problema de gravidade 1 na pilha de rede pode causar interrupções em inúmeros serviços upstream. Criação de uma plataforma de pesquisa Enterprise Grade Após seu tempo no Azure Networking, e em meio ao crescente impulso em torno da IA em 2018, Abhinav passou para o Azure AI Search. Em comparação com a rede, a equipe era mais nova e menor, focada em fornecer APIs de pesquisa como um serviço para clientes empresariais. “Por exemplo, se você é uma grande empresa de comércio eletrônico, a pesquisa é uma capacidade fundamental. Você poderia construir e manter seus próprios grupos e equipes de pesquisa internos, ou você poderia descarregar esse trabalho para o Azure AI Search. A demanda por esse tipo de capacidade de pesquisa gerenciada estava crescendo rapidamente em todas as indústrias e casos de uso.” “Por exemplo, se você é uma grande empresa de comércio eletrônico, a pesquisa é uma capacidade fundamental. Você poderia construir e manter seus próprios grupos e equipes de pesquisa internos, ou você poderia descarregar esse trabalho para o Azure AI Search. A demanda por esse tipo de capacidade de pesquisa gerenciada estava crescendo rapidamente em todas as indústrias e casos de uso.” Durante seus quatro anos com a equipe, Abhinav contribuiu em várias camadas da pilha de plataformas. Trabalhou extensivamente em vários componentes fundamentais essenciais para a escalação de um serviço – incluindo sistemas de telemetria, infraestrutura de faturação, gerenciamento secreto, construção de serviços e uma ampla gama de ferramentas internas. Essas capacidades formaram a espinha dorsal do crescimento da plataforma, e Abhinav desempenhou um papel chave na sua formação. “Crescendo o serviço de apenas um punhado de regiões para mais de 40 em todo o mundo, exigimos que padronizássemos e automatizássemos nosso processo de construção regional – isso foi essencial para a escalação efetiva”, observa Abhinav. Um grande ponto de inflexão para a equipe veio com o contrato JEDI, Para conseguir isso, liderou várias iniciativas-chave para reforçar a segurança e a postura de conformidade da plataforma. Introduziu mecanismos automatizados de rotação de segredos em uma frota de dezenas de milhares de máquinas, melhorando significativamente a segurança operacional. Ele também liderou esforços de privacidade focados na obstrução de telemetria, garantindo que nenhuma informação sensível fosse registrada e que todos os dados fossem consistentemente classificados e acessados no nível de segurança apropriado. Além disso, ele construiu ferramentas com controles de acesso robustos baseados em funções para suportar o acesso just-in-time (JIT) para a reparação de nós, reforçando ainda mais o modelo de auditabilidade e segurança da plataforma. “Havia muitos requisitos que estavam em vigor para o JEDI, muitos Olhando para trás: Lições dos Pivots de Crescimento e Carreira do Azure Ao longo de todos esses anos, Abhinav observa que foi um momento incrível para estar na Microsoft. “Foi fascinante ver o Azure como uma plataforma evoluir de forma tão dramática desde que eu me juntei pela primeira vez. Havia um ditado no Azure na época: projetar seus sistemas como se você estivesse executando 10x o tráfego a partir de alguns meses. Design para cargas de trabalho de grande escala força você a pensar de forma diferente sobre tudo – como você impõe isolamento de locação, como você aborda a privacidade dos usuários e classificação de dados, como você projetar mecanismos de verificação de fluxo de trabalho e restauração, e até mesmo como você constrói ferramentas para expandir seu serviço globalmente com padrões de nome e infraestrutura consistentes. Estas são decisões que você faz na frente, não anos na vida Após seu tempo na Microsoft, Abhinav mudou-se para a Docusign, onde ele entrou no mundo da inteligência de documentos e soluções orientadas por IA projetadas para simplificar processos legais complexos. “Depois de muito desta experiência de plataforma sob minha cintura, senti que era hora de ganhar experiência com os sistemas ML básicos, especificamente no espaço NLP. Sempre parecia um mundo fascinante para mim - ser capaz de interagir com documentos e mergulhar em problemas como detecção de linguagem, análise de layout de documentos, extração de metadados, sistemas de bate-papo e recuperação de informações usando algoritmos de semântica de semelhança. Sobre Abhinav Sharma Abhinav é atualmente um Engenheiro de Pessoal ML na Docusign, onde se concentra no avanço das capacidades de inteligência de documentos para impulsionar a adoção da plataforma Intelligent Agreement Management (IAM). Desde o seu lançamento em junho de 2024, a plataforma processou centenas de milhões de acordos, com Abhinav desempenhando um papel chave na formação dos sistemas de IA que permitem essa escala. Antes da Docusign, Abhinav trabalhou na sede da Microsoft em Redmond, WA, contribuindo para as iniciativas de nuvem e infraestrutura de núcleo em todo o Azure Networking e Azure AI Search. Abhinav possui mestrados da Universidade da Califórnia, Berkeley e da Universidade de Columbia, onde se especializou em ciência de dados, recuperação de informações, aprendizado de máquina, sistemas distribuídos e excelência operacional.Ele também ganhou um diploma de bacharel em Ciência da Computação da Universidade Manipal, construindo uma base sólida em princípios de ciência da computação e programação.Além do trabalho, Abhinav gosta de tocar guitarra, viajar, explorar novos lugares e aprender sobre sistemas de aviação. Esta história foi distribuída como um lançamento por Sanya Kapoor sob HackerNoon's Business Blogging Program. Esta história foi distribuída como um lançamento por Sanya Kapoor sob HackerNoon's Business Blogging Program. Programa de Blogging de Negócios do HackerNoon
