Quando se fala em escalar o comércio eletrônico, o foco costuma estar nos grandes desafios de engenharia: busca distribuída, estoque em tempo real, sistemas de recomendação e otimização do processo de finalização da compra. Mas, por trás disso tudo, existe um problema mais silencioso e persistente com o qual quase todos os varejistas lutam: os valores dos atributos.  Os atributos são a espinha dorsal da descoberta de produtos. Eles alimentam filtros, comparações, classificação de busca e lógica de recomendação. Mas, em catálogos reais, os valores dos atributos raramente são claros. Eles são inconsistentes, duplicados, mal formatados ou semanticamente ambíguos.  Considere algo tão simples quanto   . Você poderá observar: o tamanho  Código  ["XL", "Pequeno", "12cm", "Grande", "M", "P"] ​  Ou   : cor  Código  ["RAL 3020", "Carmesim", "Vermelho", "Vermelho Escuro"] ​  Individualmente, essas inconsistências parecem inofensivas. Mas multiplique-as por mais de 3 milhões de SKUs, cada um com dezenas de atributos, e o problema torna-se sistêmico. Os filtros comportam-se de forma imprevisível, os motores de busca perdem relevância, os profissionais de merchandising sobrecarregam-se com a limpeza manual e a descoberta de produtos torna-se mais lenta e frustrante para os clientes.  Esse foi o desafio que enfrentei como engenheiro de software full-stack na Zoro, um problema fácil de passar despercebido, mas que afetava todas as páginas de produto.  Minha abordagem: IA híbrida encontra o determinismo  Eu não queria uma IA misteriosa e opaca que simplesmente classificasse as coisas. Sistemas assim são difíceis de confiar, depurar ou escalar. Em vez disso, busquei um pipeline que fosse:  explicável  previsível  escalável  controlável por humanos  O resultado foi um pipeline de IA híbrido que combina raciocínio contextual de LLMs com regras claras e controles de merchandising. Ele age de forma inteligente quando necessário, mas sempre permanece previsível. Trata-se de IA com salvaguardas, não de IA fora de controle.  Funções em segundo plano: Construídas para produtividade  Todo o processamento de atributos ocorre em tarefas em segundo plano offline, não em tempo real. Isso não foi uma concessão; foi uma escolha arquitetônica estratégica.  Os fluxos de dados em tempo real parecem atraentes, mas na escala do comércio eletrônico, introduzem:  latência imprevisível  dependências frágeis  picos de computação dispendiosos  fragilidade operacional  Por outro lado, os trabalhos offline nos proporcionaram:  Alto rendimento: processamento de grandes lotes sem afetar os sistemas em funcionamento.  Resiliência: as falhas nunca afetaram o tráfego de clientes.  Controle de custos: o processamento pode ser agendado para horários de baixo tráfego.  Isolamento: a latência do LLM nunca afetou as páginas de produtos.  Consistência: as atualizações eram atômicas e previsíveis.  Manter os sistemas voltados para o cliente separados dos fluxos de processamento de dados é essencial ao trabalhar com milhões de SKUs.  Limpeza e Normalização  Antes de usar IA nos dados, executei uma etapa de pré-processamento clara para remover ruídos e confusões. Essa etapa pode parecer simples, mas melhorou significativamente o raciocínio do modelo de lógica de aprendizagem (LLM).  O sistema de limpeza incluía:  aparar espaços em branco  removendo valores vazios  valores de desduplicação  achatando as migalhas de pão da categoria em uma string contextual  Isso garantiu que o LLM recebesse dados limpos e claros, o que é fundamental para resultados consistentes. Lixo entra, lixo sai. Nessa escala, mesmo pequenos erros podem levar a problemas maiores posteriormente.  Serviço de Mestrado em Direito com Contexto  O LLM não se limitava a ordenar valores alfabeticamente. Ele raciocinava sobre eles.  O serviço recebido:  valores de atributos limpos  categoria migalhas de pão  metadados de atributo  Nesse contexto, o modelo poderia compreender:  Essa "voltagem" em   é numérica. ferramentas elétricas  que o “Tamanho” nas   segue uma progressão conhecida roupas  que a “cor” nas   pode seguir os padrões RAL tintas  que “Material” em   possui relações semânticas Hardware  O modelo retornou:  valores ordenados  nomes de atributos refinados  uma decisão: ordenação determinística ou contextual  Isso permite que o pipeline lide com diferentes tipos de atributos sem a necessidade de codificar regras específicas para cada categoria.  Recurso determinístico  Nem todos os atributos precisam de IA.  Na verdade, muitos atributos são melhor tratados pela lógica determinística.  Intervalos numéricos, valores baseados em unidades e conjuntos simples geralmente se beneficiam de:  processamento mais rápido  ordenação previsível  custo mais baixo  zero ambiguidade  O pipeline detectou automaticamente esses casos e utilizou lógica determinística para resolvê-los. Isso manteve o sistema eficiente e evitou chamadas desnecessárias ao LLM.  Etiquetagem manual versus etiquetagem LLM  Os profissionais de merchandising ainda precisavam de controle, especialmente em relação a atributos sensíveis aos negócios.  Assim, cada categoria poderia ser etiquetada como:  LLM_SORT — deixe o modelo decidir  CLASSIFICAÇÃO_MANUAL — os responsáveis ​​pela comercialização definem a ordem  Esse sistema de dupla etiquetagem permite que as pessoas tomem as decisões finais, enquanto a IA realiza a maior parte do trabalho. Ele também gera confiança, já que os responsáveis ​​pela comercialização podem substituir o modelo quando necessário, sem interromper o fluxo de trabalho.  Persistência e Controle  Todos os resultados foram armazenados diretamente em um banco de dados MongoDB de produtos, mantendo a arquitetura simples e centralizada.  O MongoDB tornou-se o único armazenamento operacional para:  valores de atributos classificados  nomes de atributos refinados  etiquetas de classificação por categoria  campos sortOrder em nível de produto  Isso facilitou a revisão de alterações, a substituição de valores, o reprocessamento de categorias e a sincronização com outros sistemas.  Integração de pesquisa  Após a ordenação, os valores fluíram para:  Elasticsearch para busca orientada por palavras-chave  Vespa para busca semântica e baseada em vetores  Isso garantiu que:  Os filtros apareceram em ordem lógica.  As páginas de produtos exibiam atributos consistentes  Os mecanismos de busca classificaram os produtos com mais precisão.  Os clientes podiam navegar pelas categorias com mais facilidade.  A pesquisa é onde a ordenação por atributos é mais visível e onde a consistência mais importa.  Visão geral da arquitetura   Para que isso funcionasse em milhões de SKUs, projetei um pipeline modular baseado em tarefas em segundo plano, raciocínio de IA e integração de busca. O diagrama de arquitetura abaixo representa o fluxo completo:  Os dados do produto são inseridos a partir do Sistema de Informação do Produto.  A tarefa de Extração de Atributos extrai valores de atributos e contexto de categoria.  Esses dados são encaminhados para o Serviço de Classificação por IA.  Os documentos de produto atualizados são gravados no MongoDB de Produtos.  A tarefa de sincronização de saída atualiza o Sistema de Informações do Produto com a ordem de classificação.  O Elasticsearch e o Vespa Sync Jobs enviam dados classificados para seus respectivos sistemas de busca.  Os serviços de API conectam o Elasticsearch e o Vespa ao aplicativo cliente.  Esse fluxo garante que cada valor de atributo, seja classificado por IA ou definido manualmente, seja refletido na busca, no merchandising e na experiência do cliente.  A solução em ação  Eis como os valores desorganizados foram transformados:  Atributo  Valores brutos  Saída ordenada  Tamanho  XL, Pequeno, 12cm, Grande, M, P  Pequeno, M, Grande, GG, 12 cm  Cor  RAL 3020, Carmim, Vermelho, Vermelho Escuro  Vermelho, Vermelho Escuro, Carmim, Vermelho (RAL 3020)  Material  Aço, Aço Carbono, Aço Inoxidável, Aço Inoxidável  Aço, aço inoxidável, aço carbono  Numérico  5 cm, 12 cm, 2 cm, 20 cm  2 cm, 5 cm, 12 cm, 20 cm  Esses exemplos mostram como o pipeline combina raciocínio contextual com regras claras para criar sequências claras e fáceis de entender.  Por que tarefas offline em vez de processamento em tempo real?  O processamento em tempo real teria introduzido:  latência imprevisível  Custos computacionais mais elevados  dependências frágeis  complexidade operacional  Os trabalhos offline nos proporcionaram:  eficiência do lote  chamadas LLM assíncronas  lógica de repetição e filas de erros  janelas de revisão humana  gastos previsíveis com computação  A desvantagem era um pequeno atraso entre a ingestão e a exibição dos dados, mas o benefício era a consistência em grande escala, algo que os clientes valorizam muito mais.  Impacto  Os resultados foram significativos:  Ordenação consistente de atributos em mais de 3 milhões de SKUs  Classificação numérica previsível por meio de alternativas determinísticas  Controle do merchandising por meio de etiquetagem manual  Páginas de produtos mais limpas e filtros mais intuitivos.  Melhoria na relevância da pesquisa  Maior confiança e conversão do cliente  Essa não foi apenas uma vitória técnica; foi também uma vitória para a experiência do usuário e para a receita.  Lições aprendidas  Pipelines híbridos superam a IA pura em larga escala. Mecanismos de salvaguarda são importantes.  O contexto melhora drasticamente a precisão do LLM.  Tarefas offline são essenciais para a produtividade e a resiliência.  Mecanismos de intervenção humana geram confiança e adoção.  Entradas limpas são a base para resultados de IA confiáveis.  Considerações finais  Ordenar valores de atributos parece simples, mas torna-se um verdadeiro desafio quando se tem de fazê-lo para milhões de produtos.  Ao combinar a inteligência do LLM com regras claras e controle de merchandising, transformei um problema complexo e oculto em um sistema limpo e escalável.  É um lembrete de que algumas das maiores vitórias vêm da solução dos problemas mais banais, aqueles que são fáceis de passar despercebidos, mas que aparecem em todas as páginas de produtos.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Read My Stories

Este áudio é produzido no idioma original da história!

Como utilizei IA para corrigir valores de atributos inconsistentes em larga escala no comércio eletrônico

About Author

COMENTARIOS

Rótulos

ESTE ARTIGO FOI APRESENTADO EM

Related Stories

Quer ganhar um concurso de redação do HackerNoon? Aqui está o que os vencedores do concurso #crypto-api recomendam

O guia completo para uma migração bem-sucedida para a nuvem: estratégias e práticas recomendadas

Vazamento do prompt do sistema Claude Sonnet 3.5: uma análise forense

Liberando o poder da IA. Uma revisão sistemática de técnicas de ponta: resumo e introdução

Quer ganhar um concurso de redação do HackerNoon? Aqui está o que os vencedores do concurso #crypto-api recomendam

O guia completo para uma migração bem-sucedida para a nuvem: estratégias e práticas recomendadas

Vazamento do prompt do sistema Claude Sonnet 3.5: uma análise forense

Liberando o poder da IA. Uma revisão sistemática de técnicas de ponta: resumo e introdução

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps