Os sistemas de recomendação tornaram-se parte integrante e indispensável de nossas vidas. Estes algoritmos inteligentes são fundamentais para moldar as nossas experiências online, influenciando o conteúdo que consumimos, os produtos que compramos e os serviços que exploramos. Quer estejamos transmitindo conteúdo em plataformas como   , descobrindo novas músicas no   ou fazendo compras on-line, os sistemas de recomendação trabalham silenciosamente nos bastidores para personalizar e aprimorar nossas interações. Netflix Spotify  O elemento único destes sistemas de recomendação é a sua capacidade de compreender e prever as nossas preferências com base no comportamento histórico e nos padrões do utilizador. Ao analisar as nossas escolhas anteriores, estes sistemas selecionam sugestões personalizadas, poupando-nos tempo e esforço ao mesmo tempo que nos apresentam conteúdos/produtos que se alinham com os nossos interesses. Isso aumenta a satisfação do usuário e promove a descoberta, apresentando-nos ofertas novas e relevantes que de outra forma não teríamos encontrado.  Em um alto nível, os desenvolvedores entendem que esses algoritmos são alimentados por aprendizado de máquina e sistemas de aprendizado profundo (intercambiavelmente chamados de redes neurais),  mas e se eu disser que existe uma maneira de construir um mecanismo de recomendação sem passar pela dor de implantar seu sistema neural? modelo de aprendizado de máquina ou de rede?  Esta questão é especificamente relevante no contexto de startups em estágio inicial e intermediário porque elas não possuem toneladas de dados estruturados para treinar seus modelos. E como já sabemos, a maioria dos modelos de aprendizado de máquina não fornecerá previsões precisas sem dados de treinamento adequados.  Recentemente, criei e implantei um mecanismo de recomendação básico para um  , o que levou a um salto de 40% em nossas principais métricas. No momento em que escrevo este blog, o sistema gera mais de 30 milhões de recomendações por mês. Embora este sistema de recomendação tenha sido construído para uma rede social, você pode aplicar a arquitetura básica a qualquer caso de uso, como recomendações de produtos, recomendações de músicas, recomendações de conteúdo em plataformas de texto e vídeo ou qualquer outra coisa. Deixe-me começar descrevendo a declaração do problema.   rede social que prioriza a voz  Declaração do problema da perspectiva da engenharia  Eu tive uma extensa  e  pois estávamos construindo o sistema de recomendação de um produto que já é utilizado por milhares de usuários diariamente. Mas para manter este blog curto e direto, escreverei apenas os requisitos de alto nível e depois discutirei a solução para os mesmos. Se você estiver construindo um sistema de recomendação para o seu produto (simples ou baseado em rede neural) e estiver preso em algum lugar, sinta-se à vontade para entrar em contato comigo pelo telefone  ou    e terei o maior prazer em responder às suas perguntas.   documento de requisitos do produto   documento de requisitos de engenharia subsequente   Twitter   Linkedin ,   Em alto nível, tínhamos os seguintes requisitos do ponto de vista da engenharia -  O sistema deve ser capaz de capturar os interesses do usuário na forma de palavras-chave. O sistema também deve ser capaz de classificar o nível de interesse de um usuário por palavras-chave específicas.  O sistema deve ser capaz de capturar o interesse de um usuário em outros usuários. Deve ser capaz de classificar o nível de interesse que um usuário tem no conteúdo criado por outro usuário.  O sistema deve ser capaz de gerar recomendações de alta qualidade com base nos interesses do usuário.  O sistema deve ser capaz de garantir que as recomendações já visualizadas/rejeitadas pelo usuário não reapareçam por X dias.  O   para garantir que as postagens dos mesmos criadores não sejam agrupadas na mesma página. O sistema deve fazer o possível para garantir que se um usuário consumir dez postagens (tamanho de nossa página), todas elas sejam de criadores diferentes. sistema deve ter lógica  O sistema deve ser rápido. Menos de 150 milissegundos de latência P99.  Todos os outros requisitos não funcionais, como alta disponibilidade, escalabilidade, segurança, confiabilidade, facilidade de manutenção, etc., devem ser atendidos.  Novamente, esta é uma lista altamente simplificada de declarações de problemas. Na realidade, os documentos tinham mais de 3.000 palavras, pois também cobriam muitos casos extremos e extremos que podem surgir ao integrar esse mecanismo de recomendação em nossos sistemas existentes. Vamos passar para a solução.  Solução – Funcionamento de alto nível do mecanismo de recomendação  Discutirei as soluções para o problema uma por uma e depois descreverei o funcionamento geral de todo o sistema.   Nosso primeiro problema é capturar os interesses do usuário e definir seu nível de interesse com um interesse específico  Para isso, criamos algo chamado  . Simplificando, um gráfico social armazena os relacionamentos e conexões entre diferentes entidades em uma rede social. Estas entidades podem ser diferentes utilizadores ou uma relação de utilizadores com um interesse específico. Os gráficos sociais são uma forma poderosa de compreender e estruturar os relacionamentos dentro de um sistema específico. Para ser breve, não vou explicar o gráfico social em detalhes, mas recomendo que você pesquise no Google e aprenda mais sobre ele. A seguir está uma versão simplificada do gráfico social que construí para nosso mecanismo de recomendação.    gráfico social  Como você pode ver na imagem acima, estamos armazenando muitas informações, como o número de interações (curtidas, comentários, compartilhamentos) e o tempo recente dessas interações (quando aconteceram pela última vez) como dados de relacionamento entre dois usuários também entre um usuário e um interesse. Estamos até armazenando o relacionamento entre duas palavras-chave de interesses diferentes. eu usei  , um banco de dados gráfico gerenciado pela AWS, para armazenar esse gráfico social. Você pode usar qualquer outro banco de dados gráfico, como   , etc.   Amazon Netuno Neo4j, JanusGraph, ArrangoDB  Essas palavras-chave de interesse são predominantemente substantivos. Existe um sistema que divide o conteúdo de uma postagem nessas palavras-chave (substantivos). É desenvolvido pela   um serviço de processamento de linguagem natural (PNL) que usa aprendizado de máquina para dividir o texto em entidades, frases-chave, etc. Novamente, você pode usar qualquer serviço gerenciado de PNL (vários disponíveis) para fazer o mesmo. Você não precisa aprender ou implantar seus modelos de aprendizado de máquina! Se você já entende de aprendizado de máquina, pode verificar  . AWS Compreender;   modelos de PNL de código aberto também no Huggingface   Nosso segundo problema é gerar recomendações de alta qualidade com base no interesse do usuário  O diagrama a seguir é uma representação simplificada de alto nível de como o sistema funciona.   Embora o que foi dito acima pareça fácil, há muito mais coisas acontecendo em cada etapa, e essas coisas devem ser cuidadosamente pensadas e depois programadas para garantir que o sistema tenha um desempenho ideal.  Deixe-me explicar passo a passo:   Passo 1 – Convertendo o conteúdo da postagem em incorporações vetoriais  Para gerar essas recomendações, primeiro temos que converter o conteúdo de uma postagem em algo chamado -  . Com o recente aumento na marca de LLMs OpenAI(os criadores do ChatGPT) e  , Incorporações de vetores estão se tornando um termo cotidiano. Não entrarei em detalhes sobre o que são e como funcionam, mas recomendo fortemente ler mais sobre eles. Mas a geração de candidatos viáveis para um feed também precisa levar em conta coisas como privacidade e moderação de conteúdo (remoção de palavras obscenas, abusos, conteúdo sexual, assédio, filtragem de usuários bloqueados, etc.).   Incorporações de vetores   Bancos de dados vetoriais  Para gerar os embeddings vetoriais, você pode usar qualquer modelo de incorporação proeminente, como o   ,   ou qualquer modelo de incorporação de texto   , dependendo do seu caso de uso. Optamos pelo   por causa de seu preço amigável, desempenho e facilidade operacional. modelo de incorporação OpenAI Amazon titan de código aberto Amazon Titan   Passo 2 – Consulte o interesse do usuário  Agora, é aqui que as coisas ficam interessantes. Você gostaria de projetar as consultas com base em suas necessidades comerciais específicas. Por exemplo, damos mais peso à atualidade do envolvimento ao consultar interesses do que ao número de envolvimentos com uma palavra-chave ou usuário específico. Também executamos várias consultas paralelas para encontrar diferentes tipos de interesse do usuário - palavra-chave ou outro usuário. Como geramos vários feeds para um único usuário, também executamos algumas consultas promovendo um tópico específico de acordo com a tendência (por exemplo, você verá muitas postagens relacionadas ao Natal perto do Natal ou postagens relacionadas a terremotos se algum terremoto acontecer). Escusado será dizer que este tópico só aparecerá nos resultados da consulta se o usuário tiver manifestado algum interesse nele em sua jornada.  Portanto, escolha a lógica adequada ao seu caso de uso de negócios e ao comportamento que você deseja gerar e execute várias consultas para obter uma lista grande o suficiente de todos os interesses do usuário.   Passo 3 – Faça uma busca na RNA com base nos interesses encontrados  Bancos de dados vetoriais são usados predominantemente para realizar um tipo específico de pesquisa chamado  (ANN). Novamente, a maneira como você categoriza vários interesses e se você está fazendo uma grande pesquisa de RNA ou pesquisas de diferenças paralelas deve ser inteiramente baseada em seu caso de uso e nos requisitos de negócios. Recomendo fazer mais do que pesquisas baseadas em coorte e depois ordenar os resultados (discutiremos isso mais tarde neste blog) para obter a melhor experiência do usuário final. O que a busca da ANN faz, nesse caso, é encontrar outros posts na plataforma que sejam semelhantes (mais próximos) dos interesses do usuário.   Pesquisa aproximada do vizinho mais próximo   Passo 4 - Armazene os resultados em um banco de dados cache com ordenação.  Cache de banco de dados porque um dos problemas que precisamos resolver é a velocidade. Usamos   para armazenar os IDs exclusivos das postagens de um usuário específico. Usamos conjuntos classificados redis porque a ordem das postagens no feed de um usuário é crítica. Além disso, outro problema que você precisa resolver é que o “   para garantir que as postagens dos mesmos criadores não sejam agrupadas na mesma página”. Para evitar a repetição de conteúdo do mesmo criador, escrevemos um algoritmo simples que garante que se a postagem de um criador específico for inserida em qualquer posição do feed de um usuário específico (conjunto classificado), não inseriremos outra postagem do mesmo criador para dez posições sucessivas (temos um tamanho de página de 10 enquanto veiculamos o feed ao usuário final, por isso o mantivemos estático para evitar complexidade). conjuntos classificados  redis sistema deve ter lógica  Para decidir a ordem de uma recomendação específica do usuário, levamos em consideração o seguinte -    : é determinada por uma fórmula aritmética que obtém vários pontos de dados do gráfico social. Tudo isso são dados de engajamento, como o carimbo de data/hora das últimas curtidas criadas, número de curtidas criadas, último comentário, etc. O comportamento de engajamento do usuário é o indicador de seu interesse em algo. A força do relacionamento com um interesse específico (ou outro usuário) deste usuário    para determinar isso, criamos um algoritmo que leva vários fatores, como engajamento, taxas de engajamento por impressão, número de usuários únicos engajados, etc., para gerar uma pontuação de engajamento desse postar em nível de plataforma. A popularidade da postagem na plataforma:  Em alguns feeds, priorizamos a popularidade; em outros, priorizamos o gráfico social. Mas principalmente, todos eles são uma mistura saudável dos dois.  Como funciona o sistema   Como você pode ver no diagrama acima, o sistema foi intencionalmente mantido muito simples. A seguir está como o sistema funciona -  Quando o usuário A cria uma postagem, o serviço de postagem, após salvar essa postagem, aciona um evento pub/sub em uma fila, que é recebido por um serviço em segundo plano destinado à geração de candidatos. Nós usamos  para a funcionalidade pub/sub.   Google Pub/Sub  Este serviço em segundo plano recebe isso de forma assíncrona e executa as funcionalidades discutidas anteriormente - verificações de privacidade, verificações de moderação e geração de palavras-chave e, em seguida, gera os embeddings de vetores e os armazena no banco de dados de vetores. Nós estamos usando  (discutido mais tarde).   AstraDB como nosso banco de dados vetorial  Sempre que um usuário se envolve (curtir/comentar/compartilhar, etc.) após atualizar nosso banco de dados NoSQL principal, o pós-serviço aciona um evento pub/sub para o serviço do mecanismo de recomendação.  Este serviço de mecanismo de recomendação atualiza o banco de dados gráfico e, em seguida, atualiza o feed recomendado do usuário quase em tempo real, realizando a pesquisa de RNA e atualizando o banco de dados Redis. Portanto, quanto mais os usuários interagem, melhor fica o feed.   . Essas verificações são realizadas enquanto consultamos o banco de dados Graph. Este serviço também atualiza a pontuação de engajamento de forma assíncrona. As pontuações de engajamento também são recalculadas de acordo com os usuários que visualizam a postagem. Existem verificações para garantir que as recomendações não sejam tendenciosas para uma lista específica de palavras-chave  Como todas as etapas acima são executadas de forma assíncrona nos bastidores, esses cálculos não têm impacto na experiência do usuário final.  O feed é finalmente servido ao usuário final por meio de um serviço de feed. Como este serviço apenas realiza uma pesquisa no redis e em nosso banco de dados NoSQL principal (  ), sua latência P99 é inferior a 110 milissegundos. Ambos os bancos de dados retornam resultados de consulta com latência de milissegundos de um dígito, independentemente da escala.   DyanmoDB   Ferramentas e tecnologias utilizadas  Alguns serviços foram escritos em  , enquanto outros foram escritos em  (com texto datilografado).   Vá linguagem de programação   NodeJS  Nós estamos usando  como nosso banco de dados vetorial. Chegamos a esta decisão depois de avaliar vários outros bancos de dados, como   e   . Além de seus excelentes recursos de consulta e indexação em vetores e outros tipos de dados, ele oferece um plano de preços sem servidor que cabe no bolso. Ele roda em cima de um mecanismo Cassandra, que usamos como banco de dados em vários outros recursos de nossa plataforma, e oferece uma interface de consulta CQL, que é muito amigável ao desenvolvedor. Eu recomendo fortemente experimentá-lo para seus casos de uso de vetores.   AstraDB por Datastax pinecone, milvus weaviate  Nós usamos  para nossa comunicação assíncrona porque, em nossa escala atual (poucos lakh usuários no total, alguns milhares de usuários ativos diariamente), é altamente econômica. Eu o executei em uma escala de alguns lakh usuários com milhares de eventos por segundo. Funciona bem e é fácil de usar e estender.   Publicação/assinatura do Google  - Velocidade, simplicidade e estrutura de dados poderosa. Acho que não preciso discutir por que redis em 2024.   Redis  - Novamente, é altamente escalável e fácil de usar, e o executamos no modo sem servidor onde, apesar de centenas de milhares de consultas por minuto, nossa conta total é bastante baixa. Ele também oferece recursos de indexação muito poderosos e latência de milissegundos de um dígito em leituras e gravações.   DynamoDB   Problemas a serem resolvidos no futuro  Como você pode imaginar, essa mesma configuração pode ser ajustada para construir um mecanismo de recomendação básico para qualquer caso de uso. Mas, como a nossa rede é social, precisaremos de alguns ajustes no futuro para tornar esse sistema mais eficiente.  Algoritmos de aprendizado de máquina/aprendizado profundo serão necessários no nível do gráfico social para prever as palavras-chave e os usuários mais relevantes para o usuário. Atualmente, o conjunto de dados é muito pequeno para prever algo com precisão, pois se trata de um produto muito novo. No entanto, à medida que os dados crescem, precisaremos substituir as atuais consultas e fórmulas simples pela saída de algoritmos de aprendizado de máquina.  Os relacionamentos entre várias palavras-chave e usuários devem ser ajustados e tornados mais granulares. Eles estão em um nível muito alto agora. Mas eles precisarão ser mais profundos. Precisaremos explorar as relações de segundo e terceiro graus em nosso gráfico para refinar primeiro as recomendações.  Não estamos fazendo nenhum ajuste fino em nossos modelos de incorporação no momento. Precisaremos fazer isso em um futuro próximo.   Nota final  Espero que você tenha achado este blog útil. Se você tiver alguma dúvida, dúvida ou sugestão, não hesite em entrar em contato comigo pelo telefone  ,  ou  . Compartilhe este artigo com seus amigos e colegas.   Twitter   Linkedin   Instagram  Também publicado   . aqui

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Read My Stories

Este áudio é produzido no idioma original da história!

Como construir um mecanismo de recomendação básico sem aprendizado de máquina

About Author

COMENTARIOS

Rótulos

ESTE ARTIGO FOI APRESENTADO EM

Related Stories

Uma breve introdução à teoria do cérebro de Boltzmann

Quer ganhar um concurso de redação do HackerNoon? Aqui está o que os vencedores do concurso #crypto-api recomendam

Valhalla de Floki se junta como patrocinador associado da viagem da Índia ao Sri Lanka

O guia completo para uma migração bem-sucedida para a nuvem: estratégias e práticas recomendadas

Uma breve introdução à teoria do cérebro de Boltzmann

Quer ganhar um concurso de redação do HackerNoon? Aqui está o que os vencedores do concurso #crypto-api recomendam

Valhalla de Floki se junta como patrocinador associado da viagem da Índia ao Sri Lanka

O guia completo para uma migração bem-sucedida para a nuvem: estratégias e práticas recomendadas

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps