Comprendre la recherche par IA

Il peut être déroutant d'entendre les sociétés de recherche expliquer comment fonctionnent la recherche et l'IA. Bing a ajouté ChatGPT qui utilise de grands modèles de langage (LLM), mais même avant cela, ils avaient des capacités d'apprentissage en profondeur. Google a récemment annoncé de nouvelles fonctionnalités de recherche d'images et son propre service LLM. Chez Algolia, nous sommes également sur le point d'introduire notre propre technologie alimentée par l'IA qui utilise le hachage neuronal pour mettre à l'échelle la recherche intelligente pour n'importe quelle application. Tous ces termes peuvent prêter à confusion.

Réglons cela en décomposant les technologies impliquées dans la recherche.

Commençons par le début… qu'est-ce que la recherche par mot-clé ?

Les moteurs de recherche par mots clés existent depuis des décennies. Le projet Apache Lucene est l'un des moteurs de recherche open source les plus connus qui offre une fonctionnalité de recherche par mot-clé. Ce type de moteur de recherche utilise des techniques statistiques pour faire correspondre les requêtes aux éléments de l'index. Ils fonctionnent un peu comme l'index à la fin d'un livre en pointant vers tous les endroits du livre où se trouvent les informations. Les technologies de traitement des requêtes telles que la tolérance aux fautes de frappe, la segmentation des mots et la radicalisation sont également utilisées pour aider les moteurs de recherche à digérer et à donner un sens à l'orthographe et à la compréhension des requêtes.

La recherche par mot-clé a tendance à être très rapide et fonctionne bien pour les correspondances exactes entre la requête et le mot-clé. Cependant, ils ont souvent du mal avec les requêtes de longue traîne, les recherches de concepts, les recherches de type question, les synonymes et d'autres expressions où la requête ne correspond pas exactement au contenu de l'index. Pour cette raison, de nombreuses entreprises ont ajouté des fonctionnalités supplémentaires telles que la génération de synonymes IA pour les aider.

Qu'est-ce que la recherche sémantique ?

La recherche sémantique implique de comprendre la signification des mots et des expressions dans une requête de recherche et de renvoyer des résultats sémantiquement liés à la requête. Les moteurs de recherche sémantique utilisent des techniques de traitement du langage naturel (TLN) pour comprendre le sens des mots et des phrases et pour trouver des concepts, des synonymes et d'autres informations connexes qui peuvent être pertinents pour la requête de recherche.

En quoi est-ce différent de la recherche par IA ? La recherche sémantique et la recherche par IA sont-elles la même chose ?

La recherche par IA est un terme général et plus large qui inclut la recherche sémantique ainsi que d'autres techniques d'apprentissage automatique pour fournir des résultats de recherche. La recherche par IA implique généralement plusieurs étapes, notamment le traitement, la récupération et le classement des requêtes.

• Traitement de la requête : cette étape consiste à analyser la requête de l'utilisateur pour comprendre son intention, sa portée et ses contraintes. Le traitement des requêtes peut inclure des tâches telles que l'analyse de la requête en ses éléments constitutifs, la compréhension sémantique des mots-clés et des phrases, la normalisation de la requête dans un format standard, etc.

  
  

• Récupération : Une fois la requête traitée, le système récupère un ensemble de documents ou de données correspondant aux critères de la requête. La recherche par IA utilise généralement des algorithmes d'apprentissage automatique pour déterminer la similarité et mesurer la relation entre les termes afin de fournir des résultats pertinents.

  
  

• Classement : Une fois les documents ou les éléments de données récupérés, le système les classe en fonction de leur pertinence et de leur importance par rapport à la requête de l'utilisateur. Des modèles d'apprentissage au classement tels que l'apprentissage par renforcement sont utilisés pour optimiser en permanence les résultats.

L'IA des moteurs de recherche est-elle différente de l'IA générative ?

ChatGPT d'OpenAI, Bard de Google, Midjourney et d'autres technologies d'IA similaires sont ce qu'on appelle l'IA générative . Ces solutions à usage général tentent de prédire les résultats en fonction des entrées et génèrent en fait une nouvelle réponse. Ils utilisent du texte et du contenu visuel préexistants pour générer quelque chose de nouveau.

D'autre part, les moteurs de recherche peuvent utiliser l'IA pour améliorer les résultats de recherche. Tout comme l'IA générative, l'IA de recherche peut être utilisée pour comprendre les entrées en langage naturel. Contrairement à l'IA générative, les moteurs de recherche ne créent aucun nouveau contenu novateur. Les deux technologies peuvent être utilisées ensemble ou indépendamment. Les technologies d'IA générative peuvent être utilisées pour faciliter la production créative, et la recherche est utilisée pour filtrer et classer les résultats de l'ordre. Une personne à la recherche de nouvelles idées de mode peut demander à un chat bot quelles sont les dernières tendances, obtenir des résultats, puis utiliser la recherche pour trouver des résultats. Ou, vous pouvez utiliser la recherche pour trouver des produits, puis demander au chat d'expliquer les avantages et les inconvénients de chaque résultat.

L'IA de chat générative et l'IA de recherche offrent souvent une meilleure expérience utilisateur grâce à la compréhension du langage naturel.

La recherche par IA utilise-t-elle également les LLM ?

Les grands modèles de langage (LLM) existent depuis un certain temps déjà, mais GPT les a mis à l'honneur. Les LLM sont des modèles d'intelligence artificielle formés pour traiter et générer du texte en langage naturel. Ces modèles sont généralement construits à l'aide de techniques d'apprentissage en profondeur et nécessitent de grandes quantités de données et de ressources informatiques pour la formation. Chez Algolia, nous utilisons également des LLM, mais pour faciliter la compréhension de la machine. Nous utilisons des LLM pour créer des vecteurs que nous pouvons utiliser pour comparer les requêtes aux résultats.

Qu'est-ce que la recherche vectorielle ?

La vectorisation est le processus de conversion des mots en vecteurs (nombres) qui permet d'encoder et de traiter mathématiquement leur signification. Vous pouvez considérer les vecteurs comme des groupes de nombres qui représentent quelque chose. En pratique, les vecteurs sont utilisés pour automatiser les synonymes, regrouper les documents‍, détecter des significations et des intentions spécifiques dans les requêtes et classer les résultats. Les intégrations sont très polyvalentes et d'autres objets, tels que des documents entiers, des images, des vidéos, de l'audio, etc., peuvent également être intégrés.

La recherche vectorielle est un moyen d'utiliser des incorporations de mots (ou des images, des vidéos, des documents, etc.) pour trouver des objets associés qui ont des caractéristiques similaires à l'aide de modèles d'apprentissage automatique qui détectent les relations sémantiques entre les objets dans un index.

Il existe de nombreux algorithmes du plus proche voisin approximatif (ANN) pour calculer la similarité des vecteurs. Des techniques telles que HNSW (Hierarchical Navigable Small World), IVF (Inverted File) ou PQ (Product Quantization, une technique pour réduire le nombre de dimensions d'un vecteur) sont parmi les méthodes ANN les plus populaires pour trouver la similarité entre les vecteurs. Chaque technique se concentre sur l'amélioration d'une propriété de performance particulière, telle que la réduction de la mémoire avec PQ ou des temps de recherche rapides mais précis avec HNSW et IVF. Il est courant de mélanger plusieurs composants pour produire un index « composite » afin d'obtenir des performances optimales pour un cas d'utilisation donné.

L'un des défis pour travailler avec des vecteurs est leur taille. Il s'agit généralement de chaînes très volumineuses qui nécessitent des bases de données spécialisées et une gestion GPU. Le hachage neuronal est un nouveau processus qui utilise des réseaux neuronaux pour compresser les vecteurs afin qu'ils puissent être traités jusqu'à 500 fois plus rapidement que les calculs vectoriels standard et exécutés sur du matériel standard.

Mots clés + vecteurs… Qu'est-ce que la recherche hybride ?

La recherche hybride est la combinaison de la recherche vectorielle avec la recherche par mot-clé. La recherche vectorielle est formidable pour les recherches floues ou larges, mais la recherche par mot-clé reste la règle pour les requêtes précises. Par exemple, lorsque vous recherchez "Adidas" sur un moteur de mots-clés, par défaut, vous ne verrez que la marque Adidas. Le comportement par défaut d'un moteur vectoriel est de renvoyer des résultats similaires - Nike, Puma, Adidas, etc., car ils se trouvent tous dans le même espace conceptuel. La recherche par mot-clé fournit toujours de meilleurs résultats pour les requêtes courtes avec une intention spécifique.

La recherche hybride offre le meilleur des deux mots, offrant rapidité et précision pour les correspondances exactes et les phrases simples, tandis que les vecteurs améliorent les requêtes à longue traîne et ouvrent la porte à de nouvelles solutions de recherche. Chez Algolia, notre solution d'IA hybride — Algolia NeuralSearch — arrive bientôt. En savoir plus .