Vicuna : Comment se compare-t-il à Llama, Alpaca et ChatGPT ?

En tant que fondateur d'une startup d'IA, vous savez probablement à quel point les grands modèles de langage comme ChatGPT ont eu un impact sur l'avancement de l'IA conversationnelle.

Cependant, avec les coûts de licence commerciale, les problèmes de censure, les performances dégradées, les problèmes de confidentialité et les boîtes noires, ces modèles propriétaires restent hors de portée pour de nombreuses startups.

C'est là qu'intervient un projet open source appelé Vicuna. Développé par une équipe de chercheurs d'institutions comme Stanford, Vicuna est un modèle conversationnel open source atteignant plus de 90% de la qualité de ChatGPT. Cela en fait une alternative intéressante aux modèles fermés comme le GPT-4.

Abonnez-vous ou suivez-moi sur Twitter pour plus de contenu comme celui-ci!

Dans cet article, nous explorerons ce qu'est Vicuna, son fonctionnement, ses capacités et comment vous pourrez peut-être en tirer parti en tant que fondateur de l'IA. Nous verrons comment cela se compare à des concurrents comme ChatGPT et le modèle de base LLaMA.

Je partagerai également quelques conseils et guides utiles que vous pouvez suivre pour plus d'informations sur des aspects spécifiques du modèle.

Nous nous concentrerons sur Vicuna-13b pour cet article, mais il existe de nombreux modèles de Vicuna de différentes tailles que vous pouvez essayer. Commençons!

Remarque : Vicuna n'est pas le seul modèle à affiner LLaMA pour le chat. Consultez nos guides sur l'utilisation de LLaMA v2 , Alpaca et LLaMA-v2-chat pour les applications conversationnelles.

Un aperçu de la vigogne

Dans le monde de l'IA conversationnelle, nous avons vu des progrès étonnants récemment avec des modèles comme ChatGPT démontrant des capacités de langage naturel remarquables. Cependant, en tant que modèle propriétaire avec tous les problèmes décrits ci-dessus, ChatGPT reste une mauvaise option pour de nombreux développeurs.

Il y a donc un besoin de modèles plus accessibles et ouverts qui peuvent favoriser l'innovation dans les applications conversationnelles.

C'est là qu'intervient Vicuna. Développée par des chercheurs d'institutions de premier plan telles que Stanford, Berkeley et MBZUAI, Vicuna représente une IA conversationnelle ouverte de pointe.

Il a été créé en affinant le modèle LLaMA sur des données de dialogue organisées, démontrant la puissance de l'apprentissage par transfert à partir d'un modèle de base open source.

Bien qu'il soit plus petit que ChatGPT, Vicuna correspond à sa qualité conversationnelle et surpasse considérablement les autres modèles ouverts.

Mais il ne s'agit pas seulement de la technologie avec Vicuna. Ce qui le rend vraiment percutant, c'est sa disponibilité sous une licence de recherche non commerciale. Cela ouvre l'accès à une IA conversationnelle de pointe qui était auparavant réservée aux seules grandes entreprises technologiques.

Nous avons enfin un modèle ouvert qui peut alimenter la prochaine génération de chatbots, d'assistants virtuels, de moteurs de recherche conversationnels et d'autres applications innovantes.

La promesse de Vicuna a déjà été démontrée par des projets sympas qui en tirent parti. Par exemple, MiniGPT4 a utilisé Vicuna pour créer un assistant virtuel intelligent, LLaVA a créé un moteur de recherche conversationnel avec lui, et ToolLLaMA exploite les capacités de Vicuna pour la création de contenu en langage naturel.

Et, bien sûr, vous pourrez un jour ajouter votre propre projet à cette liste !

Pour les développeurs d'IA et les startups, Vicuna représente une nouvelle opportunité passionnante. Sa capacité élevée, sa disponibilité gratuite et sa licence de recherche permissive permettent un prototypage rapide d'applications conversationnelles.

Au lieu d'être bloquées par l'accès à des modèles propriétaires, les startups peuvent désormais valider et créer des produits avec une IA conversationnelle de pointe. Le terrain de jeu vient d'être nivelé.

Donc, en résumé, Vicuna promet de démocratiser l'accès à l'intelligence conversationnelle de haut niveau. Son émergence représente une étape importante dans la création de modèles d'IA ouverts qui favorisent l'innovation.

Pour toute startup cherchant à tirer parti de l'IA conversationnelle, Vicuna est définitivement un projet auquel il convient de prêter attention !

Comment la vigogne a-t-elle été créée ? Qu'est-ce qui le rend spécial ?

L'histoire de Vicuna commence avec LLaMA, un modèle de langage open source développé par Meta AI. Bien que capable, LLaMA n'avait aucune capacité de conversation inhérente, se concentrant principalement sur le langage lui-même plutôt que sur l'art de la conversation.

Des chercheurs d'institutions telles que Stanford, Berkeley et MBZUAI ont entrepris de changer cela. Leur objectif était de créer un modèle conversationnel open source rivalisant avec les chatbots propriétaires comme ChatGPT.

Au fait, quelle est la différence entre un modèle d'IA formé pour traiter et analyser du texte (comme LLaMA) et un modèle spécialisé pour le chat (comme Vicuna) ? Il y a quelques facteurs clés qui différencient les deux :

• Architecture - Les modèles conversationnels comme Vicuna ont une structure encodeur-décodeur optimisée pour le dialogue. L'encodeur contextualise l'historique des conversations et la saisie actuelle de l'utilisateur. Le décodeur génère alors une réponse pertinente. Les modèles de langage généraux comme LLaMA n'ont pas cette architecture spécialisée.

• Objectif de formation - Des modèles comme Vicuna sont affinés pour maximiser les performances spécifiquement sur les tâches conversationnelles. Cela implique une formation sur les ensembles de données de dialogue pour optimiser les métriques conversationnelles. LLaMA est formé plus généralement pour le texte, pas spécialisé pour le dialogue.

• Capacités multi-tours - Les modèles conversationnels doivent gérer les conversations multi-tours, en maintenant le contexte et la cohérence entre plusieurs échanges. Les modèles de texte généraux évaluent une entrée à la fois.

• Interactivité - L'IA conversationnelle doit interagir de manière fluide avec les utilisateurs, en répondant aux questions de suivi et aux clarifications. L'évaluation de texte est plus passive et manque d'interactivité pour l'utilisateur.

• Évaluation - Les modèles conversationnels nécessitent une évaluation plus complexe au-delà des métriques textuelles, testant des qualités telles que la cohérence, la nuance et la capacité à gérer avec élégance les réponses inappropriées.

Alors qu'un modèle de langage général comme LLaMA se concentre davantage sur l'analyse et la génération textuelles, sans les exigences spécifiques aux agents de dialogue, l'objectif de l'IA conversationnelle est fondamentalement plus complexe que l'évaluation passive de texte.

À cette fin, les chercheurs qui ont créé Vicuna ont affiné LLaMA sur plus de 70 000 échanges de dialogue humain-ChatGPT, en spécialisant le modèle de conversation et en lui enseignant les caractéristiques naturelles du texte dans des contextes conversationnels.

Cette mise au point était cruciale pour donner à leur version de LLaMA l'intelligence conversationnelle qui lui manquait auparavant. Grâce à une formation itérative sur les données de dialogue, LLaMA a été transformé en Vicuna, un transformateur encodeur-décodeur optimisé pour les conversations multitours.

Dans quelle mesure leurs efforts ont-ils fonctionné ?

Dans l'arène : évaluation de la vigogne par rapport aux modèles d'IA de chat alternatifs

Pour évaluer les capacités de Vicuna, les chercheurs l'ont testé sur 200 invites de conversation diverses. Pour une évaluation plus approfondie, ils ont demandé au modèle GPT-4 de juger comparativement les réponses de Vicuna.

Les résultats ont démontré que Vicuna atteignait plus de 90 % de la qualité de ChatGPT en matière de capacité conversationnelle, malgré sa taille réduite. Il a nettement surpassé le modèle LLaMA original.

En combinant des optimisations d'architecture avec des ajustements spécialisés sur les données de dialogue humain, les chercheurs ont réussi à améliorer LLaMA en un modèle conversationnel open source comparable aux chatbots propriétaires.

Jetons un coup d'œil à un test en tête-à-tête à titre d'exemple, tiré du site officiel du projet .

Exemple de défi en tête-à-tête entre Vicuna et des modèles concurrents, dans ce cas, en utilisant ChatGPT-3.5 comme alternative potentielle.

Le site du projet contient une collection d'exemples de tâches, dans lesquelles Vicuna-13b et les modèles concurrents sont invités à s'affronter. Le modèle GPT-4 est ensuite utilisé comme juge pour noter chaque modèle et énoncer son raisonnement.

Cela produit des comparaisons vraiment révélatrices. Un exemple est fourni dans l'image ci-dessus. Un autre est ce défi, illustré ci-dessous:

• Catégorie : Jeu de rôle
• Question : Comment vous présenteriez-vous en tant que chevalier médiéval lors d'un banquet royal ?

Réponse de LLaMA-13b :

"Je suis un vaillant chevalier, fidèle au roi. Je ferai tout mon possible pour défendre son honneur et protéger son pays. (Boiteux ! Noté 7/10 par GPT-4, très généreux à mon avis.)"

Vigogne-13b :

**"**En tant que chevalier médiéval, je me présentais lors d'un banquet royal avec une profonde révérence et un discours respectueux, reconnaissant mes humbles origines et ma loyauté envers la couronne. Je dirais quelque chose comme :

"Mes seigneurs et mesdames, je suis un humble chevalier, juré de servir et de protéger le royaume. Je viens d'une longue lignée de guerriers qui se sont battus pour défendre ce royaume pendant des générations. Je suis honoré d'être ici aujourd'hui, en présence de compagnie si estimée, et j'espère gagner votre confiance et votre respect par mes actes et mes actions. Je mets mon épée, mon bouclier et ma vie au service de mon roi et de mon peuple.

Je prendrais alors place au banquet, prêt à écouter et à apprendre des sages conseils de mes supérieurs, et à les servir de toutes les manières possibles."

Waouh ! Bien meilleure réponse de Vicuna. Voici le raisonnement de GPT-4 expliquant ce qui fait de Vicuna une alternative supérieure à LLaMA.

L'assistant 1 [LLaMA] a fourni une réponse brève et pertinente, mais il manquait les détails et la formalité attendus dans l'introduction d'un chevalier médiéval. L'assistant 2 [Vicuna] , quant à lui, a offert une réponse plus complète et bien structurée, y compris un discours respectueux qui a mis en valeur l'humilité, la loyauté et le dévouement du chevalier envers le royaume. Cette réponse était plus adaptée au contexte d'un banquet royal et démontrait une meilleure compréhension du rôle et de l'étiquette du chevalier médiéval.

Bien que les LLM ne soient pas des juges infaillibles des autres LLM, les humains non plus. Je pense que l'utilisation de l'IA pour juger et évaluer l'IA est un moyen assez évolutif et cohérent de décider quelles alternatives sont les meilleures.

Vous devriez consulter certaines des réponses et tâches des autres concurrents sur le site LMSYS.org .

Essayons nous-mêmes : comment créer un chatbot de base avec Vicuna

Maintenant que nous avons vu comment le modèle se compare à certaines alternatives, voyons comment nous pouvons créer un chatbot simple avec lequel nous pouvons interagir depuis notre ligne de commande. Les étapes du guide fourni ici peuvent être encore développées afin que vous puissiez continuer et créer votre propre chatbot pour votre projet d'IA !

Étape 1 : Configuration

Installez Node.js : Assurez-vous que Node.js est installé sur votre système.

Créez un répertoire de projet : exécutez ce qui suit dans votre terminal :

 mkdir my-chatbot cd my-chatbot npm init -y npm install replicate

Définissez votre jeton API : remplacez your_api_token_here par votre jeton API :

 export REPLICATE_API_TOKEN=your_api_token_here

Étape 2 : Écrire le code du chatbot

Créez un fichier nommé chatbot.js et ajoutez le code suivant :

 const Replicate = require("replicate"); const replicate = new Replicate({ auth: process.env.REPLICATE_API_TOKEN, }); async function generateResponse(prompt) { const output = await replicate.run( "replicate/vicuna-13b:version_hash_here", { input: { prompt: prompt }, } ); return output.items[0]; } const readline = require('readline'); const rl = readline.createInterface({ input: process.stdin, output: process.stdout }); function askQuestion() { rl.question('You: ', async (userInput) => { const botResponse = await generateResponse(userInput); console.log(`Bot: ${botResponse}`); askQuestion(); }); } askQuestion();

Remplacez version_hash_here par le hachage de version correct pour le modèle Vicuna 13b.

Étape 3 : Exécuter le chatbot

Exécutez le chatbot en exécutant :

 node chatbot.js

Vous pouvez désormais envoyer un message à votre chatbot via la ligne de commande !

Vous ne souhaitez pas créer votre propre chatbot ? Vous pouvez utiliser cette démo pour évaluer les performances de Vicuna.

La page des détails du modèle pour Vicuna-13b-v1.3 comprend quelques démos que vous pouvez utiliser pour jouer avec le modèle. En voici un intégré à essayer (vous pouvez également utiliser ce lien pour y accéder s'il n'est pas disponible sur le lien ci-dessous).

Cette démo, construite par zeno-ml, vous permet de comparer des modèles et des paramètres supplémentaires pour voir les performances de Vicuna par rapport à des concurrents tels que LLaMA, GPT2 et MPT tout en faisant également varier la température ou d'autres paramètres.

Les limites de Vicuna

Alors que les technologies conversationnelles ont progressé rapidement, les modèles sont toujours confrontés à des défis importants.

• L'un des problèmes est l'ancrage des connaissances. Les agents conversationnels manquent de connaissances factuelles suffisantes, ce qui les rend sujets à des réponses plausibles mais incorrectes. Plus d'ancrage dans le monde réel pourrait améliorer la précision.

• Les capacités de raisonnement sont un autre domaine à améliorer. Effectuer un raisonnement logique, une inférence causale et des opérations mathématiques reste difficile pour les chatbots. Leurs capacités de raisonnement sont encore limitées.

• L'évaluation de la qualité conversationnelle des systèmes d'IA à grande échelle pose également des difficultés. Les solutions actuelles comme demander à un juge IA séparé ont des défauts. L'élaboration de cadres d'évaluation rigoureux est un problème ouvert.

• De plus, les biais et les problèmes de sécurité persistent en raison de la dépendance à des données de formation imparfaites. Les modèles conversationnels peuvent parfois se comporter de manière inappropriée ou dangereuse. Une meilleure conservation des données de formation est importante.

• Adapter les chatbots à des utilisateurs et à des cas d'utilisation spécifiques s'avère également difficile. Plus de personnalisation et de personnalisation sont nécessaires pour différents domaines. Vous ne pouvez pas le faire facilement.

Bien que de grands progrès aient été réalisés, ces limitations mettent en évidence les principaux domaines d'amélioration.

Faire progresser l'ancrage des connaissances, le raisonnement, l'évaluation, les données de formation, la personnalisation et l'efficacité du déploiement pourrait permettre le prochain niveau d'intelligence conversationnelle avec des modèles comme Vicuna.

Conclusion : Utilisation de Vicuna AI comme alternative open source à ChatGPT, LLaMA et autres LLM

Le développement de Vicuna démontre des progrès prometteurs dans la promotion de l'IA conversationnelle open source.

En affinant l'architecture du modèle LLaMA et la méthodologie de formation spécifiquement pour les applications de dialogue, les chercheurs ont pu créer un agent conversationnel disponible gratuitement et compétitif avec les principales alternatives propriétaires.

Cependant, il reste du travail à faire pour remédier aux limites liées au raisonnement, à l'évaluation, à la personnalisation et à d'autres domaines. Alors que des modèles comme Vicuna obtiennent de bons résultats sur de nombreux points de repère, ils ne reproduisent pas entièrement une conversation humaine complète.

Les recherches en cours sur l'alignement de ces modèles seront importantes.

Néanmoins, Vicuna représente un pas en avant précieux dans la démocratisation de l'accès à l'intelligence conversationnelle de pointe.

Pour les startups et les développeurs qui créent des chatbots, des assistants et d'autres applications, les options open source comme Vicuna offrent des fonctionnalités bienvenues sans licence commerciale restrictive.

Les origines et les détails techniques de Vicuna offrent des informations utiles sur les approches de formation spécialisées pour l'IA conversationnelle. Au fur et à mesure que la recherche se poursuit, nous pouvons nous attendre à voir d'autres innovations qui s'appuient sur ces méthodes.

Les auteurs derrière Vicuna ont apporté une contribution importante à l'open source d'un tel agent de dialogue capable.

Bien que des progrès supplémentaires soient encore nécessaires, Vicuna démontre les résultats significatifs qui peuvent découler du développement de modèles de conversation ouverts. Pour la communauté de l'IA, cela représente une étape prometteuse, pas la destination finale.

Avec un travail continu sur l'avancement de ces technologies, le potentiel à venir reste passionnant.

Abonnez-vous ou suivez-moi sur Twitter pour plus de contenu comme celui-ci!

Lectures complémentaires et ressources

Vous trouverez peut-être ces autres articles utiles dans votre quête pour créer le chatbot ultime pour votre nouveau produit ou projet.

• Détails du modèle Vicuna-13b - Un aperçu de Vicuna avec des informations de base sur le modèle
• Construire des chatbots avec Vicuna-13B - Un article sur l'utilisation de Vicuna pour créer des chatbots
• Comparaison des LLM pour le chat : LLaMA v2 vs Vicuna - Une comparaison entre la nouvelle version 2 de LLaMA et Vicuna
• Modèles de chat LangChain : un aperçu - LangChain est un cadre populaire pour la création d'applications de chat

Également publié ici