Pensez à la complexité de générer des réponses de type humain dans les applications de chat en ligne. Comment rendre l'infrastructure efficace et les réponses réalistes ? La solution réside dans les modèles de langage IA. Dans ce guide, nous nous penchons sur la mise en œuvre par a16z-infra du nouveau LLM   de   , un modèle de langage de 13 milliards de paramètres spécialement conçu pour les applications de chat. Ce modèle est hébergé sur Replicate, un service d'hébergement de modèles d'IA qui vous permet d'interagir avec des modèles complexes et puissants avec seulement quelques lignes de code ou un simple appel d'API. llama13b-v2-chat Meta  Dans ce guide, nous expliquerons en quoi consiste le modèle llama13b-v2-chat, comment penser à ses entrées et sorties et comment l'utiliser pour créer des complétions de chat. Nous vous expliquerons également comment trouver des modèles similaires pour améliorer vos applications d'IA à l'aide de   . Passons donc en revue le jargon de l'IA et allons à l'essentiel. AIModels.fyi        ou suivez-moi sur Abonnez-vous Twitter pour plus de contenu comme celui-ci!  À propos du modèle de chat LLaMA-v2  Le modèle   disponible sur Replicate a été créé par l'   et repose sur le nouveau modèle LLaMA v2 de Meta. Meta a créé LLaMA dans le but de mieux comprendre et générer un langage humain, et le modèle de chat que nous examinerons a été encore affiné pour améliorer les interactions entre les utilisateurs humains et les chatbots IA. Avec 13 milliards de paramètres, ce modèle a été considérablement adapté à ce cas d'utilisation spécifique. Vous pouvez trouver plus de détails sur ce modèle et les autres modèles de a16z-infra sur la   sur   . LLaMA13b-v2-chat équipe a16z-infra page du créateur AIModels.fyi  L'implémentation Replicate du modèle llama13b-v2-chat utilise le puissant GPU Nvidia A100 (40 Go) pour les prédictions, avec un temps d'exécution moyen de 7 secondes par prédiction. Son prix est de seulement 0,014 $ par exécution, ce qui le rend largement accessible aux projets ou aux startups à petit budget.  Comprendre les entrées et les sorties du chat LLaMA v2  Comprendre ce qui entre et sort d'un modèle est essentiel pour exploiter efficacement ses capacités. Familiarisons-nous donc avec les entrées et les sorties du modèle.  Contributions  Le modèle accepte les entrées suivantes :    (string) : l'invite à envoyer à Llama v2. prompt    (entier) : nombre maximal de jetons à générer. Gardez à l'esprit qu'un mot est généralement constitué de 2-3 jetons. La valeur par défaut est 500. max_length    (nombre) : Ajuste le caractère aléatoire des sorties. Supérieur à 1 est aléatoire et 0 est déterministe. Une bonne valeur de départ est 0,75. temperature    (nombre) : lors du décodage du texte, il échantillonne à partir du pourcentage supérieur p des jetons les plus probables. Réduisez cette valeur pour ignorer les jetons les moins probables. La valeur par défaut est 1. top_p    (nombre) : Fournit une pénalité pour les mots répétés dans le texte généré. 1 n'est pas une pénalité. Les valeurs supérieures à 1 découragent la répétition, inférieures à 1 l'encouragent. repetition_penalty    (booléen) : utilisé pour fournir une sortie de débogage dans les journaux. debug  Notez que les créateurs du modèle vous recommandent de suivre cette structure lors de la création de votre invite :   User: <your prompt goes here> Assistant:  Par exemple...   User: give me tips on things to do in Maine Assistant:  Sorties du modèle  Le modèle produit la sortie suivante :  Un schéma JSON brut, cataloguant la structure de sortie - un tableau de chaînes à utiliser pour un calcul ultérieur ou une interface utilisateur. Voici un exemple de schéma de sortie :   { "type": "array", "items": { "type": "string" }, "title": "Output", "x-cog-array-type": "iterator", "x-cog-array-display": "concatenate" }  Passons maintenant au détail de l'utilisation de ce modèle.  Utilisation du chat LLaMA v2 pour générer des complétions de chat naturelles  Que vous soyez un novice qui s'essaye au code ou que vous soyez un vétéran chevronné, l'utilisation du modèle llama13b-v2-chat pour créer des complétions de chat réalistes peut être très amusante.    pour interagir avec l'interface du modèle et comprendre son fonctionnement si vous ne faites que jouer et que vous voulez avoir une idée de son fonctionnement. Une fois que vous êtes prêt à l'implémenter dans votre projet, suivez les étapes ci-dessous. Utilisez ce lien de démonstration  Tout d'abord, vous devrez configurer votre environnement en installant le client Node.js :   npm install Replicate  Ensuite, authentifiez votre jeton d'API et définissez-le en tant que variable d'environnement. Ce jeton est personnel et doit donc rester confidentiel :   export REPLICATE_API_TOKEN=r8_******  Ensuite, vous pouvez exécuter le modèle avec le script suivant :   import Replicate from "replicate"; const replicate = new Replicate({ auth: process.env.REPLICATE_API_TOKEN, }); const output = await replicate.run( "a16z-infra/llama13b-v2-chat:df7690f1994d94e96ad9d568eac121aecf50684a0b0963b25a41cc40061269e5", { input: { prompt: "..." } } );  Vous pouvez également définir un webhook à appeler lorsque votre prédiction est terminée. Cela pourrait être bénéfique pour la maintenance des journaux ou la configuration d'alertes automatiques.   const prediction = await replicate.predictions.create({ version: "df7690f1994d94e96ad9d568eac121aecf50684a0b0963b25a41cc40061269e5", input: { prompt: "..." }, webhook: "https://example.com/your-webhook", webhook_events_filter: ["completed"] });  Pour plus de détails, vous pouvez toujours vous référer à la documentation sur   . Replicate  Aller plus loin : trouver d'autres modèles de texte à texte avec  AIModels.fyi  Vous souhaitez découvrir d'autres chatbots pour votre application ? Trouver des modèles similaires à llama13b-v2-chat est facile lorsque vous utilisez   . AIModels.fyi  Voici un guide étape par étape pour vous aider à trouver d'autres modèles d'IA qui répondent à vos besoins spécifiques :  Étape 1 : Visitez  AIModels.fyi  Rendez-vous sur   pour commencer votre exploration. AIModels.fyi  Étape 2 : Utilisez la barre de recherche  Tapez des phrases clés telles que "text-to-text", "language models", etc. Le moteur de recherche fournira une liste de modèles correspondant à votre requête.  Étape 3 : filtrer les résultats  Des filtres pour affiner votre recherche se trouvent sur votre page de résultats de recherche. Vous pouvez filtrer et trier les modèles par type, coût, popularité ou même par créateurs spécifiques. Par exemple, si vous recherchez un modèle de texte à texte économique, vous pouvez trier les modèles par prix pour trouver l'option la moins chère.  Conclusion  Dans ce guide, nous avons exploré le potentiel de LLaMA v2, un modèle de langage riche en fonctionnalités et rentable. C'est l'épine dorsale potentielle de votre prochaine application de chat, alimentant une conversation nuancée et réaliste. Vous savez maintenant comment implémenter ce modèle, comprendre ses entrées/sorties et générer efficacement des complétions de chat pertinentes.  Ces autres guides pourraient vous être utiles pour continuer à approfondir vos connaissances :   Modèles de chat LangChain : un aperçu   Construire un chatbot de support client avec LangChain et DeepInfra : un guide étape par étape  En prenant votre imagination et en la soudant à ces outils d'IA, vous vous lancez dans le vaste univers de l'intelligence artificielle, en créant de nouveaux projets passionnants. Nous sommes ravis de voir où vous irez ensuite. N'oubliez pas de vous abonner pour plus de tutoriels, pour vous tenir au courant des nouveaux modèles d'IA améliorés et nourrir votre créativité pour votre prochain projet d'IA. D'ici là, bonne aventure avec l'IA et n'oubliez pas de dire bonjour sur   . mon twitter        ou suivez-moi sur Abonnez-vous Twitter pour plus de contenu comme celui-ci!

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

This writer has a vested interest be it monetary, business, or otherwise, with 1 or more of the products or companies mentioned within.

Une plongée profonde dans LLaMA v2 pour les applications de chat

About Author

COMMENTAIRES

ÉTIQUETTES

CET ARTICLE A ÉTÉ PARU DANS

Related Stories

Guide de l'architecte pour créer une architecture de référence pour un datalake IA/ML

Comment améliorer votre flux de travail par 10 : 17 applications essentielles

Les couches invisibles : pourquoi les entretiens avec les utilisateurs sont un atout irremplaçable

Créer des produits cryptographiques centrés sur l'utilisateur : l'importance des retours clients

Guide de l'architecte pour créer une architecture de référence pour un datalake IA/ML

Comment améliorer votre flux de travail par 10 : 17 applications essentielles

Les couches invisibles : pourquoi les entretiens avec les utilisateurs sont un atout irremplaçable

Créer des produits cryptographiques centrés sur l'utilisateur : l'importance des retours clients

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps