Comment installer PrivateGPT : une instance locale de type ChatGPT sans connexion Internet requise

L'image principale de cet article a été générée parle générateur d'images AI de HackerNoon via l'invite "un robot utilisant un ancien ordinateur de bureau"

Il y a quelque chose de nouveau dans l'espace de l'IA. Dans cet article, je vais vous expliquer le processus d'installation et de configuration de PrivateGPT.

Qu'est-ce que PrivateGPT ?

Un outil puissant qui vous permet d'interroger des documents localement sans avoir besoin d'une connexion Internet. Que vous soyez chercheur, développeur ou simplement curieux d'explorer les outils d'interrogation de documents, PrivateGPT fournit une solution efficace et sécurisée. Ce tutoriel accompagne une vidéo Youtube, où vous pouvez trouver une démonstration étape par étape du processus d'installation !

Conditions préalables:

• Python 3.10 ou version ultérieure installé sur votre système ou votre environnement virtuel

• Connaissance de base de l'utilisation de l'interface de ligne de commande (CLI/Terminal)

• Git installé

  
  

Commençons par créer un environnement virtuel. Vous pouvez créer un dossier sur votre bureau. Dans la capture d'écran ci-dessous, vous pouvez voir que j'ai créé un dossier appelé "blog_projects". Ouvrez la ligne de commande à partir de ce dossier ou accédez à ce dossier à l'aide du terminal/ligne de commande. Suivez les étapes ci-dessous pour créer un environnement virtuel.

1. Créez un environnement virtuel :

• Ouvrez votre terminal et accédez au répertoire souhaité.
• Exécutez la commande suivante pour créer un environnement virtuel (remplacez myenv par votre nom préféré) :

python3 -m venv monenv

Le nom de votre environnement virtuel sera 'myenv'

2. Activez l'environnement virtuel :

• Sur macOS et Linux, utilisez la commande suivante :

source monenv/bin/activer

• Sous Windows, utilisez la commande suivante :

monenv\Scripts\activate

3. Exécutez la commande git clone pour cloner le dépôt :

git clone https://github.com/imartinez/privateGPT.git

En créant et en activant l'environnement virtuel avant de cloner le référentiel, nous nous assurons que les dépendances du projet seront installées et gérées dans cet environnement. Cela permet de maintenir un environnement de développement propre et isolé spécifique à ce projet.

Après avoir cloné le référentiel, vous pouvez procéder à l'installation des dépendances du projet et commencer à travailler sur le projet dans l'environnement virtuel activé.

Ensuite, copiez le référentiel de code de Github et accédez à votre répertoire ou dossier où vous souhaitez que votre projet vive. Ouvrez le terminal ou accédez à votre dossier à partir de la ligne de commande.

Une fois que tout est chargé, vous pouvez exécuter la commande install requirements pour installer les dépendances nécessaires.

• Accédez au répertoire dans lequel vous souhaitez installer PrivateGPT.

CD <NOM DU DOSSIER>

• Exécutez la commande suivante pour installer les dépendances requises :

pip install -r exigences.txt

• Ensuite, téléchargez le modèle LLM et placez-le dans un répertoire de votre choix. Le modèle par défaut est "ggml-gpt4all-j-v1.3-groovy.bin", mais si vous préférez un autre modèle compatible GPT4All-J, vous pouvez le télécharger et le référencer dans votre fichier .env.

• Renommez le fichier 'example.env' en '.env' et modifiez les variables de manière appropriée.

Définissez la variable "MODEL_TYPE" sur "LlamaCpp" ou "GPT4All", selon le modèle que vous utilisez.

• Définissez la variable 'PERSIST_DIRECTORY' sur le dossier dans lequel vous souhaitez stocker votre magasin de vecteurs.
• Définissez la variable 'MODEL_PATH' sur le chemin de votre modèle LLM pris en charge par GPT4All ou LlamaCpp.
• Définissez la variable « MODEL_N_CTX » sur la limite maximale de jetons pour le modèle LLM.
• Définissez la variable 'EMBEDDINGS_MODEL_NAME' sur le nom du modèle d'intégration SentenceTransformers (reportez-vous à https://www.sbert.net/docs/pretrained_models.html ).

Assurez-vous de créer un dossier de modèles dans votre projet pour placer le modèle que vous avez téléchargé.

PrivateGPT est livré avec un exemple d'ensemble de données qui utilise un "état de la transcription de l'union" comme exemple. Cependant, vous pouvez également ingérer votre propre ensemble de données. Laisse moi te montrer comment.

1. Mettez tous vos fichiers dans le répertoire 'source_documents'.
2. Assurez-vous que vos fichiers ont l'une des extensions prises en charge : CSV, Word Document (docx, doc), EverNote (enex), Email (eml), EPub (epub), HTML File (html), Markdown (md), Outlook Message ( msg), Open Document Text (odt), Portable Document Format (PDF), PowerPoint Document (pptx, ppt), Text file (txt).
3. Exécutez la commande suivante pour ingérer toutes les données :

python ingérer.py

Parfait! Le processus d'ingestion des données est terminé. Maintenant, passons à l'étape suivante !

Si vous avez cette erreur : cannot import name 'DEFAULT_CIPHERS' from 'urllib3.util.ssl_' , utilisez cette commande : python -m pip install requests "urllib3<2"

Élément clé à mentionner, SI VOUS AJOUTEZ DE NOUVEAUX DOCUMENTS À VOS SOURCE_DOCS, vous devez réexécuter 'python ingest.py'

-------------------------------------------------- --------------

Poser des questions à votre hébergeur de documents :

Vient maintenant la partie passionnante : poser des questions à vos documents à l'aide de PrivateGPT. Laissez-moi vous montrer comment c'est fait.

1. Ouvrez votre terminal ou invite de commande.
2. Accédez au répertoire dans lequel vous avez installé PrivateGPT.

[répertoire du projet 'privateGPT', si vous tapez ls dans votre CLI, vous verrez le fichier READ.ME, parmi quelques fichiers.]

• Exécutez la commande suivante :

python privateGPT.py

1. Attendez que le script vous invite à entrer.
2. Lorsque vous y êtes invité, saisissez votre question !
   

Trucs et astuces :

• Utilisez python privategpt.py -s [ pour supprimer les sources de votre sortie. Ainsi, au lieu d'afficher la réponse et la source, il n'affichera que la source]
• A la ligne 33, à la fin de la commande où vous voyez 'verbose=false', ' entrez 'n threads=16' qui utilisera plus de puissance pour générer du texte plus rapidement !
  

Réflexions finales sur PrivateGPT

• C'est idéal pour tous ceux qui souhaitent comprendre des documents complexes sur leur ordinateur local.
• C'est idéal pour les données privées que vous ne voulez pas divulguer à l'extérieur.
• Ceci est particulièrement intéressant pour les étudiants, les personnes qui découvrent une industrie, toute personne qui apprend les impôts ou toute personne qui apprend quelque chose de compliqué dont elle a besoin d'aide pour comprendre.
• Cependant, le temps d'attente peut être de 30 à 50 secondes, voire plus, car vous l'exécutez sur votre ordinateur local.