Cómo instalar PrivateGPT: una instancia similar a ChatGPT local sin necesidad de Internet

La imagen principal de este artículo fue generada porAI Image Generator de HackerNoon a través del mensaje "un robot que usa una computadora de escritorio antigua".

Hay algo nuevo en el espacio de la IA. En esta publicación, lo guiaré a través del proceso de instalación y configuración de PrivateGPT.

¿Qué es PrivateGPT?

Una poderosa herramienta que le permite consultar documentos localmente sin necesidad de una conexión a Internet. Ya sea que sea un investigador, un desarrollador o simplemente tenga curiosidad por explorar las herramientas de consulta de documentos, PrivateGPT proporciona una solución eficiente y segura. ¡Este tutorial acompaña un video de Youtube, donde puede encontrar una demostración paso a paso del proceso de instalación!

requisitos previos:

• Python 3.10 o posterior instalado en su sistema o entorno virtual

• Conocimientos básicos sobre el uso de la interfaz de línea de comandos (CLI/Terminal)

• Git instalado

  
  

Primero, creemos un entorno virtual. Puede crear una carpeta en su escritorio. En la captura de pantalla a continuación, puede ver que creé una carpeta llamada 'blog_projects'. Abra la línea de comando desde esa carpeta o navegue a esa carpeta usando la terminal/Línea de comando. Siga los pasos a continuación para crear un entorno virtual.

1. Crea un entorno virtual:

• Abra su terminal y navegue hasta el directorio deseado.
• Ejecute el siguiente comando para crear un entorno virtual (reemplace myenv con su nombre preferido):

python3 -m venv mienv

El nombre de su entorno virtual será 'myenv'

2. Activar el entorno virtual:

• En macOS y Linux, use el siguiente comando:

fuente myenv/bin/activar

• En Windows, use el siguiente comando:

myenv\Scripts\activar

3. Ejecute el comando git clone para clonar el repositorio:

clon de git https://github.com/imartinez/privateGPT.git

Al crear y activar el entorno virtual antes de clonar el repositorio, nos aseguramos de que las dependencias del proyecto se instalarán y administrarán dentro de este entorno. Esto ayuda a mantener un entorno de desarrollo limpio y aislado específico para este proyecto.

Después de clonar el repositorio, puede proceder a instalar las dependencias del proyecto y comenzar a trabajar en el proyecto dentro del entorno virtual activado.

Luego copie el repositorio de código de Github y vaya a su directorio o carpeta donde desea que viva su proyecto. Abra la terminal o navegue hasta su carpeta desde la línea de comandos.

Una vez que todo se carga, puede ejecutar el comando de requisitos de instalación para instalar las dependencias necesarias.

• Navegue hasta el directorio donde desea instalar PrivateGPT.

CD <NOMBRE DE LA CARPETA>

• Ejecute el siguiente comando para instalar las dependencias requeridas:

pip install -r requisitos.txt

• A continuación, descargue el modelo LLM y colóquelo en un directorio de su elección. El modelo predeterminado es 'ggml-gpt4all-j-v1.3-groovy.bin', pero si prefiere un modelo diferente compatible con GPT4All-J, puede descargarlo y consultarlo en su archivo .env.

• Cambie el nombre del archivo 'example.env' a '.env' y edite las variables apropiadamente.

Establezca la variable 'MODEL_TYPE' en 'LlamaCpp' o 'GPT4All', según el modelo que esté utilizando.

• Establezca la variable 'PERSIST_DIRECTORY' en la carpeta donde desea que se almacene su tienda de vectores.
• Establezca la variable 'MODEL_PATH' en la ruta de su modelo LLM compatible con GPT4All o LlamaCpp.
• Establezca la variable 'MODEL_N_CTX' en el límite de token máximo para el modelo LLM.
• Establezca la variable 'EMBEDDINGS_MODEL_NAME' en el nombre del modelo de incrustaciones de SentenceTransformers (consulte https://www.sbert.net/docs/pretrained_models.html ).

Asegúrese de crear una carpeta de modelos en su proyecto para colocar el modelo que descargó.

PrivateGPT viene con un conjunto de datos de muestra que utiliza un "estado de la transcripción de la unión" como ejemplo. Sin embargo, también puede ingerir su propio conjunto de datos. Déjame enseñarte como.

1. Coloque todos sus archivos en el directorio 'source_documents'.
2. Asegúrese de que sus archivos tengan una de las extensiones admitidas: CSV, Documento de Word (docx, doc), EverNote (enex), Correo electrónico (eml), EPub (epub), Archivo HTML (html), Markdown (md), Mensaje de Outlook ( msg), texto de documento abierto (odt), formato de documento portátil (PDF), documento de PowerPoint (pptx, ppt), archivo de texto (txt).
3. Ejecute el siguiente comando para ingerir todos los datos:

python ingesta.py

¡Perfecto! El proceso de ingesta de datos está completo. ¡Ahora, pasemos al siguiente paso!

Si tiene este error: cannot import name 'DEFAULT_CIPHERS' from 'urllib3.util.ssl_' , use este comando: python -m pip install requests "urllib3<2"

Algo clave para mencionar, SI AGREGAR NUEVOS DOCUMENTOS A SU SOURCE_DOCS, debe volver a ejecutar 'python ingest.py'

-------------------------------------------------- -------------

Hacer preguntas a su servidor de documentos:

Ahora viene la parte emocionante: hacer preguntas a sus documentos usando PrivateGPT. Déjame mostrarte cómo se hace.

1. Abra su terminal o símbolo del sistema.
2. Navegue hasta el directorio donde instaló PrivateGPT.

[directorio del proyecto 'privateGPT', si escribe ls en su CLI, verá el archivo READ.ME, entre algunos archivos.]

• Ejecute el siguiente comando:

python GPT privado.py

1. Espere a que el script le solicite una entrada.
2. Cuando se le solicite, ingrese su pregunta.
   

Trucos y consejos:

• Use python privategpt.py -s [ para eliminar las fuentes de su salida. Entonces, en lugar de mostrar la respuesta y la fuente, solo mostrará la fuente]
• En la línea 33, al final del comando donde ve 'verbose=false', ingrese 'n threads=16' que utilizará más potencia para generar texto a un ritmo más rápido.
  

Pensamientos finales de PrivateGPT

• Esto es excelente para cualquier persona que quiera comprender documentos complejos en su computadora local.
• Esto es excelente para datos privados que no desea filtrar externamente.
• Esto es particularmente bueno para los estudiantes, las personas nuevas en una industria, cualquier persona que esté aprendiendo sobre impuestos o cualquier persona que esté aprendiendo algo complicado que necesite ayuda para comprender.
• Sin embargo, el tiempo de espera puede ser de 30 a 50 segundos o incluso más porque lo está ejecutando en su computadora local.