Esta es la primera parte de una inmersión más profunda en Ollama y lo que he aprendido sobre los LLM locales y cómo se pueden utilizar para aplicaciones basadas en inferencia. En esta publicación, aprenderá sobre: Cómo utilizar Ollama Cómo crear tu propio modelo en Ollama Usando Ollama para construir un chatbot Para comprender los conceptos básicos de los LLM (incluidos los LLM locales), puede consultar mi publicación anterior sobre este tema . aquí Primero, algunos antecedentes En el espacio de los LLM locales, me encontré por primera vez con LMStudio. Si bien la aplicación en sí es fácil de usar, me gustó la simplicidad y maniobrabilidad que ofrece Ollama. Para conocer más sobre Ollama puedes ingresar . aquí tl;dr: Ollama alberga su propia lista seleccionada de modelos a los que tienes acceso. Puede descargar estos modelos a su máquina local y luego interactuar con esos modelos a través de una línea de comando. Alternativamente, cuando ejecuta el modelo, Ollama también ejecuta un servidor de inferencia alojado en el puerto 11434 (de forma predeterminada) con el que puede interactuar mediante API y otras bibliotecas como Langchain. A partir de esta publicación, Ollama tiene 74 modelos, que también incluyen categorías como modelos integrados. Cómo utilizar Ollama Ollama para el sistema operativo de tu elección. Una vez hecho esto, ejecuta el comando para confirmar que está funcionando. Debería mostrarte el menú de ayuda. Descarga ollama Usage: ollama [flags] ollama [command] Available Commands: serve Start ollama create Create a model from a Modelfile show Show information for a model run Run a model pull Pull a model from a registry push Push a model to a registry list List models cp Copy a model rm Remove a model help Help about any command Flags: -h, --help help for ollama -v, --version Show version information Use "ollama [command] --help" for more information about a command. Para usar cualquier modelo, primero debe “sacarlos” de Ollama, de manera muy similar a como lo haría con una imagen de Dockerhub (si lo ha usado en el pasado) o algo como Elastic Container Registry (ECR). Ollama viene con algunos modelos predeterminados (como , que es el LLM de código abierto de Facebook) que puedes ver ejecutándolo. llama2 ollama list Seleccione el modelo (digamos ) con el que le gustaría interactuar desde la . Ahora puede desplegar este modelo ejecutando el comando phi página de la biblioteca de Ollama ollama pull phi Una vez que se completa la descarga, puede verificar si el modelo está disponible localmente ejecutando: ollama list Ahora que el modelo está disponible, está listo para ejecutarse. Puede ejecutar un modelo usando el comando: ollama run phi La precisión de las respuestas no siempre es excelente, pero puede solucionarlo seleccionando diferentes modelos o tal vez haciendo algunos ajustes o implementando una solución similar a RAG por su cuenta para mejorar la precisión. Lo que he demostrado anteriormente es cómo puedes usar los modelos de Ollama usando la línea de comando. Sin embargo, si verifica el servidor de inferencia que Llama está ejecutando, podrá ver que hay formas programáticas de acceder a él presionando el puerto 11434. Si desea utilizar Langchain para acceder a su modelo de Ollama, puede usar algo como: from langchain_community.llms import Ollama from langchain.chains import RetrievalQA prompt = "What is the difference between an adverb and an adjective?" llm = Ollama(model="mistral") qa = RetrievalQA.from_chain_type( llm=llm, chain_type="stuff", retriever=retriever, return_source_documents=True, ) response = qa(prompt) Cómo crear tu propio modelo en Ollama También puedes crear tu propia variante de modelo utilizando el concepto de en Ollama. Para configurar más parámetros en su Modelfile, puede consultar estos documentos. Modelfile Archivo de modelo de ejemplo: # Downloaded from Hugging Face https://huggingface.co/TheBloke/finance-LLM-GGUF/tree/main FROM "./finance-llm-13b.Q4_K_M.gguf" PARAMETER temperature 0.001 PARAMETER top_k 20 TEMPLATE """ {{.Prompt}} """ # set the system message SYSTEM """ You are Warren Buffet. Answer as Buffet only, and do so in short sentences. """ Una vez que tenga el Modelfile, puede crear su modelo usando ollama create arjunrao87/financellm -f Modelfile donde es el nombre de su modelo LLM y sería reemplazado por su nombre de usuario de ollama.com (que también actúa como espacio de nombres de su registro de ollama en línea). En este punto, puedes usar tu modelo creado como cualquier otro modelo en Ollama. financellm arjunrao87 También puede optar por enviar su modelo al registro remoto de ollama. Para que esto suceda, es necesario Crea tu cuenta en ollama.com Agregar un nuevo modelo Configure las claves públicas para permitirle enviar modelos desde su máquina remota. Una vez que haya creado su llm local, puede enviarlo al registro de ollama usando: ollama push arjunrao87/financellm 🦄 Ahora, vayamos a la parte buena. Usando Ollama para construir un chatbot Durante mi búsqueda para utilizar Ollama, uno de los descubrimientos más agradables fue este ecosistema de creadores de aplicaciones web basados en Python que encontré. se puede utilizar para crear un chatbot completo como ChatGPT. Como dice su página, Chainlit Chainlit es un paquete Python de código abierto para crear IA conversacional lista para producción Revisé algunos de los tutoriales de Chainlit para comprender lo que puedes hacer con Chainlit, que incluye cosas como crear secuencias de tareas (llamadas "pasos"), habilitar botones y acciones, enviar imágenes y todo tipo de cosas. Puedes seguir esta parte de mi viaje . aquí Una vez que aprendí a Chainlit, quise armar un chatbot sencillo que básicamente usara Ollama para poder usar un LLM local para chatear (en lugar de decir ChatGPT o Claude). Con menos de 50 líneas de código, puedes hacerlo usando Chainlit + Ollama. ¿No es una locura? Chainlit como biblioteca es muy sencillo de usar. También utilicé Langchain para usar e interactuar con Ollama. from langchain_community.llms import Ollama from langchain.prompts import ChatPromptTemplate import chainlit as cl El siguiente paso es definir cómo desea que se vea la pantalla de carga del chatbot, utilizando el decorador de chainlit — @cl.on_chat_start @cl.on_chat_start async def on_chat_start(): elements = [cl.Image(name="image1", display="inline", path="assets/gemma.jpeg")] await cl.Message( content="Hello there, I am Gemma. How can I help you?", elements=elements ).send() .... .... La interfaz es lo que utiliza Chainlit para enviar respuestas a la interfaz de usuario. Puede construir mensajes con la clave simple y luego puede adornarlos con cosas como que, en mi caso, agregué una para mostrar una imagen cuando el usuario inicia sesión por primera vez. Message content elements Image El siguiente paso es invocar Langchain para crear una instancia de Ollama (con el modelo de su elección) y construir la plantilla de solicitud. El uso de es principalmente para mantener la separación de los contextos e historiales de los usuarios, lo cual no es estrictamente necesario solo para ejecutar una demostración rápida. cl.user_session Chain es una interfaz Langchain llamada que se utiliza para crear cadenas personalizadas. Puedes leer mas al respecto . Runnable aquí @cl.on_chat_start async def on_chat_start(): .... .... model = Ollama(model="mistral") prompt = ChatPromptTemplate.from_messages( [ ( "system", "You are a knowledgeable historian who answers super concisely", ), ("human", "{question}"), ] ) chain = prompt | model cl.user_session.set("chain", chain) Ahora tiene todas las piezas para tener una interfaz de usuario de chatbot y aceptar entradas de usuarios. ¿Qué haces con las indicaciones que proporciona el usuario? Utilizará el controlador de Chainlit para hacer algo con el mensaje proporcionado por el usuario. @cl.on_message @cl.on_message async def on_message(message: cl.Message): chain = cl.user_session.get("chain") msg = cl.Message(content="") async for chunk in chain.astream( {"question": message.content}, ): await msg.stream_token(chunk) await msg.send() como sugieren los documentos "transmitir fragmentos de la respuesta asíncrona", que es lo que queremos para nuestro bot. chain.astream Eso es realmente todo. Unas cuantas importaciones, un par de funciones, un poco de azúcar y tendrás un chatbot funcional. Para ver el código completo, puedes ver mi . GitHub Si este contenido es interesante para usted, presione el botón 👏 o suscríbase a mi boletín aquí → . ¡Me da la información de que necesito hacer más o menos algo! Gracias ❤️ https://a1engineering.beehiiv.com/subscribe También publicado aquí
