Cómo utilizar Ollama: práctica con LLM locales y creación de un chatbot
Demasiado Largo; Para Leer
En el espacio de los LLM locales, me encontré por primera vez con LMStudio. Si bien la aplicación en sí es fácil de usar, me gustó la simplicidad y maniobrabilidad que ofrece Ollama. Para conocer más sobre Ollama puedes ingresar aquí.
tl;dr: Ollama alberga su propia lista seleccionada de modelos a los que tienes acceso.
Puede descargar estos modelos a su máquina local y luego interactuar con esos modelos a través de una línea de comando. Alternativamente, cuando ejecuta el modelo, Ollama también ejecuta un servidor de inferencia alojado en el puerto 11434 (de forma predeterminada) con el que puede interactuar mediante API y otras bibliotecas como Langchain.