Comment utiliser Ollama : pratique avec les LLM locaux et création d'un chatbot
Trop long; Pour lire
Dans l'espace des LLM locaux, je suis d'abord tombé sur LMStudio. Bien que l'application elle-même soit facile à utiliser, j'ai aimé la simplicité et la maniabilité offertes par Ollama. Pour en savoir plus sur Ollama, vous pouvez aller ici.
tl;dr : Ollama héberge sa propre liste de modèles auxquels vous avez accès.
Vous pouvez télécharger ces modèles sur votre ordinateur local, puis interagir avec ces modèles via une invite de ligne de commande. Alternativement, lorsque vous exécutez le modèle, Ollama exécute également un serveur d'inférence hébergé sur le port 11434 (par défaut) avec lequel vous pouvez interagir via des API et d'autres bibliothèques comme Langchain.