Это первая часть более глубокого погружения в Олламу и то, что я узнал о местных LLM и о том, как их можно использовать для приложений, основанных на логических выводах. В этом посте вы узнаете о — Как использовать Олламу Как создать свою модель в Олламе Использование Ollama для создания чат-бота Чтобы понять основы LLM (включая местные LLM), вы можете обратиться к моему предыдущему сообщению на эту тему . здесь Сначала немного предыстории Среди местных LLM я впервые столкнулся с LMStudio. Хотя приложение само по себе простое в использовании, мне понравилась простота и маневренность, которые обеспечивает Ollama. Чтобы узнать больше об Олламе, вы можете пойти . сюда tl;dr: У Ollama есть собственный список моделей, к которым у вас есть доступ. Вы можете загрузить эти модели на свой локальный компьютер, а затем взаимодействовать с ними через командную строку. В качестве альтернативы, когда вы запускаете модель, Оллама также запускает сервер вывода, размещенный на порту 11434 (по умолчанию), с которым вы можете взаимодействовать посредством API и других библиотек, таких как Langchain. На момент написания этой публикации у Олламы было 74 модели, включая такие категории, как встраивание моделей. Как использовать Олламу Ollama для выбранной вами ОС. Как только вы это сделаете, вы запустите команду , чтобы убедиться, что она работает. Он должен показать вам меню помощи — Загрузите ollama Usage: ollama [flags] ollama [command] Available Commands: serve Start ollama create Create a model from a Modelfile show Show information for a model run Run a model pull Pull a model from a registry push Push a model to a registry list List models cp Copy a model rm Remove a model help Help about any command Flags: -h, --help help for ollama -v, --version Show version information Use "ollama [command] --help" for more information about a command. Чтобы использовать любую модель, вам сначала нужно «вытащить» ее из Ollama, так же, как вы извлекаете образ из Dockerhub (если вы использовали его раньше) или чего-то вроде Elastic Container Registry (ECR). Ollama поставляется с некоторыми моделями по умолчанию (например, , LLM с открытым исходным кодом Facebook), которые вы можете увидеть, запустив. llama2 ollama list Выберите модель (скажем, ), с которой вы хотели бы взаимодействовать, на . Теперь вы можете снять эту модель, выполнив команду phi странице библиотеки Ollama ollama pull phi После завершения загрузки вы можете проверить, доступна ли модель локально, запустив — ollama list Теперь, когда модель доступна, она готова к использованию. Запустить модель можно командой — ollama run phi Точность ответов не всегда на высшем уровне, но вы можете решить эту проблему, выбрав разные модели или, возможно, выполнив некоторую точную настройку или самостоятельно внедрив решение, подобное RAG, для повышения точности. Выше я продемонстрировал, как можно использовать модели Олламы с помощью командной строки. Однако, если вы проверите сервер вывода, на котором работает Llama, вы увидите, что существуют программные способы доступа к нему, нажав порт 11434. Если вы хотите использовать Langchain для доступа к вашей модели Олламы, вы можете использовать что-то вроде — from langchain_community.llms import Ollama from langchain.chains import RetrievalQA prompt = "What is the difference between an adverb and an adjective?" llm = Ollama(model="mistral") qa = RetrievalQA.from_chain_type( llm=llm, chain_type="stuff", retriever=retriever, return_source_documents=True, ) response = qa(prompt) Как создать свою собственную модель в Ollama Вы также можете создать свой собственный вариант модели, используя концепцию в Ollama. Дополнительные параметры для настройки в файле модели можно найти в этой документации. Modelfile Пример файла модели — # Downloaded from Hugging Face https://huggingface.co/TheBloke/finance-LLM-GGUF/tree/main FROM "./finance-llm-13b.Q4_K_M.gguf" PARAMETER temperature 0.001 PARAMETER top_k 20 TEMPLATE """ {{.Prompt}} """ # set the system message SYSTEM """ You are Warren Buffet. Answer as Buffet only, and do so in short sentences. """ Получив файл модели, вы можете создать свою модель, используя ollama create arjunrao87/financellm -f Modelfile — это имя вашей модели LLM, а будет заменено вашим именем пользователя ollama.com (которое также выступает в качестве пространства имен вашего онлайн-реестра ollama). На этом этапе вы можете использовать созданную модель, как и любую другую модель на Ollama. financellm arjunrao87 Вы также можете отправить свою модель в удаленный реестр ollama. Чтобы это произошло, вам нужно Создайте свою учетную запись на сайте ollama.com. Добавить новую модель Настройте открытые ключи, чтобы вы могли отправлять модели с удаленного компьютера. После того, как вы создали свой локальный llm, вы можете отправить его в реестр ollam, используя — ollama push arjunrao87/financellm 🦄 А теперь перейдем к хорошему. Использование Ollama для создания чат-бота Во время моего стремления использовать Ollama одним из наиболее приятных открытий стала экосистема разработчиков веб-приложений на основе Python, с которой я столкнулся. можно использовать для создания полноценного чат-бота, такого как ChatGPT. Как говорится на их странице, Chainlit Chainlit — это пакет Python с открытым исходным кодом для создания готового к использованию диалогового искусственного интеллекта. Я просмотрел несколько руководств по Chainlit, чтобы понять, что можно делать с Chainlit, что включает в себя такие вещи, как создание последовательностей задач (называемых «шагами»), включение кнопок и действий, отправка изображений и многое другое. За этой частью моего путешествия вы можете следить . здесь Как только я освоил Chainlit, я захотел собрать простого чат-бота, который в основном использовал бы Ollama, чтобы я мог использовать местный LLM для общения (вместо, скажем, ChatGPT или Claude). Имея менее 50 строк кода, вы можете сделать это с помощью Chainlit + Ollama. Разве это не безумие? Библиотеку Chainlit очень просто использовать. Я также использовал Langchain для использования и взаимодействия с Ollama. from langchain_community.llms import Ollama from langchain.prompts import ChatPromptTemplate import chainlit as cl Следующий шаг — определить, как должен выглядеть экран загрузки чат-бота, используя декоратор Chainlit — @cl.on_chat_start @cl.on_chat_start async def on_chat_start(): elements = [cl.Image(name="image1", display="inline", path="assets/gemma.jpeg")] await cl.Message( content="Hello there, I am Gemma. How can I help you?", elements=elements ).send() .... .... Интерфейс — это то, что Chainlit использует для отправки ответов обратно в пользовательский интерфейс. Вы можете создавать сообщения с помощью простого ключа , а затем украшать их такими , как в моем случае, я добавил , чтобы показывать изображение при первом входе пользователя в систему. Message content elements Image Следующим шагом является вызов Langchain для создания экземпляра Ollama (с моделью по вашему выбору) и создание шаблона приглашения. Использование в основном предназначено для поддержания разделения пользовательских контекстов и историй, что не является строго необходимым только для запуска быстрой демонстрации. cl.user_session Chain — это интерфейс Langchain под названием , который используется для создания пользовательских цепочек. Подробнее об этом можно прочитать . Runnable здесь @cl.on_chat_start async def on_chat_start(): .... .... model = Ollama(model="mistral") prompt = ChatPromptTemplate.from_messages( [ ( "system", "You are a knowledgeable historian who answers super concisely", ), ("human", "{question}"), ] ) chain = prompt | model cl.user_session.set("chain", chain) Теперь у вас есть все необходимое для создания пользовательского интерфейса чат-бота и приема вводимых пользователем данных. Что вы делаете с подсказками, которые предоставляет пользователь? Вы будете использовать обработчик из Chainlit, чтобы что-то сделать с сообщением, предоставленным пользователем. @cl.on_message @cl.on_message async def on_message(message: cl.Message): chain = cl.user_session.get("chain") msg = cl.Message(content="") async for chunk in chain.astream( {"question": message.content}, ): await msg.stream_token(chunk) await msg.send() поскольку в документации предлагается «асинхронно передавать фрагменты ответа», это то, что мы хотим для нашего бота. chain.astream Это действительно так. Немного импорта, пара функций, немного сахара — и у вас есть функциональный чат-бот. Полный код вы можете посмотреть на моем . GitHub Если этот контент вам интересен, нажмите кнопку 👏 или подпишитесь на мою рассылку здесь → . Это дает мне обратную связь о том, что мне нужно сделать что-то больше или меньше! Спасибо ❤️ https://a1engineering.beehiiv.com/subscribe Также опубликовано здесь
