Проблема Вызов нескольких LLM требует настройки конкретного поставщика/модели. Даже если вы унифицируете ввод-вывод, вам все равно нужен способ обработки крайних случаев, зависящих от модели/провайдера. Мы столкнулись с этим на прошлой неделе, когда Anthropic сообщила нам, что мы нарушили их политику в отношении контента. С тех пор мы предоставляем нашему сообществу доступ к LLM, таким как Claude-2 и т. д., через наш с открытым исходным кодом. прокси-сервер Проверка запросов через конечную точку модерации OpenAI замедляла бы запросы, поэтому мы хотели запустить это только на моделях Anthropic. if model in ["claude-instant-1", "claude-2"]: # run moderations check return litellm.completion(model, messages) Но подобная условная логика приводит к ошибкам. Мы уже сталкивались с этой проблемой раньше и (библиотека абстракций, упрощающая вызовы API LLM). создали LiteLLM для решения этой проблемы тлдр; Нам нужна была условная логика на нашем сервере. не Нам способ контролировать, для каких моделей/провайдеров выполняется эта проверка. нужен был Решение: файлы конфигурации Наше решение заключалось в том, чтобы LiteLLM эту задачу за нас и управлял ее логикой через файл конфигурации. Это и по-прежнему позволило нам . выполнял удалило условную логику из нашего серверного кода контролировать конкретные детали поставщика/модели Это также позволило нам обрабатывать другие сценарии, такие как ошибки контекстного окна, максимальное количество токенов и т. д. Вот наш полный код: import litellm import os config = { "default_fallback_models": ["gpt-3.5-turbo", "claude-instant-1", "j2-ultra"], "model": { "claude-instant-1": { "needs_moderation": True }, "gpt-3.5-turbo": { "error_handling": { "ContextWindowExceededError": {"fallback_model": "gpt-3.5-turbo-16k"} } } } } # set env var os.environ["OPENAI_API_KEY"] = "sk-litellm-5b46387675a944d2" # [OPTIONAL] replace with your openai key os.environ["ANTHROPIC_API_KEY"] = "sk-litellm-5b46387675a944d2" # [OPTIONAL] replace with your anthropic key sample_text = "how does a court case get to the Supreme Court?" * 1000 messages = [{"content": sample_text, "role": "user"}] response = completion_with_config(model="gpt-3.5-turbo", messages=messages, config=config) print(response) # should be gpt-3.5-turbo-16k Файлы конфигурации в настоящее время управляют: Логика подсказки — выбор правильной модели для заданной подсказки, а также обрезка подсказки, если она больше любой доступной модели. Логика возврата — позволяет вам устанавливать резервные варианты по умолчанию, а также специфичные для модели (например, ошибка контекстного окна выше). Модерация — если провайдер (например, Anthropic) требует от вас модерации ваших запросов. Со временем это будет обрабатывать и другие параметры, специфичные для модели, такие как установка максимального количества токенов, форматирование подсказок и т. д. Идеи/предложения приветствуются! Заключение LiteLLM уже упростил вызов поставщиков LLM, заменив конечную точку OpenAI ChatCompletion. Благодаря файлам конфигурации теперь вы можете добавлять новые модели в производство без изменения какого-либо серверного кода. В целом, LiteLLM — отличный выбор для тех, кто хочет быстро и легко добавлять в производство модели, отличные от OpenAI. Мы активно пытаемся развивать этот проект, поэтому независимо от вашего уровня навыков, мы приветствуем вклад! Откройте проблему, если обнаружите недостающие функции/ошибки или усугубите существующие проблемы. на GitHub, если хотите следить за нашим прогрессом по мере выхода новых обновлений. Отметьте нас

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Этот звук создан на языке оригинала истории!

Конфигурации LiteLLM: надежно звоните более чем 100 LLM

Слишком долго; Читать

@krrish

Credibility

ПОХОЖИЕ ИСТОРИИ