问题 调用多个 LLM 涉及提供商/模型特定的配置。即使您统一了 I/O，您仍然需要一种方法来处理特定于模型/提供商的边缘情况。 上周，当 Anthropic 告诉我们我们违反了他们的内容政策时，我们就遇到了这个问题。此后，我们通过我们的开源 为社区提供对 Claude-2 等 LLM 的访问。 代理服务器 通过 OpenAI 审核端点检查查询会减慢查询速度，因此我们只想在 Anthropic 的模型上运行它。   if model in ["claude-instant-1", "claude-2"]: # run moderations check return litellm.completion(model, messages) 但像这样的条件逻辑会导致错误。我们之前就遇到过这个问题，并 （简化 LLM API 调用的抽象库）。 构建了 LiteLLM 来为我们解决这个问题 太棒了； 我们 在我们的服务器上使用条件逻辑。 不想 我们 一种方法来控制运行此检查的模型/提供商。 需要 解决方案：配置文件 我们的解决方案是让 LiteLLM 为我们 这个问题，并通过配置文件控制它的逻辑。这 ，并且仍然允许我们 。 处理 从我们的服务器代码中删除了条件逻辑 控制提供者/模型的特定细节 这也使我们能够处理其他场景，例如上下文窗口错误、最大令牌等。 这是我们的完整代码：   import litellm import os config = { "default_fallback_models": ["gpt-3.5-turbo", "claude-instant-1", "j2-ultra"], "model": { "claude-instant-1": { "needs_moderation": True }, "gpt-3.5-turbo": { "error_handling": { "ContextWindowExceededError": {"fallback_model": "gpt-3.5-turbo-16k"} } } } } # set env var os.environ["OPENAI_API_KEY"] = "sk-litellm-5b46387675a944d2" # [OPTIONAL] replace with your openai key os.environ["ANTHROPIC_API_KEY"] = "sk-litellm-5b46387675a944d2" # [OPTIONAL] replace with your anthropic key sample_text = "how does a court case get to the Supreme Court?" * 1000 messages = [{"content": sample_text, "role": "user"}] response = completion_with_config(model="gpt-3.5-turbo", messages=messages, config=config) print(response) # should be gpt-3.5-turbo-16k 配置文件当前管理： 提示逻辑 - 为给定提示选择正确的模型，以及在提示大于任何可用模型时修剪提示 回退逻辑 - 让您设置默认回退以及特定于模型的回退（例如上面的上下文窗口错误）。 审核 - 如果提供商（例如 Anthropic）要求您审核您的请求 随着时间的推移，这将处理其他特定于模型的参数，例如设置最大标记、提示格式等。 欢迎提出想法/建议！ 结论 LiteLLM 已经简化了对 LLM 提供商的调用，并可直接替代 OpenAI ChatCompletion 的端点。 通过配置文件，它现在可以让您在生产中添加新模型，而无需更改任何服务器端代码。 总体而言，对于任何希望在生产中快速轻松地添加非 OpenAI 模型的人来说，LiteLLM 是一个绝佳的选择。 我们正在积极努力发展这个项目，因此无论您的技术水平如何，我们都欢迎您的贡献！如果您发现缺少的功能/错误或对现有问题有贡献，请提出问题。如果您想在新更新到来时关注我们的进展，请在 GitHub 上给 。 我们加星标

Read My Stories

該音頻是用故事的原始語言製作的！

LiteLLM 配置：可靠地调用 100 多个 LLM

About Author

註釋

標籤

这篇文章刊登在

Related Stories

Claude Sonnet 3.5 系统提示泄漏：法医分析

加密货币增长：创建有效的用户角色

扬帆起航：利用数据湖开发生产级 RAG 应用程序

架构师指南：构建 AI/ML 数据湖参考架构

Claude Sonnet 3.5 系统提示泄漏：法医分析

加密货币增长：创建有效的用户角色

扬帆起航：利用数据湖开发生产级 RAG 应用程序

架构师指南：构建 AI/ML 数据湖参考架构

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps