Das Problem Der Aufruf mehrerer LLMs erfordert anbieter-/modellspezifische Konfigurationen. Selbst wenn Sie die E/A vereinheitlichen, benötigen Sie immer noch eine Möglichkeit, modell-/anbieterspezifische Randfälle zu handhaben. Wir waren letzte Woche damit konfrontiert, als Anthropic uns mitteilte, dass wir gegen ihre Inhaltsrichtlinien verstoßen hatten. Seitdem bieten wir unserer Community über unseren Open-Source- Zugriff auf LLMs wie Claude-2 usw. Proxyserver Das Überprüfen von Abfragen über den OpenAI-Moderationsendpunkt würde die Abfragen verlangsamen, daher wollten wir dies nur auf den Modellen von Anthropic ausführen. if model in ["claude-instant-1", "claude-2"]: # run moderations check return litellm.completion(model, messages) Eine solche bedingte Logik führt jedoch zu Fehlern. Wir hatten genau dieses Problem schon einmal und haben (Abstraktionsbibliothek, die LLM-API-Aufrufe vereinfacht). LiteLLM entwickelt, um dieses Problem für uns zu lösen tldr; Wir wollten bedingte Logik auf unserem Server. keine Wir eine Möglichkeit zu kontrollieren, für welche Modelle/Anbieter diese Prüfung durchgeführt wurde. brauchten Die Lösung: Konfigurationsdateien Unsere Lösung bestand darin, LiteLLM dies für uns zu lassen und seine Logik über eine Konfigurationsdatei zu steuern. Dadurch und wir konnten weiterhin . erledigen wurde die bedingte Logik aus unserem Servercode entfernt anbieter-/modellspezifische Details steuern Dadurch konnten wir auch andere Szenarien wie Kontextfensterfehler, maximale Tokenanzahl usw. bewältigen. Hier ist unser vollständiger Code: import litellm import os config = { "default_fallback_models": ["gpt-3.5-turbo", "claude-instant-1", "j2-ultra"], "model": { "claude-instant-1": { "needs_moderation": True }, "gpt-3.5-turbo": { "error_handling": { "ContextWindowExceededError": {"fallback_model": "gpt-3.5-turbo-16k"} } } } } # set env var os.environ["OPENAI_API_KEY"] = "sk-litellm-5b46387675a944d2" # [OPTIONAL] replace with your openai key os.environ["ANTHROPIC_API_KEY"] = "sk-litellm-5b46387675a944d2" # [OPTIONAL] replace with your anthropic key sample_text = "how does a court case get to the Supreme Court?" * 1000 messages = [{"content": sample_text, "role": "user"}] response = completion_with_config(model="gpt-3.5-turbo", messages=messages, config=config) print(response) # should be gpt-3.5-turbo-16k Konfigurationsdateien verwalten derzeit: Eingabeaufforderungslogik – Auswahl des richtigen Modells für eine bestimmte Eingabeaufforderung sowie Kürzung einer Eingabeaufforderung, wenn sie größer als jedes verfügbare Modell ist Fallback-Logik – Sie können sowohl Standard-Fallbacks als auch modellspezifische festlegen (z. B. den Kontextfensterfehler oben). Moderationen – wenn ein Anbieter (z. B. Anthropic) von Ihnen verlangt, Ihre Anfragen zu moderieren Im Laufe der Zeit werden dadurch auch andere modellspezifische Parameter wie das Festlegen der maximalen Token, die Eingabeaufforderungsformatierung usw. behandelt . Ideen/Vorschläge sind willkommen! Abschluss LiteLLM hat bereits das Aufrufen von LLM-Anbietern vereinfacht, mit einem Drop-in-Ersatz für den OpenAI ChatCompletion-Endpunkt. Mit Konfigurationsdateien können Sie jetzt neue Modelle in der Produktion hinzufügen, ohne serverseitigen Code zu ändern. Insgesamt ist LiteLLM eine ausgezeichnete Wahl für alle, die schnell und einfach Nicht-OpenAI-Modelle in die Produktion integrieren möchten. Wir versuchen aktiv, dieses Projekt auszubauen, daher freuen wir uns über Beiträge, unabhängig von Ihrem Kenntnisstand! Öffnen Sie ein Problem, wenn Sie fehlende Funktionen/Fehler finden oder zu bestehenden Problemen beitragen. auf GitHub, wenn Sie unsere Fortschritte verfolgen möchten, sobald neue Updates verfügbar sind. Markieren Sie uns
