ये 13 छुपी हुई ओपन-सोर्स लाइब्रेरीज़ आपको AI जादूगर बनने में मदद करेंगी 🧙‍♂️🪄

मैं पिछले 4 वर्षों से एआई अनुप्रयोगों का निर्माण कर रहा हूं और कुछ समय से प्रमुख एआई टूलिंग प्लेटफार्मों में योगदान दे रहा हूं। इस अवधि में, मैंने निर्माण के लिए कई उपकरणों और रूपरेखाओं का उपयोग किया है; एआई एजेंट जो वास्तव में वास्तविक दुनिया में काम करते हैं। एआई एजेंटों के लिए उपकरण. अंत-से-अंत आरएजी अनुप्रयोग. मैंने ओपन-सोर्स टूल्स और फ्रेमवर्क की एक प्रतिष्ठित सूची तैयार की है जो आपको मजबूत और विश्वसनीय AI एप्लिकेशन तैयार करने में मदद करेगी। बेझिझक उनके GitHub रिपॉजिटरी का पता लगाएं, अपने पसंदीदा में योगदान दें, और रिपॉजिटरी को स्टार देकर उनका समर्थन करें। 1. 👑 - विश्वसनीय एजेंट 10 गुना तेजी से बनाएं कम्पोसियो मैंने कई एजेंट बनाने की कोशिश की है, और ईमानदारी से कहूँ तो, हालांकि उन्हें बनाना आसान है, लेकिन उन्हें सही तरीके से तैयार करना पूरी तरह से अलग काम है। वास्तव में काम करने वाले कुशल AI एजेंट बनाने के लिए कुशल टूलसेट की आवश्यकता होती है। यहीं पर कॉम्पोसियो की भूमिका आती है। कम्पोज़ियो आपको AI वर्कफ़्लो को पूरा करने के लिए मजबूत टूल और एकीकरण के साथ अपने AI एजेंटों को बढ़ाने की सुविधा देता है। वे पायथन और जावास्क्रिप्ट के लिए मूल समर्थन प्रदान करते हैं। पायथन निम्नलिखित कमांड से आरंभ करें। pip pip install composio-core GitHub एकीकरण जोड़ें. composio add github कंपोज़ियो आपकी ओर से उपयोगकर्ता प्रमाणीकरण और प्राधिकरण को संभालता है। यहाँ बताया गया है कि आप रिपॉजिटरी शुरू करने के लिए GitHub एकीकरण का उपयोग कैसे कर सकते हैं। from openai import OpenAI from composio_openai import ComposioToolSet, App openai_client = OpenAI(api_key="******OPENAIKEY******") # Initialise the Composio Tool Set composio_toolset = ComposioToolSet(api_key="**\\*\\***COMPOSIO_API_KEY**\\*\\***") ## Step 4 # Get GitHub tools that are pre-configured actions = composio_toolset.get_actions(actions=[Action.GITHUB_ACTIVITY_STAR_REPO_FOR_AUTHENTICATED_USER]) ## Step 5 my_task = "Star a repo ComposioHQ/composio on GitHub" # Create a chat completion request to decide on the action response = openai_client.chat.completions.create( model="gpt-4-turbo", tools=actions, # Passing actions we fetched earlier. messages=[ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": my_task} ] ) एजेंट का उपयोग करके दिए गए निर्देश को निष्पादित करने के लिए इस पायथन स्क्रिप्ट को चलाएँ। जावास्क्रिप्ट आप इसे , , या उपयोग करके इंस्टॉल कर सकते हैं। npm yarn pnpm npm install composio-core उपयोगकर्ता को अपना GitHub खाता कनेक्ट करने देने के लिए एक विधि परिभाषित करें. import { OpenAI } from "openai"; import { OpenAIToolSet } from "composio-core"; const toolset = new OpenAIToolSet({ apiKey: process.env.COMPOSIO_API_KEY, }); async function setupUserConnectionIfNotExists(entityId) { const entity = await toolset.client.getEntity(entityId); const connection = await entity.getConnection('github'); if (!connection) { // If this entity/user hasn't already connected, the account const connection = await entity.initiateConnection(appName); console.log("Log in via: ", connection.redirectUrl); return connection.waitUntilActive(60); } return connection; } OpenAI SDK में आवश्यक उपकरण जोड़ें, और इकाई नाम को फ़ंक्शन पर पास करें। executeAgent async function executeAgent(entityName) { const entity = await toolset.client.getEntity(entityName) await setupUserConnectionIfNotExists(entity.id); const tools = await toolset.get_actions({ actions: ["github_activity_star_repo_for_authenticated_user"] }, entity.id); const instruction = "Star a repo ComposioHQ/composio on GitHub" const client = new OpenAI({ apiKey: process.env.OPEN_AI_API_KEY }) const response = await client.chat.completions.create({ model: "gpt-4-turbo", messages: [{ role: "user", content: instruction, }], tools: tools, tool_choice: "auto", }) console.log(response.choices[0].message.tool_calls); await toolset.handle_tool_call(response, entity.id); } executeGithubAgent("joey") कोड निष्पादित करें और एजेंट को अपना काम करने दें। कंपोज़ियो लैंगचेन, लामाइंडेक्स, क्रूएआई आदि जैसे प्रसिद्ध फ्रेमवर्क के साथ काम करता है। अधिक जानकारी के लिए आधिकारिक देखें, और जटिल उदाहरणों के लिए रिपॉजिटरी के अनुभाग देखें। दस्तावेज़ उदाहरण Composio.dev रिपोजिटरी को स्टार करें ⭐ 2. जुलेप - स्टेटफुल एजेंट बनाने के लिए फ्रेमवर्क एआई अनुप्रयोगों का विकास करना, विशेषकर ऐसे अनुप्रयोगों का विकास करना जिनमें दीर्घकालिक स्मृति की आवश्यकता होती है, महत्वपूर्ण चुनौतियां प्रस्तुत करता है। जूलप इस समस्या का समाधान कर रहा है। यह उत्पादन-तैयार स्टेटफुल एआई एजेंट बनाने के लिए एक ओपन-सोर्स फ्रेमवर्क है। वे एक अंतर्निहित राज्य प्रबंधन प्रणाली प्रदान करते हैं जो कुशल संदर्भ भंडारण और पुनर्प्राप्ति में मदद करता है। संदर्भ भंडारण वार्तालाप की निरंतरता बनाए रखने में मदद करता है, तथा यह सुनिश्चित करता है कि AI के साथ बातचीत समय के साथ सुसंगत और प्रासंगिक बनी रहे। निम्नलिखित कमांड से आरंभ करें। pip pip install julep यहाँ दिया गया है कि यह कैसे काम करता है। from julep import Client from pprint import pprint import textwrap import os base_url = os.environ.get("JULEP_API_URL") api_key = os.environ.get("JULEP_API_KEY") client = Client(api_key=api_key, base_url=base_url) #create agent agent = client.agents.create( name="Jessica" model="gpt-4", tools=[] # Tools defined here ) #create a user user = client.users.create( name="Anon", about="Average nerdy tech bro/girl spending 8 hours a day on a laptop, ) #create a session situation_prompt = """You are Jessica. You're a stuck-up Cali teenager. You basically complain about everything. You live in Bel-Air, Los Angeles and drag yourself to Curtis High School when necessary. """ session = client.sessions.create( user_id=user.id, agent_id=agent.id, situation=situation_prompt ) #start a conversation user_msg = "hey. what do u think of Starbucks?" response = client.sessions.chat( session_id=session.id, messages=[ { "role": "user", "content": user_msg, "name": "Anon", } ], recall=True, remember=True, ) print("\n".join(textwrap.wrap(response.response[0][0].content, width=100))) वे जावास्क्रिप्ट का भी समर्थन करते हैं। अधिक जानकारी के लिए उनके देखें। दस्तावेज़ जूलप रिपोजिटरी को स्टार करें ⭐ 3. E2B - AI ऐप्स के लिए कोड इंटरप्रिटिंग यदि मैं कोड निष्पादन क्षमताओं के साथ एक एआई ऐप बना रहा हूं, जैसे कि एआई ट्यूटर या एआई डेटा विश्लेषक, तो E2B का कोड इंटरप्रेटर मेरा पसंदीदा टूल होगा। E2B सैंडबॉक्स AI एजेंटों और ऐप्स के लिए एक सुरक्षित क्लाउड वातावरण है। यह AI को मनुष्यों के समान ही उपकरणों, जैसे GitHub रिपॉजिटरी और क्लाउड ब्राउज़र का उपयोग करके, लंबी अवधि तक सुरक्षित रूप से चलने की अनुमति देता है। वे पायथन और जावास्क्रिप्ट/टाइपस्क्रिप्ट के लिए मूल कोड इंटरप्रेटर SDK प्रदान करते हैं। कोड इंटरप्रेटर SDK आपको AI कोड निष्पादन के लिए एक सुरक्षित छोटे VM - में AI-जनरेटेड कोड चलाने की अनुमति देता है। सैंडबॉक्स के अंदर एक जुपिटर सर्वर है जिसे आप उनके SDK से नियंत्रित कर सकते हैं। E2B सैंडबॉक्स निम्नलिखित कमांड के साथ E2B आरंभ करें। npm i @e2b/code-interpreter एक प्रोग्राम निष्पादित करें. import { CodeInterpreter } from '@e2b/code-interpreter' const sandbox = await CodeInterpreter.create() await sandbox.notebook.execCell('x = 1') const execution = await sandbox.notebook.execCell('x+=1; x') console.log(execution.text) // outputs 2 await sandbox.close() E2B के साथ काम करने के तरीके के बारे में अधिक जानकारी के लिए, उनके आधिकारिक देखें। दस्तावेज़ E2B रिपोजिटरी को स्टार करें ⭐ 4. कैमल-एआई - संचारी एआई सिस्टम बनाएं स्केलेबल मल्टी-एजेंट सहयोगी प्रणालियों का समाधान करने से एआई अनुप्रयोगों के निर्माण में कई संभावनाएं खुल सकती हैं। कैमल इसके लिए अच्छी स्थिति में है। यह एक ओपन-सोर्स फ्रेमवर्क है जो मल्टी-एजेंट सिस्टम के सहकारी व्यवहार और क्षमताओं का अध्ययन करने के लिए एक स्केलेबल दृष्टिकोण प्रदान करता है। यदि आप एक मल्टी-एजेंट सिस्टम बनाने का इरादा रखते हैं, तो कैमल ओपन-सोर्स परिदृश्य में उपलब्ध सर्वोत्तम विकल्पों में से एक हो सकता है। इसे के साथ इंस्टॉल करके आरंभ करें. pip pip install camel-ai कैमल का उपयोग कैसे करें, यहां बताया गया है। from camel.messages import BaseMessage as bm from camel.agents import ChatAgent sys_msg = bm.make_assistant_message( role_name='stone', content='you are a curious stone wondering about the universe.') #define agent agent = ChatAgent( system_message=sys_msg, message_window_size=10, # [Optional] the length of chat memory ) # Define a user message usr_msg = bm.make_user_message( role_name='prof. Claude Shannon', content='what is information in your mind?') # Sending the message to the agent response = agent.step(usr_msg) # Check the response (just for illustrative purposes) print(response.msgs[0].content) लो, अब आपके पास अपना पहला AI एजेंट है। अधिक जानकारी के लिए कृपया उनके आधिकारिक देखें। दस्तावेज़ कैमल-एआई रिपॉजिटरी को स्टार करें ⭐ 5. CopilotKit - React ऐप्स के लिए AI Copilots बनाएँ यदि आप अपने मौजूदा React एप्लिकेशन में AI क्षमताओं को शामिल करना चाहते हैं, तो आगे न देखें। CopilotKit आपको अपने एप्लिकेशन के फ्रंट और बैक एंड के साथ इंटरैक्शन को स्वचालित करने के लिए GPT मॉडल का उपयोग करने देता है। यह एक तैयार कोपायलट है जिसे आप अपने एप्लिकेशन या किसी भी कोड (ओएसएस) के साथ एकीकृत कर सकते हैं। यह किसी भी एप्लिकेशन को AI क्षमताओं के साथ बढ़ाने के लिए टेक्स्ट क्षेत्र, पॉपअप, साइडबार और चैटबॉट जैसे रिएक्ट घटक प्रदान करता है। निम्नलिखित कमांड का उपयोग करके CopilotKit के साथ आरंभ करें। npm i @copilotkit/react-core @copilotkit/react-ui CopilotKit के साथ इंटरैक्ट करने वाले सभी घटकों को लपेटना चाहिए। आपको से भी शुरुआत करनी चाहिए (बाद में किसी दूसरे UI प्रदाता पर स्वैप करें)। CopilotKit CopilotSidebar "use client"; import { CopilotKit } from "@copilotkit/react-core"; import { CopilotSidebar } from "@copilotkit/react-ui"; import "@copilotkit/react-ui/styles.css"; export default function RootLayout({children}) { return ( {children} ); } अधिक जानकारी के लिए आप उनके देख सकते हैं। दस्तावेज़ CopilotKit रिपोजिटरी को स्टार करें ⭐ 6. एडर - एआई पेयर-प्रोग्रामर कल्पना कीजिए कि आपके पास एक ऐसा जोड़ीदार प्रोग्रामर हो जो हमेशा मददगार हो और कभी परेशान न करे। खैर, अब आप समझ गए होंगे! ऐडर एक एआई-संचालित पेयर प्रोग्रामर है जो टर्मिनल से प्रोजेक्ट शुरू कर सकता है, फाइलों को संपादित कर सकता है, या मौजूदा गिट रिपोजिटरी के साथ काम कर सकता है और बहुत कुछ कर सकता है। यह GPT4o, सॉनेट 3.5, डीपसीक कोडर, लामा 70बी आदि जैसे अग्रणी एलएलएम के साथ काम करता है। आप इस तरह शीघ्रता से शुरुआत कर सकते हैं: pip install aider-chat # Change directory into a git repo cd /to/your/git/repo # Work with Claude 3.5 Sonnet on your repo export ANTHROPIC_API_KEY=your-key-goes-here aider # Work with GPT-4o on your repo export OPENAI_API_KEY=your-key-goes-here aider अधिक जानकारी के लिए और अन्य देखें। स्थापना निर्देश दस्तावेज़ Aider रिपोजिटरी को स्टार करें ⭐ 7. हेस्टैक - कम्पोज़ेबल आरएजी पाइपलाइन बनाएं एआई पाइपलाइनों के निर्माण के लिए बहुत सारे फ्रेमवर्क हैं, लेकिन अगर मैं अपने एप्लिकेशन में उत्पादन-तैयार एंड-टू-एंड सर्च पाइपलाइनों को एकीकृत करना चाहता हूं, तो हेस्टैक मेरे लिए सबसे अच्छा विकल्प है। चाहे वह RAG, Q&A, या अर्थगत खोज हो, हेस्टैक की अत्यधिक संयोजित पाइपलाइनें विकास, रखरखाव और परिनियोजन को आसान बनाती हैं। उनका साफ और मॉड्यूलर दृष्टिकोण ही उन्हें अलग बनाता है। हेस्टैक आपको रैंकर्स, वेक्टर स्टोर और पार्सर्स को आसानी से नए या मौजूदा पाइपलाइनों में एकीकृत करने देता है, जिससे आपके प्रोटोटाइप को उत्पादन-तैयार समाधानों में बदलना आसान हो जाता है। हेस्टैक केवल पायथन फ्रेमवर्क है; आप इसे उपयोग करके स्थापित कर सकते हैं। pip pip install haystack-ai अब, हेस्टैक घटकों के साथ अपनी पहली RAG पाइपलाइन बनाएं। import os from haystack import Pipeline, PredefinedPipeline import urllib.request os.environ["OPENAI_API_KEY"] = "Your OpenAI API Key" urllib.request.urlretrieve("https://www.gutenberg.org/cache/epub/7785/pg7785.txt", "davinci.txt") indexing_pipeline = Pipeline.from_template(PredefinedPipeline.INDEXING) indexing_pipeline.run(data={"sources": ["davinci.txt"]}) rag_pipeline = Pipeline.from_template(PredefinedPipeline.RAG) query = "How old was he when he died?" result = rag_pipeline.run(data={"prompt_builder": {"query":query}, "text_embedder": {"text": query}}) print(result["llm"]["replies"][0]) अधिक ट्यूटोरियल और अवधारणाओं के लिए, उनके देखें। दस्तावेज़ हेस्टैक रिपोजिटरी को स्टार करें ⭐ 8. Pgvectorscale - सबसे तेज़ वेक्टर डेटाबेस आधुनिक RAG अनुप्रयोग वेक्टर डेटाबेस के बिना अधूरे हैं। ये दस्तावेज़ों (पाठ, छवियों) को एम्बेडिंग के रूप में संग्रहीत करते हैं, जिससे उपयोगकर्ता अर्थगत रूप से समान दस्तावेज़ों की खोज कर सकते हैं। Pgvectorscale, PostgreSQL के वेक्टर डेटाबेस PgVector का एक विस्तार है। यह मौजूदा Postgres डेटाबेस के साथ सहजता से एकीकृत हो सकता है। यदि आप वेक्टर स्टोर के साथ कोई एप्लिकेशन बना रहे हैं, तो यह कोई बड़ी बात नहीं है। Pgvectorscale ने Pinecone के स्टोरेज-ऑप्टिमाइज़्ड इंडेक्स (s1) से बेहतर प्रदर्शन किया है। और इसकी लागत 75% कम है। आप इसे स्रोत से इंस्टॉल कर सकते हैं, Yum, Homebrew, apt आदि जैसे पैकेज मैनेजर का उपयोग कर सकते हैं, या Docker कंटेनर का उपयोग कर सकते हैं। इसे आरंभ करने के लिए, संकलित करें और स्थापित करें। # install prerequisites ## rust curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh ## pgrx cargo install --locked cargo-pgrx cargo pgrx init --pg16 pg_config #download, build and install pgvectorscale cd /tmp git clone --branch https://github.com/timescale/pgvectorscale cd pgvectorscale/pgvectorscale cargo pgrx install --release अपने डेटाबेस से कनेक्ट करें: psql -d "postgres:// : @ : / " pgvectorscale एक्सटेंशन बनाएँ: CREATE EXTENSION IF NOT EXISTS vectorscale CASCADE; स्वचालित रूप से स्थापित करता है. CASCADE pgvector एम्बेडिंग कॉलम वाली एक तालिका बनाएँ। उदाहरण के लिए: CREATE TABLE IF NOT EXISTS document_embedding ( id BIGINT PRIMARY KEY GENERATED BY DEFAULT AS IDENTITY, metadata JSONB, contents TEXT, embedding VECTOR(1536) ) इसका उपयोग कैसे करें, इस बारे में अधिक जानकारी के लिए देखें। रिपॉजिटरी Pgvectorscale रिपोजिटरी को स्टार करें ⭐ 9. GPTCache - AI ऐप्स के लिए सिमेंटिक कैशिंग एलएलएम महंगे हैं। यदि आप ऐसा ऐप बना रहे हैं जिसमें चैट मॉडल के साथ अधिक विस्तृत बातचीत की आवश्यकता है और आप क्रेडिट कार्ड का अधिकतम उपयोग नहीं करना चाहते हैं, तो आपको कैशिंग की आवश्यकता होगी। हालाँकि, यहाँ पारंपरिक कैशिंग का कोई उपयोग नहीं है। यहीं पर GPTCache काम आता है। यह मिल्वस वेक्टर स्टोर के मूल संगठन, ज़िलिज़ का एक सिमेंटिक कैशिंग टूल है। यह आपको अपने पसंदीदा वेक्टर स्टोर में वार्तालाप संग्रहीत करने देता है। LLM को क्वेरी भेजने से पहले, यह वेक्टर स्टोर को खोजता है; अगर कोई हिट है, तो यह उसे प्राप्त करता है। अन्यथा, यह अनुरोध को मॉडल पर रूट करता है। अधिक जानकारी के लिए आधिकारिक पृष्ठ पर जाएं। दस्तावेज़ GPTCache रिपोजिटरी को स्टार करें ⭐ 10. Mem0 (EmbedChain) - व्यक्तिगत LLM ऐप्स बनाएँ मेम0 बड़े भाषा मॉडल के लिए एक स्मार्ट, स्व-सुधार मेमोरी परत प्रदान करता है। यह आपको उपयोगकर्ताओं, एजेंटों और सत्रों के लिए स्थायी मेमोरी जोड़ने की सुविधा देता है। यदि आप कस्टम डेटा पर चैटबॉट या Q&A सिस्टम बना रहे हैं, तो Mem0 पर विचार करें। उपयोग करके Mem0 के साथ आरंभ करें. pip pip install mem0ai यहां बताया गया है कि बड़े भाषा मॉडल में मेमोरी परत जोड़ने के लिए Mem0 का उपयोग कैसे करें। from mem0 import Memory # Initialize Mem0 m = Memory() # Store a memory from any unstructured text result = m.add("I am working on improving my tennis skills. Suggest some online courses.", user_id="Alice", metadata={"category": "hobbies"}) print(result) # Created memory: Improving her tennis skills. Looking for online suggestions. # Retrieve memories all_memories = m.get_all() print(all_memories) # Search memories related_memories = m.search(query="What are Alice's hobbies?", user_id="alice") print(related_memories) # Update a memory result = m.update(memory_id="m1", data="Likes to play tennis on weekends") print(result) # Get memory history history = m.history(memory_id="m1") print(history) अधिक जानकारी के लिए आधिकारिक देखें। दस्तावेज Mem0 ( एम्बेडचेन) रिपोजिटरी को स्टार करें ⭐ 11. FastEmbed - दस्तावेज़ों को तेज़ी से एम्बेड करें सॉफ्टवेयर विकास में निष्पादन की गति सर्वोपरि है, और एआई अनुप्रयोग बनाते समय यह और भी अधिक महत्वपूर्ण है। आम तौर पर, एम्बेडिंग जेनरेशन में लंबा समय लग सकता है, जिससे पूरी पाइपलाइन धीमी हो जाती है। हालाँकि, ऐसा नहीं होना चाहिए। क्यूड्रैंट का फास्टएम्बेड एक तेज, हल्की पायथन लाइब्रेरी है जो एम्बेडिंग निर्माण के लिए बनाई गई है। यह Pytorch के बजाय ONNX रनटाइम का उपयोग करता है, जिससे यह तेज़ हो जाता है। यह अधिकांश अत्याधुनिक ओपन-सोर्स एम्बेडिंग मॉडल का भी समर्थन करता है। FastEmbed के साथ आरंभ करने के लिए, इसे का उपयोग करके इंस्टॉल करें। pip pip install fastembed # or with GPU support pip install fastembed-gpu यहां बताया गया है कि आप दस्तावेजों की एम्बेडिंग कैसे बना सकते हैं। from fastembed import TextEmbedding from typing import List # Example list of documents documents: List[str] = [ "This is built to be faster and lighter than other embedding libraries, eg Transformers, Sentence-Transformers, etc.", "FastEmbed is supported by and maintained by Quadrant." ] # This will trigger the model download and initialization embedding_model = TextEmbedding() print("The model BAAI/bge-small-en-v1.5 is ready to use.") embeddings_generator = embedding_model.embed(documents) # reminder this is a generator embeddings_list = list(embedding_model.embed(documents)) # You can also convert the generator to a list, and that to a Numpy array len(embeddings_list[0]) # Vector of 384 dimensions अधिक जानकारी के लिए उनके जांच करें। भंडार की FastEmbed रिपोजिटरी को स्टार करें ⭐ 12. प्रशिक्षक - एलएलएम से संरचित डेटा निष्कर्षण यदि आपने एलएलएम आउटपुट के साथ काम किया है, तो आप जानते होंगे कि संरचित प्रतिक्रियाओं को मान्य करना चुनौतीपूर्ण हो सकता है। इंस्ट्रक्टर एक ओपन-सोर्स टूल है जो एलएलएम आउटपुट के सत्यापन, पुनः प्रयास और स्ट्रीमिंग को सुव्यवस्थित करता है। यह डेटा सत्यापन के लिए पायथन के लिए पायडैंटिक और JS/TS के लिए ज़ोड का उपयोग करता है और ओपनएआई से परे विभिन्न मॉडल प्रदाताओं का समर्थन करता है। निम्नलिखित आदेश का उपयोग करके प्रशिक्षक के साथ आरंभ करें। npm i @instructor-ai/instructor zod openai अब, यहां बताया गया है कि आप LLM प्रतिक्रियाओं से संरचित डेटा कैसे निकाल सकते हैं। import Instructor from "@instructor-ai/instructor"; import OpenAI from "openai" import { z } from "zod" const oai = new OpenAI({ apiKey: process.env.OPENAI_API_KEY ?? undefined, organization: process.env.OPENAI_ORG_ID ?? undefined }) const client = Instructor({ client: oai, mode: "TOOLS" }) const UserSchema = z.object({ // Description will be used in the prompt age: z.number().describe("The age of the user"), name: z.string() }) // User will be of type z.infer const user = await client.chat.completions.create({ messages: [{ role: "user", content: "Jason Liu is 30 years old" }], model: "gpt-3.5-turbo", response_model: { schema: UserSchema, name: "User" } }) console.log(user) // { age: 30, name: "Jason Liu" } अधिक जानकारी के लिए आधिकारिक पृष्ठ पर जाएं। दस्तावेज़ प्रशिक्षक को स्टार दें ⭐ 13. लाइटएलएलएम - ओपनएआई प्रारूप में एलएलएम के लिए ड्रॉप-इन प्रतिस्थापन ईमानदारी से कहें तो, हम सभी ने कभी न कभी इस बात पर चिल्लाया होगा कि कोई नया मॉडल प्रदाता टेक्स्ट, छवि या एम्बेडिंग निर्माण के लिए OpenAI SDK प्रारूप का पालन नहीं करता है। हालाँकि, LiteLLM के साथ, समान कार्यान्वयन प्रारूप का उपयोग करके, आप OpenAI मॉडल के लिए ड्रॉप-इन प्रतिस्थापन के रूप में किसी भी मॉडल प्रदाता (क्लाउड, जेमिनी, ग्रोक, मिस्ट्रल, एज़्योर एआई, बेडरॉक, आदि) का उपयोग कर सकते हैं। वे 100 से अधिक LLM में लोड-बैलेंसिंग, फ़ॉलबैक और व्यय ट्रैकिंग का भी समर्थन करते हैं। उपयोग करके LiteLLM स्थापित करें. pip pip install litellm यहां बताया गया है कि आप GPT मॉडल के लिए ड्रॉप-इन प्रतिस्थापन के रूप में क्लाउड-2 मॉडल का उपयोग कैसे कर सकते हैं। from litellm import completion import os # LiteLLM with OpenAI Models os.environ["OPENAI_API_KEY"] = "your-API-key" response = completion( model="gpt-3.5-turbo", messages=[{ "content": "Hello, how are you?","role": "user"}] ) # LiteLLM with Claude Models os.environ["ANTHROPIC_API_KEY"] = "your-API-key" response = completion( model="claude-2", messages=[{ "content": "Hello, how are you?","role": "user"}] ) अधिक जानकारी के लिए, उनके आधिकारिक देखें। दस्तावेज़ लाइटएलएलएम को स्टार करें ⭐ क्या आप कोई अन्य अच्छा टूल या फ्रेमवर्क इस्तेमाल करते हैं या बना चुके हैं? मुझे टिप्पणियों में उनके बारे में बताएं :)