जबकि ओपनएआई चैटजीपीटी के लिए उन्नत वॉयस मोड्स को जारी करने में है, मैं यह साझा करना चाहता हूं कि हमने अपने एलएलएम वॉयस एप्लिकेशन को कैसे बनाया और इसे एक इंटरैक्टिव बूथ में एकीकृत किया। देरी कर रहा जंगल में AI से बात करें फरवरी के अंत में, बाली ने उत्सव की मेजबानी की, जिसे प्रसिद्ध बर्निंग मैन के सिद्धांतों के अनुसार आयोजित किया गया था। इसकी परंपरा के अनुसार, प्रतिभागी अपनी खुद की स्थापनाएँ और कला वस्तुएँ बनाते हैं। लाम्पू के मेरे मित्र और मैं, कैथोलिक कन्फेशनल के विचार और वर्तमान एलएलएम की क्षमताओं से प्रेरित होकर, अपना स्वयं का एआई कन्फेशनल बनाने का विचार लेकर आए, जहां कोई भी कृत्रिम बुद्धिमत्ता से बात कर सकता था। कैंप 19:19 हमने शुरू में इसकी कल्पना इस प्रकार की थी: जब उपयोगकर्ता किसी बूथ में प्रवेश करता है, तो हम यह निर्धारित करते हैं कि हमें एक नया सत्र शुरू करने की आवश्यकता है। उपयोगकर्ता एक प्रश्न पूछता है, और AI सुनता है और उत्तर देता है। हम एक भरोसेमंद और निजी वातावरण बनाना चाहते थे जहाँ हर कोई अपने विचारों और अनुभवों पर खुलकर चर्चा कर सके। जब उपयोगकर्ता कमरे से बाहर निकलता है, तो सिस्टम सत्र समाप्त कर देता है और सभी वार्तालाप विवरण भूल जाता है। सभी संवादों को निजी रखने के लिए यह आवश्यक है। अवधारणा का सबूत अवधारणा का परीक्षण करने और एलएलएम के लिए एक संकेत के साथ प्रयोग शुरू करने के लिए, मैंने एक शाम में एक सरल कार्यान्वयन तैयार किया: माइक्रोफोन को सुनें. मॉडल का उपयोग करके उपयोगकर्ता की वाणी को पहचानें। स्पीच-टू-टेक्स्ट (एसटीटी) के माध्यम से प्रतिक्रिया उत्पन्न करें. एलएलएम मॉडल का उपयोग करके ध्वनि प्रतिक्रिया को संश्लेषित करें। टेक्स्ट-टू-स्पीच (टीटीएस) उपयोगकर्ता को प्रतिक्रिया वापस भेजें. इस डेमो को लागू करने के लिए, मैंने पूरी तरह से OpenAI के क्लाउड मॉडल पर भरोसा किया: , और । बेहतरीन लाइब्रेरी की बदौलत, मैंने कोड की कुछ दर्जन लाइनों में ही डेमो बना लिया। व्हिस्पर GPT-4 TTS स्पीच_रिकग्निशन import os import asyncio from dotenv import load_dotenv from io import BytesIO from openai import AsyncOpenAI from soundfile import SoundFile import sounddevice as sd import speech_recognition as sr load_dotenv() aiclient = AsyncOpenAI( api_key=os.environ.get("OPENAI_API_KEY") ) SYSTEM_PROMPT = """ You are helpfull assistant. """ async def listen_mic(recognizer: sr.Recognizer, microphone: sr.Microphone): audio_data = recognizer.listen(microphone) wav_data = BytesIO(audio_data.get_wav_data()) wav_data.name = "SpeechRecognition_audio.wav" return wav_data async def say(text: str): res = await aiclient.audio.speech.create( model="tts-1", voice="alloy", response_format="opus", input=text ) buffer = BytesIO() for chunk in res.iter_bytes(chunk_size=4096): buffer.write(chunk) buffer.seek(0) with SoundFile(buffer, 'r') as sound_file: data = sound_file.read(dtype='int16') sd.play(data, sound_file.samplerate) sd.wait() async def respond(text: str, history): history.append({"role": "user", "content": text}) completion = await aiclient.chat.completions.create( model="gpt-4", temperature=0.5, messages=history, ) response = completion.choices[0].message.content await say(response) history.append({"role": "assistant", "content": response}) async def main() -> None: m = sr.Microphone() r = sr.Recognizer() messages = [{"role": "system", "content": SYSTEM_PROMPT}] with m as source: r.adjust_for_ambient_noise(source) while True: wav_data = await listen_mic(r, source) transcript = await aiclient.audio.transcriptions.create( model="whisper-1", temperature=0.5, file=wav_data, response_format="verbose_json", ) if transcript.text == '' or transcript.text is None: continue await respond(transcript.text, messages) if __name__ == '__main__': asyncio.run(main()) इस डेमो के प्रथम परीक्षण के बाद हमें जिन समस्याओं का समाधान करना था, वे तुरंत स्पष्ट हो गईं: । एक सरल कार्यान्वयन में, उपयोगकर्ता के प्रश्न और प्रतिक्रिया के बीच की देरी 7-8 सेकंड या उससे अधिक होती है। यह अच्छा नहीं है, लेकिन जाहिर है, प्रतिक्रिया समय को अनुकूलित करने के कई तरीके हैं। प्रतिक्रिया में देरी । हमने पाया कि शोर भरे वातावरण में, हम यह पता लगाने के लिए माइक्रोफ़ोन पर निर्भर नहीं रह सकते कि उपयोगकर्ता ने कब बोलना शुरू किया और कब समाप्त किया। किसी वाक्यांश की शुरुआत और अंत को पहचानना ( ) एक गैर-तुच्छ कार्य है। इसे संगीत समारोह के शोर भरे वातावरण के साथ जोड़ दें, और यह स्पष्ट है कि वैचारिक रूप से एक अलग दृष्टिकोण की आवश्यकता है। परिवेशीय शोर एंडपॉइंटिंग । हम उपयोगकर्ता को AI को बाधित करने की क्षमता देना चाहते थे। इसे प्राप्त करने के लिए, हमें माइक्रोफ़ोन चालू रखना होगा। लेकिन इस मामले में, हमें उपयोगकर्ता की आवाज़ को न केवल पृष्ठभूमि ध्वनियों से बल्कि AI की आवाज़ से भी अलग करना होगा। लाइव बातचीत की नकल करें . प्रतिक्रिया में देरी के कारण, कभी-कभी हमें ऐसा लगता था कि सिस्टम जम गया है। हमें एहसास हुआ कि हमें उपयोगकर्ता को यह सूचित करने की आवश्यकता है कि प्रतिक्रिया कितने समय तक संसाधित होगी प्रतिक्रिया हमारे पास इन समस्याओं को हल करने का विकल्प था: उपयुक्त इंजीनियरिंग या उत्पाद समाधान की तलाश करके। बूथ के UX के बारे में सोचना कोड लिखने से पहले ही हमें यह तय करना था कि उपयोगकर्ता बूथ के साथ किस प्रकार बातचीत करेगा: हमें यह तय करना होगा कि बूथ में नये उपयोगकर्ता का पता कैसे लगाया जाए ताकि पिछले संवाद इतिहास को रीसेट किया जा सके। किसी उपयोगकर्ता के भाषण के आरंभ और अंत को कैसे पहचाना जाए, तथा यदि वे AI को बाधित करना चाहें तो क्या किया जाए। जब AI से प्रतिक्रिया में देरी हो तो फीडबैक कैसे लागू किया जाए। बूथ में किसी नए उपयोगकर्ता का पता लगाने के लिए, हमने कई विकल्पों पर विचार किया: दरवाज़ा खोलने वाले सेंसर, फ़्लोर वेट सेंसर, डिस्टेंस सेंसर और एक कैमरा + YOLO मॉडल। पीछे की तरफ़ लगा डिस्टेंस सेंसर हमें सबसे ज़्यादा विश्वसनीय लगा, क्योंकि यह आकस्मिक ट्रिगर को रोकता है, जैसे कि जब दरवाज़ा पर्याप्त रूप से बंद न हो, और वज़न सेंसर के विपरीत, इसे जटिल इंस्टॉलेशन की आवश्यकता नहीं होती। संवाद की शुरुआत और अंत को पहचानने की चुनौती से बचने के लिए, हमने माइक्रोफ़ोन को नियंत्रित करने के लिए एक बड़ा लाल बटन जोड़ने का फैसला किया। इस समाधान ने उपयोगकर्ता को किसी भी समय AI को बाधित करने की अनुमति दी। किसी अनुरोध को संसाधित करने पर फ़ीडबैक लागू करने के बारे में हमारे पास कई अलग-अलग विचार थे। हमने एक स्क्रीन के साथ एक विकल्प पर फैसला किया जो दिखाता है कि सिस्टम क्या कर रहा है: माइक्रोफ़ोन सुनना, किसी प्रश्न को संसाधित करना, या उत्तर देना। हमने पुराने लैंडलाइन फोन के साथ एक स्मार्ट विकल्प पर भी विचार किया। जब उपयोगकर्ता फोन उठाता है तो सत्र शुरू हो जाता है, और सिस्टम तब तक उपयोगकर्ता की बात सुनता है जब तक वह फोन नहीं काट देता। हालांकि, हमने फैसला किया कि यह अधिक प्रामाणिक है जब उपयोगकर्ता को फोन से आवाज के बजाय बूथ द्वारा "उत्तर" दिया जाता है। अंत में, अंतिम उपयोगकर्ता प्रवाह इस प्रकार सामने आया: एक उपयोगकर्ता बूथ में प्रवेश करता है। उसकी पीठ के पीछे एक दूरी सेंसर सक्रिय हो जाता है, और हम उसका अभिवादन करते हैं। उपयोगकर्ता संवाद शुरू करने के लिए लाल बटन दबाता है। बटन दबाए जाने के दौरान हम माइक्रोफ़ोन सुनते हैं। जब उपयोगकर्ता बटन छोड़ता है, तो हम अनुरोध को संसाधित करना शुरू करते हैं और इसे स्क्रीन पर इंगित करते हैं। यदि उपयोगकर्ता एआई के उत्तर देते समय कोई नया प्रश्न पूछना चाहता है, तो वह बटन को पुनः दबा सकता है, और एआई तुरंत उत्तर देना बंद कर देगा। जब उपयोगकर्ता बूथ छोड़ता है, तो दूरी सेंसर पुनः सक्रिय हो जाता है, और हम संवाद इतिहास साफ़ कर देते हैं। वास्तुकला दूरी सेंसर और लाल बटन की स्थिति पर नज़र रखता है। यह HTTP API के ज़रिए हमारे बैकएंड पर सभी बदलाव भेजता है, जो सिस्टम को यह निर्धारित करने की अनुमति देता है कि उपयोगकर्ता बूथ में प्रवेश कर चुका है या छोड़ चुका है और क्या माइक्रोफ़ोन को सुनना सक्रिय करना या प्रतिक्रिया उत्पन्न करना शुरू करना आवश्यक है। Arduino ब्राउज़र में खोला गया एक वेब पेज मात्र है जो बैकएंड से सिस्टम की वर्तमान स्थिति को निरंतर प्राप्त करता है और उसे उपयोगकर्ता को प्रदर्शित करता है। वेब यूआई माइक्रोफ़ोन को नियंत्रित करता है, सभी आवश्यक AI मॉडल के साथ बातचीत करता है, और LLM प्रतिक्रियाओं को आवाज़ देता है। इसमें ऐप का मुख्य तर्क शामिल है। बैकएंड हार्डवेयर Arduino के लिए स्केच को कैसे कोड करें, डिस्टेंस सेंसर और बटन को सही तरीके से कैसे कनेक्ट करें, और बूथ में यह सब कैसे असेंबल करें, यह एक अलग लेख का विषय है। आइए तकनीकी विवरण में जाए बिना संक्षेप में समीक्षा करें कि हमें क्या मिला। हमने एक Arduino, अधिक सटीक रूप से, मॉडल का उपयोग किया जिसमें एक अंतर्निहित वाई-फाई मॉड्यूल था। माइक्रोकंट्रोलर लैपटॉप के समान वाई-फाई नेटवर्क से जुड़ा था, जो बैकएंड चला रहा था। ESP32 हमारे द्वारा उपयोग किये गये हार्डवेयर की पूरी सूची: - हमने इसे अपने दोस्तों से उधार लिया :) स्काइप बूथ — $29 ईएसपी32 — $5 बड़ा लाल बटन - $10 निकटता सेंसर पुराना मैकबुक एयर - हमारे पास एक था। बैकएंड पाइपलाइन के मुख्य घटक स्पीच-टू-टेक्स्ट (एसटीटी), एलएलएम और टेक्स्ट-टू-स्पीच (टीटीएस) हैं। प्रत्येक कार्य के लिए, स्थानीय और क्लाउड दोनों के माध्यम से कई अलग-अलग मॉडल उपलब्ध हैं। चूँकि हमारे पास शक्तिशाली GPU नहीं था, इसलिए हमने मॉडल के क्लाउड-आधारित संस्करण चुनने का फैसला किया। इस दृष्टिकोण की कमज़ोरी एक अच्छे इंटरनेट कनेक्शन की आवश्यकता है। फिर भी, सभी अनुकूलन के बाद भी इंटरेक्शन की गति स्वीकार्य थी, यहाँ तक कि त्यौहार में हमारे पास मौजूद मोबाइल इंटरनेट के साथ भी। अब, आइए पाइपलाइन के प्रत्येक घटक पर करीब से नज़र डालें। वाक् पहचान कई आधुनिक डिवाइस लंबे समय से स्पीच रिकग्निशन का समर्थन करते हैं। उदाहरण के लिए, iOS और macOS के लिए उपलब्ध है, और ब्राउज़र के लिए है। Apple स्पीच API वेब स्पीच API दुर्भाग्यवश, वे या की तुलना में गुणवत्ता में बहुत निम्न हैं और स्वचालित रूप से भाषा का पता नहीं लगा सकते हैं। व्हिस्पर डीपग्राम प्रोसेसिंग समय को कम करने के लिए, सबसे अच्छा विकल्प उपयोगकर्ता के बोलते समय वास्तविक समय में भाषण को पहचानना है। यहाँ कुछ प्रोजेक्ट दिए गए हैं, जिनमें उन्हें लागू करने के तरीके के उदाहरण दिए गए हैं: , कानाफूसी_स्ट्रीमिंग whisper.cpp हमारे लैपटॉप के साथ, इस दृष्टिकोण का उपयोग करके भाषण पहचान की गति वास्तविक समय से बहुत दूर निकली। कई प्रयोगों के बाद, हमने OpenAI के क्लाउड-आधारित व्हिस्पर मॉडल पर निर्णय लिया। एलएलएम और प्रॉम्प्ट इंजीनियरिंग पिछले चरण के स्पीच टू टेक्स्ट मॉडल का परिणाम वह पाठ है जिसे हम संवाद इतिहास के साथ LLM को भेजते हैं। एलएलएम चुनते समय, हमने GPT-3.5. GPT-4 और क्लाउड की तुलना की। यह पता चला कि मुख्य कारक विशिष्ट मॉडल नहीं बल्कि उसका कॉन्फ़िगरेशन था। अंततः, हमने GPT-4 पर सहमति जताई, जिसके उत्तर हमें दूसरों की तुलना में अधिक पसंद आए। एलएलएम मॉडल के लिए प्रॉम्प्ट का अनुकूलन एक अलग कला रूप बन गया है। इंटरनेट पर आपके मॉडल को अपनी ज़रूरत के हिसाब से ट्यून करने के तरीके के बारे में कई गाइड मौजूद हैं: ओपनएआई प्रॉम्प्ट इंजीनियरिंग गाइड मानवशास्त्रीय प्रॉम्प्ट इंजीनियरिंग प्रॉम्प्ट इंजीनियरिंग गाइड हमें मॉडल को आकर्षक, संक्षिप्त और विनोदपूर्ण ढंग से प्रतिक्रिया देने के लिए प्रॉम्प्ट और सेटिंग्स के साथ बड़े पैमाने पर प्रयोग करना पड़ा। तापमान भाषण के पाठ हम टेक्स्ट-टू-स्पीच मॉडल का उपयोग करके एलएलएम से प्राप्त प्रतिक्रिया को आवाज़ देते हैं और इसे उपयोगकर्ता को वापस सुनाते हैं। यह कदम हमारे डेमो में देरी का प्राथमिक स्रोत था। एलएलएम को प्रतिक्रिया देने में काफी समय लगता है। हालांकि, वे स्ट्रीमिंग मोड में प्रतिक्रिया निर्माण का समर्थन करते हैं - टोकन दर टोकन। हम इस सुविधा का उपयोग एलएलएम से पूर्ण प्रतिक्रिया की प्रतीक्षा किए बिना प्राप्त होने वाले अलग-अलग वाक्यांशों को आवाज़ देकर प्रतीक्षा समय को अनुकूलित करने के लिए कर सकते हैं। एलएलएम से प्रश्न पूछें। हम बफर में टोकन दर टोकन प्रतिक्रिया जमा करते हैं जब तक कि हमारे पास का पूरा वाक्य न हो जाए। पैरामीटर महत्वपूर्ण है क्योंकि यह आवाज़ के स्वर और प्रारंभिक देरी समय दोनों को प्रभावित करता है। न्यूनतम लंबाई न्यूनतम लंबाई उत्पन्न वाक्य को TTS मॉडल पर भेजें, और परिणाम को उपयोगकर्ता को चलाएँ। इस चरण में, यह सुनिश्चित करना आवश्यक है कि प्लेबैक क्रम में कोई रेस कंडीशन न हो। LLM प्रतिक्रिया के अंत तक पिछले चरण को दोहराएं हम उस समय का उपयोग करते हैं जब उपयोगकर्ता प्रारंभिक खंड को सुनता है ताकि LLM से प्रतिक्रिया के शेष भागों को संसाधित करने में होने वाली देरी को छिपाया जा सके। इस दृष्टिकोण के कारण, प्रतिक्रिया में देरी केवल शुरुआत में होती है और ~ 3 सेकंड होती है। async generateResponse(history) { const completion = await this.ai.completion(history); const chunks = new DialogChunks(); for await (const chunk of completion) { const delta = chunk.choices[0]?.delta?.content; if (delta) { chunks.push(delta); if (chunks.hasCompleteSentence()) { const sentence = chunks.popSentence(); this.voice.ttsAndPlay(sentence); } } } const sentence = chunks.popSentence(); if (sentence) { this.voice.say(sentence); } return chunks.text; } अंतिम स्पर्श हमारे सभी अनुकूलन के बावजूद, 3-4 सेकंड की देरी अभी भी महत्वपूर्ण है। हमने उपयोगकर्ता को यह महसूस होने से बचाने के लिए फीडबैक के साथ UI का ख्याल रखने का फैसला किया कि प्रतिक्रिया रुकी हुई है। हमने कई तरीकों पर गौर किया: । हमें पाँच अवस्थाएँ प्रदर्शित करनी थीं: निष्क्रिय, प्रतीक्षा, सुनना, सोचना और बोलना। लेकिन हम यह नहीं समझ पाए कि इसे एलईडी के साथ समझने में आसान तरीके से कैसे किया जाए। एलईडी संकेतक , जैसे "मुझे सोचने दो," "हम्म," इत्यादि, वास्तविक जीवन की बातचीत की नकल करते हैं। हमने इस विकल्प को अस्वीकार कर दिया क्योंकि फिलर अक्सर मॉडल की प्रतिक्रियाओं के लहजे से मेल नहीं खाते थे। फिलर शब्द बूथ में लगाएँ। और एनिमेशन के साथ अलग-अलग अवस्थाएँ दिखाएँ। एक स्क्रीन हमने अंतिम विकल्प को चुना, जिसमें एक सरल वेब पेज था जो बैकएंड को पोल करता था तथा वर्तमान स्थिति के अनुसार एनिमेशन दिखाता था। परिणाम हमारा AI कन्फेशन रूम चार दिनों तक चला और इसमें सैकड़ों लोग शामिल हुए। हमने OpenAI API पर सिर्फ़ $50 खर्च किए। बदले में, हमें काफ़ी सकारात्मक प्रतिक्रियाएँ और मूल्यवान इंप्रेशन मिले। इस छोटे से प्रयोग से पता चला कि सीमित संसाधनों और चुनौतीपूर्ण बाह्य परिस्थितियों के बावजूद भी एलएलएम में सहज और कुशल वॉयस इंटरफेस जोड़ना संभव है। वैसे, बैकएंड स्रोत GitHub पर उपलब्ध हैं
