Kendi RAG'ınızı nasıl oluşturacağınız ve yerel olarak nasıl çalıştıracağınızla ilgili son paylaşımımdan sonra, bugün yalnızca büyük dil modellerinin konuşma yeteneklerini uygulamakla kalmayıp aynı zamanda dinleme ve konuşma yeteneklerini de ekleyerek bunu bir adım daha ileri götürüyoruz. Fikir çok basit: Bilgisayarınızda çevrimdışı çalışabilen, ikonik Iron Man filmlerinden Jarvis'i veya Friday'i anımsatan bir sesli asistan yaratacağız. Bu bir giriş dersi olduğundan, bunu Python'da uygulayacağım ve yeni başlayanlar için yeterince basit tutacağım. Son olarak uygulamanın nasıl ölçeklendirileceği konusunda bazı rehberlik sağlayacağım. Teknik yığın Öncelikle sanal bir Python ortamı kurmalısınız. Bunun için pyenv, virtualenv, poet ve benzer amaçlara hizmet eden diğerleri dahil olmak üzere çeşitli seçenekleriniz vardır. Şahsen, kişisel tercihlerimden dolayı bu ders için Şiir'i kullanacağım. Yüklemeniz gereken birkaç önemli kütüphane şunlardır: : Görsel olarak çekici bir konsol çıktısı için. zengin : Konuşmayı metne dönüştürmek için güçlü bir araç. openai-whisper : Metin-konuşma sentezi için yüksek kaliteli ses çıkışı sağlayan son teknoloji ürünü bir kütüphane. suno-bark : Büyük Dil Modelleri (LLM'ler) ile arayüz oluşturmak için basit bir kütüphane. langchain , ve : Ses kaydı ve oynatma için gereklidir. sounddevice pyaudio konuşma tanıma Bağımlılıkların ayrıntılı bir listesi için bağlantıya bakın. buradaki Buradaki en kritik bileşen Ollama'yı kullanacağımız Büyük Dil Modeli (LLM) arka ucudur. yüksek lisans eğitimlerini çevrimdışı çalıştırmak ve sunmak için yaygın olarak popüler bir araç olarak tanınmaktadır. Ollama sizin için yeniyse, çevrimdışı RAG ile ilgili önceki makaleme göz atmanızı öneririm: Temel olarak Ollama uygulamasını indirmeniz, tercih ettiğiniz modeli çekmeniz ve çalıştırmanız yeterlidir. Ollama, "Kendi RAG'ınızı Oluşturun ve Yerel Olarak Çalıştırın: Langchain + Ollama + Streamlit." Mimari Tamam, her şey ayarlandıysa bir sonraki adıma geçelim. Temelde 3 ana bileşenden oluşan uygulamamızın genel mimarisi aşağıdadır: : özelliğini kullanarak konuşulan dili metne dönüştürüyoruz. Whisper'ın çeşitli veri kümeleri üzerindeki eğitimi, çeşitli dil ve lehçelerdeki yeterliliğini garanti eder. Konuşma Tanıma OpenAI'nin Whisper : Konuşma yetenekleri için, Ollama kullanılarak sunulan modeli için Langchain arayüzünü kullanacağız. Bu kurulum kesintisiz ve ilgi çekici bir konuşma akışı vaat ediyor. Konuşma Zinciri Llama-2 : Metnin konuşmaya dönüştürülmesi, gerçekçi konuşma üretimiyle tanınan Suno AI'nin son teknoloji modeli aracılığıyla gerçekleştirilir. Konuşma Sentezleyicisi Bark İş akışı basittir: Konuşmayı kaydedin, metne dönüştürün, LLM kullanarak bir yanıt oluşturun ve Bark'ı kullanarak yanıtı seslendirin. Whisper, Ollama ve Bark ile sesli asistanın sıra diyagramı. Uygulama Uygulama, Bark'ı temel alan bir hazırlanmasıyla başlar; metinden konuşmayı sentezlemek ve daha uzun metin girişlerini aşağıdaki gibi sorunsuz bir şekilde işlemek için yöntemler içerir: TextToSpeechService import nltk import torch import warnings import numpy as np from transformers import AutoProcessor, BarkModel warnings.filterwarnings( "ignore", message="torch.nn.utils.weight_norm is deprecated in favor of torch.nn.utils.parametrizations.weight_norm.", ) class TextToSpeechService: def __init__(self, device: str = "cuda" if torch.cuda.is_available() else "cpu"): """ Initializes the TextToSpeechService class. Args: device (str, optional): The device to be used for the model, either "cuda" if a GPU is available or "cpu". Defaults to "cuda" if available, otherwise "cpu". """ self.device = device self.processor = AutoProcessor.from_pretrained("suno/bark-small") self.model = BarkModel.from_pretrained("suno/bark-small") self.model.to(self.device) def synthesize(self, text: str, voice_preset: str = "v2/en_speaker_1"): """ Synthesizes audio from the given text using the specified voice preset. Args: text (str): The input text to be synthesized. voice_preset (str, optional): The voice preset to be used for the synthesis. Defaults to "v2/en_speaker_1". Returns: tuple: A tuple containing the sample rate and the generated audio array. """ inputs = self.processor(text, voice_preset=voice_preset, return_tensors="pt") inputs = {k: v.to(self.device) for k, v in inputs.items()} with torch.no_grad(): audio_array = self.model.generate(**inputs, pad_token_id=10000) audio_array = audio_array.cpu().numpy().squeeze() sample_rate = self.model.generation_config.sample_rate return sample_rate, audio_array def long_form_synthesize(self, text: str, voice_preset: str = "v2/en_speaker_1"): """ Synthesizes audio from the given long-form text using the specified voice preset. Args: text (str): The input text to be synthesized. voice_preset (str, optional): The voice preset to be used for the synthesis. Defaults to "v2/en_speaker_1". Returns: tuple: A tuple containing the sample rate and the generated audio array. """ pieces = [] sentences = nltk.sent_tokenize(text) silence = np.zeros(int(0.25 * self.model.generation_config.sample_rate)) for sent in sentences: sample_rate, audio_array = self.synthesize(sent, voice_preset) pieces += [audio_array, silence.copy()] return self.model.generation_config.sample_rate, np.concatenate(pieces) : Sınıf, model için kullanılacak cihazı belirten isteğe bağlı bir parametresi alır (GPU varsa veya ). önceden eğitilmiş modelden Bark modelini ve karşılık gelen işlemciyi yükler. Model yükleyici için belirterek büyük versiyonu da kullanabilirsiniz. Başlatma ( __init__ ) device cuda cpu suno/bark-small suno/bark : Bu yöntem, bir girişi ve sentez için kullanılacak sesi belirten bir parametresi alır. Diğer değerini kontrol edebilirsiniz. Giriş metnini ve ses ön ayarını hazırlamak için kullanır ve ardından yöntemini kullanarak ses dizisini oluşturur. Oluşturulan ses dizisi bir NumPy dizisine dönüştürülür ve örnekleme hızı, ses dizisiyle birlikte döndürülür. Sentezleme ( synthesize ) text voice_preset voice_preset buradan processor model.generate() : Bu yöntem daha uzun metin girişlerini sentezlemek için kullanılır. İlk önce işlevini kullanarak giriş metnini cümleler halinde tokenize eder. Her cümle için ses dizisini oluşturmak üzere yöntemini çağırır. Daha sonra oluşturulan ses dizilerini, her cümlenin arasına kısa bir sessizlik (0,25 saniye) eklenerek birleştirir. Uzun Biçimli Sentezleme ( long_form_synthesize ) nltk.sent_tokenize synthesize Artık kurulumunu yaptığımıza göre Ollama sunucusunu büyük dil modeli (LLM) hizmetine hazırlamamız gerekiyor. Bunu yapmak için şu adımları uygulamanız gerekir: TextToSpeechService : En son Llama-2 modelini Ollama deposundan indirmek için aşağıdaki komutu çalıştırın: En son Llama-2 modelini çekin ollama pull llama2 . : Sunucu henüz başlatılmadıysa, başlatmak için aşağıdaki komutu uygulayın: . Ollama sunucusunu başlatın ollama serve Bu adımları tamamladıktan sonra uygulamanız, kullanıcı girişine yanıtlar oluşturmak için Ollama sunucusunu ve Llama-2 modelini kullanabilecektir. Daha sonra ana uygulama mantığına geçeceğiz. Öncelikle aşağıdaki bileşenleri başlatmamız gerekiyor: : Terminal içinde kullanıcı için daha iyi etkileşimli bir konsol oluşturmak için Zengin kütüphaneyi kullanacağız. Zengin Konsol : OpenAI tarafından geliştirilen son teknoloji ürünü açık kaynaklı konuşma tanıma sistemi olan Whisper konuşma tanıma modelini başlatacağız. Kullanıcı girişini yazıya aktarmak için temel İngilizce modelini ( ) kullanacağız. Whisper Speech-to-Text base.en : Yukarıda uygulanan bir Bark metinden konuşmaya sentezleyici örneğini başlatacağız. Bark Metinden Konuşmaya : Konuşma akışını yönetmek için bir şablon sağlayan Langchain kütüphanesindeki yerleşik kullanacağız. Ollama arka ucuyla Llama-2 dil modelini kullanacak şekilde yapılandıracağız. Konuşma Zinciri ConversationalChain import time import threading import numpy as np import whisper import sounddevice as sd from queue import Queue from rich.console import Console from langchain.memory import ConversationBufferMemory from langchain.chains import ConversationChain from langchain.prompts import PromptTemplate from langchain_community.llms import Ollama from tts import TextToSpeechService console = Console() stt = whisper.load_model("base.en") tts = TextToSpeechService() template = """ You are a helpful and friendly AI assistant. You are polite, respectful, and aim to provide concise responses of less than 20 words. The conversation transcript is as follows: {history} And here is the user's follow-up: {input} Your response: """ PROMPT = PromptTemplate(input_variables=["history", "input"], template=template) chain = ConversationChain( prompt=PROMPT, verbose=False, memory=ConversationBufferMemory(ai_prefix="Assistant:"), llm=Ollama(), ) Şimdi gerekli fonksiyonları tanımlayalım: : Bu işlev, öğesini kullanarak kullanıcının mikrofonundan ses verilerini yakalamak için ayrı bir iş parçacığında çalışır. Yeni ses verileri mevcut olduğunda geri çağırma işlevi çağrılır ve verileri daha fazla işlenmek üzere bir yerleştirir. record_audio sounddevice.RawInputStream data_queue : Bu işlev, ses verilerini metne dönüştürmek için Whisper örneğini kullanır. transcribe data_queue : Bu işlev, geçerli konuşma bağlamını Llama-2 dil modeline (Langchain aracılığıyla) besler ve oluşturulan metin yanıtını alır. get_llm_response ConversationalChain : Bu işlev, Bark metin-konuşma motoru tarafından oluşturulan ses dalga biçimini alır ve bunu bir ses çalma kitaplığı (örneğin, ) kullanarak kullanıcıya oynatır. play_audio sounddevice def record_audio(stop_event, data_queue): """ Captures audio data from the user's microphone and adds it to a queue for further processing. Args: stop_event (threading.Event): An event that, when set, signals the function to stop recording. data_queue (queue.Queue): A queue to which the recorded audio data will be added. Returns: None """ def callback(indata, frames, time, status): if status: console.print(status) data_queue.put(bytes(indata)) with sd.RawInputStream( samplerate=16000, dtype="int16", channels=1, callback=callback ): while not stop_event.is_set(): time.sleep(0.1) def transcribe(audio_np: np.ndarray) -> str: """ Transcribes the given audio data using the Whisper speech recognition model. Args: audio_np (numpy.ndarray): The audio data to be transcribed. Returns: str: The transcribed text. """ result = stt.transcribe(audio_np, fp16=False) # Set fp16=True if using a GPU text = result["text"].strip() return text def get_llm_response(text: str) -> str: """ Generates a response to the given text using the Llama-2 language model. Args: text (str): The input text to be processed. Returns: str: The generated response. """ response = chain.predict(input=text) if response.startswith("Assistant:"): response = response[len("Assistant:") :].strip() return response def play_audio(sample_rate, audio_array): """ Plays the given audio data using the sounddevice library. Args: sample_rate (int): The sample rate of the audio data. audio_array (numpy.ndarray): The audio data to be played. Returns: None """ sd.play(audio_array, sample_rate) sd.wait() Daha sonra ana uygulama döngüsünü tanımlıyoruz. Ana uygulama döngüsü, kullanıcıya konuşma etkileşimi boyunca aşağıdaki şekilde rehberlik eder: Kullanıcıdan girişini kaydetmeye başlaması için Enter tuşuna basması istenir. Kullanıcı Enter'a bastığında, kullanıcının ses girişini yakalamak için ayrı bir iş parçacığında işlevi çağrılır. record_audio Kullanıcı kaydı durdurmak için tekrar Enter'a bastığında ses verileri, işlevi kullanılarak kopyalanır. transcribe Yazıya aktarılan metin daha sonra Llama-2 dil modelini kullanarak bir yanıt üreten işlevine iletilir. get_llm_response Oluşturulan yanıt konsola yazdırılır ve işlevi kullanılarak kullanıcıya oynatılır. play_audio if __name__ == "__main__": console.print("[cyan]Assistant started! Press Ctrl+C to exit.") try: while True: console.input( "Press Enter to start recording, then press Enter again to stop." ) data_queue = Queue() # type: ignore[var-annotated] stop_event = threading.Event() recording_thread = threading.Thread( target=record_audio, args=(stop_event, data_queue), ) recording_thread.start() input() stop_event.set() recording_thread.join() audio_data = b"".join(list(data_queue.queue)) audio_np = ( np.frombuffer(audio_data, dtype=np.int16).astype(np.float32) / 32768.0 ) if audio_np.size > 0: with console.status("Transcribing...", spinner="earth"): text = transcribe(audio_np) console.print(f"[yellow]You: {text}") with console.status("Generating response...", spinner="earth"): response = get_llm_response(text) sample_rate, audio_array = tts.long_form_synthesize(response) console.print(f"[cyan]Assistant: {response}") play_audio(sample_rate, audio_array) else: console.print( "[red]No audio recorded. Please ensure your microphone is working." ) except KeyboardInterrupt: console.print("\n[red]Exiting...") console.print("[blue]Session ended.") Sonuç Her şeyi bir araya getirdikten sonra uygulamayı yukarıdaki videoda gösterildiği gibi çalıştırabiliriz. Bark modelinin daha küçük versiyonunda bile büyük olması nedeniyle uygulama MacBook'umda oldukça yavaş çalışıyor. Bu nedenle videoyu biraz hızlandırdım. CUDA özellikli bir bilgisayara sahip olanlar için daha hızlı çalışabilir. İşte uygulamamızın temel özellikleri: : Kullanıcılar ses girişlerini kaydetmeyi başlatabilir ve durdurabilir ve asistan, oluşturulan sesi çalarak yanıt verir. Ses tabanlı etkileşim Asistan, konuşmanın bağlamını koruyarak daha tutarlı ve alakalı yanıtlar sağlar. Llama-2 dil modelinin kullanılması asistanın kısa ve odaklanmış yanıtlar vermesine olanak tanır. Konuşma bağlamı: Bu uygulamayı üretime hazır durumuna yükseltmeyi hedefleyenler için aşağıdaki geliştirmeler önerilir: : Özellikle alt seviye bilgisayarlarda performansı artırmak için tasarlanmış, Whisse.cpp, Llama.cpp ve Bark.cpp gibi modellerin optimize edilmiş sürümlerini dahil edin. Performans Optimizasyonu : Kullanıcıların botun kişiliğini ve istemini özelleştirmesine olanak tanıyan, farklı türde asistanların (örneğin kişisel, profesyonel veya alana özel) oluşturulmasına olanak tanıyan bir sistem uygulayın. Özelleştirilebilir Bot İstemleri : Genel kullanıcı deneyimini geliştirmek, uygulamayı daha erişilebilir ve görsel olarak çekici hale getirmek için kullanıcı dostu bir GUI geliştirin. Grafik Kullanıcı Arayüzü (GUI) : Uygulamayı, ses tabanlı yanıtlara ek olarak görüntüler, diyagramlar veya diğer görsel içerikleri oluşturma ve görüntüleme yeteneği gibi çok modlu etkileşimleri destekleyecek şekilde genişletin. Çok Modlu Yetenekler Sonunda basit sesli asistan uygulamamızı tamamladık, kodun tamamına şu adresten ulaşabilirsiniz: . Konuşma tanıma, dil modelleme ve metinden konuşmaya teknolojilerinin bu birleşimi, zor gibi görünen ancak aslında bilgisayarınızda çalışabilen bir şeyi nasıl oluşturabileceğimizi gösteriyor. Kodlamanın tadını çıkaralım ve yapay zeka ve programlamayla ilgili en son makaleleri kaçırmamak için abone olmayı unutmayın. https://github.com/vndee/local-talking-llm bloguma da yayınlandı Burada
