Çevrimiçi sohbet uygulamalarında insan benzeri yanıtlar üretmenin karmaşıklığını düşünün. Altyapıyı nasıl verimli ve yanıtları gerçekçi hale getirebilirsiniz? Çözüm yapay zeka dil modelleridir. Bu kılavuzda, a16z-infra'nın, özellikle sohbet uygulamaları için ince ayarlı 13 milyar parametreli bir dil modeli olan yeni LLM'sinin uygulanmasını derinlemesine inceliyoruz. Bu model, karmaşık ve güçlü modellerle yalnızca birkaç satır kodla veya basit bir API çağrısıyla etkileşim kurmanıza olanak tanıyan bir AI modeli barındırma hizmeti olan Replicate'de barındırılır. Meta'nın llama13b-v2-chat Bu kılavuzda llama13b-v2-chat modelinin neyle ilgili olduğunu, girdileri ve çıktıları hakkında nasıl düşünüleceğini ve sohbet tamamlamaları oluşturmak için bunun nasıl kullanılacağını ele alacağız. Ayrıca kullanarak AI uygulamalarınızı geliştirmek için benzer modelleri nasıl bulacağınız konusunda da size yol göstereceğiz. Öyleyse yapay zeka jargonunu kesip özüne inelim. AIModels.fyi Bunun gibi daha fazla içerik için veya beni Twitter'da takip edin abone olun ! LLaMA-v2 sohbet modeli hakkında Replicate'de bulunan modeli tarafından oluşturuldu ve Meta'nın yeni LLaMA v2 modelinin üzerine inşa edildi. Meta, LLaMA'yı insan dilini daha iyi anlama ve üretme amacıyla yarattı ve inceleyeceğimiz sohbet modelinde, insan kullanıcılar ile yapay zeka sohbet robotları arasındaki etkileşimi geliştirmek için daha da ince ayarlar yapıldı. 13 milyar gibi çok büyük bir parametreye sahip olan bu model, bu özel kullanım durumu için önemli ölçüde uyarlanmıştır. Bu model ve diğer modeller hakkında daha fazla ayrıntıyı a16z-infra tarafından bulabilirsiniz. LLaMA13b-v2-chat , a16z-infra ekibi AIModels.fyi'deki yaratıcı sayfasında Llama13b-v2-chat modelinin Replicate uygulaması, tahminler için tahmin başına ortalama 7 saniye çalışma süresiyle güçlü Nvidia A100 (40 GB) GPU'yu kullanır. Çalıştırma başına yalnızca 0,014 ABD Doları fiyatla satılıyor, bu da onu düşük bütçeli projeler veya yeni kurulan şirketler için geniş çapta erişilebilir kılıyor. LLaMA v2 Sohbetinin Giriş ve Çıkışlarını Anlamak Bir modele neyin girip çıktığını anlamak, modelin yeteneklerini etkili bir şekilde kullanmanın anahtarıdır. Şimdi modelin girdi ve çıktılarını tanıyalım. Girişler Model aşağıdaki girdileri kabul eder: (string): Llama v2'ye gönderilecek komut istemi. prompt (integer): Oluşturulacak maksimum jeton sayısı. Bir kelimenin genellikle 2-3 simgeden oluştuğunu unutmayın. Varsayılan değer 500'dür. max_length (sayı): Çıkışların rastgeleliğini ayarlar. 1'den büyük olması rastgele, 0 ise deterministiktir. İyi bir başlangıç değeri 0,75'tir. temperature (sayı): Metin kod çözme sırasında, en olası belirteçlerin en üst p yüzdesinden örnekler. Daha az olası belirteçleri göz ardı etmek için bunu düşürün. Varsayılan değer 1'dir. top_p (sayı): Oluşturulan metinde tekrarlanan kelimeler için ceza sağlar. 1 penaltı değildir. 1'den büyük değerler tekrarlamayı engeller, 1'den küçük değerler ise teşvik eder. repetition_penalty (boolean): Günlüklerde hata ayıklama çıktısı sağlamak için kullanılır. debug Modelin yaratıcılarının isteminizi oluştururken bu yapıyı izlemenizi önerdiğini unutmayın: User: <your prompt goes here> Assistant: Örneğin... User: give me tips on things to do in Maine Assistant: Modelin Çıktıları Model aşağıdaki çıktıyı üretir: Çıktı yapısını kataloglayan ham bir JSON şeması - daha fazla hesaplama veya kullanıcı arayüzü için kullanılacak bir dize dizisi. İşte çıktı şemasının bir örneği: { "type": "array", "items": { "type": "string" }, "title": "Output", "x-cog-array-type": "iterator", "x-cog-array-display": "concatenate" } Şimdi bu modelin nasıl kullanılacağının en ince ayrıntılarına geçelim. Doğal Sohbet Tamamlamaları Oluşturmak için LLaMA v2 Sohbetini Kullanma İster kodla uğraşan bir acemi olun, ister tecrübeli bir usta olun, gerçekçi sohbet tamamlamaları oluşturmak için llama13b-v2-chat modelini kullanmak oldukça eğlenceli olabilir. Modelin arayüzüyle etkileşim kurmak ve sadece oyun oynuyorsanız ve nasıl çalıştığına dair bir fikir edinmek istiyorsanız, çalışmasını anlamak için . Bunu projenize uygulamaya hazır olduğunuzda aşağıdaki adımları izleyin. bu demo bağlantısını kullanın Öncelikle Node.js istemcisini yükleyerek ortamınızı ayarlamanız gerekir: npm install Replicate Ardından API belirtecinizin kimliğini doğrulayın ve bunu bir ortam değişkeni olarak ayarlayın. Bu belirteç kişiseldir ve bu nedenle gizli tutulmalıdır: export REPLICATE_API_TOKEN=r8_****** Daha sonra modeli aşağıdaki komut dosyasıyla çalıştırabilirsiniz: import Replicate from "replicate"; const replicate = new Replicate({ auth: process.env.REPLICATE_API_TOKEN, }); const output = await replicate.run( "a16z-infra/llama13b-v2-chat:df7690f1994d94e96ad9d568eac121aecf50684a0b0963b25a41cc40061269e5", { input: { prompt: "..." } } ); Tahmininiz tamamlandığında çağrılacak bir web kancası da ayarlayabilirsiniz. Bu, günlüklerin tutulmasında veya otomatik uyarıların ayarlanmasında yararlı olabilir. const prediction = await replicate.predictions.create({ version: "df7690f1994d94e96ad9d568eac121aecf50684a0b0963b25a41cc40061269e5", input: { prompt: "..." }, webhook: "https://example.com/your-webhook", webhook_events_filter: ["completed"] }); Daha fazla ayrıntı için her zaman belgelere başvurabilirsiniz. Replicate'deki Daha İleriye Gitmek: ile Diğer Metinden Metne Modellerini Bulma AIModels.fyi Uygulamanız için başka sohbet robotlarını keşfetmek ister misiniz? kullanırken llama13b-v2-chat'e benzer modelleri bulmak kolaydır. AIModels.fyi'yi Özel ihtiyaçlarınızı karşılayan diğer yapay zeka modellerini bulmanıza yardımcı olacak adım adım kılavuzu burada bulabilirsiniz: Adım 1: ziyaret edin AIModels.fyi'yi Araştırmanıza başlamak için gidin. AIModels.fyi'ye 2. Adım: Arama Çubuğunu kullanın "Metinden metne", "dil modelleri" vb. gibi anahtar ifadeleri yazın. Arama motoru, sorgunuza uygun modellerin bir listesini sağlayacaktır. 3. Adım: Sonuçları Filtreleyin Aramanızı daraltmaya yönelik filtreleri arama sonuçları sayfanızda bulabilirsiniz. Modelleri türe, maliyete, popülerliğe ve hatta belirli yaratıcılara göre filtreleyebilir ve sıralayabilirsiniz. Örneğin, bütçeye uygun bir metinden metne modeli arıyorsanız, en ucuz seçeneği bulmak için modelleri fiyata göre sıralayabilirsiniz. Çözüm Bu kılavuzda, zengin özelliklere sahip, uygun maliyetli bir dil modeli olan LLaMA v2'nin potansiyelini araştırdık. Bir sonraki sohbet uygulamanızın potansiyel omurgasıdır, incelikli ve gerçekçi sohbeti güçlendirir. Artık bu modeli nasıl uygulayacağınızı, girdilerini/çıktılarını nasıl anlayacağınızı ve ilgili sohbet tamamlamalarını etkili bir şekilde nasıl oluşturacağınızı biliyorsunuz. Bilginizi geliştirmeye devam ederken bu diğer kılavuzları yararlı bulabilirsiniz: LangChain Sohbet Modelleri: Genel Bakış LangChain ve DeepInfra ile Müşteri Desteği Sohbet Robotu Oluşturma: Adım Adım Kılavuz Hayal gücünüzü alıp bu yapay zeka araçlarıyla birleştirerek, kendinizi yapay zekanın geniş evrenine açarak yeni ve heyecan verici projeler yaratabilirsiniz. Bundan sonra nereye gideceğinizi görmek için heyecanlıyız. Daha fazla eğitime abone olmayı, yeni ve geliştirilmiş yapay zeka modelleri hakkında güncel bilgilere sahip olmayı ve bir sonraki yapay zeka projeniz için yaratıcılığınızı beslemeyi unutmayın. O zamana kadar, AI'nın maceraları kutlu olsun ve merhaba demeyi unutmayın. twitter'ımda Bunun gibi daha fazla içerik için veya beni Twitter'da takip edin abone olun !

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

This writer has a vested interest be it monetary, business, or otherwise, with 1 or more of the products or companies mentioned within.

Bu ses hikayenin orijinal dilinde üretilmiştir!

Sohbet Uygulamaları için LLaMA v2'ye Derin Bir Bakış

Çok uzun; Okumak

People Mentioned

@mikeyoung44

Credibility

İLGİLİ ÖYKÜLER