Kitap Özetleme için PrivateGPT: Yapılandırma Değişkenlerini Test Etme ve Sıralama

Bir düzine kitabı elle özetlemeye başladım ve her özetin haftalarımı alacağını fark ettim. Sonra bu yapay zeka devriminin gerçekleştiğini hatırladım ve bu sulara atlamayı çoktan geride bıraktığıma karar verdim.

Büyük metinleri özetlemek için büyük dil modellerinin (LLM) kullanımını araştırmaya başladığımda, bunun nasıl yapılacağına dair net bir yön bulamadım .

• Bazı sayfalarda, özetlenmesini istediğiniz kitabın içeriğini sihirli bir şekilde bileceği fikriyle GPT4'e örnek istemler verilmektedir. (OLUMSUZ)
• Bazıları metnimin tamamını tek seferde işleyebilecek geniş bağlamlı bir model bulmam gerektiğini önerdi. (Henüz değil)
• Belgeleri bir veritabanına yüklemenize ve bu veritabanının içeriğine göre soruları yanıtlamanıza olanak tanıyan bazı açık kaynaklı araçlar mevcuttur. (Yakınlaşmak)
• Diğerleri, önce kitabı bölümlere ayırmanızı ve bunları özetlemek için Yüksek Lisans'a teker teker beslemenizi önerdi. (Şimdi konuşuyoruz)
• Bu belirlemeyi yapmanın ötesinde, belirli bir Yüksek Lisans uygulanırken hesaba katılması gereken çok sayıda değişken vardır.
• Mevcut tüm tavsiyelere veya model sıralamalarına rağmen, diğerlerinden farklı sonuçlar elde ettiğimi hemen fark ettim. Benim kullanım durumum, model formatı, niceleme, sıkıştırma, bilgi istemi stilleri veya başka bir şey mi? Bilmiyorum. Tek bildiğim, kendi çalışma koşullarınıza göre kendi model sıralamanızı yapın. İnternette okuduğunuz bazı grafiklere inanmayın.

Bu kılavuz, yukarıda belirtilen değişkenlerin ayrıntılarını belirleme ve test etme sürecime ilişkin bazı ayrıntılar sunmaktadır.

Sıralama verilerinin tamamını, izlenecek yolları ve sonuç özetlerini GitHub'da bulabilirsiniz .

Arka plan

Anahtar terimler

Bu terimlerden bazıları bağlama bağlı olarak farklı şekillerde kullanılmaktadır (kelime oyunu değildir).

• Büyük Dil Modeli (LLM) : (AKA Modeli) İnsan dilini anlamak ve oluşturmak için devasa veri kümeleri üzerinde eğitilmiş bir tür Yapay Zeka.

  Örnek : OpenAI'nin dünyayı kasıp kavuran GPT3.5 ve GPT4'ü. (Bizim durumumuzda Hugging Face'te bulunan açık kaynaklı ve/veya ücretsiz indirilebilir modeller arasından seçim yapıyoruz.)

• Alma Artırılmış Üretim (RAG) : Meta AI tarafından geliştirilen , LLM'nin belirli bir kullanıcı sorgusuna (Belge Q/A) bir yanıt bulmak için belgeleri aradığı bir veritabanında depolamaya yönelik bir teknik.

• Kullanıcı Talimatları: (AKA İstemi veya Bağlam) kullanıcı tarafından sağlanan sorgudur.

  Örnek: “Aşağıdaki metni özetleyin: { text } ”

• Sistem İstemi: Kullanıcı isteminden önce verilen, yardımcınızın kişiliğini şekillendirmeye yardımcı olan özel talimatlar.

  Örnek: "Yardımsever bir AI Asistanısınız."

• Bağlam: Kullanıcı talimatları ve muhtemelen bir sistem istemi ve muhtemelen önceki soru/cevap çiftleri turları. (Önceki Soru/Cevap çiftlerine yalnızca bağlam adı da verilir).

• Bilgi İstemi Stili : Bunlar, bir LLM'nin kullanıcı talimatları, sistem istemi ve önceki sorulardaki bağlam arasındaki farkı tanımak için eğitildiği özel karakter kombinasyonlarıdır.

  Örnek: <s>[INST] {systemPrompt} [INST] [INST] {previousQuestion} [/INST] {answer} </s> [INST] {userInstructions} [/INST]

• 7B: Belirli bir modeldeki parametre sayısını belirtir (daha yüksek, genellikle daha iyidir). Parametreler, modelin eğitim sırasında öğrendiği ve tahminlerde bulunmak için kullanılan iç değişkenlerdir. Benim amaçlarım açısından, 7B modellerinin 12 GB VRAM'li bir GPU'ma sığması muhtemeldir.

• GGUF: Bu, tüketici donanımı (CPU/GPU) için tasarlanmış LLM'ye özel bir formattır. İlgilendiğiniz model ne olursa olsun, PrivateGPT'de kullanmak için onun GGUF versiyonunu (genellikle TheBloke tarafından yapılır) bulmalısınız.

• Q2-Q8 0, K_M veya K_S: Bir GGUF deposunun dosyalarına göz atarken aynı modelin farklı versiyonlarını göreceksiniz. Daha yüksek bir sayı, daha az sıkıştırılmış ve daha iyi kalite anlamına gelir. K_M'deki M "Orta", K_S'deki S ise "Küçük" anlamına gelir.

• VRAM: Bu, GPU'nuzun bellek kapasitesidir. Tamamen GPU'ya yüklemek için mevcut VRAM'ınızdan daha küçük boyutlu bir model isteyeceksiniz.

• Belirteçler: Bu, LLM'nin dili tarttığı metriktir. Her jeton yaklaşık 4 karakterden oluşur.

PrivateGPT nedir?

PrivateGPT (pgpt), kullanıcıların LLM'yi evde kendi donanımlarıyla kullanmalarına olanak tanıyan bir kullanıcı arayüzü ve programlanabilir API sağlayan açık kaynaklı bir projedir . RAG destekli Belge Soru-Cevap için belgeleri kendi yerel veritabanınıza yüklemenize olanak tanır.

PrivateGPT Belgeleri - Genel Bakış :

PrivateGPT , özel, bağlama duyarlı yapay zeka uygulamaları oluşturmak için gereken tüm yapı taşlarını içeren bir API sağlar. API, OpenAI API standardını takip edip genişletir ve hem normal hem de akış yanıtlarını destekler. Bu, OpenAI API'yi araçlarınızdan birinde kullanabiliyorsanız, bunun yerine kendi PrivateGPT API'nizi kod değişikliği olmadan ve eğer PrivateGPT'yi local modda çalıştırıyorsanız ücretsiz olarak kullanabileceğiniz anlamına gelir.

Genel Bakış

1. PrivateGPT kullanıcı arayüzünü\RAG kullanarak kitap bölümlerine sorular sorarak başladım.

   Daha sonra özetleme için metni önceden seçmeyi denedim. Bu, sonuçlarımın ne kadar büyük bir fark göstereceğini görmek için 1. Tur sıralamaları için ilham kaynağıydı. (Önceden Seçilmiş Bölümlerin Özetlenmesi.)

2. Daha sonra bu görevi hangi modellerin en iyi şekilde yerine getirebileceğini bulmak istedim, bu da Mistral-7B-Instruct-v0.2'nin açık ara kazanan olduğu 2. Tur sıralamasına yol açtı.

3. Daha sonra bilgi istemi stillerini sıralayarak ve tam olarak beklenen bilgi istemi stilini elde etmek için kod yazarak bu modelden en iyi sonuçları almak istedim.

4. Bundan sonra elbette hangisinin en iyi performansı göstereceğini görmek için çeşitli sistem komutlarını test etmek zorunda kaldım.

5. Daha sonra, benim tarafımdan en az son işlem gerektiren özetler oluşturmak için en iyi istemin ne olduğunu belirlemek için birkaç kullanıcı istemini denedim.

6. Sonuçta bu tür testler her LLM için ve süreçlerimizdeki herhangi bir iyileştirmenin etkinliğini belirlemek için yapılmalıdır. Bana göre, her model ancak en ideal koşulları hedeflendikten sonra birbirlerine göre uygun şekilde sıralanabilir.

Sıralamalar

Çeşitli LLM çeşitlerini test etmeye başladığımda mistral-7b-instruct-v0.1.Q4_K_M.gguf PrivateGPT'nin varsayılan kurulumunun bir parçası olarak geldi (CPU'nuzda çalışacak şekilde yapıldı). Burada Q8_0 çeşitlerini tercih ettim.

Aynı görev için 50'den fazla farklı LLM denemiş olsam da Mistral-7B-Instruct hala en iyiler arasında, özellikle v0.2 piyasaya çıktığından beri daha iyisini bulamadım.

TLDR: Mistral-7B-Instruct-v0.2 - özetleme görevlerinde şu anki liderim.

1. Tur - Soru-Cevap ve Özet

Soru-Cevap yaparken, veritabanına daha küçük veri yığınları yüklerken ve her seferinde temiz bir sayfa açarak başladığımda çok daha iyi sonuçlar elde ettiğimi hemen keşfettim. Böylece PDF'yi Soru-Cevap amacıyla bölümlere ayırmaya başladım.

İlk analizim için aşağıdaki görevler için 5 farklı LLM'yi test ettim:

1. Aynı 30 soruyu 70 sayfalık bir kitap bölümüne sormak.
2. Aynı 70 sayfalık kitap bölümünün 30 parçaya bölünmüş şekilde özetlenmesi.

Soru/Cevap Sıralaması

1. Hermes Trismegistus Mistral 7b - Bu testler sırasında favorim, ancak özetleri düzenlerken bunun çok ayrıntılı olduğuna karar verdim.
2. SynthIA 7B V2 - Bu turda test edilen modeller arasında favorim oldu.
3. Mistral 7b Instruct v0.1 - İstediğim kadar iyi değil.
4. CollectiveCognition v1.1 Mistral 7b Çok fazla dolgu maddesi vardı ve hepsinden en uzun süreyi aldı. Kalite/kullanışlılık açısından mistralden biraz daha yüksek puan aldı, ancak dolgu miktarı okumayı daha az zevkli hale getirdi.
5. KAI 7b Instruct'ın yanıtları çok kısaydı ve BS'sinin biraz daha öne çıkmasını sağladı. İyi bir model, ancak ayrıntılı kitap özetleri için uygun değil.

Her model için gösterilir

• Yanıtı oluşturmak için gereken saniye sayısı
• Öznel Kullanışlılık\Kalite Derecelendirmelerinin Toplamı
• Kaç karakter oluşturuldu?
• Hedef aralıkta bulunan bağlam bağlamı parçalarının toplamı.
• Oluşturulan metinde bulunan, aşağıda listelenen niteliklerin sayısı:
  • Dolgu (Daha az değerli ekstra kelimeler)
  • Kısa (Çok kısa, çalışmak için yeterli değil.)
  • BS (Bu kitaptan değil ve faydalı değil.)
  • İyi BS (Hedeflenen bölümden değil ancak geçerli.)

Özet Sıralaması

Bu ilk turda bölüm içeriğini çeşitli konulara göre bölümlere ayırdım.

Her biri 900-14000 karakter (veya 225-3500 jeton).

NOT: Şimdilik çok sayıda geniş bağlam modelinin yayınlanmasına rağmen, daha küçük bağlamın daha iyi özetler sağlayacağına inanıyorum. Özetleme görevi başına 2750 jetonun (11000 karakter) fazlasını tercih etmiyorum.

1. Hermes Trismegistus Mistral 7b - Hala lider. Bazı dolgu maddeleri ile ayrıntılıdır. Bu sonuçları kullanabilirim.
2. SynthIA 7B - Oldukça iyi ama fazla kısa. Yanıtların çoğu mükemmeldi ancak 7'si kullanılamayacak kadar kısa/tamamlanmamış.
3. Mistral 7b Instruct v0.1 - Çok kısa.
4. KAI 7b Talimatı - Çok kısa.
5. CollectiveCognition v1.1 Mistral 7b - Çok fazla çöp. Özetlerden bazıları son derece ayrıntılı ve mükemmeldi, ancak yanıtların yarısından fazlası özet değil, metne dayalı bir dizi soruydu.

Özetlerin Soru-Cevap'tan çok daha iyi performans göstermesi şaşırtıcı değil ama aynı zamanda daha iyi hedeflenmiş bir bağlama da sahiplerdi.

Tüm verileri ve sıralamaları Google Dokümanlar'da veya GitHub'da bulabilirsiniz: QA Puanları , Özet Sıralamalar .

2. Tur: Özetleme - Model Sıralaması

Ben yine 7B modellerinin Q8 versiyonlarını tercih ediyorum.

Mistral 7b Instruct v0.2'nin yayınlandığını bulmak yeni bir test turuna değdi.

Ayrıca istem stilini test etmeye karar verdim. PrivateGPT, Mistral istemiyle birlikte paketlenmedi ve Mistral istemi, Llama2 İstemi'ne benzese de, varsayılan (lama indeksi) istemiyle daha iyi performans gösteriyor gibi görünüyordu.

• SynthIA-7B-v2.0-GGUF - Bu model benim favorim haline gelmişti, bu yüzden onu referans olarak kullandım.
• Mistral-7B-Instruct-v0.2 (Llama-index Prompt) Burada gösterinin yıldızı oldukça etkileyici.
• Mistral-7B-Instruct-v0.2 (Llama2 İstemi) Hala iyi, ancak lama-indeks istemini kullanmak kadar iyi değil
• Tess-7B-v1.4 - Synthia v2 ile aynı yaratıcının bir başkası. İyi ama onun kadar iyi değil.
• Llama-2-7B-32K-Instruct-GGUF - lama indeksi istemiyle iyi çalıştı ancak yavaş çalıştı. Llama2 isteminde sadece kötü. (Llama2 "Yalnızca Talimat" stiliyle tekrar test edilmelidir)

Özet Sıralaması

Yalnızca özetler, Soru-Cevap, kitap özetleme açısından daha az verimlidir.

Tüm verileri ve sıralamaları Google Dokümanlar'da veya GitHub'da bulabilirsiniz.

3. Tur: Hızlı Stil

Önceki turda Mistral 7b Instruct v0.2'nin varsayılan komut isteminde llama2'ye göre çok daha iyi performans gösterdiğini fark ettim.

Aslında mistral istemi lama2'ye oldukça benziyor ama tam olarak aynısı değil.

1. llama_index (varsayılan)

 system: {{systemPrompt}} user: {{userInstructions}} assistant: {{assistantResponse}}

2. Lama2:

 <s> [INST] <<SYS>> {{systemPrompt}} <</SYS>> {{userInstructions}} [/INST]

3. mistral:

 <s>[INST] {{systemPrompt}} [/INST]</s>[INST] {{userInstructions}} [/INST]

Çıktıyı default , ardından llama2 bilgi istemi stilleriyle test etmeye başladım . Daha sonra mistral şablonunu kodlamaya başladım.

Bu sıralamanın sonuçları bana doğru kodladığım konusunda güven verdi.

Tüm verileri ve sıralamaları Google Dokümanlar'da veya GitHub'da bulabilirsiniz.

4. Tur: Sistem İstemleri

Bilgi istemi stilini ayarladıktan sonra birkaç farklı sistem istemi denedim ve sonuç beni şaşırttı!

Sonuçta herhangi bir sistem istemi olmadan özetlerim için Mistral 7b Instruct v0.2'nin en iyi sonucu verdiğini buldum.

Belki farklı bir görev için farklı sonuçlar elde edilebilir veya belki daha iyi yönlendirme yapılabilir, ancak bu iyi çalışıyor, bu yüzden onunla uğraşmıyorum.

Tüm verileri ve sıralamaları Google Dokümanlar'da veya GitHub'da bulabilirsiniz.

5. Tur: Kullanıcı İstemi

Zaten şüphelenmeye başladığım şey, komut isteminde daha az kelimeyle daha iyi sonuçlar elde ettiğimdir. Mistral 7b Instruct v0.2 için en iyi sistem istemini bulduğum için, hangi kullanıcı isteminin ona en uygun olduğunu da test ettim.

Tüm verileri ve sıralamaları Google Dokümanlar'da veya GitHub'da bulabilirsiniz.

Belki 11b veya 30b modellerini destekleyebilen daha güçlü donanımlarla daha açıklayıcı yönlendirmelerle daha iyi sonuçlar elde edebilirim. Mistral 7b Instruct v0.2 ile bile bazı yaratıcı talimatları denemeye hâlâ açığım, ancak şimdilik mevcut sürecimi geliştirmekten mutluyum.

İstem2: Kazanır!

Aşağıdaki metni özetleyen kapsamlı notlar yazın. İç içe geçmiş madde işaretleri kullanın: başlıklar, terimler ve anahtar kavramlar kalın harflerle yazılmıştır.

Bu durumda kapsamlı, "özlü"den, hatta "kapsamlı ama özlü"den daha iyi performans gösterir.

Ancak bunun kullanım durumunuza bağlı olacağı konusunda uyarıyorum. Aradığım şey, önemli bilgileri kapsayan oldukça yoğunlaştırılmış ve okunabilir notlar.

Esasen, orijinali okumamış olsaydım, her ayrıntıyı olmasa da hangi bilgileri aktardığını yine de bilmem gerekirdi. Orijinalini okumuş olsam bile sonradan çoğunluğunu hatırlamayacağım. Bu notlar ana konulara hızlı bir referans niteliğindedir.

Sonuç

Bu testlerden edindiğim bilgileri kullanarak 539 sayfalık ilk kitabımı 5-6 saatte özetledim!!! İnanılmaz!

Özet başına haftalar harcamak yerine ilk 9 kitap özetimi yalnızca 10 günde tamamladım.

İntihal

Burada yayınlanan metinlerin her biri için CopyLeaks'in sonuçlarını aşağıda görebilirsiniz.

Hele ki bunun kâr amaçlı değil eğitim amaçlı olduğunu düşünürsek bu rakamların kabul edilebilir olduğunu düşünüyorum.

Tamamlanan Kitap Özetleri

Özet başına haftalar harcamak yerine ilk 9 kitap özetimi yalnızca 10 günde tamamladım. Parantez içinde orijinalin sayfa sayısı verilmiştir.

1. Doğu Bedeni Batı Zihni Anodea Judith (436 sayfa)
2. Vagus Sinirinin İyileştirici Gücü Stanley Rosenberg (335 Sayfa)
3. Ayurveda ve Zihin Dr. David Frawley (181 Sayfa)
4. Travmadan Hayatta Kalanların Parçalanmış Benliklerini İyileştirmek Janina Fisher (367 Sayfa)
5. Güvenli Bir Üs John Bowlby (133 Sayfa)
6. Skoru Vücut Tutuyor Bessel van der Kolk (454 Sayfa)
7. Yoga ve Polyvagal Teorisi, Polyvagal Safety Steven Porges'den (37 sayfa)
8. Llewellyn'in Çakralar Cynthia Dale'in Tam Kitabı (999 sayfa)
   • 1. BÖLÜM ÇAKRA TEMELLERİ VE TEMEL UYGULAMALAR
   • BÖLÜM 2: DERİNLİKTE ÇAKRALAR. TARİHSEL, BİLİMSEL VE KÜLTÜRLERARASI ANLAYIŞLAR
9. Elli Yıllık Bağlanma Teorisi: Donald Winnicott'u Anma Dersi (54 sayfa)
10. Yetişkinlerde Bağlanma Bozuklukları (477 Sayfa)
11. Psikoloji Bölümünün Arkadaşı Dana S. Dunn, Jane S. Halonen (308 Sayfa)
12. Kurtarıcı Şiddet Efsanesi Walter Wink (5 Sayfa)
13. Hayatınızdaki Psikoloji Sarah Gison ve Michael S. Gazzaniga (1072 Sayfa)

İzlenecek yol

Adımlarımı daha yakından takip etmek istiyorsanız GitHub'da komut dosyaları ve örnekler içeren kılavuza göz atın.

Çözüm

Artık süreçlerimi iyileştirdiğime ve hızlı formatlarla çalışma konusunda kendime güvendiğime göre, daha fazla test yapacağım. Aslında daha fazla test ve sıralama yaptım (sonrakileri yayınlayacağım), ancak elbette tekrar daha fazla test yapıp öğrenmeye devam edeceğim!

Hala yapay zeka ile gerçekleştirdiğiniz görevde en iyi sonuçları elde etmek istiyorsanız kendi deneylerinizi yapıp neyin en iyi sonucu verdiğini görmeniz gerektiğine inanıyorum. Yalnızca popüler model sıralamalarına güvenmeyin, bunları kendi araştırmanıza rehberlik etmek için kullanın.

Ek kaynaklar

• Uzun Bağlam Geri Çağırma yetenekleri açısından en popüler açık kaynaklı LLM'lerin (Büyük Dil Modelleri) basınç testi yapılmıştır u/ramprasad27 ( Bölüm 2 )
  • LeonEricsson / llmcontext - 💢 Açık Yüksek Lisans Programlarının bağlam penceresinin basınç testi
• Chatbox Arena Skor Tablosu
• 🐺🐦‍⬛ Yüksek Lisans Karşılaştırması/Test: Sıralama 10 yeni modelle güncellendi (en iyi 7B'ler)! u/WolframRavenwolf
  • 🐺🐦‍⬛ LLM İstem Formatı Karşılaştırması/Test: Mixtral 8x7B 17 farklı talimat şablonuyla talimat u/WolframRavenwolf
• Halüsinasyon liderlik tablosu Vectara