LLM'ler için Sözdizimi Hatasız ve Genelleştirilebilir Araç Kullanımı: Özet ve Giriş

Bağlantı Tablosu

• Özet ve Giriş
• Alakalı iş
• ToolDec: Sonlu Durum Kod Çözme Yoluyla Yüksek Lisans Aracı Kullanımı
• Deney: ToolDec Sözdizimi Hatalarını Ortadan Kaldırıyor
• Deney: ToolDec Genelleştirilebilir Takım Seçimini Etkinleştiriyor
• Sonuç ve Referanslar
• Ek

SOYUT

Büyük dil modelleri (LLM'ler), karmaşık sorunları çözmek için harici araçların kullanılması konusunda umut verici yetenekler göstermiştir. Bununla birlikte, mevcut yaklaşımlar ya ek eğitim olmadan yeni araçlara genellenemeyen araç gösterimlerinde ince ayar yapılmasını ya da araç sayısını sınırlandırarak bağlam içinde araç dokümantasyonu sağlamayı içerir. Her iki yaklaşım da sıklıkla sözdizimsel olarak geçersiz araç çağrıları üretir. Bu yazıda, araç destekli LLM'ler için sonlu durumlu makine kılavuzlu kod çözme algoritması olan TOOLDEC'i öneriyoruz. TOOLDEC, geçerli araç adları ve türe uygun argümanlar sağlayarak, herhangi bir araçla zenginleştirilmiş LLM'ler için araçla ilgili hataları ortadan kaldırır. Ayrıca TOOLDEC, LLM'nin, ince ayarlara veya bağlam içi belgelere gerek kalmadan, yalnızca adlarında bulunan bilgileri kullanarak araçları etkili bir şekilde seçmesine olanak tanır. Matematik fonksiyonları, bilgi grafiği ilişkileri ve karmaşık gerçek dünya RESTful API'leri gibi araçları içeren çeşitli görevlerde birden fazla önceki yöntemi ve bunların TOOLDEC ile geliştirilmiş sürümlerini değerlendirdik. Deneylerimiz TOOLDEC'in sözdizimsel hataları sıfıra indirdiğini, bunun sonucunda önemli ölçüde daha iyi performans ve 2 kata kadar hızlanma elde ettiğini gösteriyor. Ayrıca TOOLDEC'in, temel değerlerden 8 kata kadar daha iyi performans göstererek, görünmeyen araçlarda üstün genelleme performansı elde ettiğini de gösteriyoruz [1]

1. GİRİŞ

Büyük dil modellerini (LLM'ler) harici araçlarla genişletmek (Mialon ve diğerleri, 2023), karmaşık sorunları çözmelerini sağlar. Mevcut LLM'ler alıcıları (Shen ve diğerleri, 2023; Gupta ve Kembhavi, 2022; Schick ve diğerleri, 2023), RESTful API'leri (Qin ve diğerleri, 2023; Song ve diğerleri, 2023), program yorumlayıcılarını (Chen ve diğerleri) kullanabilir. diğerleri, 2022; Gao ve diğerleri, 2023) ve diğer çeşitli araçlar. Araçla zenginleştirilmiş bir LLM'nin performansı, üç temel kararı verme yeteneğine bağlıdır: bir aracın ne zaman kullanılacağı, hangi aracın kullanılacağı ve bir aracın nasıl çağrılacağı. Mevcut yaklaşımlar bu kararları ince ayar veya bağlam içi öğrenme yoluyla almayı öğrenir.

Ancak bu yaklaşımlar hala hatalı araç çağrıları üretmektedir. Örneğin, bağlam içi öğrenme, araç envanterinde yer almayan var olmayan araç adlarını kolayca oluşturabilir çünkü var olmayan araçlar bir sonraki simge olarak da makul görünebilir (Song ve diğerleri, 2023; Qin ve diğerleri, 2023) . İnce ayarlı modeller, araçları genellikle doğru adlarla çağırsa da, tıpkı bağlam içi öğrenmenin yaptığı gibi, çoğu zaman geçersiz argümanları doğru araç işlevlerine iletir (Hao ve diğerleri, 2023). Ayrıca, önceki yaklaşımlar görünmeyen araçlara iyi bir genelleme yapmamaktadır. İnce ayar yaklaşımları, yeni araçları benimsemek için ek eğitim verilerine ve daha fazla ince ayara ihtiyaç duyar. Bağlam içi öğrenme yaklaşımları, istemlerde araç dokümantasyonunu gerektirir.

Bu sorunları çözmek için, LLM'lerin araçları doğru şekilde çağırmasını sağlamak amacıyla sonlu durum makinesi (FSM) tarafından yönlendirilen bir kod çözme algoritması olan TOOLDEC'i öneriyoruz. Temel görüşümüz LLM kod çözme sırasında durumları açıkça temsil etmektir. Her durum, araç adlarına ve araç argümanlarına karşılık gelen geçerli bir belirteç kümesiyle ilişkilendirilir. TOOLDEC, kod çözme ilerledikçe durumdan duruma geçiş yapar. Her kod çözme adımında TOOLDEC, dil modelinin tüm sözlüğünden örnekleme yapmaz. Bunun yerine, mevcut durumun izin verdiği bir token alt kümesinden örnekler alır. TOOLDEC'e rehberlik sağlayan FSM, makinenin, araç çağrılarının dilbilgisini tam olarak temsil edebilmesi için, araç belgelerinden ve API imzasından oluşturulmuştur. Bu sayede TOOLDEC her zaman

Araç çağrılarını sözdizimsel olarak düzeltin. Şekil 1, TOOLDEC tarafından geliştirilmiş bir LLM'nin, kesin argümanlarla ("3.14" ve "123") doğru işlev çağrısı çarpımını üretebildiğini ve dolayısıyla araç tarafından döndürülen doğru sonucu aldığını göstermektedir. TOOLDEC ve diğer araç LLM'lerini karşılaştıran daha fazla örnek Ek A.3'te bulunabilir.

Ayrıca TOOLDEC, daha önce hiç ortaya çıkmamış yeni araçları çok daha verimli bir şekilde genelleştirir. Yeni araçların ince ayarını veya bağlam içi açıklamalarını gerektiren önceki yaklaşımlardan farklı olarak TOOLDEC, bir aracın API imzasından (adı ve bağımsız değişken türleri) otomatik olarak sonlu durumlu bir makine oluşturur ve bunu mevcut FSM'ye ekler. TOOLDEC daha sonra ince ayar yapmadan veya bağlam içi gösterime gerek kalmadan yeni araçları çağırabilir. Önceden eğitilmiş dil modelleri, istendiğinde araç adları oluşturabilse de, genellikle envanterde bulunmayan makul araç adlarını sanrı olarak görürler. TOOLDEC bunu yapmaz. Şekil 1'de hem çarpım hem de çarpma senaryo için makul görünmektedir, ancak yalnızca çarpma belirli bir araçtır. TOOLDEC yalnızca mevcut araçları çağırdığından, akla yatkın ancak var olmayan bir araç hayali kurmaz ve doğru aracı bulmak için araç adlarına güvenebilir.

Bu makalenin katkıları şu şekilde özetlenebilir:

• Yüksek Lisans'ların araçları doğru şekilde kullanmasını sağlayacak sonlu durum kod çözme algoritması olan TOOLDEC'i öneriyoruz. TOOLDEC'in iki avantajı vardır: oluşturulan araç çağrılarının sözdizimsel olarak doğru olduğu garanti edilir ve görünmeyen araçları verimli bir şekilde genelleştirir.

• TOOLDEC'in üstün performansını, farklı alanlardaki dört farklı veri kümesi üzerinde önceki güçlü temellere kıyasla ampirik olarak doğruluyoruz. Kapsamlı deneylerimiz, TOOLDEC'in tüm sözdizimi hatalarını ve sanrısal araç adlarını ortadan kaldırdığını, bunun daha iyi doğruluk ve %50'ye kadar daha az çıkarım süresi sağladığını gösteriyor. Sonuçlarımız aynı zamanda TOOLDEC'in 9 görünmeyen araçla matematiksel muhakemede temellerden 8 kat daha iyi olduğunu ve 204 görünmeyen araçla bilgi sorusu yanıtlamadan 7 kat daha iyi olduğunu gösteriyor.

[1] Kodumuzu ve verilerimizi https://github.com/chenhongqiao/tooldec adresinde yayınlıyoruz.