Yüksek Lisans'lar için Sözdizimi Hatasız ve Genelleştirilebilir Araç Kullanımı: İlgili Çalışma

Bağlantı Tablosu

• Özet ve Giriş
• Alakalı iş
• ToolDec: Sonlu Durum Kod Çözme Yoluyla Yüksek Lisans Aracı Kullanımı
• Deney: ToolDec Sözdizimi Hatalarını Ortadan Kaldırıyor
• Deney: ToolDec Genelleştirilebilir Takım Seçimini Etkinleştiriyor
• Sonuç ve Referanslar
• Ek

2. İLGİLİ ÇALIŞMA

Araçları kullanmak için dil modellerine ince ayar yapma. Dil modellerinde, serpiştirilmiş metin ve araç kullanımı içeren verileri içeren araçları kullanacak şekilde ince ayar yapılabilir. Daha önceki çalışmalar, ince ayar yaparak dil modellerinin erişim modülü (Borgeaud ve diğerleri, 2022; Guu ve diğerleri, 2020) veya bir arama motoru (Nakano ve diğerleri, 2021) gibi tek bir araç kullanmasını sağlıyordu. Birden fazla araç kullanan araçla zenginleştirilmiş dil modellerindeki son gelişmeler (Schick ve diğerleri, 2023; Parisi ve diğerleri, 2022), aynı zamanda QA modelleri, çeviri modelleri, hesap makineleri ve arama motorları gibi araçları kullanmak için dil modellerine ince ayar yapar. ToolkenGPT (Hao ve diğerleri, 2023), araçları temsil etmek için birkaç özel belirteç kullanmayı önerir ve yeni araçların benimsenmesinin daha verimli olabilmesi için yalnızca belirteçlerin yerleştirmelerini ayarlar. Ancak araç kullanımına yönelik ince ayar yaklaşımları, bir modeli yeni araçlara uyarlamak için hâlâ yeni verilere ve ekstra ince ayara ihtiyaç duyuyor. Sonlu durum kod çözme ile önceki iki paradigma arasındaki farkları Tablo 1'de listeliyoruz.

Araç kullanımı için bağlam içi öğrenme. Dil modelleri bağlam içi örneklerden öğrenebilir (Brown ve diğerleri, 2020) ve talimatları takip edebilir (Ouyang ve diğerleri, 2022). Bu, komut istemine araçların açıklamalarını kolayca koymayı ve dil modellerinden bunları kullanmalarını istemeyi mümkün kılar. Son çalışmalar, sinir modellerini (Shen ve diğerleri, 2023), RESTful API'leri (Qin ve diğerleri, 2023; Song ve diğerleri, 2023), program yorumlayıcılarını (Chen ve diğerleri, 2022; Gao ve diğerleri) kullanmak için bu olasılığı kullanmıştır. ., 2023) ve sorunları çözmeye yönelik diğer birçok araç. Bağlam içi öğrenme, yeni araçları kullanmak için ekstra model ayarlamasına ihtiyaç duymaz. Bununla birlikte, yeni araçların açıklamasının ve belgelenmesinin yine de istemde olması gerekir; bu da hesaplama maliyetini artırır ve modelin görev hakkında gerçekten akıl yürütmesi için bağlam bütçesini sınırlar.

Kısıtlı kod çözme ve sonlu durum makineleri. Önceki kısıtlı kod çözme yöntemleri esas olarak sözcüksel kısıtlamalara odaklanmaktadır (Anderson vd., 2017). Sonlu durum makineleriyle (Anderson ve diğerleri, 2017), benzer adayları bir araya gruplayarak (Hokamp ve Liu, 2017) ve daha iyi arama algoritmalarıyla (Miao ve diğerleri, 2019; Lu ve diğerleri) sözcüksel olarak kısıtlanmış kod çözmenin geniş arama alanını azaltırlar. diğerleri, 2021; Ancak sözcüksel kısıtlamalar araç çağrılarını düzenleyecek kadar anlamlı değildir. Sonlu durum makinelerinin, doğal dildeki esnek kısıtlamalarla başa çıkmak için ağırlıklı ve olasılıksal olması gerekirken (Eisner, 2002; Rastogi ve diğerleri, 2016), sözdizimsel araç çağrılarına yönelik kısıtlamalar, FSM'ler için çok daha kolay olan sert kısıtlamalardır. Bu nedenle TOOLDEC'in geçerli bir araç çağrısının sözdizimsel kısıtlamalarını karşılamasını öneriyoruz.