语法无错误且可推广的法学硕士工具使用：结论和参考文献

链接表

• 摘要和简介
• 相关工作
• ToolDec：通过有限状态解码使用 LLM 工具
• 实验：ToolDec 消除语法错误
• 实验：ToolDec 可实现通用工具选择
• 结论和参考文献
• 附录

六，结论

本文介绍了一种新颖的解码算法 TOOLDEC，旨在通过集成外部工具并确保其调用无语法错误来增强大型语言模型 (LLM)。TOOLDEC 由由工具文档和 API 签名构建的有限状态机指导，可准确表示工具调用的语法，解决现有模型中普遍存在的错误工具调用和对未见过的工具的泛化能力差等问题。

实验表明，TOOLDEC 消除了与工具相关的语法错误，提高了准确性，并节省了各种基准的推理时间。它还表现出无需额外微调数据即可推广到多个领域中未见过的工具的能力。TOOLDEC 的进步为开发更复杂的模型开辟了道路，这些模型无需额外的训练数据即可适应更广泛的工具和应用程序，从而产生能够解决更广泛复杂问题的更通用、更强大的 LLM。

TOOLDEC 在消除语法错误方面的成功可以启发人们关注工具调用的语义准确性和上下文相关性。这可以产生更有效地调用、理解和利用工具的模型，从而提高 LLM 的整体解决问题的能力。

参考

Peter Anderson、Basura Fernando、Mark Johnson 和 Stephen Gould。使用约束定向搜索进行引导开放词汇图像字幕制作。2017 年自然语言处理实证方法会议论文集，第 936–945 页，丹麦哥本哈根，2017 年 9 月。计算语言学协会。doi：10.18653/v1/D17-1098。URL https://aclanthology.org/D17-1098。

Sebastian Borgeaud、Arthur Mensch、Jordan Hoffmann、Trevor Cai、Eliza Rutherford、Katie Millican、George Bm Van Den Driessche、Jean-Baptiste Lespiau、Bogdan Damoc、Aidan Clark 等人。通过检索数万亿个标记来改进语言模型。在国际机器学习会议上，第 2206-2240 页。PMLR，2022 年。

Tom Brown、Benjamin Mann、Nick Ryder、Melanie Subbiah、Jared D Kaplan、Prafulla Dhariwal、Arvind Neelakantan、Pranav Shyam、Girish Sastry、Amanda Askell 等人。语言模型是少样本学习器。神经信息处理系统进展，33：1877–1901，2020 年。

Wenhu Chen、Xueguang Ma、Xinyi Wang 和 William W Cohen。思维提示程序：将计算与数字推理任务的推理区分开来。arXiv e-prints，第 arXiv-2211 页，2022 年。

Jason Eisner。概率有限状态传感器的参数估计。在计算语言学协会第 40 届年会论文集，第 1-8 页，2002 年。

Edward Fredkin。Trie 内存。Communications of the ACM，3(9):490–499，1960 年。

Luyu Gao、Aman Madaan、Shuyan Zhou、Uri Alon、Pengfei Liu、Yiming Yang、Jamie Callan 和 Graham Neubig。Pal：程序辅助语言模型。国际机器学习会议，第 10764-10799 页。PMLR，2023 年。

Tanmay Gupta 和 Aniruddha Kembhavi。可视化编程：无需训练的组合视觉推理。ArXiv，abs/2211.11559，2022 年。

Kelvin Guu、Kenton Lee、Zora Tung、Panupong Pasupat 和 Mingwei Chang。检索增强语言模型预训练。国际机器学习会议，第 3929-3938 页。PMLR，2020 年。

Shibo Hao、Tianyang Liu、Zhen Wang 和 Zhiting Hu。Toolkengpt：通过工具嵌入使用大量工具增强冻结语言模型。arXiv 预印本 arXiv:2305.11554，2023 年。

Chris Hokamp 和 Qun Liu。使用网格束搜索进行词汇约束解码以生成序列。第 55 届计算语言学协会年会论文集（第 1 卷：长篇论文），第 1535-1546 页，加拿大温哥华，2017 年 7 月。计算语言学协会。doi：10.18653/v1/P17-1141。URL https://aclanthology.org/P17-1141。

Jan-Christoph Kalo 和 Leandra Fichtel。Kamel：语言模型中使用多标记实体进行知识分析。自动知识库构建，2022 年。

Li Li, Wu Chou, Wei Zhou, 和 Min Luo. 网络应用程序 REST API 的设计模式和可扩展性。IEEE 网络与服务管理学报，13(1):154–167，2016 年。

Ximing Lu、Peter West、Rowan Zellers、Ronan Le Bras、Chandra Bhagavatula 和 Yejin Choi。神经解码：具有谓词逻辑约束的（无）监督神经文本生成。在 2021 年北美计算语言学协会会议论文集：人类语言技术，第 4288-4299 页，2021 年。

Ximing Lu、Sean Welleck、Peter West、Liwei Jiang、Jungo Kasai、Daniel Khashabi、Ronan Le Bras、Lianhui Qin、Youngjae Yu、Rowan Zellers 等人。神经系统 a* esque 解码：使用前瞻启发式方法生成受限文本。在《计算语言学协会北美分会 2022 年会议论文集：人类语言技术》中，第 780-799 页，2022 年。

Gregoire Mialon、Roberto Dess ´ `ı、Maria Lomeli、Christoforos Nalmpantis、Ram Pasunuru、Roberta Raileanu、Baptiste Roziere、Timo Schick、Jane Dwivedi-Yu、Asli Celikyilmaz 等人。增强型语言模型：一项调查。arXiv 预印本 arXiv:2302.07842，2023 年。

苗宁，周浩，牟莉莉，闫睿，李蕾。Cgmh：通过大都市-黑斯廷斯抽样进行受限句子生成。《AAAI 人工智能会议论文集》，第 33 卷，第 6834–6842 页，2019 年。

Reiichiro Nakano、Jacob Hilton、Suchir Balaji、Jeff Wu、Long Ouyang、Christina Kim、Christopher Hesse、Shantanu Jain、Vineet Kosaraju、William Saunders 等人。Webgpt：带有人工反馈的浏览器辅助问答。arXiv 预印本 arXiv:2112.09332，2021 年。

Long Ouyang、Jeffrey Wu、Xu Jiang、Diogo Almeida、Carroll Wainwright、Pamela Mishkin、Chong Zhang、Sandhini Agarwal、Katarina Slama、Alex Ray 等。训练语言模型以遵循带有人类反馈的指令。神经信息处理系统进展，35：27730–27744，2022 年。

Aaron Parisi、Yao Zhao 和 Noah Fiedel。Talm：工具增强语言模型。arXiv 预印本 arXiv:2205.12255，2022 年。

秦宇佳、梁世浩、叶一宁、朱昆仑、闫岚、陆亚曦、林彦凯、丛鑫、唐相如、钱比尔等Toolllm：促进大型语言模型掌握16000+个真实世界的API。 arXiv 预印本 arXiv:2307.16789, 2023 年。

Pushpendre Rastogi、Ryan Cotterell 和 Jason Eisner。使用神经背景加权有限状态传导。载于计算语言学协会北美分会 2016 年会议论文集：人类语言技术，第 623-633 页，2016 年。

Timo Schick、Jane Dwivedi-Yu、Roberto Dess`ı、Roberta Raileanu、Maria Lomeli、Luke Zettlemoyer、Nicola Cancedda 和 Thomas Scialom。Toolformer：语言模型可以自学使用工具。arXiv 预印本 arXiv:2302.04761，2023 年。

沈永良、宋凯涛、谭旭、李东生、陆伟明、庄月婷。 Hugginggpt：在 Hugging face 中使用 chatgpt 及其朋友解决人工智能任务，2023 年。

宋一凡、熊伟民、朱大伟、吴文浩、钱韩、宋明波、黄海良、李成、王柯、姚荣耀、田野、李苏建。 Restgpt：将大型语言模型与现实世界的 restful api 连接起来，2023 年。

Hugo Touvron、Thibaut Lavril、Gautier Izacard、Xavier Martinet、Marie-Anne Lachaux、Timothee´ Lacroix、Baptiste Roziere、Naman Goyal、Eric Hambro、Faisal Azhar、Aurelien Rodriguez、Ar- `mand Joulin、Edouard Grave 和 Guillaume Lample。Llama：开放且高效的基础语言模型，2023 年。

姚顺宇、赵杰弗里、余典、杜楠、Izhak Shafran、Karthik Narasimhan 和曹远。 React：语言模型中的协同推理和行动，2023 年。

郑连民、蒋伟林、盛英、庄思源、吴章浩、庄永豪、林子、李卓涵、李大成、Eric。 P Xing、Hao Zhang、Joseph E. Gonzalez 和 Ion Stoica。使用 mt-bench 和 chatbot arena 评判 llm-as-a-judge，2023 年。