paint-brush
语法无错误且可推广的法学硕士 (LLM) 工具使用:附录经过@textmodels
131 讀數

语法无错误且可推广的法学硕士 (LLM) 工具使用:附录

太長; 讀書

研究人员提出了 TOOLDEC,一种用于 LLM 的有限状态机引导解码,可减少错误并改善工具使用。
featured image - 语法无错误且可推广的法学硕士 (LLM) 工具使用:附录
Writings, Papers and Blogs on Text Models HackerNoon profile picture
0-item

作者:

(1)加州大学圣巴巴拉分校的张克迅及其同等贡献;

(2)Northwood High School的Hongqiao Chen,以及同等贡献;

(3) 李蕾,卡内基梅隆大学;

(4)威廉杨·王(William Yang Wang),加州大学圣巴巴拉分校

链接表

附录

A.1 解码算法的伪代码

A.2 将 TOOLKENGPT 推广到前所未见的新工具

图 6:一旦工具调用开始,TOOLDEC 就会将特殊提示(蓝色文本)注入上下文中以生成工具名称。

A.3 TOOLDEC 消除工具相关错误的示例

在本节中,我们展示了 TOOLDEC 在各种基线上预防工具相关错误的示例。基线显示在左栏,TOOLDEC 显示在右栏。





图 7:TOOLDEC 可以防止 ToolLLM 上的函数名称错误、函数参数错误和无效的 ReAct 语法。


图8:TOOLDEC 可以消除微调模型中常见的与工具相关的错误。

A.4 Kamel 关系示例

表 6:KAMEL 关系示例