LLM-এর জন্য সিনট্যাক্স ত্রুটি-মুক্ত এবং সাধারণীকরণযোগ্য টুল ব্যবহার: সম্পর্কিত কাজ

লিঙ্কের টেবিল

• বিমূর্ত এবং ভূমিকা
• সম্পর্কিত কাজ
• ToolDec: Finite-State Decoding এর মাধ্যমে LLM টুল ব্যবহার
• পরীক্ষা: টুলডেক সিনট্যাক্স ত্রুটি দূর করে
• পরীক্ষা: টুলডেক সাধারণীকরণযোগ্য টুল নির্বাচন সক্ষম করে
• উপসংহার এবং রেফারেন্স
• পরিশিষ্ট

2. সম্পর্কিত কাজ

টুল ব্যবহার করার জন্য ফাইন-টিউনিং ল্যাঙ্গুয়েজ মডেল। আন্তঃলিভিং টেক্সট এবং টুল ব্যবহার ধারণ করে এমন ডেটা সহ টুলগুলি ব্যবহার করার জন্য ভাষার মডেলগুলিকে সূক্ষ্মভাবে তৈরি করা যেতে পারে। পূর্ববর্তী গবেষণাগুলি ফাইন-টিউনিংয়ের মাধ্যমে ভাষার মডেলগুলিকে একটি পুনরুদ্ধার মডিউল (Borgeaud et al., 2022; Guu et al., 2020) বা একটি সার্চ ইঞ্জিন (Nakano et al., 2021) এর মতো একটি একক টুল ব্যবহার করে। টুল-অগমেন্টেড ল্যাঙ্গুয়েজ মডেলের সাম্প্রতিক অগ্রগতি যেগুলি একাধিক টুল ব্যবহার করে (Schick et al., 2023; Parisi et al., 2022) এছাড়াও QA মডেল, অনুবাদ মডেল, ক্যালকুলেটর এবং সার্চ ইঞ্জিন সহ টুলগুলি ব্যবহার করার জন্য ভাষা মডেলগুলিকে সূক্ষ্ম-টিউন করে৷ টুলকেনজিপিটি (হাও এট আল।, 2023) সরঞ্জামগুলিকে উপস্থাপন করার জন্য বেশ কয়েকটি বিশেষ টোকেন ব্যবহার করার প্রস্তাব দেয় এবং শুধুমাত্র টোকেনগুলির এমবেডিংগুলিকে সুর করে যাতে নতুন টুল গ্রহণ আরও দক্ষ হতে পারে। যাইহোক, টুল ব্যবহারের জন্য সূক্ষ্ম-টিউনিং পদ্ধতির জন্য এখনও নতুন ডেটা এবং অতিরিক্ত সূক্ষ্ম-টিউনিং প্রয়োজন একটি মডেলকে নতুন টুলের সাথে মানিয়ে নিতে। আমরা সারণী 1 এ সসীম-স্টেট ডিকোডিং এবং পূর্ববর্তী দুটি দৃষ্টান্তের মধ্যে পার্থক্যগুলি তালিকাভুক্ত করি।

টুল ব্যবহারের জন্য ইন-প্রসঙ্গ শিক্ষা। ভাষার মডেলগুলি প্রসঙ্গ উদাহরণ থেকে শিখতে পারে (Brown et al., 2020) এবং নির্দেশাবলী অনুসরণ করতে পারে (Ouyang et al., 2022)। এটি সহজভাবে প্রম্পটে সরঞ্জামগুলির বিবরণ রাখা এবং ভাষা মডেলগুলিকে সেগুলি ব্যবহার করতে বলা সম্ভব করে তোলে। সাম্প্রতিক কাজগুলি নিউরাল মডেল (শেন এট আল।, 2023), RESTful API (কিন এট আল।, 2023; গান এট আল।, 2023), প্রোগ্রাম ইন্টারপ্রেটার (চেন এট আল।, 2022; গাও এট আল।, 2023) ব্যবহার করার জন্য এই সম্ভাবনা ব্যবহার করেছে ., 2023) এবং সমস্যা সমাধানের জন্য অন্যান্য অনেক সরঞ্জাম। ইন-প্রেক্ষাপট শেখার জন্য নতুন টুল ব্যবহার করার জন্য অতিরিক্ত মডেল টিউনিংয়ের প্রয়োজন নেই। যাইহোক, নতুন টুলগুলির বর্ণনা এবং ডকুমেন্টেশন এখনও প্রম্পটে থাকা দরকার, যা গণনার খরচ বাড়ায় এবং কার্যটি সম্পর্কে বাস্তবে যুক্তি দেওয়ার জন্য মডেলের জন্য প্রসঙ্গ বাজেটকে সীমাবদ্ধ করে।

সীমাবদ্ধ ডিকোডিং এবং সসীম-রাষ্ট্র মেশিন। পূর্ববর্তী সীমাবদ্ধ ডিকোডিং পদ্ধতিগুলি মূলত আভিধানিক সীমাবদ্ধতার উপর ফোকাস করে (এন্ডারসন এট আল।, 2017)। তারা সীমিত-রাষ্ট্রীয় মেশিন (Anderson et al., 2017), অনুরূপ প্রার্থীদের একত্রিত করে (Hokamp & Liu, 2017), এবং আরও ভাল অনুসন্ধান অ্যালগরিদম (Miao et al., 2019; Lu et al., 2019; Lu et al. al., 2021; যাইহোক, আভিধানিক সীমাবদ্ধতা টুল কল নিয়ন্ত্রণ করার জন্য যথেষ্ট অভিব্যক্তিপূর্ণ নয়। যদিও সীমিত-রাষ্ট্রীয় মেশিনগুলিকে স্বাভাবিক ভাষায় নরম সীমাবদ্ধতাগুলির সাথে মোকাবিলা করার জন্য ওজনযুক্ত এবং সম্ভাব্যতাবাদী হতে হবে (আইজনার, 2002; রাস্তোগি এট আল।, 2016), সিনট্যাকটিক টুল কলের সীমাবদ্ধতাগুলি হল কঠিন সীমাবদ্ধতা যা FSM-এর জন্য অনেক সহজ। অতএব, আমরা একটি বৈধ টুল কলের সিনট্যাকটিক সীমাবদ্ধতা পূরণের জন্য TOOLDEC-এর প্রস্তাব দিই।