এলএলএম-এর জন্য সিনট্যাক্স ত্রুটি-মুক্ত এবং সাধারণীকরণযোগ্য টুল ব্যবহার: উপসংহার এবং রেফারেন্স

লিঙ্কের টেবিল

• বিমূর্ত এবং ভূমিকা
• সম্পর্কিত কাজ
• ToolDec: Finite-State Decoding এর মাধ্যমে LLM টুল ব্যবহার
• পরীক্ষা: টুলডেক সিনট্যাক্স ত্রুটি দূর করে
• পরীক্ষা: টুলডেক সাধারণীকরণযোগ্য টুল নির্বাচন সক্ষম করে
• উপসংহার এবং রেফারেন্স
• পরিশিষ্ট

6। উপসংহার

এই কাগজটি TOOLDEC উপস্থাপন করে, একটি অভিনব ডিকোডিং অ্যালগরিদম যা বাহ্যিক সরঞ্জামগুলিকে একীভূত করে এবং তাদের আহ্বানকে বাক্য গঠন-ত্রুটি-মুক্ত নিশ্চিত করে বড় ভাষা মডেলগুলি (LLMs) উন্নত করার জন্য ডিজাইন করা হয়েছে৷ TOOLDEC, টুল ডকুমেন্টেশন এবং API স্বাক্ষর থেকে নির্মিত একটি সীমিত-রাষ্ট্র মেশিন দ্বারা পরিচালিত, সঠিকভাবে টুল কলের ব্যাকরণের প্রতিনিধিত্ব করে, ভুল টুল কল এবং বিদ্যমান মডেলগুলিতে অদেখা টুলগুলির দুর্বল সাধারণীকরণের মতো প্রচলিত সমস্যাগুলিকে সমাধান করে।

পরীক্ষাগুলি দেখায় যে TOOLDEC টুল-সম্পর্কিত সিনট্যাক্স ত্রুটিগুলি দূর করে, নির্ভুলতা উন্নত করে এবং বিভিন্ন বেঞ্চমার্ক জুড়ে অনুমান সময় বাঁচায়। এটি অতিরিক্ত ফাইন-টিউনিং ডেটা ছাড়াই একাধিক ডোমেনে অদেখা সরঞ্জামগুলিতে সাধারণীকরণ করার ক্ষমতাও প্রদর্শন করে। TOOLDEC-এর অগ্রগতিগুলি অতিরিক্ত প্রশিক্ষণের ডেটা ছাড়াই বিস্তৃত পরিসরের সরঞ্জাম এবং অ্যাপ্লিকেশনগুলির সাথে খাপ খাইয়ে নেওয়ার জন্য আরও পরিশীলিত মডেলগুলি বিকাশের জন্য গবেষণার পথ উন্মুক্ত করে, যা জটিল সমস্যার একটি বিস্তৃত বর্ণালী সমাধান করতে সক্ষম আরও বহুমুখী এবং শক্তিশালী এলএলএমের দিকে পরিচালিত করে।

সিনট্যাক্স ত্রুটি দূর করার ক্ষেত্রে TOOLDEC-এর সাফল্য শব্দার্থগত নির্ভুলতা এবং টুল কলের প্রাসঙ্গিক প্রাসঙ্গিকতার উপর দৃষ্টি নিবদ্ধ করে গবেষণাকে অনুপ্রাণিত করতে পারে। এটি এমন মডেলগুলির দিকে নিয়ে যেতে পারে যা আরও কার্যকরভাবে সরঞ্জামগুলিকে আহ্বান করে, বুঝতে পারে এবং লিভারেজ করে, যা এলএলএম-এর সামগ্রিক সমস্যা সমাধানের ক্ষমতা বাড়ায়।

তথ্যসূত্র

পিটার অ্যান্ডারসন, বাসুরা ফার্নান্দো, মার্ক জনসন এবং স্টিফেন গোল্ড। সীমাবদ্ধ মরীচি অনুসন্ধান সহ নির্দেশিত খোলা শব্দভান্ডার চিত্র ক্যাপশনিং। প্রাকৃতিক ভাষা প্রক্রিয়াকরণে অভিজ্ঞতামূলক পদ্ধতির 2017 সম্মেলনের কার্যপ্রণালীতে, পিপি 936-945, কোপেনহেগেন, ডেনমার্ক, সেপ্টেম্বর 2017। কম্পিউটেশনাল ভাষাবিজ্ঞানের জন্য সমিতি। doi: 10.18653/v1/D17-1098। URL https://aclanthology.org/D17-1098।

সেবাস্তিয়ান বোরগেউড, আর্থার মেনশ, জর্ডান হফম্যান, ট্রেভর কাই, এলিজা রাদারফোর্ড, কেটি মিলিকান, জর্জ বিএম ভ্যান ডেন ড্রিসচে, জিন-ব্যাপটিস্ট লেসপিয়াউ, বোগদান ড্যামোক, আইদান ক্লার্ক, এট আল। ট্রিলিয়ন টোকেন থেকে পুনরুদ্ধার করে ভাষার মডেলের উন্নতি করা। মেশিন লার্নিং বিষয়ে আন্তর্জাতিক সম্মেলনে, পৃষ্ঠা 2206-2240। PMLR, 2022।

টম ব্রাউন, বেঞ্জামিন মান, নিক রাইডার, মেলানি সুব্বিয়া, জারেড ডি কাপলান, প্রফুল্ল ধারিওয়াল, অরবিন্দ নীলাকান্তন, প্রণব শ্যাম, গিরিশ শাস্ত্রী, আমান্ডা অ্যাস্কেল, এবং অন্যান্য। ভাষার মডেল অল্প-শট লার্নার্স। নিউরাল ইনফরমেশন প্রসেসিং সিস্টেমে অগ্রগতি, 33:1877-1901, 2020।

ওয়েনহু চেন, জুয়েগুয়াং মা, জিনি ওয়াং এবং উইলিয়াম ডব্লিউ কোহেন। চিন্তাভাবনার প্রোগ্রাম প্রম্পটিং: সংখ্যাগত যুক্তির কাজগুলির জন্য যুক্তি থেকে গণনাকে বিচ্ছিন্ন করা। arXiv ই-প্রিন্টস, pp. arXiv–2211, 2022।

জেসন আইজনার। সম্ভাব্য সসীম-স্টেট ট্রান্সডুসারের জন্য প্যারামিটার অনুমান। কম্পিউটেশনাল ভাষাবিজ্ঞানের জন্য অ্যাসোসিয়েশনের 40 তম বার্ষিক সভার কার্যপ্রণালীতে, পৃষ্ঠা 1-8, 2002।

এডওয়ার্ড ফ্রেডকিন। মেমরি চেষ্টা করুন। ACM এর যোগাযোগ, 3(9):490–499, 1960।

লুয়ু গাও, আমান মাদান, শুয়ান ঝু, উরি অ্যালোন, পেংফেই লিউ, ইমিং ইয়াং, জেমি ক্যালান এবং গ্রাহাম নিউবিগ। পাল: প্রোগ্রাম-সহায়ক ভাষার মডেল। মেশিন লার্নিং এর আন্তর্জাতিক সম্মেলনে, পৃষ্ঠা 10764-10799। PMLR, 2023।

তন্ময় গুপ্তা এবং অনিরুদ্ধ কেম্ভাবী। ভিজ্যুয়াল প্রোগ্রামিং: প্রশিক্ষণ ছাড়াই রচনামূলক চাক্ষুষ যুক্তি। ArXiv, abs/2211.11559, 2022।

কেলভিন গু, কেন্টন লি, জোরা তুং, পানুপং পাসুপাট এবং মিংউই চ্যাং। পুনরুদ্ধার বর্ধিত ভাষা মডেল প্রাক-প্রশিক্ষণ। মেশিন লার্নিং সংক্রান্ত আন্তর্জাতিক সম্মেলনে, পৃষ্ঠা 3929-3938। PMLR, 2020।

শিবো হাও, তিয়ানয়াং লিউ, জেন ওয়াং এবং ঝিটিং হু। Toolkengpt: টুল এম্বেডিংয়ের মাধ্যমে বিশাল টুলের সাহায্যে হিমায়িত ভাষার মডেলগুলিকে বৃদ্ধি করা। arXiv প্রিপ্রিন্ট arXiv:2305.11554, 2023।

ক্রিস হোকাম্প এবং কুন লিউ। গ্রিড বিম অনুসন্ধান ব্যবহার করে সিকোয়েন্স জেনারেশনের জন্য আভিধানিকভাবে সীমাবদ্ধ ডিকোডিং। অ্যাসোসিয়েশন ফর কম্পিউটেশনাল লিঙ্গুইস্টিকসের 55 তম বার্ষিক সভার কার্যক্রমে (ভলিউম 1: লং পেপারস), পৃষ্ঠা। 1535–1546, ভ্যাঙ্কুভার, কানাডা, জুলাই 2017। অ্যাসোসিয়েশন ফর কম্পিউটেশনাল ভাষাবিজ্ঞান। doi: 10.18653/v1/P17-1141। URL https://aclanthology.org/P17-1141।

জান-ক্রিস্টোফ কালো এবং লিয়েন্দ্রা ফিচটেল। কামেল : ভাষার মডেলে মাল্টিটোকেন সত্তার সাথে জ্ঞান বিশ্লেষণ। অটোমেটেড নলেজ বেস কনস্ট্রাকশন, 2022।

লি লি, উ চৌ, ওয়েই ঝৌ এবং মিন লুও। নেটওয়ার্কিং অ্যাপ্লিকেশনের জন্য ডিজাইন প্যাটার্ন এবং বিশ্রাম এপিআই এর এক্সটেনসিবিলিটি। নেটওয়ার্ক এবং সার্ভিস ম্যানেজমেন্টের উপর IEEE লেনদেন, 13(1):154–167, 2016।

জিমিং লু, পিটার ওয়েস্ট, রোয়ান জেলার্স, রোনান লে ব্রাস, চন্দ্র ভাগবতুলা এবং ইয়েজিন চোই। নিউরোলজিক ডিকোডিং: (আন) পূর্বনির্ধারিত যুক্তির সীমাবদ্ধতার সাথে তত্ত্বাবধানে নিউরাল টেক্সট জেনারেশন। অ্যাসোসিয়েশন ফর কম্পিউটেশনাল লিঙ্গুইস্টিকস: হিউম্যান ল্যাঙ্গুয়েজ টেকনোলজিস, পিপি 4288–4299, 2021-এর উত্তর আমেরিকান অধ্যায়ের 2021 সম্মেলনের কার্যক্রমে।

Ximing Lu, Sean Welleck, Peter West, Liwei Jiang, Jungo Kasai, Daniel Khashabi, Ronan Le Bras, Lianhui Qin, Youngjae Yu, Rowan Zellers, et al. নিউরোলজিক এ* এসকিউ ডিকোডিং: টেক্সট জেনারেশনের সাথে লুকআহেড হিউরিস্টিকস। অ্যাসোসিয়েশন ফর কম্পিউটেশনাল লিঙ্গুইস্টিকস: হিউম্যান ল্যাঙ্গুয়েজ টেকনোলজিস, পিপি 780–799, 2022-এর উত্তর আমেরিকান অধ্যায়ের 2022 সম্মেলনের কার্যপ্রণালীতে।

গ্রেগোয়ার মিয়ালন, রবার্তো ডেস ´ `ı, মারিয়া লোমেলি, ক্রিস্টোফোরস নালম্পানটিস, রাম পাসুনুরু, রবার্তা রাইলিয়ানু, ব্যাপটিস্ট রোজিয়ের, টিমো শিক, জেন দ্বিবেদী-ইউ, আসলি সেলিকাইলমাজ, এবং অন্যান্য। বর্ধিত ` ভাষা মডেল: একটি সমীক্ষা. arXiv প্রিপ্রিন্ট arXiv:2302.07842, 2023।

নিং মিয়াও, হাও ঝাউ, লিলি মৌ, রুই ইয়ান এবং লেই লি। Cgmh: মেট্রোপলিস-হেস্টিংস স্যাম্পলিং দ্বারা সীমাবদ্ধ বাক্য তৈরি। কৃত্রিম বুদ্ধিমত্তা সম্পর্কিত AAAI সম্মেলনের কার্যপ্রণালীতে, ভলিউম 33, পৃষ্ঠা 6834–6842, 2019।

রেইচিরো নাকানো, জ্যাকব হিলটন, সুচির বালাজি, জেফ উ, লং ওয়াং, ক্রিস্টিনা কিম, ক্রিস্টোফার হেসে, শান্তনু জৈন, ভিনিত কোসারাজু, উইলিয়াম সন্ডার্স, এট আল। Webgpt: মানুষের প্রতিক্রিয়া সহ ব্রাউজার-সহায়ক প্রশ্ন-উত্তর। arXiv প্রিপ্রিন্ট arXiv:2112.09332, 2021।

লং ওইয়াং, জেফরি উ, জু জিয়াং, ডিয়োগো আলমেদা, ক্যারল ওয়েনরাইট, পামেলা মিশকিন, চং ঝাং, সন্ধিনি আগরওয়াল, ক্যাটারিনা স্লামা, অ্যালেক্স রে, এবং অন্যান্য। মানুষের প্রতিক্রিয়া সহ নির্দেশাবলী অনুসরণ করার জন্য ভাষা মডেল প্রশিক্ষণ। নিউরাল ইনফরমেশন প্রসেসিং সিস্টেমে অগ্রগতি, 35: 27730–27744, 2022।

অ্যারন প্যারিসি, ইয়াও ঝাও এবং নোয়া ফিডেল। তালম: টুল অগমেন্টেড ল্যাঙ্গুয়েজ মডেল। arXiv প্রিপ্রিন্ট arXiv:2205.12255, 2022।

ইউজিয়া কিন, শিহাও লিয়াং, ইয়িং ইয়ে, কুনলুন ঝু, ল্যান ইয়ান, ইয়াক্সি লু, ইয়াঙ্কাই লিন, জিন কং, জিয়াংরু ট্যাং, বিল কিয়ান, এট আল। Toolllm: 16000+ রিয়েল-ওয়ার্ল্ড এপিস আয়ত্ত করতে বড় ভাষা মডেলের সুবিধা প্রদান। arXiv প্রিপ্রিন্ট arXiv:2307.16789, 2023।

পুষ্পেন্দ্রে রাস্তোগি, রায়ান কোটেরেল এবং জেসন আইজনার। নিউরাল প্রসঙ্গ সহ সীমিত-রাজ্য ট্রান্সডাকশন ওজন করা। অ্যাসোসিয়েশন ফর কম্পিউটেশনাল লিঙ্গুইস্টিকস: হিউম্যান ল্যাঙ্গুয়েজ টেকনোলজিস, পিপি।

টিমো শিক, জেন দ্বিবেদি-ইউ, রবার্তো ডেস', রবার্টা রাইলিয়ানু, মারিয়া লোমেলি, লুক জেটলমোয়ার, নিকোলা ক্যানসেডা, এবং থমাস স্শিয়ালম। টুলফর্মার: ভাষার মডেলগুলি নিজেদেরকে টুল ব্যবহার করতে শেখাতে পারে। arXiv প্রিপ্রিন্ট arXiv:2302.04761, 2023।

ইয়ংলিয়াং শেন, কাইতাও সং, জু তান, ডংশেং লি, ওয়েইমিং লু এবং ইউয়েটিং ঝুয়াং। Hugginggpt: আলিঙ্গন মুখে chatgpt এবং এর বন্ধুদের সাথে AI কাজগুলি সমাধান করা, 2023৷

ইফান সং, ওয়েইমিন জিয়াং, দাওয়েই ঝু, ওয়েনহাও উ, হান কিয়ান, মিংবো সং, হাইলিয়াং হুয়াং, চেং লি, কে ওয়াং, রোং ইয়াও, ইয়ে তিয়ান এবং সুজিয়ান লি। Restgpt: বাস্তব-বিশ্বের বিশ্রামদায়ক apis, 2023-এর সাথে বড় ভাষার মডেল সংযুক্ত করা।

Hugo Touvron, Thibaut Lavril, Gautier Izacard, Javier Martinet, Marie-Anne Lachaux, Timothee' Lacroix, Baptiste Roziere, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Ar-mand Joulin, Edouard Lave, and Mp Guillam Lavril. লামা: উন্মুক্ত এবং দক্ষ ভিত্তি ভাষার মডেল, 2023।

শুনিউ ইয়াও, জেফ্রি ঝাও, দিয়ান ইউ, নান ডু, ইজহাক শাফরান, কার্তিক নরসিমহান এবং ইউয়ান কাও। প্রতিক্রিয়া: সমন্বিত যুক্তি এবং ভাষার মডেলে অভিনয়, 2023।

লিয়ানমিন ঝেং, ওয়েই-লিন চিয়াং, ইং শেং, সিয়ুয়ান ঝুয়াং, ঝাংহাও উ, ইয়ংহাও ঝুয়াং, জি লিন, ঝুওহান লি, দাচেং লি, এরিক। P Xing, Hao Zhang, Joseph E. Gonzalez, and Ion Stoica. এমটি-বেঞ্চ এবং চ্যাটবট এরিনা, 2023-এর সাথে বিচারক হিসেবে llm-as-a-judge.