د لنگر پر بنسټ د لوی ژبې ماډلونه

د لینکونو جدول

لنډیز او 1 پیژندنه

2 اړونده کار

3 د لنگر پر بنسټ د لوی ژبې ماډلونه

3.1 شالید

3.2 د لنگر پر بنسټ د ځان پاملرنې شبکې

3.3 د لنگر پر بنسټ اټکل

4 تجربې او 4.1 زموږ پلي کول

4.2 د معلوماتو او روزنې پروسیجر

4.3 ارزونه

5 پایلې

6 تحلیل

7 پایله، محدودیتونه، د اخلاقو بیان، او حوالې

نورې تجربې پایلې

د B ډاټا ترتیبات

خلاصون

د ژبې لوی ماډلونه (LLMs) په عمده توګه د کوډ کونکي یوازې ټرانسفارمر جوړښتونه کاروي، د تاریخي ټیکونو لپاره د کلیدونو / ارزښتونو معلوماتو ساتلو ته اړتیا لري ترڅو اړونده معلومات چمتو کړي او د بې ځایه محاسبې مخه ونیسي. په هرصورت، د دې LLMs د پام وړ اندازه او پیرامیټ حجم د GPU لوی حافظې ته اړتیا لري. د دې حافظې غوښتنه د ان پټ متن اوږدوالي سره ډیریږي ، چې د معلوماتو ذخیره کولو او پروسس کولو لا زیاتو موثرو میتودونو ته بیړنۍ اړتیا رامینځته کوي. دا څیړنه د لنگر میشته LLMs (AnLLMs) معرفي کوي ، کوم چې د نوي لنگر میشته ځان پاملرنې شبکې (AnSAN) او همدارنګه د لنگر میشته انفرنس ستراتیژي کاروي. دا طریقه LLMs ته وړتیا ورکوي چې د ترتیب معلومات په لنگر ټوکن کې کمپریس کړي، د کیلي / ارزښتونو زیرمه کموي او د تحلیل موثریت لوړوي. د پوښتنو ځواب ورکولو بنچمارکونو تجربې په ډاګه کوي چې AnLLMs د ورته دقت کچه ساتي پداسې حال کې چې تر 99٪ کلیدونو / ارزښتونو کیچ کمښت او تر 3.5 ځله ګړندی اټکل ترلاسه کوي. په دقت کې د لږې جوړجاړي سره سره، د AnLLMs د پام وړ پرمختګونه چې د منابعو کارولو او کمپیوټري موثریت کې د AnSAN تخنیک کاروي د عملي LLM غوښتنلیکونو لپاره د دوی احتمال په ګوته کوي.

۱. پېژندنه

د ژبې لوی ماډلونه (LLMs) په ابتدايي توګه د کوډ کونکي یوازې ټرانسفارمر جوړښتونه کاروي، کوم چې د تاریخي توکیو لپاره د کیچ کولو کلیدونو / ارزښتونو معلوماتو ته اړتیا لري د اتوماتیک ریګریسیو انفرنس په جریان کې د متناسب معلوماتو چمتو کولو او د بې ځایه محاسبې څخه مخنیوی کوي (Wei et al., 2022; al. , 2023a; OpenAI, 2023; Touvron et al., 2023b). په هرصورت، د دوی د پراخې اندازې او لوړ پیرامیټر شمیرې له امله، د بارولو لپاره د پام وړ د GPU حافظې ته اړتیا ده. سربیره پردې، د اوږدوالي په توګه

د ان پټ متن وده کوي، د کیچونو / ارزښتونو زیرمه کول د GPU حافظې ته اړتیا لري، لکه څنګه چې په شرایطو کې زده کړې، پیچلې لارښوونې، او پراخو خبرو اترو کې ثبوت دی (ډونګ او ال.، 2022؛ جیانګ او ال.، 2023؛ وانګ او ال. ، 2023) چې د محدودو کمپیوټري سرچینو سره سناریوګانو لپاره مناسب ندي. یو بدیل طریقه د دې پراخو آخذونو له سره حساب کولو ته اړتیا لري، چې په هرصورت، د وخت د زیاتوالي پایله ده. له همدې امله، د دې مطالعې موخه دا ده چې د LLMs د تحلیل مرحلې په جریان کې د کلیدونو / ارزښتونو کیچونو لپاره د ذخیره کولو غوښتنه کمه کړي، د حافظې موثریت ته وده ورکړي او په پایله کې، د سرعت سرعت ګړندی کړي.

په یوه وروستي څیړنه کې، وانګ et al. (2023) وښيي چې د مخکیني لاریونونو کې د لیبل ټکي کولی شي د انټرنېشن په جریان کې د لنگر په توګه عمل وکړي ، په شرایطو کې زده کړې کې د انفرنس موثریت ښه کولو لپاره د شرایطو کمپریشن مؤثره طریقه چمتو کوي. په هرصورت، په عملي غوښتنلیکونو کې، ټول مخکینۍ داخلونه یا مظاهرې د لیبل ټکي نلري چې د معلوماتو د کمپریشن لپاره مناسب وي، د لیبل ټکي باندې تکیه د متن معلوماتو کمپریشن لپاره لږ نړیوال چلند کوي. سربیره پردې، Pang et al. (2024) مشاهده کړه چې LLMs د انټرنېشن په جریان کې یوازې یو څو ، لاهم دوامداره ، مخکیني ټوکونو ته حاضریږي. په هرصورت، کارول شوي ځانګړي ټکي اکثرا غیر متوقع او د کنټرول وړ ندي. دا کتنې یوه زړه پورې پوښتنه راپورته کوي: ایا د طبیعي ژبې متنونه د لنگر ټکي لري چې د ترتیبونو عمومي سیمانټیک معلومات فشاروي؟ په دې شرایطو کې، د ترتیب د ځای پرځای کولو په اړه پخوانیو مطالعاتو ښودلې چې د عصبي شبکې ماډلونو کې د ځانګړي نښه پټ حالت کولی شي سیمانټیک معلومات راټول کړي (Baudiš et al.، 2016؛ Devlin et al.، 2018). برسېره پردې، معاصر LLMs عموما د روزنې او انټرنېشن پړاوونو (Touvron et al., 2023a,b) په جریان کې د خپل ځان پاملرنې میکانیزم څخه کار اخلي، په هر مخکینۍ نښه کې ګډون کوي. دا وړاندیز کوي چې په ترتیب کې وروستی نښه ممکن د نورو توکیو په پرتله د طبیعي معلوماتو کمپریشن نقطه په توګه خدمت کولو لپاره غوره وي، ځکه چې دوی نشي کولی راتلونکي نښه وګوري. له همدې امله، یو میتودیک طریقه چې د تسلسل لنگر ټوکنونه په یو باوري او کنټرول وړ طریقه پیژني او ګټه پورته کوي د ترتیب معلوماتو کمولو، په اغیزمنه توګه د کیلي / ارزښتونو کیچونو کمولو، او د LLMs لپاره د تحلیل موثریت ښه کولو لپاره اړین دی.

د دې لپاره، موږ د ناول A nchor-based L arge L anguage M odels (AnLLMs) وړاندیز کوو، چې د نوي لنگر پر بنسټ د ځان پاملرنې شبکې (AnSAN) او د لنگر پر بنسټ د انفرنس ستراتیژۍ سره سمبال شوی. AnSAN د دې لپاره ډیزاین شوی چې ماډلونه دې ته اړ کړي چې د روزنې پروسې په جریان کې د لنگر پراساس پاملرنې ماسکونو په مرسته د لنگر ټوکن (زموږ په پلي کولو کې وروستی نښه) کې د ترتیب معلومات کمپریس کړي. د انفرنس په جریان کې، د لنگر پر بنسټ د انفرنس ستراتیژي د لنگر ټوکن کیچونه / ارزښتونه ساتي، کوم چې د ټول ترتیب معلومات راټول کړي، او د نانینکور ټوکنونه یې ردوي، په دې توګه د حافظې غوښتنې کموي. په ځانګړې توګه، د AnSAN لپاره د لنگر پر بنسټ د پاملرنې ماسکونه دوه موخې لري: 1) د دې لپاره چې ډاډ ترلاسه شي چې د لنگر ټوکن په ځانګړي ډول په ورته ترتیب کې ټوکنونو کې ګډون کوي، نورو ترتیبونو ته د پاملرنې مخه نیسي، او 2) د پخوانیو ترتیب اینکرونو ته د غیر لنگر ټوکن پام مستقیم کولو لپاره , د پخوانیو ترتیبونو څخه د نورو ناانکر ټیکونو بندول. د یادونې وړ ده چې د لنگر پر بنسټ د پاملرنې تخنیک د لږ پاملرنې لاندې اصولو سره ورته والی لري (Child et al., 2019). په هرصورت، د موجوده څیړنو برعکس چې د LLMs د شرایطو اوږدوالی پراخولو لپاره لږ پام ګماري (چن ایټ ال.، 2023؛ Ratner et al.، 2023)، زموږ میتود په دوامداره توګه د ماډل مخکې روزنې تمرکز کوي ترڅو په اینکر کې د ترتیب معلوماتو فشارولو لپاره. نښه