សត្វ សត្វ សត្វ សត្វ សត្វ សត្វ សត្វ អ្នកនិពន្ធ : (1) លោក Aman Madaan, មជ្ឈមណ្ឌលបច្ចេកវិទ្យាសាស្រ្តភាសា, សាកលវិទ្យាល័យ Carnegie Mellon ប្រទេសសហរដ្ឋអាមេរិក (amadaan@cs.cmu.edu) (2) លោក Shuyan Zhou, មជ្ឈមណ្ឌលបច្ចេកវិទ្យាសាស្រ្តភាសា, សាកលវិទ្យាល័យ Carnegie Mellon ប្រទេសអាមេរិក (shuyanzh@cs.cmu.edu) ។ (3) លោក Uri Alon, មជ្ឈមណ្ឌលបច្ចេកវិទ្យាសាស្រ្តភាសា, សាកលវិទ្យាល័យ Carnegie Mellon ប្រទេសអាមេរិក (ualong@cs.cmu.edu) ។ (4) Yiming Yang, មជ្ឈមណ្ឌលបច្ចេកវិទ្យានៃភាសា, សាកលវិទ្យាល័យ Carnegie Mellon ប្រទេសអាមេរិក (yiming@cs.cmu.edu) ។ (5) លោក Graham Neubig, សាកលវិទ្យាល័យបច្ចេកវិទ្យាសាស្រ្តភាសា, សាកលវិទ្យាល័យ Carnegie Mellon ប្រទេសអាមេរិក (gneubig@cs.cmu.edu) Authors: (1) លោក Aman Madaan, មជ្ឈមណ្ឌលបច្ចេកវិទ្យាសាស្រ្តភាសា, សាកលវិទ្យាល័យ Carnegie Mellon ប្រទេសសហរដ្ឋអាមេរិក (amadaan@cs.cmu.edu) (2) លោក Shuyan Zhou, មជ្ឈមណ្ឌលបច្ចេកវិទ្យាសាស្រ្តភាសា, សាកលវិទ្យាល័យ Carnegie Mellon ប្រទេសអាមេរិក (shuyanzh@cs.cmu.edu) ។ (3) លោក Uri Alon, មជ្ឈមណ្ឌលបច្ចេកវិទ្យាសាស្រ្តភាសា, សាកលវិទ្យាល័យ Carnegie Mellon ប្រទេសអាមេរិក (ualong@cs.cmu.edu) ។ (4) Yiming Yang, មជ្ឈមណ្ឌលបច្ចេកវិទ្យានៃភាសា, សាកលវិទ្យាល័យ Carnegie Mellon ប្រទេសអាមេរិក (yiming@cs.cmu.edu) ។ (5) លោក Graham Neubig, សាកលវិទ្យាល័យបច្ចេកវិទ្យាសាស្រ្តភាសា, សាកលវិទ្យាល័យ Carnegie Mellon ប្រទេសអាមេរិក (gneubig@cs.cmu.edu) កុំព្យូទ័រ សៀវភៅ & 1 Introduction 2 COCOGEN: Representing Commonsense structures with code និង 2.1 ការផ្លាស់ប្តូរ (T,G) ក្នុងកូដ Python 2.2 គោលបំណងមួយចំនួនសម្រាប់ការបង្កើត G 3 ការវិញ្ញាបនប័ត្រនិងការធ្វើតេស្ត 3.1 3.2 ការបង្កើតរូបភាព: PROSCRIPT 3.3 ការរក្សាទុកសកម្មភាពសកម្មភាព: PROPARA 3.4 ការបង្កើតក្រាហ្វិកអេក្រង់: EXPLAGRAPHS 4 ការវិភាគ 5 អាជីវកម្មដែលមានន័យ 6 ការបញ្ជាក់, ការទទួលស្គាល់, ការកាត់បន្ថយនិងការបង្ហាញ ទំហំទំហំទំហំទំហំទំហំទំហំទំហំ B ការបង្កើត dynamic prompt C ការវិភាគរបស់មនុស្ស D ដំណឹងទិន្នន័យ លក្ខណៈពិសេសផលិតផល ហ្វេសប៊ុក G ការរចនាសម្ព័ន្ធកម្រិត Python សម្រាប់ការងាររចនាសម្ព័ន្ធ H ទំហំទំហំគំរូ ការផ្លាស់ប្តូរនៅក្នុង prompts សៀវភៅ យើងដោះស្រាយបញ្ហាទិន្នន័យដែលមានគោលបំណងទិន្នន័យដែលមានគោលបំណងទិន្នន័យដែលមានគោលបំណងទិន្នន័យដែលមានគោលបំណងទិន្នន័យដែលមានគោលបំណងទិន្នន័យដែលមានគោលបំណងទិន្នន័យដែលមានគោលបំណងទិន្នន័យដែលមានគោលបំណងទិន្នន័យដែលមានគោលបំណងទិន្នន័យដែលមានគោលបំណងទិន្នន័យទិន្នន័យដែលមានគោលបំណងទិន្នន័យទិន្នន័យដែលមានគោលបំណងទិន្នន័យទិន្នន័យដែលមានគោលបំណងទិន្នន័យទិន្នន័យដែលមានគោលបំណងទិន្ន នេះ។ កុំព្យូទ័រអ៊ីនធឺណិត 1 ដំណឹង ការកើនឡើងនៃសមត្ថភាពនៃម៉ូដែលភាសាជាច្រើនដែលបានរៀនមុន (LLMs) សម្រាប់ការបង្កើតសៀវភៅបានអនុញ្ញាតឱ្យការអនុវត្តរបស់ពួកគេយ៉ាងជោគជ័យក្នុងការធ្វើតេស្តផ្សេងៗជាច្រើនរួមទាំងការកំណត់សម្គាល់, ការបម្លែងនិងការឆ្លើយតបសំណួរ (Wang et al., 2019; Raffel et al., 2019; Brown et al., 2020; Chowdhery et al., 2022). ទោះជាយ៉ាងណាក៏ដោយនៅពេលដែលការប្រើប្រាស់ LLMs សម្រាប់ការធ្វើតេស្តអាសអាភាស (NL) គឺជាការងាយស្រួលមួយជារៀងរាល់បញ្ហាសំខាន់គឺជាការធ្វើតេស្ត LLMs ដើម្បីធ្វើតេស្តអាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាស ដើម្បីបម្រើ LLMs, ម៉ូដែលបង្កើតប្រសិនបើមានប្រសិទ្ធភាពប្រសិនបើមានប្រសិនបើមានប្រសិនបើមានប្រសិនបើមានប្រសិនបើមានប្រសិនបើមានប្រសិនបើមានប្រសិនបើមានប្រសិនបើមានប្រសិនបើមានប្រសិនបើមានប្រសិនបើមានប្រសិនបើមានប្រសិនបើមានប្រសិនបើមានប្រសិនបើមានប្រសិនបើមានប្រសិនបើមានប្រសិនបើមានប្រសិនបើមានប្រសិនបើមានប្រសិនបើមានប្រសិនបើមានប្រសិនបើមានប្រសិនបើមានប្រសិនបើមានប្រសិនបើមានប្រសិនបើមានប្រសិនបើមានប្រ ខណៈពេលដែលការផ្លាស់ប្តូរផលិតផលរចនាសម្ព័ន្ធទៅជាសៀវភៅបានបង្ហាញពីផលិតផលដែលមានគោលបំណង (Rajagopal et al., 2021; Madaan and Yang, 2021), LLMs មានជោគជ័យដើម្បីបង្កើតផលិតផល "មិនធម្មជាតិ" នេះ: LMs ត្រូវបានរចនាសម្ព័ន្ធជាលើកដំបូងនៅលើសៀវភៅរចនាសម្ព័ន្ធដោយឥតគិតថ្លៃ, និងផលិតផលរចនាសម្ព័ន្ធ serialized នេះមានការផ្លាស់ប្តូរយ៉ាងខ្លាំងពីទូទាំងទិន្នន័យរចនាសម្ព័ន្ធមុន។ លើសពីនេះទៀត, សម្រាប់ភាសាធម្មជាតិ, សៀវភៅដែលមានគោលបំណងដោយប្រសិទ្ធិភាពគឺជាធម្មតាត្រូវបានរកឃើញក្នុងអំឡុងពេលវេលាត ដូច្នេះ, ការប្រើប្រាស់ LLMs សម្រាប់ការបង្កើតក្រាហ្វិកជាទូទៅត្រូវការចំនួនធំនៃទិន្នន័យបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះ ទោះជាយ៉ាងណាក៏ដោយការជោគជ័យចុងក្រោយនៃម៉ូដកូដកូដ (Code-LLMs; Chen et al., 2021b; Xu et al., 2022) សម្រាប់តម្រូវការដូចជាការបង្កើតកូដពីភាសាធម្មជាតិ (Austin et al., 2021; Nijkamp et al., 2022), ការបញ្ចប់កូដ (Fried et al., 2022), និងការបម្លែងកូដកូដ (Wang et al., 2021), បង្ហាញថាកូដកូដកូដកូដកូដកូដកូដកូដកូដកូដកូដកូដកូដកូដកូដកូដកូដកូដកូដកូដកូដកូដកូដកូដកូដកូដកូដ ដូច្នេះគោលបំណងសំខាន់របស់យើងគឺថាម៉ូដែលកូដភាសាធំគឺជាអ្នកគិតប្រសិនបើមានគុណភាពល្អ។ លើសពីនេះទៀតយើងបង្ហាញថា Code-LLMs អាចជាអ្នកគិតប្រសិនបើមានគុណភាពល្អជាង NL-LLMs, នៅពេលដែលការផ្លាស់ប្តូរកូដបញ្ជូនដែលចង់បានទៅជាទំហំដូចគ្នាដែលបានមើលឃើញនៅក្នុងទិន្នន័យមុនពេលការបណ្តុះបណ្តាលកូដ។ យើងហៅថាវិធីសាស្រ្តរបស់យើង COCOGEN: ម៉ូដែលនៃ សម្រាប់ ម្សៅ វាត្រូវបានកាត់បន្ថយនិងវាត្រូវបានបង្ហាញនៅក្នុងរូបភាព 1 ។ Co Co Gen ការគាំទ្ររបស់យើងគឺដូចខាងក្រោម: សត្វ សត្វ សត្វ សត្វ សត្វ យើងផ្តោតលើការយល់ដឹងថា Code-LLMs គឺជាអ្នកនិពន្ធគំនិតប្រសើរជាង NL-LLMs ដែលមានរចនាសម្ព័ន្ធល្អប្រសើរជាងការនិពន្ធ NL-LLMs នៅពេលដែលបង្ហាញពីការបង្ហាញគំនិតគំនិតគំនិតដែលចង់បានជាកូដ។ យើងបានផ្តល់ជូននូវ COCOGEN: វិធីមួយសម្រាប់ការប្រើប្រាស់ LLMs នៃកូដសម្រាប់ការបង្កើតប្រសិទ្ធិភាពដែលមានរចនាសម្ព័ន្ធ។ យើងធ្វើការវិញ្ញាបនប័ត្រទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូល យើងធ្វើការស្រាវជ្រាវ ablation ដែលបានបង្ហាញនូវប្រយោជន៍នៃការបម្រើទិន្នន័យ, ទំហំម៉ូដែលនិងចំនួននៃគំរូទិន្នន័យមួយចំនួន។ សត្វ សត្វ សៀវភៅនេះអាចរកបាននៅលើ archiv នៅក្រោមការអនុញ្ញាត CC BY 4.0 DEED ។ សៀវភៅនេះអាចរកបាននៅលើ archiv នៅក្រោមការអនុញ្ញាត CC BY 4.0 DEED ។

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

FEW SHOT .tech

សំឡេងនេះផលិតជាភាសាដើមនៃរឿង!

យូរ​ពេក; អាន

Make resilience your competitive advantage

អាសយដ្ឋានអាសយដ្ឋានអាសយដ្ឋានអាសយដ្ឋានអាសយដ្ឋានអាសយដ្ឋានអាសយដ្ឋានអាសយដ្ឋានអាសយដ្ឋានអាសយដ្ឋានអាសយដ្ឋានអាសយដ្ឋានអាសយដ្ឋានអាសយដ្ឋានអាសយដ្ឋានអាសយដ្ឋានអាសយដ្ឋាន

About Author

មតិយោបល់

ព្យួរស្លាក

អត្ថបទនេះត្រូវបានបង្ហាញនៅក្នុង

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps