Бұл жаңа AI құралы деректер мәселелерін кез келген нәрседен жақсырақ шешеді деп мәлімдейді - бұл неге маңызды

Авторлары: (1) Сируи Хонг, DeepWisdom және осы авторлар осы жұмысқа бірдей үлес қосты; (2) Yizhang Lin, DeepWisdom және осы авторлар осы жұмысқа бірдей үлес қосты; (3) Bang Liu, Universite de Montreal & Mila және бұл авторлар алфавиттік ретпен берілген; (4) Bangbang Liu, DeepWisdom және осы авторлар осы жұмысқа бірдей үлес қосты; (5) Бинхао Ву, DeepWisdom және осы авторлар осы жұмысқа бірдей үлес қосты; (6) Danyang Li, DeepWisdom және осы авторлар осы жұмысқа бірдей үлес қосты; (7) Цзяки Чен, Фудан университеті және осы авторлар осы жұмысқа бірдей үлес қосты; (8) Цзяй Чжан, Қытайдың Жэньмин университеті және осы авторлар осы жұмысқа бірдей үлес қосты; (9) Джинлин Ванг, DeepWisdom және осы авторлар осы жұмысқа бірдей үлес қосты; (10) Ли Чжан, Фудан университеті және осы авторлар осы жұмысқа бірдей үлес қосты; (11) Линьяо Чжан, бұл авторлар осы жұмысқа бірдей үлес қосты; (12) Мин Ян, Қытай ғылым академиясының 5 Шэньчжэнь жоғары технологиялық институты және осы авторлар осы жұмысқа бірдей үлес қосты; (13) Минчэн Жуге, AI бастамасы, Король Абдулла ғылым және технология университеті және осы авторлар осы жұмысқа бірдей үлес қосты; (14) Тайчэн Гуо, Нотр-Дам университеті және осы авторлар осы жұмысқа бірдей үлес қосты; (15) Туо Чжоу, Гонконг университеті және осы авторлар осы жұмысқа бірдей үлес қосты; (16) Вэй Тао, Фудан университеті және осы авторлар осы жұмысқа бірдей үлес қосты; (17) Вэни Ван, AI бастамасы, Король Абдулла ғылым және технология университеті және осы авторлар осы жұмысқа бірдей үлес қосты; (18) Xiangru Tang, Йель университеті және осы авторлар осы жұмысқа бірдей үлес қосты; (19) Xiangtao Lu, DeepWisdom және осы авторлар осы жұмысқа бірдей үлес қосты; (20) Сяву Чжэн, Сямэнь университеті және осы авторлар осы жұмысқа бірдей үлес қосты; (21) Xinbing Liang, DeepWisdom, Шығыс Қытай қалыпты университеті және осы авторлар осы жұмысқа бірдей үлес қосты; (22) Yaying Fei, Бейжің технологиялық университеті және осы авторлар осы жұмысқа бірдей үлес қосты; (23) Юхен Ченг, Гонконгтағы Қытай университеті, Шэньчжэнь және осы авторлар осы жұмысқа бірдей үлес қосты; (24) Zongze Xu, DeepWisdom, Хохай университеті және осы авторлар осы жұмысқа бірдей үлес қосты; (25) Ченглин Ву, DeepWisdom және сәйкес автор. Редактордың ескертпесі: Бұл әртүрлі деректер ғылымы мен нақты әлемдегі тапсырмалар үшін шешім болып табылатын Data Interpreter әзірлеуді егжей-тегжейлі көрсететін зерттеудің 5 бөлігінің 1-бөлігі. Қалғанын төменде оқыңыз. Сілтемелер кестесі Аннотация және 1 Кіріспе 2 Қатысты жұмыс 3 Әдістеме және 3.1 Иерархиялық құрылыммен динамикалық жоспарлау 3.2 Құралды пайдалану және құру 3.3 Тексеру және тәжірибе арқылы пайымдауды жетілдіру 4 Эксперимент 4.1 Эксперименттік орнату 4.2 Негізгі нәтиже 4.3 Абляцияны зерттеу 5 Қорытынды және пайдаланылған әдебиеттер A. Қосымша нәтижелер B. Іске асыру нәтижелері C. Деректер жиындарының мәліметтері АНСТРАТ Large Language Model (LLM) негізіндегі агенттер керемет тиімділік көрсетті. Дегенмен, олардың өнімділігі нақты уақыттағы деректерді реттеуді, әртүрлі тапсырмалар арасындағы күрделі тәуелділіктерге байланысты оңтайландырудағы тәжірибені және дәл дәлелдеу үшін логикалық қателерді анықтау мүмкіндігін қажет ететін деректер ғылымының сценарийлерінде бұзылуы мүмкін. Бұл зерттеуде біз деректерді интерпретатормен таныстырамыз, ол деректер ғылымындағы мәселелерді шешуді кеңейтудің үш негізгі әдісіне баса назар аударатын кодпен шешуге арналған шешім: 1) нақты уақыттағы деректер бейімделуіне арналған иерархиялық графикалық құрылымдармен динамикалық жоспарлау; 2) қажетті тәжірибені байыта отырып, орындау кезінде кодты меңгеруді арттыру үшін динамикалық құралдарды біріктіру; 3) кері байланыстағы логикалық сәйкессіздікті анықтау және тәжірибені тіркеу арқылы тиімділікті арттыру. Біз деректерді интерпретаторды әртүрлі деректер ғылымы және нақты әлемдегі тапсырмалар бойынша бағалаймыз. Ашық бастапқы бастапқы көрсеткіштермен салыстырғанда, ол 0,86-дан 0,95-ке дейін өсіп, машиналық оқыту тапсырмаларында айтарлықтай жақсартуларды көрсете отырып, жоғары өнімділікті көрсетті. Сонымен қатар, ол MATH деректер жиынтығының 26% ұлғаюын және ашық тапсырмалардың 112% жақсарғанын көрсетті. Шешім https://github.com/geekan/MetaGPT мекенжайында шығарылады. 1 КІРІСПЕ Үлкен тілдік модельдер (LLM) агенттерге олардың бейімделгіштігі мен тиімділігін көрсете отырып, қолданбалардың кең ауқымында озық болуға мүмкіндік берді (Гуо және т.б., 2024; Ву және т.б., 2023a; Чжоу және т.б., 2023b). Бұл LLM-мен жұмыс істейтін агенттер бағдарламалық қамтамасыз ету (Hong және т.б., 2023), күрделі ашық әлем сценарийлерін шарлау (Wang және т.б., 2023; Чен және т.б., 2024a) сияқты салаларға айтарлықтай әсер етті, бірлескен көп агенттік құрылымдарды жеңілдету мультимодальды тапсырмалар (Жүге және т.б., 2023), виртуалды көмекшілердің жауап беру қабілетін жақсарту (Лу және т.б., 2023), топтық интеллектіні оңтайландыру (Жүге және т.б., 2024) және ғылыми зерттеулерге үлес қосу (Tang және т.б., 2024). Жақында жүргізілген зерттеулер осы агенттердің проблемаларды шешу мүмкіндіктерін жақсартуға, олардың ойлау үдерісін жақсартуға, күрделілігі мен тиімділігін арттыруға бағытталған (Чжан және басқалар, 2023; Беста және басқалар, 2023; Сел және басқалар, 2023; Яо және т.б. ., 2024; Wei et al., 2022). Дегенмен, деректерге негізделген ғылыми мәселелер, соның ішінде машиналық оқытуды, деректерді талдауды және математикалық есептерді шешуді шешуді қажет ететін бірегей мәселелер бар. Машиналық оқыту процесі көптеген тапсырмалар арасындағы күрделі тәуелділіктермен сипатталатын күрделі, ұзақ тапсырмаларды өңдеу қадамдарын қамтиды. Бұл процесті оңтайландыру және сәтсіздік немесе деректерді жаңарту жағдайында динамикалық реттеу үшін сарапшының араласуын талап етеді. LLM үшін бір әрекетте дұрыс шешімді қамтамасыз ету жиі қиынға соғады. Сонымен қатар, бұл мәселелер нақты негіздеуді және деректерді мұқият тексеруді талап етеді (RomeraParedes және т.б., 2023), бұл LLM негізіндегі агент құрылымына қосымша қиындықтар тудырады. Сонымен қатар, (Qiao және т.б., 2023; OpenAI, 2023; Лукас, 2023) бар жұмыстар, статикалық талаптардың декомпозициясын кодтың орындалуымен біріктіретін интерпретатор парадигмасы деп аталатын кодқа негізделген мәселені шешу әдістері арқылы деректер орталықтық мәселелерін шешеді. Дегенмен, бұл құрылымдарды деректер ғылымының практикалық тапсырмаларында қолдану кезінде бірнеше негізгі қиындықтар туындайды: Деректер ғылымына тән күрделілік нақты уақыттағы өзгерістерге ұшырайтын әртүрлі қадамдар арасындағы күрделі өзара әрекеттесуден туындайды (Liu et al. , 2021). Нақты нәтижелерге қол жеткізу үшін деректерді тазалау және жан-жақты мүмкіндіктерді жобалау машиналық оқытудың кез келген үлгісін әзірлеу алдында міндетті шарт болып табылады. Сондықтан деректердің өзгеруін бақылау және түрлендірілген деректер мен айнымалы мәндерге динамикалық реттеу өте маңызды. Функцияларды таңдауды, үлгіні оқытуды және бағалауды қамтитын машиналық оқытуды модельдеу процесі өңдеу операторлары мен іздеу кеңістіктерінің кең спектрін қамтиды (Чжэн және т.б., 2021). Мәселе бүкіл процесс кодын бір уақытта жасау және шешуде жатыр. деректер ғалымдарының арнайы білімі мен кодтау тәжірибесі деректерге қатысты мәселелерді шешуде маңызды рөл атқарады. Әдетте меншікті код пен деректерге енгізілген бұл білім қазіргі LLM үшін жиі қолжетімсіз болып қалады. Мысалы, энергетика немесе геология сияқты белгілі бір домендерде деректерді түрлендіруге арналған кодты жасау қажетті домендік сараптамасыз LLM үшін қиындық тудыруы мүмкін. Қолданыстағы әдістемелер негізінен LLM-ге тәуелді, бұл сенімділік процесті жеңілдетуі мүмкін, бірақ өнімділікті бұзуы мүмкін. Қазіргі уақытта (Qiao және т.б., 2023; OpenAI, 2023; Лукас, 2023) сияқты аудармашылар мәселені шешу өнімділігін арттыру үшін кодты орындау және қателерді түсіру мүмкіндіктерін біріктіреді. Дегенмен, олар қатесіз орындауды жиі елемейді, қателесіп оны дұрыс деп санайды. Негізгі бағдарламалау тапсырмаларын ретке келтіруге және талаптар анықталған кезде дереу орындау кері байланысына байланысты болуы мүмкін болғанымен, деректер ғылымының мәселелері көбінесе анық емес, тұрақты емес және нақты анықталмаған талаптарды тудырады, бұл LLM үшін түсінуді қиындатады. Тиісінше, тапсырманы шешуге арналған LLM жасаған код шешімдерінде логикалық сенімділікті қатаң тексеруді қажет ететін, орындалу туралы кері байланыстың шегінен шығатын екіұштылық болуы мүмкін. 1) Деректерге тәуелділік қарқындылығы: 2) Нақтыланған домендік білім: 3) Қатты логикалық талаптар: Жоғарыда аталған мәселелерді шешу үшін біз деректер ғылымы саласы үшін арнайы әзірленген Деректерді аудармашы деп аталатын LLM негізіндегі агентті енгіземіз. Бұл агент тапсырмаларды бөлу, кодты орындау және кері байланысты тексеру арқылы адам талаптарын орындау үшін жоспарлау-код-тексеру тәсілін ұстанады. Атап айтқанда, біз Біздің Data Interpreter деректер ғылымының тән күрделіліктерін тиімдірек түсіну үшін иерархиялық графикалық құрылымдарды пайдаланады. Динамикалық жоспарлау тәсілі оны тапсырмалардың вариацияларына бейімделумен жабдықтайды, әсіресе деректер өзгерістерін бақылауда және деректер ғылымының мәселелеріне тән күрделі айнымалы тәуелділіктерді басқаруда тиімді. Біз адам авторы бар әртүрлі код үзінділерін біріктіру және API-бағытталған мүмкіндіктерден тыс арнайы тапсырмалар үшін реттелетін құралдарды жасау арқылы кодтау шеберлігін арттырамыз. Бұл процесс әртүрлі құралдарды өздігінен жасалған кодпен автоматты түрде біріктіруді қамтиды. Ол құралдар кітапханасын дербес құру және кеңейту, құралды пайдалануды жеңілдету және қажет болған жағдайда кодты қайта құрылымдау үшін тапсырма деңгейіндегі орындауды пайдаланады. бұл ерекше жағдайсыз сценарий үшін маңызды болып табылатын орындау нәтижелері мен сынаққа негізделген тексерулерден алынған сенімділік ұпайына негізделген. Ол код шешімі мен сынақ кодын орындау арасындағы сәйкессіздіктерді анықтайды және логикалық қателерді азайту үшін бірнеше сынақтарды салыстырады. Орындау және дәлелдеу үдерісі барысында, ең алдымен, табыстар мен сәтсіздіктерді қамтитын метадеректер мен орындалу уақытының траекториясын қамтитын тапсырма деңгейіндегі тәжірибелер жазылады. 1) иерархиялық құрылымы бар динамикалық жоспарлауды ұсынамыз: 2) Құралды пайдалану және жасау: 3) Логикалық қатені білу арқылы дәлелдеуді жақсарту: 1-суретте көрсетілгендей, біздің деректер интерпретаторымыз бар ашық бастапқы негіздерден айтарлықтай асып түседі. Осы бастапқы көрсеткіштермен салыстырғанда, Data Interpreter жоғары өнімділікті көрсетеді, машиналық оқыту тапсырмаларын 10,3% (0,86-дан 0,95-ке дейін) жақсарту және MATH деректер жинағында 26% жақсарту, бұл сенімді мәселелерді шешу мүмкіндіктерін көрсетеді. Ашық тапсырмаларда оның өнімділігі екі еседен астамға артып, 112% өсті, бұл кең ауқымды қиындықтарды шешудегі тиімділігін көрсетті. Біз өз үлестерімізді төмендегідей қорытындылаймыз: • Біз деректер ғылымы тапсырмаларында бейімделу мен проблемаларды шешу мүмкіндіктерін арттыратын иерархиялық құрылымдары бар динамикалық жоспарлау негізін ұсынамыз. • Біз құралдарды пайдалану және генерациялау үшін автоматтандырылған құралдарды біріктіруді енгізу арқылы LLM-де кодтаудың біліктілігі мен тиімділігін жақсартамыз. • Біз тексеру мен тәжірибені біріктіру арқылы пайымдауды жақсартамыз, осылайша мәселені шешудің дәлдігі мен тиімділігін арттырамыз. • Біздің эксперименттер деректер интерпретаторының машиналық оқыту тапсырмаларындағы, математикалық есептердегі және ашық тапсырмалардағы бар эталондардан асып түсетінін көрсетеді, осылайша өнімділіктің жаңа стандартын белгілейді. Бұл қағаз . архивте CC BY 4.0 DEED лицензиясы бойынша қол жетімді