Jan 01, 1970
මෙම නව AI මෙවලම වෙනත් ඕනෑම දෙයකට වඩා හොඳින් දත්ත ගැටළු විසඳීමට හිමිකම් කියයි - මෙන්න එය වැදගත් වන්නේ ඇයි විසින්@hugedata
නව ඉතිහාසය
මෙම නව AI මෙවලම වෙනත් ඕනෑම දෙයකට වඩා හොඳින් දත්ත ගැටළු විසඳීමට හිමිකම් කියයි - මෙන්න එය වැදගත් වන්නේ ඇයි
දිග වැඩියි; කියවීමට
පර්යේෂකයන් විසින් දත්ත විද්‍යාවේ ගැටළු විසඳීම සඳහා ප්රධාන තාක්ෂණික ක්‍රම තුනක් අවධාරණය කරන විසඳුමක් සකස් කර ඇත.කර්තෘ:
(1) Sirui Hong, DeepWisdom සහ මෙම කතුවරුන් මෙම කාර්යයට සමානව දායක විය;
(2) Yizhang Lin, DeepWisdom සහ මෙම කතුවරුන් මෙම කාර්යයට සමානව දායක විය;
(3) Bang Liu, Universite de Montreal & Mila සහ මෙම කතුවරයා අකාරාදී පිළිවෙලට ලැයිස්තුගත කර ඇත;
(4) Bangbang Liu, DeepWisdom සහ මෙම කතුවරුන් මෙම කාර්යයට සමානව දායක විය;
(5) Binhao Wu, DeepWisdom සහ මෙම කතුවරුන් මෙම කාර්යයට සමානව දායක විය;
(6) Danyang Li, DeepWisdom සහ මෙම කතුවරුන් මෙම කාර්යයට සමානව දායක විය;
(7) Jiaqi Chen, Fudan විශ්ව විද්‍යාලය සහ මෙම කතුවරුන් මෙම කාර්යයට සමානව දායක විය;
(8) Jiayi Zhang, චීනයේ රෙන්මින් විශ්ව විද්‍යාලය සහ මෙම කතුවරුන් මෙම කාර්යයට සමානව දායක විය;
(9) Jinlin Wang, DeepWisdom සහ මෙම කතුවරුන් මෙම කාර්යයට සමානව දායක විය;
(10) Li Zhang, Fudan විශ්වවිද්‍යාලය සහ මෙම කතුවරුන් මෙම කාර්යයට සමානව දායක වූහ;
(11) Lingyao Zhang, මෙම කතුවරුන් මෙම කාර්යයට සමානව දායක විය;
(12) Min Yang, 5Shenzhen උසස් තාක්ෂණ ආයතනය, චීන විද්‍යා ඇකඩමිය සහ මෙම කතුවරුන් මෙම කාර්යයට සමානව දායක විය;
(13) Mingchen Zhuge, AI Initiative, King Abdullah University of Science and Technology සහ මෙම කතුවරුන් මෙම කාර්යයට සමානව දායක විය;
(14) Taicheng Guo, Notre Dame විශ්ව විද්‍යාලය සහ මෙම කතුවරුන් මෙම කාර්යයට සමානව දායක විය;
(15) Tuo Zhou, හොංකොං විශ්ව විද්‍යාලය සහ මෙම කතුවරුන් මෙම කාර්යයට සමානව දායක විය;
(16) Wei Tao, Fudan විශ්වවිද්‍යාලය සහ මෙම කතුවරුන් මෙම කාර්යයට සමානව දායක විය;
(17) Wenyi Wang, AI Initiative, King Abdullah University of Science and Technology සහ මෙම කතුවරුන් මෙම කාර්යයට සමානව දායක විය;
(18) Xiangru Tang, Yale විශ්වවිද්‍යාලය සහ මෙම කතුවරුන් මෙම කාර්යයට සමානව දායක විය;
(19) Xiangtao Lu, DeepWisdom සහ මෙම කතුවරුන් මෙම කාර්යයට සමානව දායක විය;
(20) Xiawu Zheng, Xiamen විශ්ව විද්‍යාලය සහ මෙම කතුවරුන් මෙම කාර්යයට සමානව දායක විය;
(21) Xinbing Liang, DeepWisdom, East China Normal University සහ මෙම කතුවරුන් මෙම කාර්යයට සමානව දායක විය;
(22) Yaying Fei, බීජිං තාක්ෂණ විශ්ව විද්‍යාලය සහ මෙම කතුවරුන් මෙම කාර්යයට සමානව දායක වූහ;
(23) Yuheng Cheng, The Chinese University of Hong Kong, Shenzhen සහ මෙම කතුවරුන් මෙම කාර්යයට සමානව දායක වූහ;
(24) Zongze Xu, DeepWisdom, Hohai විශ්වවිද්‍යාලය සහ මෙම කතුවරුන් මෙම කාර්යයට සමානව දායක විය;
(25) Chenglin Wu, DeepWisdom සහ අනුරූප කර්තෘ.
සංස්කාරක සටහන: මෙය විවිධ දත්ත විද්‍යාව සහ සැබෑ ලෝක කාර්යයන් සඳහා විසඳුමක් වන දත්ත පරිවර්තකයේ සංවර්ධනය විස්තර කරන පර්යේෂණ අධ්‍යයනයක 5 හි 1 කොටසයි. ඉතිරිය පහතින් කියවන්න.
සබැඳි වගුව
3 ක්‍රමවේදය සහ 3.1 ධූරාවලි ව්‍යුහය සමඟ ගතික සැලසුම්
- 3.2 මෙවලම් භාවිතය සහ උත්පාදනය
- 3.3 සත්‍යාපනය සහ අත්දැකීම් සමඟ තර්කනය වැඩි දියුණු කිරීම
- 4.1 පර්යේෂණාත්මක සැකසුම
- 4.2 ප්රධාන ප්රතිඵලය
- 4.3 ඉවත් කිරීමේ අධ්‍යයනය
A. අතිරේක ප්රතිඵල
B. ක්රියාත්මක කිරීමේ ප්රතිඵල
C. දත්ත කට්ටලවල විස්තර
වියුක්ත
විශාල භාෂා ආකෘතිය (LLM) මත පදනම් වූ නියෝජිතයන් කැපී පෙනෙන කාර්යක්ෂමතාවයක් පෙන්නුම් කර ඇත. කෙසේ වෙතත්, ඔවුන්ගේ කාර්ය සාධනය තත්‍ය කාලීන දත්ත ගැලපීම, විවිධ කාර්යයන් අතර සංකීර්ණ පරායත්තතා හේතුවෙන් ප්‍රශස්තකරණය පිළිබඳ විශේෂඥතාව සහ නිශ්චිත තර්කනය සඳහා තාර්කික දෝෂ හඳුනාගැනීමේ හැකියාව අවශ්‍ය වන දත්ත විද්‍යා අවස්ථා වලදී සම්මුතියකට ලක් විය හැක. මෙම අධ්‍යයනයේ දී, අපි දත්ත පරිවර්තකය හඳුන්වා දෙන්නෙමු, දත්ත විද්‍යාවේ ගැටළු විසඳීම සඳහා ප්රධාන ශිල්පීය ක්‍රම තුනක් අවධාරණය කරන කේතය සමඟ විසඳීමට නිර්මාණය කර ඇති විසඳුමක්: 1) තත්‍ය කාලීන දත්ත අනුවර්තනය වීම සඳහා ධූරාවලි ප්‍රස්ථාර ව්‍යුහයන් සමඟ ගතික සැලසුම් කිරීම; 2) ක්රියාත්මක කිරීමේදී කේත ප්‍රවීණතාවය වැඩිදියුණු කිරීම සඳහා ගතිකව මෙවලම් ඒකාබද්ධ කිරීම, අවශ්‍ය ප්‍රවීණත්වය පොහොසත් කිරීම; 3) ප්‍රතිපෝෂණවල තාර්කික නොගැලපීම හඳුනා ගැනීම සහ අත්දැකීම් පටිගත කිරීම තුළින් කාර්යක්ෂමතාව වැඩි කිරීම. අපි විවිධ දත්ත විද්‍යාව සහ සැබෑ ලෝක කාර්යයන් පිළිබඳ දත්ත පරිවර්තකය ඇගයීමට ලක් කරමු. විවෘත මූලාශ්‍ර පදනම් සමඟ සසඳන විට, එය 0.86 සිට 0.95 දක්වා වැඩි වෙමින් යන්ත්‍ර ඉගෙනීමේ කාර්යයන්හි සැලකිය යුතු දියුණුවක් ප්‍රදර්ශනය කරමින් උසස් කාර්ය සාධනයක් පෙන්නුම් කළේය. මීට අමතරව, එය MATH දත්ත කට්ටලයේ 26% ක වැඩි වීමක් සහ විවෘත කාර්යයන්හි කැපී පෙනෙන 112% වැඩි දියුණුවක් පෙන්නුම් කළේය. විසඳුම https://github.com/geekan/MetaGPT හිදී නිකුත් කෙරේ.
1 හැඳින්වීම
විශාල භාෂා ආකෘති (LLMs) නියෝජිතයින්ට ඔවුන්ගේ අනුවර්තනය වීමේ හැකියාව සහ ඵලදායී බව පෙන්නුම් කරමින් පුළුල් පරාසයක යෙදුම්වල විශිෂ්ටත්වය දැක්වීමට හැකියාව ලබා දී ඇත (Guo et al., 2024; Wu et al., 2023a; Zhou et al., 2023b). මෙම LLM බලයෙන් ක්රියාත්මක වන නියෝජිතයින් මෘදුකාංග ඉංජිනේරු විද්‍යාව (Hong et al., 2023), සංකීර්ණ විවෘත ලෝක අවස්ථා සැරිසැරීම (Wang et al., 2023; Chen et al., 2024a), සහයෝගී බහු-නියෝජිත ව්‍යුහයන් සඳහා පහසුකම් සැලසීම වැනි ක්ෂේත්‍රවලට සැලකිය යුතු ලෙස බලපා ඇත. බහුවිධ කාර්යයන් (Zhuge et al., 2023), වැඩිදියුණු කිරීම අතථ්‍ය සහායකයන්ගේ ප්‍රතිචාරාත්මක බව (Lu et al., 2023), කණ්ඩායම් බුද්ධිය ප්‍රශස්ත කිරීම (Zhuge et al., 2024) සහ විද්‍යාත්මක පර්යේෂණ සඳහා දායක වීම (Tang et al., 2024).
මෑත කාලීන අධ්‍යයනයන් මගින් මෙම නියෝජිතයින්ගේ තර්ක කිරීමේ ක්‍රියාවලිය වැඩිදියුණු කිරීම මගින් ඔවුන්ගේ ගැටළු විසඳීමේ හැකියාවන් වැඩිදියුණු කිරීම කෙරෙහි අවධානය යොමු කර ඇත, වැඩි දියුණු කිරීම සහ කාර්යක්ෂමතාවය (Zhang et al., 2023; Besta et al., 2023; Sel et al., 2023; Yao et al. ., 2024; Wei et al., 2022). කෙසේ වෙතත්, යන්ත්‍ර ඉගෙනීම, දත්ත විශ්ලේෂණය, සහ ගණිතමය ගැටලු විසඳීම ඇතුළු දත්ත කේන්ද්‍රීය විද්‍යාත්මක ගැටලු විසඳිය යුතු සුවිශේෂී අභියෝග ඉදිරිපත් කරයි. යන්ත්‍ර ඉගෙනීමේ ක්‍රියාවලියට සංකීර්ණ, දිගු කාර්ය හැසිරවීමේ පියවර ඇතුළත් වන අතර, බහු කාර්යයන් අතර සංකීර්ණ පරායත්තතා මගින් සංලක්ෂිත වේ. මේ සඳහා ක්‍රියාවලි ප්‍රශස්තිකරණය සහ අසාර්ථක වූ විට හෝ දත්ත යාවත්කාලීන කිරීම්වලදී ගතික ගැලපීම සඳහා විශේෂඥ මැදිහත්වීමක් අවශ්‍ය වේ. තනි උත්සාහයකින් නිවැරදි විසඳුම ලබා දීම LLM වලට බොහෝ විට අභියෝගාත්මක ය. තවද, මෙම ගැටළු සඳහා LLM මත පදනම් වූ නියෝජිත රාමුවට අමතර අභියෝග එල්ල කරන නිවැරදි තර්කනය සහ සම්පූර්ණ දත්ත සත්‍යාපනය (RomeraParedes et al., 2023) අවශ්‍ය වේ.
එපමනක් නොව, (Qiao et al., 2023; OpenAI, 2023; Lucas, 2023) වැනි දැනට පවතින කෘතීන් කේත ක්රියාත්මක කිරීම සමඟ ස්ථිතික අවශ්‍යතා වියෝජනය ඒකාබද්ධ කරන පරිවර්තක සුසමාදර්ශය ලෙස හඳුන්වන, කේත-පාදක ගැටළු විසඳීමේ ක්‍රම හරහා දත්ත කේන්ද්‍රීය ගැටළු ආමන්ත්‍රණය කරයි. කෙසේ වෙතත්, ප්‍රායෝගික දත්ත විද්‍යා කාර්යයන් සඳහා මෙම රාමු භාවිතා කිරීමේදී ප්රධාන අභියෝග කිහිපයක් පැන නගී: 1) දත්ත යැපීමේ තීව්‍රතාවය: දත්ත විද්‍යාවට ආවේණික වූ සංකීර්ණත්වය පැන නගින්නේ තත්‍ය කාලීන වෙනස්කම් වලට යටත් වන විවිධ පියවරයන් අතර ඇති සංකීර්ණ අන්තර් ක්‍රියාකාරිත්වයෙනි (Liu et al. , 2021). නිවැරදි ප්රතිඵල සඳහා, ඕනෑම යන්ත්‍ර ඉගෙනුම් ආකෘතියක් සංවර්ධනය කිරීමට පෙර දත්ත පිරිසිදු කිරීම සහ විස්තීර්ණ විශේෂාංග ඉංජිනේරු විද්‍යාව පූර්ව අවශ්‍යතා වේ. එබැවින් දත්ත වෙනස්වීම් නිරීක්ෂණය කිරීම සහ පරිණාමනය වූ දත්ත සහ විචල්‍යයන් වෙත ගතිකව ගැලපීම ඉතා වැදගත් වේ. යන්ත්‍ර ඉගෙනුම් ආකෘතිකරණ ක්‍රියාවලියට, විශේෂාංග තේරීම, ආකෘති පුහුණුව සහ ඇගයීම ඇතුළත්, පුළුල් පරාසයක සැකසුම් ක්‍රියාකරුවන් සහ සෙවුම් අවකාශයන් ඇතුළත් වේ (Zheng et al., 2021). අභියෝගය වන්නේ සම්පූර්ණ ක්‍රියාවලි කේතය එකවරම ජනනය කිරීම සහ විසඳීමයි. 2) පිරිපහදු කළ වසම් දැනුම: දත්ත විද්‍යාඥයින්ගේ විශේෂිත දැනුම සහ කේතීකරණ භාවිතයන් දත්ත ආශ්‍රිත අභියෝගවලට මුහුණ දීමේදී ප්රධාන වේ. සාමාන්‍යයෙන් හිමිකාර කේතය සහ දත්ත තුළ අන්තර්ගත වන අතර, මෙම දැනුම බොහෝ විට වත්මන් LLM වලට ප්‍රවේශ විය නොහැක. නිදසුනක් වශයෙන්, බලශක්තිය හෝ භූ විද්‍යාව වැනි නිශ්චිත වසම්වල දත්ත පරිවර්තනය සඳහා කේතය ජනනය කිරීම අවශ්‍ය වසම් විශේෂඥතාව නොමැතිව LLMs සඳහා අභියෝගයක් විය හැකිය. පවතින ක්‍රමවේදයන් ප්රධාන වශයෙන් රඳා පවතින්නේ LLMs මත වන අතර එය ක්‍රියාවලිය විධිමත් කළ හැකි නමුත් කාර්ය සාධනය සම්මුතියකට ලක් කළ හැකිය. 3) දැඩි තර්ක අවශ්‍යතා: දැනට, (Qiao et al., 2023; OpenAI, 2023; Lucas, 2023) වැනි පරිවර්තකයන් ගැටළු විසඳීමේ කාර්ය සාධනය වැඩි දියුණු කිරීම සඳහා කේත ක්රියාත්මක කිරීම සහ දෝෂ ග්‍රහණය කිරීමේ හැකියාවන් ඇතුළත් කරයි. කෙසේ වෙතත්, ඔවුන් බොහෝ විට දෝෂ රහිතව ක්රියාත්මක කිරීම නොසලකා හරින අතර, එය නිවැරදි යැයි වැරදි ලෙස සලකයි. මූලික ක්‍රමලේඛන කාර්යයන් විධිමත් කළ හැකි අතර අවශ්‍යතා නිරූපණය කරන විට ක්ෂණිකව ක්රියාත්මක කිරීමේ ප්‍රතිපෝෂණ මත රඳා පවතී, දත්ත විද්‍යා ගැටලු බොහෝ විට අපැහැදිලි, අක්‍රමවත් සහ හොඳින් අර්ථ දක්වා නොමැති අවශ්‍යතා මතු කරයි, එය LLM වලට තේරුම් ගැනීමට අපහසු වේ. එහි ප්‍රතිඵලයක් ලෙස, කාර්ය විභේදනය සඳහා LLM-උත්පාදනය කරන ලද කේත විසඳුම්වල හුදු ක්රියාත්මක කිරීමේ ප්‍රතිපෝෂණයෙන් ඔබ්බට විහිදෙන තාර්කික සෞක්‍යය දැඩි ලෙස තහවුරු කිරීම අවශ්‍ය වන අපැහැදිලි අඩංගු විය හැකිය.
ඉහත සඳහන් කළ අභියෝගවලට මුහුණ දීම සඳහා, අපි දත්ත විද්‍යා ක්ෂේත්‍රය සඳහා විශේෂයෙන් නිර්මාණය කර ඇති දත්ත පරිවර්තකය නමින් LLM මත පදනම් වූ නියෝජිතයෙකු හඳුන්වා දෙන්නෙමු. මෙම නියෝජිතයා කාර්යයන් බිඳ දැමීම, කේතය ක්රියාත්මක කිරීම සහ ප්‍රතිපෝෂණ සත්‍යාපනය කිරීම මගින් මානව අවශ්‍යතා සපුරාලීම සඳහා සැලසුම්-කේත-සත්‍යාපන ප්‍රවේශයක් අනුගමනය කරයි. විශේෂයෙන්, අපි යෝජනා කරන්නේ 1) ධූරාවලි ව්‍යුහය සහිත ගතික සැලසුම්: අපගේ දත්ත පරිවර්තකය දත්ත විද්‍යාවේ ආවේනික සංකීර්ණතා වඩාත් ඵලදායි ලෙස අවබෝධ කර ගැනීම සඳහා ධූරාවලි ප්‍රස්තාර ව්‍යුහයන් භාවිතා කරයි. ගතික සැලසුම් ප්‍රවේශයක් එය කාර්ය විචල්‍යයන්ට අනුවර්තනය වීමේ හැකියාවෙන් සන්නද්ධ කරයි, දත්ත වෙනස්වීම් නිරීක්ෂණය කිරීමේදී සහ දත්ත විද්‍යා ගැටලුවලට ආවේනික වූ සංකීර්ණ විචල්‍ය පරායත්තතා කළමනාකරණය කිරීමේදී විශේෂයෙන් කාර්යක්ෂම බව ඔප්පු කරයි. 2) මෙවලම් භාවිතය සහ උත්පාදනය: අපි විවිධ මානව-කර්තෘ කේත කොටස් අනුකලනය කිරීමෙන් සහ හුදු API-නාභිගත හැකියාවන්ගෙන් ඔබ්බට විශේෂිත කාර්යයන් සඳහා අභිරුචි මෙවලම් නිර්මාණය කිරීමෙන් කේතීකරණ ප්‍රවීණතාවය වැඩි දියුණු කරමු. මෙම ක්‍රියාවලියට ස්වයං-උත්පාදිත කේතය සමඟ විවිධ මෙවලම්වල ස්වයංක්‍රීය සංයෝජනය ඇතුළත් වේ. එය එහි මෙවලම් පුස්තකාලය ස්වාධීනව ගොඩනැගීමට සහ පුළුල් කිරීමට, මෙවලම් භාවිතය සරල කිරීමට සහ අවශ්‍ය පරිදි කේත ප්‍රතිව්‍යුහගත කිරීම සිදු කිරීමට කාර්ය මට්ටමේ ක්රියාත්මක කිරීම භාවිතා කරයි. 3) තාර්කික දෝෂ දැනුවත්ව තර්කනය වැඩි දියුණු කිරීම: මෙය ව්‍යතිරේකයකින් තොර අවස්ථාවක් සඳහා අත්‍යවශ්‍ය වන ක්රියාත්මක කිරීමේ ප්රතිඵල සහ පරීක්ෂණ-ධාවනිත වලංගුකරණයන්ගෙන් ලබාගත් විශ්වාසනීය ලකුණු මත පදනම් වේ. එය කේත විසඳුම සහ පරීක්ෂණ කේත ක්රියාත්මක කිරීම අතර නොගැලපීම් හඳුනා ගන්නා අතර තාර්කික දෝෂ අවම කිරීම සඳහා බහු අත්හදා බැලීම් සංසන්දනය කරයි. ක්රියාත්මක කිරීමේ සහ තර්ක කිරීමේ ක්‍රියාවලිය පුරාවට, මූලික වශයෙන් පාර-දත්ත සහ ධාවන පථය ඇතුළත් කාර්ය මට්ටමේ අත්දැකීම්, සාර්ථකත්වයන් සහ අසාර්ථකත්වයන් ඇතුළත් වේ.
රූප සටහන 1 හි දැක්වෙන පරිදි, අපගේ දත්ත පරිවර්තකය දැනට පවතින විවෘත මූලාශ්‍ර රාමු සැලකිය යුතු ලෙස ඉක්මවා යයි. මෙම මූලික කරුණු හා සසඳන විට, දත්ත පරිවර්තකය යන්ත්‍ර ඉගෙනීමේ කාර්යයන්හි 10.3% (0.86 සිට 0.95 දක්වා) වැඩිදියුණු කිරීම් සහ MATH දත්ත කට්ටලය මත 26% වැඩි දියුණු කිරීම, ශක්තිමත් ගැටළු විසඳීමේ හැකියාවන් විදහා දක්වයි. විවෘත කාර්යයන් වලදී, එහි කාර්ය සාධනය දෙගුණයකටත් වඩා වැඩි වී ඇති අතර, 112% වැඩිවීමක් සනිටුහන් කරමින්, පුළුල් පරාසයක අභියෝගවලට මුහුණ දීමේ දී එහි කාර්යක්ෂමතාවය පෙන්නුම් කරයි.
අපි අපගේ දායකත්වය පහත පරිදි සාරාංශ කරමු:
• අපි ධූරාවලි ව්‍යුහයන් සමඟ ගතික සැලසුම් රාමුවක් යෝජනා කරමු, දත්ත විද්‍යා කාර්යයන්හි අනුවර්තනය වීමේ හැකියාව සහ ගැටළු විසඳීමේ හැකියාවන් වැඩි දියුණු කිරීම.
• මෙවලම් භාවිතය සහ උත්පාදනය සඳහා ස්වයංක්‍රීය මෙවලම් ඒකාබද්ධ කිරීම හඳුන්වා දීමෙන් අපි LLM වල කේතීකරණයේ ප්‍රවීණතාවය සහ කාර්යක්ෂමතාව වැඩි දියුණු කරමු.
• අපි සත්‍යාපනය සහ පළපුරුද්ද ඒකාබද්ධ කිරීම මගින් තර්කනය වැඩි දියුණු කරන අතර එමඟින් ගැටළු විසඳීමේ නිරවද්‍යතාවය සහ කාර්යක්ෂමතාව වැඩි දියුණු කරමු.
• අපගේ අත්හදා බැලීම් මගින් පෙන්නුම් කරන්නේ අපගේ දත්ත පරිවර්තකය යන්ත්‍ර ඉගෙනීමේ කාර්යයන්, ගණිතමය ගැටළු සහ විවෘත-අවසාන කාර්යයන්හි පවතින මිණුම් සලකුණු ඉක්මවා යන අතර එමඟින් කාර්ය සාධනය සඳහා නව ප්‍රමිතියක් සැකසීමයි.
මෙම පත්‍රිකාව CC BY 4.0 DEED බලපත්‍රය යටතේ arxiv මත ඇත .
L O A D I N G
. . . comments & more!
. . . comments & more!
