Qorayaasha: Junaid Syed, Machadka Farsamada ee Georgia Sai Shanbhag, Machadka Farsamada ee Georgia Vamsi Krishna Chakravarthy, Machadka Farsamada ee Georgia Dhibcaha Essay Automated (AES) waa hawl caadi ah oo NLP ah oo la baranayay tobannaan sano. AES waxay leedahay faa'iidooyin badan oo la taaban karo iyo awood dhaqaale oo baaxad leh - AES waa udub dhexaadka imtixaanada waaweyn ee tartanka (sida SAT, GRE) iyo waliba suuqa barashada internetka ee kobcaya. Dhowr hay'adood oo samafal iyo kuwo aan faa'iido doon ahayn sida Bill & Melinda Gates Foundation iyo Zuckerberg-Chan Initiative ayaa maalgeliyay tartamo badan oo Kaggle ah AES [6, 7, 8]. Iyadoo ay jiraan dadaalladaas, si kastaba ha ahaatee, dhibaatadu waa mid aad uga fog in la xalliyo sababtoo ah dhibaatooyinka aasaasiga ah ee dhibcaha qoraalka. Qiimaynta qormadu waa mawduuc aad u saraysa waxayna ku lug leedahay arrimo aan la taaban karin sida isku-duubnida, naxwaha, ku habboonaanta, iwm oo ay adag tahay in la xisaabiyo. Natiijo ahaan, helista sumadaha xogta tababarka oo leh qiimayn kooban oo qoraal ah oo ka kooban astaamo ay ka mid yihiin naxwaha, isku xidhnaanta, iwm waa qaali. Sidaa darteed, xogta tababarka ayaa aad u xaddidan marka loo eego hawlaha kale ee NLP sida (masgarawyada) moodooyinka luqadda, NER, POS tagging, turjumaadda mashiinka, iwm. Intaa waxaa dheer, bixinta dhibco guud oo fudud waxay siinaysaa wax yar ama jawaab celin la'aan ardayga oo sameeya. aan ka caawin ardayda horumarkooda. Sidaa darteed, dadaallada hadda socdaa waxa ay diiradda saarayaan qiimaynta qormada dhinacyada guud halkii ay ka ahaan lahaayeen hal dhibic. Tani waxay sidoo kale ka caawineysaa in laga fogaado ku-habboonaanta xad-dhaafka ah sababtoo ah qaabka saadaasha hadda waa inuu si fiican u qabtaa dhammaan mitirka oo ma aha oo kaliya hal mitir, asal ahaan, qofku wuxuu u malayn karaa inuu yahay nooc hawlo badan. Daraasadda hadda jirta, waxaan diiradda saareynaa lix mitir: isku xirnaanta, syntax, erayada, weedhaha, naxwaha, iyo heshiisyada. 1.1 Sahanka Suugaanta Kahor 2010-meeyadii, badi moodooyinka AES waxay ku tiirsanaayeen sifooyin gacmeed lagu sameeyay oo ay naqshadeeyeen af-yaqaannada xisaabinta [10, 4]. Si kastaba ha ahaatee, moodooyinkani waxay caadi ahaan u xaglinayeen sifooyin gaar ah (tusaale dhererka qoraalka) mana soo koobi karin mawduucyada iyo cabbirrada. Eexda ku wajahan sifooyinka gacanta lagu sameeyay ayaa wax laga qabtay iyada oo lagu beddelay ereyada ku dhex-jira ee ay barteen moodooyinka luqadda sida Word2Vec iyo GloVe. Iyada oo lagu salaynayo ereyadan gundhigga ah, buundooyinka qoraalka waxaa la saadaaliyay inay yihiin dib-u-noqosho iyo hawlo kala-soocid iyadoo lagu daray shabakad neerfaha hoose ee ereyga dhejinta. Adigoo isticmaalaya qalabyada lagu tababaray korpus weyn, horumar la taaban karo ayaa lagu arkaa dhibcaha qoraalka ee dhammaan cabbirada iyo sidoo kale dhibcaha guud [11]. Si kastaba ha ahaatee, ereyada ku lifaaqan ee muhiimka u ah hagaajinta waxqabadka waxay caddeeyeen inay yihiin xaddidaadda ugu weyn ee qaabka. Sida gundhigyadu asal ahaan ka yimaadeen habka Kiishka-Erayada, ma ay qabsan karaan wax macluumaad ah oo guud oo qayb ahaan lagu qabtay sifooyinkii hore ee luqadda ee gacanta lagu sameeyay. Halkii lagu dari lahaa sifooyinka gacanta lagu sameeyay oo ay suurtagal tahay in dib loo soo bandhigo cilladaha moodooyinka hore, dhibaatada la'aanta macluumaadka macnaha guud waxaa lagu xalliyay habka dareenka iyadoo la adeegsanayo LSTM [13] iyo naqshadaha beddelka. Shaqada Vaswani iyo Polosukhin [14] waxay si guul leh u soo saareen qaabka BERT iyadoo la isticmaalayo transformers. Iyada oo lagu diirsaday guusha moodeelka BERT iyo qaab dhismeedka beddelka, qaab-dhismeed luuqadeed oo fiiro gaar ah ku salaysan ayaa la sameeyay. Hadda, halkii ereyada la dhex gelin lahaa, mid ayaa heli kara jumlada ama gundhigga heerka dukumeentiga ee qabta macluumaadka macnaha guud. Iyada oo la adeegsanayo waxyaalahan qoto dheer, moodooyinka shabakada neerfaha ayaa loo sameeyay si loo saadaaliyo buundooyinka qoraalka (labadaba sida kala soocida iyo hawlaha dib u noqoshada). 1.2 Xaddidaadaha Wadooyinka Hadda Inkasta oo horumarkani jiro, xaddidaadyo ba'an ayaa ka jira isticmaalka qaabka BERT. Lottridge iyo al. (2021) [10] waxay muujisay adkeysi la'aanta moodeelka qormooyinka ciyaarta, isku shaandhaynta random, iyo qoraallada Babel. Waxqabadku aad buu ugu kala duwan yahay fasallo iyo cabbirro kala duwan. Si wax looga qabto cilladaan, baaritaankan, waxaanu ku qaabayn doonaa dhammaan cabbirada isku mar iyada oo loo marayo barashada hawlo badan. Xaddidaadda kale ee muhiimka ah ee falanqaynta ku salaysan BERT waa in dhererka calaamaduhu uu ku kooban yahay 512 ee qaabka BERT. Waxaan raadineynaa inaan tan wax ka qabanno annagoo isticmaalna naqshado horumarsan sida Longformer oo u oggolaanaya ilaa 4096 calaamado dukumeentiba. Xogta loo dejiyey daraasaddan (faahfaahinta Qaybta 2.1), in ka badan 40% dukumeentiyadu waxay ka badan yihiin 512 calaamadood oo dherer ah. Sidaa darteed, ku gooynta dukumeentiga 512 calaamadood oo leh qaabka caadiga ah ee BERT waxay ku dambayn doontaa khasaare la taaban karo xagga macnaha guud. Xaddidaadda saddexaad ee muhiimka ah ee daraasadaha kala duwan ayaa ah xogta xaddidan - inkastoo daraasado badan ay diiradda saareen AES, mid kasta oo ka mid ah xogtaas ayaa loo dhaliyay si kala duwan, sidaas awgeed, moodooyinka si sahal ah looguma tababari karo dhammaan xogta. Sidaa darteed, daraasaddan, waxaan ku baaraynaa isticmaalka shabakadaha autoencoder si loo tababaro dhammaan xogta oo aan u isticmaalno codeynta autoencoder-ka-soo-baxa si loo fuliyo hawlaha AES. Isku soo wada duuboo, daraasaddan ayaa baadhi doonta saamaynta dokumentiyada ku salaysan barashada qotodheer ee kala duwan ee dhibcaha qoraalka tooska ah. Qaabka xogta, habka, tijaabooyinka, iyo gundhigyada qoto dheer ee lagu tixgeliyey daraasaddan ayaa lagu soo bandhigay Qaybta 2. Ka sokow kala duwanaanshaha gundhigga qoto dheer, waxaan falanqeyneynaa siyaabaha loo isku daro xogta AES ee kala duwan annagoo tababbarayna cod-bixinta qoto dheer ee shabakadda Autoencoder. Natiijooyinka dhammaan hababkaas waxaa lagu soo bandhigay Qeybta 3 iyo gabagabada iyo sidoo kale tilmaamaha baaritaannada dheeraadka ah ayaa lagu sheegay qaybta 4. 2. Habka 2.1 Xogta Shaybaadhka Wakaaladda Waxbarashada, Jaamacadda Gobolka Georgia, iyo Jaamacadda Vanderbilt waxay ururiyeen tiro badan oo qoraallo ah oo ka socda hay'adaha waxbarashada gobolka iyo kuwa qaranka, iyo sidoo kale ururada aan faa'iido doonka ahayn. Laga soo bilaabo ururintan, waxay soo saareen Qoraallada Qancinta ee Qiimaynta, Xulashada, iyo Fahamka Qodobbada Doodda iyo Hadalka (PERSUADE), oo ka kooban qormooyin dood ah oo ay qoreen ardayda fasallada 6-12, iyo Aragtida Bartayaasha Luuqadda Ingiriisiga, Aqoonta iyo Qiimaynta Xirfadaha (ELLIPSE) corpus, oo ka kooban qoraallo uu qoray Bartayaasha Luuqadda Ingiriisiga (ELLs) ee fasallada 8-12. Korpus ELLIPSE waxa uu ka kooban yahay in ka badan 7,000 oo qoraal ah oo ay qoreen ELLs fasalada 8-12. Maqaalladan waxa loo qoray qayb ka mid ah qiimaynta qoraalka halbeegga ah ee gobolka ee sannad dugsiyeedka 2018-19 iyo 2019-20. Qoraallada ku jira ELLIPSE corpus waxaa qiimeeyay dadka qiimeeya heerarka aqoonta luqadda iyaga oo isticmaalaya rubric dhibco shan dhibcood ah oo ka kooban cabbir dhamaystiran iyo falanqayn labadaba. Miisaanka guud wuxuu diiradda saaray guud ahaan heerka aqoonta luqadda ee lagu soo bandhigay qormooyinka, halka cabbirada falanqaynta ay ka mid yihiin qiimaynta isku xidhka, syntax, weedhaha, erayada, naxwaha, iyo heshiisyada. Dhibcaha cabbir kasta oo falanqayn ah ayaa u dhexeeya 1.0 ilaa 5.0 ee kordhinta 0.5 oo leh buundooyin waaweyn oo u dhigma aqoonta weyn ee cabbirkaas. Korpus ELLIPSE: PERSUADE corpus waxa uu ka kooban yahay in ka badan 25,000 oo qoraalo dood leh oo ay qoreen ardayda Maraykanka ee fasalada 6-12. Qormooyinkan waxa loo qoray qayb ka mid ah qiimaynta qoraalka halbeegga ah ee heer qaran iyo heer gobol laga bilaabo 2010-2020. Qormo kasta oo ku jirta PERSUADE corpus waxa qiimeeyay bini'aadamka si ay u qiimeeyaan qaybaha doodaha iyo hadalka iyo sidoo kale xidhiidhada kala sareynta ee ka dhexeeya walxaha doodaha leh. Qoraalka tafsiirku waxa loo sameeyay si loo aqoonsado oo loo qiimeeyo qaybaha hadalka sida caadiga ah laga helo qoraalka doodda leh. PERSUDE corpus: Mashruucan, waxaan u isticmaalnaa ELLIPSE corpus oo isla mar ahaantaana aan saadaalino dhibcaha lixda cabbir ee falanqaynta: isku xirnaanta, syntax, erayada, weedhaha, naxwaha, iyo heshiisyada. Intaa waxaa dheer, waxaan isku daynaa inaan hagaajino saxnaanta saadaasha annaga oo adeegsanayna cod-bixiyaha autoencoder. Fikradda ayaa ah in la tababaro cod-bixiye adiga oo isticmaalaya ELLIPSE iyo PERSUDE corpus. Iyadoo loo marayo habkan, vector-ka sifada isbuufiska ah ee autoencoder-ka ayaa laga yaabaa inuu awoodo inuu qabsado sifooyinka qormooyinka muhiimka ah si loo dhaliyo in qaababka luuqada ee horay loo tababaray laga yaabo inay seegaan. 2.2 Habka Sida hore loo sheegay, yoolka mashruucani waa in la saadaaliyo dhibcaha lix cabbir oo falanqayn ah: isku-duubnida, syntax, erayada, weedhaha, naxwaha, iyo heshiisyada qoraallada doodda leh ee ay qoreen bartayaasha 8-12aad ee af Ingiriisiga. Hawshan, waxaanu marka hore samaynaa sal-dhis, ka dibna waxaanu isticmaalnaa noocyo badan oo horay loo tababaray si aan u wanaajino salka. : Saldhigga waxaa la sameeyay iyadoo la isticmaalayo GloVe gelinta iyo shabakad LSTM ah oo laba jiho ah. Qaabka aasaasiga ah, waxaan marka hore samaynaa nadiifinta xogta tusaale ka saarista xarakaynta, ka saarida meel cad, iwm anagoo adeegsanayna maktabada regex ka dibna, ka isticmaal ereyga tokenizer ee NLTK si aad u calaamadiso qoraalada. Shabakad LSTM ah ayaa lagu tababaray codaynta GloVe ee qoraallada si ay u soo saarto vector dhererkiisu yahay 6 oo ka dhigan dhibcaha mid kasta oo ka mid ah lixda cabbir ee kor ku xusan. Waxaan isticmaalnaa Khaladaadka Dhexdhexaadka ah ee celceliska (MSELoss) si aan u tababarno shabakada neerfaha. Saldhigga : DistilBERT waa nooc Transformer yar, dheereeya, iyo iftiin ah oo lagu tabobaray in la nadiifiyo saldhigga BERT. Waxa ay leedahay 40% in ka yar cabbirada bert-base-uncased waxana ay ku socotaa 60% dhakhso ah iyada oo la ilaalinayo in ka badan 95% bandhigyada BERT sida lagu cabiray heerka fahamka luqadda GLUE. BERT waxay isticmaashaa is-fiirsi si ay xogta macnaha guud uga soo saarto taxanaha oo dhan [2]. Tani waxay wanaajisaa awoodda moodeelka si uu u qiimeeyo muunadaha qoraalka iyo bixinta dhibco sax ah. Qaabkan, waxaan u isticmaalnaa calaamadeeye auto si aan u calaamadeyno qormooyinka ka dibna u gudubno calaamadahan moodeelka horay loo tababaray ee DistilBERT si aan u helno matalaadda vector ee qoraallada. Waxaan markaa tababarnaa shabakad neerfaha laba-lakab ah anagoo adeegsanayna MSELoss si ay u soo celiyaan 6-cabbir wax soo saarka vector oo matalaya buundooyinka mid kasta oo ka mid ah lixda astaamood ee kor lagu tilmaamay. DistilBERT : T5 ama Transfer Transfer Text-To-Text waa qaab-decoder-ka-horumarin hore loogu tababaray hawlo badan oo isku-dhafan oo aan la kormeerin iyo hawlo la kormeero oo hawl kasta loo beddelo qaab qoraal-qori ah. Iyadoo BERT, oo horay loogu tababaray Masked LM iyo Ujeeddada Saadaasha Xukunka Xiga, waxaan u baahanahay inaan si gooni ah u hagaajino tusaalooyinka kala duwan ee qaabka horay loo tababaray ee hawlaha kala duwan ee hoose sida kala soocida isku xigxiga. Qaab-dhismeedka qoraalka-ilaa-qoraalka ee T5 wuxuu bixiyaa hab fudud oo lagu tababaro hal moodal oo ku saabsan hawlo badan oo kala duwan oo qoraal ah iyadoo la adeegsanayo isla shaqada luminta iyo habraaca dejinta. Qaab dhismeedkan tababarka ka hor wuxuu siinayaa qaabka "aqoon" ujeedo-guud ah oo wanaajisa waxqabadkeeda hawlaha hoose [12]. Waxaan isticmaalnay calaamad-toosiye si aan u calaamadeyno qoraallada ka dibna u gudbinay calaamadahan qaabka horay loo tababaray ee T5-Base si aan u helno matalaadda vector ee qoraallada. Waxaan markaa tababarnaa shabakad neerfaha laba-lakab ah annagoo adeegsanayna MSELoss si ay ugu soo celiyaan soo-saarka 6-cabbirka ah (oo la mid ah DistilBERT). T5 : RoBERTa waa nooc kale oo BERT ah oo waji-xidhan oo uu sameeyay Facebook. Marka laga hadlayo RoBERTa, waji-xidhka firfircoon ayaa la isticmaalaa inta lagu jiro tababarka dhammaan xilliyadii, halka BERT uu maaskarku taagan yahay. Iyada oo taas loo marayo, qaabku wuxuu bartaa calaamado badan oo ka badan kan BERT. Horumarin wax qabad oo dheeri ah waxaa lagu gaaraa tababar ku saabsan xog ururin aad uga weyn kan BERT (10x) iyo erayo ka sii weyn. Isbadaladan tababarka, RoBERTa waxa ay BERT kaga sarraysaa inta badan hawlaha gluE iyo SQuAD [9]. RoBERTa-saldhig : Longformer waa moodal u eg BERT oo ka soo baxay isbaarada RoBERTa oo loo tababaray Model Luqadda Masked (MLM) ee dukumentiyada dhaadheer. Waxay taageertaa taxanaha dhererka ilaa 4,096 calaamad. Caadi ahaan, moodooyinka ku-saleysan transformer-ka ee isticmaala habka is-fiirsashada ma awoodaan inay socodsiiyaan taxane dheer sababtoo ah xusuusta iyo shuruudaha xisaabinta waxay u koraan afar-geesood dhererka isku xigxiga. Tani waxay ka dhigaysaa mid aan suurtagal ahayn in si hufan loo farsameeyo taxanaha dheer. Longformers wax ka qabtaan xaddidan muhiimka ah iyaga oo soo bandhigaya hab fiiro gaar ah oo si toos ah u cabbiraya dhererka isku xigxiga [1]. Waxa ay isticmaashaa daaqad simbiriirixan iyo hab fiiro gaar ah oo daaqadda simbiixneed si ay u qabsato macnaha guud ee deegaanka iyo caalamka. Qaabka Longformer, waxaan u isticmaalnaa hab la mid ah sida DistilBERT. Waxaan isticmaalnaa calaamadeeyaha auto-tokenizer si aan u calaamadeyno qormooyinka ka dibna u gudubno calaamadahan qaabka Longformer ee horay loo tababaray si aan u helno matalaadda vector ee qoraallada. Waxaan markaa tababarnaa shabakad neerfaha laba-lakab ah annagoo adeegsanayna MSELoss si ay ugu soo celiyaan soo-saarka 6-cabbirka ah (oo la mid ah DistilBERT). Longformer Waxaan sidoo kale isticmaalnay uruurinta gradient si aan ugu tababarno moodaladayada cabbir ka weyn kan Colab runtime GPU uu awooday inuu ku habboonaado xusuusta. Cabbirka weyn ee moodeelka Longformer awgeed, waxa aanu ku xaddidnay cabbirka laba kaliya. Cabbirka dufcada yar ee caynkaas ah waxay keeni doontaa xisaabinta jaan-goynta aan degganayn. Waxaan tan ku hareeraysannahay ururinta gradient-halkii aan dib u faafin lahayn khasaaraha ka dib soo noqnoqon kasta, waxaan aruurineynaa khasaaraha oo aan faafineynaa qaladka kaliya ka dib tiro go'an oo dufcad ah si aan u wanaajino xasilloonida cusboonaysiinta gradient [3]. 2.3 Qiimaynta Si loo qiimeeyo saxnaanta buundooyinka la saadaaliyay ee moodeelkeena, waxaan u isticmaali doonaa celceliska xididka celceliska khaladka labajibbaaran (MCRMSE) sida mitirka. Qiyaasta waxaa loo xisaabiyay sida: 2.4 Tijaabooyin Ka dib markii aan hirgelinay moodooyinka kor lagu sharaxay, waxaan isku daynay dhowr tijaabo si aan u wanaajino qaladka saadaasha moodooyinkan. Faahfaahinta tijaabooyinkan waa sida soo socota: : Korpus ELLIPSE, buundada cabbir kasta oo falanqayntu waxay u dhaxaysaa 1.0 ilaa 5.0 ee kordhinta 0.5 oo leh buundooyin waaweyn oo u dhigma aqoon sare oo cabbirkaas. Waxaan wax ka bedelnay shabakadeena neural sida wax soo saarku uu xaddidan yahay inta u dhaxaysa 1 iyo 5. Waxaan sameynay tan anagoo ku darnay lakabka sigmoid kaas oo wax soo saarku dhex maraan ka dibna waxaan ku dhufaneynaa wax soo saarka 4 oo ku dar 1. Intaa waxaa dheer, mar natiijadu ka soo baxdo shabagga neerfaha waxaan sameyneynaa hawlgalka xisaabeed si loo hubiyo in wax soo saarka uu kordho tillaabooyinka 0.5 kaliya. Hawlgalkan waxa uu ujeedkiisu ahaa in lagu celiyo qaabka buundooyinka asalka ah iyo in la hubiyo haddii wax ka beddelka noocaas ahi uu hagaajiyo saxnaanta. Qiyaasta soo saarista dhibcaha = int [(2 * score + 0.5) / 2] : Gudaha ELLIPSE corpus, buundada cabbir kasta oo falanqayn ah waxay u dhaxaysaa 1.0 ilaa 5.0 ee kordhinta 0.5. Si kastaba ha ahaatee, qaybinta dhibco kasta ee xog-ururinta ma aha mid la mid ah. Dhibcaha qaarkood sida 2.5, 3, iyo 3.5 ayaa inta badan ku dhaca xogtayada mid kasta oo ka mid ah cabirrada falanqaynta halka buundooyinka sida 1, iyo 5 ay dhacaan si dhif ah inta lagu jiro kaydinta xogta. Si loo xisaabtamo dheelitir la'aantan waxaan isticmaalnay xidid miisaan leh oo loola jeedo qalad labajibbaaran (WRMSE) halkaasoo ka soo horjeeda inta jeer ee dhibco gaar ah loo isticmaalo miisaan ahaan waxaanan gooyay miisaankan haddii ay dhacdo inuu aad u sarreeyo marka loo eego miisaanka kale. RMSE Miisaan : Sida lagu sheegay qaybta hore, maadaama qaybinta dhibco kasta ee xog-ururinta aanu la mid ahayn, waxaanu tijaabinay inaanu yeelano shabakad laba lakab oo neerfaha ah oo cabbir gaar ah si loo saadaaliyo buundooyinka. Markaa halkii laga heli lahaa hal madax oo wax soo saar leh oo saadaaliya 6 qiimayaal kala duwan, waxaanu hirgelinay 6 madax wax soo saar oo kala duwan si loo saadaaliyo dhibcaha cabbir kasta oo falanqayn ah. MultiHead Architecture : Xogta loo bixiyay hawsha hadda jirta ee dhibcaha dhibcaha badan ee qoraalka waa qiyaastii 4k muunado. Si kastaba ha ahaatee, gudaha ELLIPSE iyo PERSUADE corpus wadajir, waxaa jira in ka badan 180k qormo oo loogu talagalay hawlaha kale ee AES, sida hal buundooyinka qormooyinka oo dhan, iyo qaybo ka mid ah qormooyinka. Sidaa darteed, autoencoders ayaa loo isticmaalaa in laga faa'iidaysto xogtan weyn oo ay qabtaan barasho badheed la kormeerayo. Si kooban loo sheegay, cod-bixinta moodooyinka luqadaha sida BERT, T5 waxaa la dhex maraa shabakad iskoodeeye oo loo tababaray iyadoo la adeegsanayo dhammaan muunadaha 180k. Kadibna, mid ka mid ah codaynta lakabka dhalada ama qaabka luqadda la diidey ee ka soo baxa qayb ka mid ah codeeyaha autoencoder ayaa loo isticmaalaa si loo saadaaliyo buundooyinka fasalada badan iyadoo la isticmaalayo shabakad neerfaha 2-lakabka ah ee madaxa dib u soo noqoshada, oo la mid ah dhacdada si buuxda loo kormeeray. Haddaba, annagoo ka faa'iidaysanayna xogta tirada badan ee aan calaamadda lahayn si aan u tababarno cod-bixiye horudhac ahaan, waxaan raadineynaa inaan horumarino saadaasha waxbarashada la kormeero. Daraasaddan, waxaanu ku qaddarinay labada cod-bixineed ee la diiday ee ku salaysan codaynta DistilBERT. Autoencoder 3. Natiijooyinka iyo doodaha : Shaxda 1 ayaa soo koobaysa cabbirka waxqabadka ee la helay iyadoo la beddelayo moodooyinka horay loo tababaray ee lagu sharraxay Qaybta 2.2. Marxaladdan, cod-bixinta moodooyinka horay loo tababaray ayaa si toos ah loo sii maraa shabakad neerfaha 2-lakab ah oo lagu tababaray iyadoo la isticmaalayo khasaaraha MSE, midna horumarada suurtagalka ah ee lagaga hadlay Qaybta 2.4 lama hirgelin. Maaddaama kani yahay dib-u-celin heerar badan leh, waxqabadka moodooyinka mitir kasta oo dhibco ah ayaa lagu muujiyay shaxda 3. Saamaynta Encodings Horay Loo Tababaray Waxa ka mid ah qaab-dhismeedka transformer-ka ee ku taxan shaxda 1, waxa aanu aragnaa in moodooyinka afka daboolan ee DistilBERT, RoBERTa, iyo Longformer ay ka shaqeeyaan si ka wanaagsan qaabka wax-soo-saarka T5 - suurtogal ahaan sababtoo ah moodooyinka wejiyada daboolan ayaa aad ugu habaysan hawlaha takoorka leh ee soo saarista tirada. Cilmi baaris dheeraad ah ayaa lagama maarmaan u ah in la soo gabagabeeyo haddii tan lagu soo koobi karo noocyo badan oo luqadeed oo hal abuur leh. Guud ahaan, RoBERTa waxay haysataa buundada saadaalinta ugu wanaagsan ee moodooyinka kala duwan, taasoo macquul ah sababtoo ah jirkeeda tababarka aadka u weyn iyo waji-xidhka sare. Shaxda 1: Guud ahaan buundooyinka MCRMSE ee noocyada kala duwan Qaabka Halbeegga MCRMSE Asal ahaan 1.36 DistilBERT 0.4934 T5-saldhig 0.5320 RoBERTa 0.4746 Ka dheeraa 0.4899 : Markii hore, waxaanu sahaminay saamaynta kala duwanaanshiyaha wax-soo-saarka madaxa dib-u-celinta (ie, innagoo kala duwanaya moodooyinka horay loo tababaray iyo cod-bixinnada ku jira), annagoo haysanayna tababbarka madaxa dib-u-celinta joogtada ah. Qaybtan, waxaynu sahaminaynaa saamaynta kala duwanaanshaha tababarka madaxa dib-u-celinta iyada oo si joogta ah loo hayo cod-bixinta. Qaybta 2.4 waxa ay taxaysaa isbeddelada kala duwan ee lagu sameeyay tababbarka dib u noqoshada ee lagu sahamiyay daraasaddan. Ogsoonow in qaybtan oo dhan, qaabka DistilBERT la isticmaalo maadaama uu yahay nooca ugu dhakhsaha badan oo uu leeyahay shuruudaha GPU hoose. Natiijooyinka qorshayaasha tababar ee kala duwan/kor u qaadis ayaa lagu muujiyay shaxda 2. Saamaynta hagaajinta ee madaxa dib-u-celinta Shaxda 2: Dhibcaha MCRMSE ee noocyada kala duwan Tijaabi MCRMSE Qiyaasta wax soo saarka 0.5294 Miisaanka RMSE 0.5628 MultiHead Architecture 0.508 Diidmada Cod-koobiyaha 0.575 Nasiib darro, mid ka mid ah kala duwanaanshahan si loo tababaro qaabka dib-u-celinta ayaa keenaya horumar la taaban karo oo sax ahaanshaha saadaasha marka la barbar dhigo moodooyinkayaga asalka ah. Dhab ahaantii, cabbirka waxqabadka ee ansaxinta shaxda 2 ayaa tilmaamaysa hoos u dhac ku yimid wax-ka-beddeladan. Ma cadda sababta ay dhimistani u dhacdo iyo daraasado dheeraad ah oo lagu sameeyay xog-ururin weyn ayaa lagama maarmaan u ah xaqiijinta in dhimistan waxqabadku aanu ahayn mid farshaxan. Dhammaan kala duwanaanshiyaha qoraalka qoraalka iyo tababbarka madaxa dib-u-celinta, waxaan ka ogaanay ansaxinta buundooyinka MCRMSE ee cabbirada shaqsiga ah in isku xirnaanta iyo naxwaha ay u muuqdaan kuwa ugu adag in la saadaaliyo dhammaan moodooyinka (eeg Shaxda 3). Tani waxay noqon kartaa xaddidaadda moodooyinka luqadda ee horay loo tababbaray ee lagu isticmaalo AES ee maaha qaabayntayada. Kim iyo al. (2020) [5] tus xaddidaadaha moodooyinka luqadda hadda jira ee naxwe ahaan si fiican looga warhayo oo waxay bixiyaan tilmaamo horumar dheeraad ah oo ku saabsan moodooyinka luqadda. Shaxda 3: Dhibcaha MCRMSE ee cabbirka falanqaynta shakhsi ahaaneed Qaabka (ama Exp.) Isku duubni Syntax Erayada Erayada Naxwaha Axdiyada Asal ahaan 1.37 1.35 1.32 1.34 1.44 1.36 distillBERT 0.54 0.51 0.46 0.52 0.57 0.49 T5-Base 0.55 0.52 0.48 0.54 0.58 0.53 RoBERTa 0.51 0.47 0.42 0.47 0.51 0.46 Ka dheeraa 0.54 0.48 0.46 0.49 0.53 0.47 ditilBERT + tirada wax soo saarka 0.55 0.53 0.48 0.53 0.57 0.51 ditilBERT + WRMSE 0.56 0.56 0.55 0.56 0.61 0.53 ditilBERT + Multi Head Arch. 0.53 0.50 0.45 0.51 0.56 0.49 Autoencoder + distillBERT 0.59 0.56 0.52 0.56 0.61 0.55 4. Gabagabo Shaqadan, waxaanu ku baadhnay saamaynta qaabab kala duwan oo hore loo tababaray iyo habab si aanu ugu tababarno madaxa dib-u-celinta hawsha Dhibcaynta Automated Essay, halkaas oo aanu ku dhalinayno qoraal kasta oo cabirkiisu yahay 1 ilaa 5 lix halbeeg luuqadeed (tusaale, isku xidhnaanta, naxwaha, erayada iwm.). Xogta xogta waxaa laga soo qaatay ELLIPSE corpus, gaar ahaan qaybta hoose ee xogta ku taxan tartamada Kaggle. Waxaan tixgelinay shan qaab-dhismeed barasho qoto dheer iyo shan dariiqo oo lagu tababaro madaxa dib-u-celinta waxaana lagu arkay iyadoo la adeegsanayo RoBERTa-base oo leh lakab-fudud 2-lakab ah oo fudud si loo saadaaliyo buundooyinka maaddaama wax soo saarka heerar kala duwan uu bixiyay natiijada ugu fiican. Sidii la filayey, qaab-dhismeedka beddelka ayaa si aad ah uga sarreeya qaabka aasaasiga ah ee GloVe+LSTM. Intaa waxaa dheer, gudaha qaab-dhismeedka transformer-ka, waxaan aragnaa in moodooyinka luqadda daboolan (DistilBERT, RoBERTa, Longformer) ay bixiyaan waxqabad heersare ah marka la barbar dhigo qaabka luqadda abuurista ee T5. In kasta oo indha-indhayntani aanay ka koobnayn dhammaan noocyada wax-soo-saarka, si dhab ah awoodda MLM waxay u muuqataa mid joogto ah maadaama si gaar ah loogu tababaray wax-soo-saarka tirooyinka. Kormeerka kale ee xiisaha leh ee daraasaddan ayaa ah in kala duwanaanshaha tababarka madaxa dib-u-celinta iyadoo la beddelayo shaqooyinka lumitaanka, xakameynaya wax-soo-saarka, iyo hoos-u-dhigga cabbirka autoencoder-ku-salaysan, oo ay weheliso xog-ururinta, ma hagaajin waxqabadka moodeelka. Tani waa mid lama filaan ah, si buuxdana uma fahmin sababaha ka dambeeya dhacdadan. Daraasadda mustaqbalka, hababkan waxaa lagu soo celin karaa xog-ururin ballaaran - tani waxay gacan ka geysaneysaa in la go'aamiyo in indho-indhayntan ku saabsan tababarka madaxa dib-u-celinta la soo koobin karo. Isku soo wada duuboo, waxaan aragnaa in adeegsiga cod-bixinnada RoBERTa oo leh shabagga neerfaha feedhaha ee 2-lakabka ah si loo saadaaliyo lixda buundooyinka isku mar, oo la mid ah barashada hawlo badan, ay bixiso waxqabadka ugu fiican. Gaar ahaan, marka la eego cabbirka yar ee xogta, saamaynta isticmaalka qaab adag oo horay loo tababaray ayaa loo arkaa inay si weyn u wanaajiso waxqabadka saadaalinta ee moodeelka. Sidoo kale, waxqabadka qiimaynta naxwaha qormada ayaa ka sii liita mitir kasta oo qiimayneed, tanina waa mid ku jirta qaabka luqadda. Sidaa darteed, shaqooyinka mustaqbalka waa inay diiradda saaraan hagaajinta moodooyinka luqadda si ay si wanaagsan u qabsadaan dhinacyada naxwaha ee luqadda. Tixraacyo Iz Beltagy, Matthew E Peters, iyo Arman Cohan. 2020. Longformer: Transformer-ka dokumentiga dheer. . arXiv preprint arXiv:2004.05150 Jacob Devlin, Ming-Wei Chang, Kenton Lee, iyo Kristina Toutanova. 2018. BERT: Tababarka hore ee transformers-ka qoto dheer ee labada jiho ee fahamka luqadda. . arXiv preprint arXiv:1810.04805 Joeri R Hermans, Gerasimos Spanakis, iyo Rico Möckel. 2017. Caadi-is-daba-marin urursan. , bogga 439-454. PMLR Shirka Aasiya ee Barashada Mashiinka Zixuan Ke iyo Vincent Ng. 2019. Dhibcaha qoraalka otomaatiga ah: Sahan lagu sameeyay heerka fanka. Gudaha , vol. 19, bogga 6300-6308. IJCAI Taeuk Kim, Jihun Choi, Daniel Edmiston, iyo Sang-goo Lee. 2020. Moodooyinka luqadda ee horay loo tababaray ma ka warqabaan odhaahyada? Saldhig fudud laakiin xooggan oo loogu talagalay soo-gelinta naxwaha. Shaybaadhka Wakaalada Waxbarashada. 2022a. Abaalmarinta jawaab celinta - barashada luqadda Ingiriisiga. Shaybaadhka Wakaalada Waxbarashada. 2022b. Abaalmarinta jawaab celinta - Qiimaynta qoraalka ardayga. Shaybaarka Wakaaladda Waxbarashada. 2022c. Abaalmarinta jawaab celinta - Saadaasha doodaha waxtarka leh. Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, iyo Veselin Stoyanov. 2019. Roberta: Habka tababarka hore ee bert si adag loo hagaajiyay. arXiv preprint arXiv:1907.11692. Sue Lottridge, Ben Godek, Amir Jafari, iyo Milan Patel. 2021. Isbarbardhigga xoojinta barashada qoto dheer iyo hababka gooldhalinta tooska ah ee caadiga ah ee xeeladaha ciyaaraha. Warbixinta farsamada - Cambium Assessment Inc. Huyen Nguyen iyo Lucio Dery. 2016. Shabakadaha neerfaha ee qiimeynta qoraalka otomaatiga ah. CS224d Stanford Warbixinada: 1-11. Adam Roberts iyo Colin Raffel. 2020. Sahaminta barashada wareejinta T5: Transformer-ka qoraalka-ku-qorista. La galiyay, bogagga 23-07. Kaveh Taghipour iyo Hwee Tou Ng. 2016. Habka neural ee dhibcaha qoraalka tooska ah. Tallaabooyinka shirka 2016 ee hababka la taaban karo ee habaynta luqadda dabiiciga ah, bogga 1882-1891. Noam Shazeer Niki Parmar Jakob Uszkoreit Llion Jones Aidan N. Gomez Łukasz Kaiser Vaswani, Ashish iyo Illia Polosukhin. 2017. Feejignaan waa waxa aad u baahan tahay oo dhan. Horumarrada hababka habaynta macluumaadka neerfaha, 30.
