The One-Shot Generalization Paradox: Ha yini AI ya Generative yi Lwisana na Rungula Lerintshwa

Generative AI yi vile nchumu wo koma ku tlula xidzedze xa thekinoloji. Timodelo to fana na GPT-4 ti teke misava hi xidzedze hi vuswikoti bya tona bya surreal byo tumbuluxa matsalwa lama tekelelaka mbulavurisano wa vanhu, ku tsala switlhokovetselo, ku khoda, hambi ku ri ku ta na swintshuxo swo tumbuluxa eka mintirho yin’wana leyi rharhanganeke swinene. Hi tshama hi ri karhi hi tshinela ekusuhi na vumundzuku lebyi pfuniwaka hi AI, lebyi vapfuni va hina va xidijitali va nga ta twisisa na ku hlamula swilaveko swa hina handle ko endla matshalatshala. Swi ringene ku endla mani na mani a va mupfumeri, a swi tano ke?

Kahle kahle, kwalomu ka... kambe ku nga ri hi ku helela.

Wa vona, ehansi ka ku vonakala ka vuhumelerisi bya GPT byo glitzy na vutshila bya yona bya ririmi i xipimelo xa xisekelo, lexi endlaka leswaku vo tala va hina vativi va thekinoloji hi penga: generative AI yi lwela ku khoma mahungu lamantshwa hi ku helela, ngopfungopfu eka swiyimo swa dyondzo ya xibalesa xin’we. Mhaka leyi yi vonakaka yi olova (kambe yi heta matimba) yi paluxa xivandla xa le xikarhi eka tisisiteme ta sweswi ta AI. Hambi leswi yi kotaka ku hlanganisa tindzimana to hlamarisa ku suka eka tibiliyoni ta tidathapoints, loko yi nyikiwile ntirho wa vutshila bya xiviri – nchumu lowu yi nga si tshamaka yi wu vona kumbe ku letela eka wona – timodeli ta xitayili xa GPT ti ba rirhangu ra ntumbuluko.

Leswi swi penda xifaniso xa leswi ndzi swi vitanaka “One-Shot Generalization Paradox” : ku nga khathariseki leswaku ti na matimba ku fikela kwihi, ku nga khathariseki leswaku tisisiteme ta AI to fana na GPT ti vonaka ti ‘tlharihile’ ku fikela kwihi, ti wa loko ti laveka ku andlala hi ku hatlisa ku suka eka voko rin’we ntsena kumbe leritsongo ra swikombiso leswi nga voniwiki.

A hi pfuleni paradox leyi nyana hi nghena eka why endzhaku ka yona. Kambe u nga vileli, a hi nge hlayisi leswi swi ri swa filosofi ntsena — hi ta nghena ehansi eka ndzhope wa xithekiniki hi lavisisa leswi kahle-kahle swi yimisaka ti-AI ta hina ta sweswi ta gen ku fambisana na ku cinca-cinca koloko ka masalamusi loku vanhu va nga na kona loko va langutana na leswi nga tolovelekangiki.

Vutlhari na Ndlela ya Timodelo ta Generative... Ku fikela loko ti tshoveka

The core brilliance of models like GPT-4 rests on a sophisticated Transformer architecture , leyi dumeke hi ku nyika matimba eka hinkwaswo ku suka eka timodeli ta ririmi ku ya eka mintirho ya xivono. Sweswi, a ndzi lavi ku ku bog down hi jargon eku sunguleni ka xiphemu lexi (hi sungula ntsena), kambe ti tech layers tin’wana ti lava ku pfuriwa ku endla nhlamuselo ya laha na leswaku hikokwalaho ka yini ku pandzeka ku sungula ku kombisa.

Ku sungula, GPT yi wela eka ndyangu wa timodeli leti sekeriweke eka ntlhandlamano , leti leteriweke ku vhumbha rito leri landzelaka kumbe xikombiso eka xiphemu xihi na xihi xa tsalwa leri nyikiweke. Xana va va njhani lava nga ni vutshila swonghasi eka leswi? Hi xiphemu lexikulu, swi vangiwa hi endlelo ro tiyimisela leri akiweke eka Transformer , leri pfumelelaka timodeli leti ku sefa hi nhlayo leyikulu ya matsalwa naswona hi xiviri "ti kongomisa" eka swiphemu swa nkoka swa xivulwa loko ti ri karhi ti languta marito hinkwawo eka ntlhandlamano. Endlelo leri ra nyingiso wa misava hinkwayo hi ku hatlisa ri hundzuke nkolo wo khoma nhlamuselo ya mongo eka swiphemu leswikulu swa tsalwa.

Kambe hi leyi xisekelo xa paradox: Generative AI yi titshege ngopfu hi data leyi ya ndzetelo. Yi hlawulekile eka ku lemuka swivumbeko na vuxaka bya tinhlayo exikarhi ka tithokini eka datha leyi yi yi voneke khale, kambe hi ntumbuluko yi tlhela yi titshega hi datha yoleyo. Loko modele lowu wu humesiwa, GPT-4 entiyisweni a yi nga si dyondza ku anakanya kumbe ku hluvukisa ku twisisa misava. Ematshan’wini ya sweswo, i ku tirhisa minhlangano leyi yi yi tekeke eka tibiliyoni ta swikombiso swa matsalwa leswi kumekaka eka inthanete (eka tibuku, Wikipedia, tithread ta Reddit, maphepha ya swa tidyondzo... u swi thya vito).

Kutani, hambi leswi GPT yi nga ha titwaka tanihi oracle leyi vonaka hinkwaswo, yi humesa matsalwa lama hlanganeke naswona minkarhi yin’wana lama nga ni vutivi, leswi yi swi endlaka hakunene i ku tlanga ntlangu lowu hlamarisaka wa ku fambisana ka xivumbeko xa ku koteka. Nhlamuselo? Loko ku ta nchumu wuntshwa (ku fana ni phepha lerintshwa ra sayense ra quantum mechanics kumbe marito man’wana lama kongomeke ya indasitiri ya niche), swi lwela hi matimba ku endla nhlamuselo leyi nga ni nhlamuselo ya wona.

Yi... a yi endli xibalo.

Yima. Kambe Ha Yini Swi Nga Swi Koti Ku Angarhela Ku Fana Ni Vanhu?

Sweswi, hi laha vanhu va hambanaka swinene na michini. Anakanya u hlaya hi mhaka leyi tlulaka vutshila bya wena hi ku helela ro sungula. Kumbexana u musunguri wa tech startup loyi a fambisaka misava ya vunjhiniyara bya michini. Kunene, u nga ha va u nga hlanganisi tinhla hinkwato eka ku hlaya ko sungula — kambe endzhaku ko languta swikombiso swi nga ri swingani kumbe swifaniso, ku voninga kun’wana ka rivoni loku twisisekaka ku ta tima. Aha, leyi i fambiselo ro lawula! Leswi swi hlanganisa ni sweswo! Nakona, lo and behold, wa yi kuma (kumbe hi xiringaniso vunyingi bya yona).

Nuance leyi yi vuriwa one-shot generalization — vuswikoti byo hatlisa ku teka swivumbeko kumbe ku twisisa mahungu lamantshwa hi ku helela lama sekeriweke eka swikombiso leswitsongo. Naswona i nchumu lowu vanhu va nga ni vutshila byo hlawuleka eka wona. Hi teka xiphemu lexitsongo xa vutivi ivi hi xi mepe hi ku twisisa eka tinhlokomhaka to anama, swivumbeko kumbe swifaniso leswi se hi swi tivaka. Hi marito man’wana, a hi lavi swikombiso swa miliyoni kumbe khophasi leyikulu ya datha ya nkarhi lowu hundzeke leswaku hi va na epiphany.

Ku hambana swinene, swikombiso swa ku tumbuluxa a swi na ku twisisa loku velekiweke ka misava nikatsongo. Va famba hi ku landzelelana eka ndhawu ya tinhlayo naswona va endla vuprofeta lebyi sekeriweke eka leswaku hi wahi marito kumbe swivumbeko leswi nga tala ku humelela swin’we. Kutani loko va komberiwa ku khoma nchumu wo karhi wa novhele hi ku helela — rito lerintshwa hi ku helela ra sayense, thiyori leyintshwa leyi nga si tshamaka yi kandziyisiwa eka inthanete — va tsutsuma hi nhloko va nghena erirhangwini. Hi ku olova, they haven’t encountered it before , naswona va pfumala swivumbeko swa xiviri swa miehleketo ku endla ku tlula eka nsimu leyi va nga yi tolovelangiki.

Alright, sweswo swi kahle ngopfu. Ndzi pfumeleleni ndzi hambanyisa leswi ku ya emahlweni.

Timodelo ta AI to tumbuluxa ti dyondza hi ku nghenisa exikarhi ka tinhla ta datha leti nga kona. Meaning, va va vativi eku tatiseni ka swivandla exikarhi ka tinhla leti se va ti voneke na tipheteni leti va ti toloveleke, kambe va lwisana na extrapolation , i.e., ku tlula ehandle na ku endla swiringanyeto leswi sekeriweke eka mianakanyo leyintshwa loko datha ya ndzetelo yi pfumala xikombiso. Xikombiso, GPT-4 yi nga khoma ku akiwa ka ririmi ra "nkarhi na nkarhi" eka ririmi ra siku na siku hi ndlela yo saseka hikuva ku na timiliyoni ta swikombiso leswi kumekaka. Kambe, lahlela xikombelo xa miehleketo leyi humelelaka, leyi hlawulekeke ngopfu — hi ku vula, swilo swo karhi swa nhluvuko wa sweswinyana eka ti-solitonic fibre lasers eka fizikisi — na boom: absolute gibberish. Hikokwalaho ka yini? GPT a yi na ndhawu yo kongomisa ya tinhlayo eka marito yo tano ya niche, novhele. Kahle-kahle yi ni ku ringanyeta loku dyondzisiweke loku, hambileswi ku twalaka hi ku khuluka, ku nyikela hi ku twanana ka ntiyiso leswaku ku va ni ku lulama ka marito ya marito .

Nkoka wa Xithekiniki wa Xiphiqo

Alright, loko u ri na miehleketo nyana ya xithekiniki, a hi ngheneni hi nhloko eka leswaku hikokwalaho ka yini ku hunguteka loku ku ri na ku nonoka swinene, na leswi humelelaka ehansi ka xihuku hi nkarhi wa matshalatshala yo dyondza ya xibalesa xin’we.

Mhaka yin’wana ya nkoka eka ku andlala ka xibalesa xin’we i mayelana na rungula leri modele wu ri yimelaka endzeni hi nkarhi wa ndzetelo wa wona lowu tilangutaka . Timodelo ta xitayili xa GPT ti tikhoma kahle swinene loko ti tirha endzeni ka swipimelo — xiendlakalo lexi talaka ku hlamuseriwa tanihi dyondzo ya le ndzeni ka ku hangalasiwa . Endzeni ka mindzilakano ya tinhlokomhaka leti yi voneke swikombiso leswikulu leswi ringaneke swa ndzetelo eka swona, hambi ku ri GPT-4 yi nga churn out eerily insightful outputs. Leswi swi vangiwa hikuva xivumbeko xa modele xi wu pfumelela ku khoda mahungu hi ku tirhisa vuyimeri bya vector byo enta — hi xivumbeko xa ku nghenisiwa ka xiyimo — leswi khomaka ku yelana exikarhi ka marito na miehleketo.

Kambe hi laha swilo swi pfulekaka kona. Loko modele wu nyikiwile ntirho wa xiyimo lexi lavaka ku andlala ehandle ka ku hangalasiwa, leswi vulaka ku hlangana na mhaka leyi yi nga si tshamaka yi leteriwa eka yona, sisiteme a yi ringanyeti swilo hi ndlela leyi vanhu va endlaka ha yona. Ehleketa hi swona hi ndlela leyi: timodeli leti hi ntumbuluko i michini ya xivumbeko , yi titshege hi "mintlhaveko ya marhumbu" ya tinhlayo. A va na vuswikoti lebyi akiweke byo tumbuluxa kumbe ku ehleketa "ehenhla ka data."

Hi xikombiso, xiya ndlela leyi GPT yi dyondzaka milawu ya ririmi ha yona. Swi fana ni loko munhu a tshamile ehansi a nhlokohata magidi ya tindlela leti marito ma tirhisiwaka ha tona eka swivulwa swa Xinghezi. Endzhaku ko langutisisa hi laha ku eneleke, fambiselo leri ri aka mepe wa le ndzeni lowu tivaka, “Ah, endzhaku ka nhlokomhaka ku ta riendli, kutani kumbexana nchumu, ivi ri hoxa eka xihloko kumbe xirhangi hi laha swi lavekaka ha kona.” Kambe loko yi nyikiwa ririmi lerintshwa ra xiviri kumbe swivumbeko swa swivulwa swa novhele hi ku helela, vuswikoti lebyi bya tsana hikuva byi siveriwa ku lemuka ntsena vuxaka lebyi fihliweke (kumbe lebyi nga kongomangiki) lebyi se byi byi voneke.

Leswi, khombo ra kona, swi na swipimelo swa swona. Teka ntirho laha swi nga ta lava ku humesa tsalwa leri hlanganeke malunghana ni mhaka leyi nga paluxiwangiki, hi ku vula leswi tshuburiweke leswi pfulekeke eka nhloko-mhaka ya fizikisi leyi nga tiviwiki ngopfu yo tanihi vumbirhi bya quantum-gravity . Modeli yi pfumala vutlhokovetseri lebyi lavekaka ku hlamusela hi vuntshwa vutivi bya khale ku ringanyeta swilo leswintshwa leswi nga kotekaka. Eka byongo bya hina bya vanhu, minkarhi hinkwayo hi va na vuyimeri bya xiyimo xa le henhla (miehleketo, tithiyori, swifaniso!) leswi hi nyikaka ku cinca-cinca. Kambe GPT a yi endli tano! Yi humesa mbuyelo lowu sekeriweke eka ku koteka ka ku vhumbha , ku nga ri ku tlula ka vutumbuluxi.

Swifana na ku chayela hi mepe lowu nga phurogiremiwa ka ha ri emahlweni ntsena eka tindlela ta lembe xidzana leri hundzeke: a swi ku pfuni ku famba ehansi ka ku akiwa kumbe eka ku soholota loku humeleleke eka tinhweti ta tsevu leti hundzeke.

Ku Kuma Technical - Ha Yini Leswi Swi Humelelaka Ehansi Ka Xihuku

Ribye rin'wana ro teka goza ro twisisa xipimelo i ku lemuka ntirho wa vuyimeri byo enta vs lebyi nga nyawuriki .

Xana ndzi vula yini hi leswi?

Timodelo ta ndhavuko ta titransformer ti tirha hi ti dense vector embeddings . Xikombiso xin’wana na xin’wana eka xivulwa xi yimeriwile hi tivekitara ta xiyimo xa le henhla, naswona tivekitara leti ti khoma nxaxamelo wo anama wa vuxaka exikarhi ka marito — swivumbeko swa xivumbeko xa marito, tinhlamuselo ta semantiki, ku cinca ka xiyimo, na swin’wana na swin’wana Kambe hikuva vuyimeri lebyi byi tsindziyerile, a byi hambanisiwanga ku ringana ku seketela abstraction hi ndlela leyi yisaka eka generalization leyi cinca-cincaka na leyi pfumelelanaka na swiyimo.

Ti dense embeddings ti pimiwile hi bias-variance tradeoff hi nkarhi wa ndzetelo wa modele. Ku cinca loku i ka nkoka: hi ku antswisa nchumu wun’we (vuswikoti bya tinhlayo hi ku angarhela), modele wu nyikela hi swin’wana (vuswikoti byo anakanyisisa ku tsemakanya swiyimo swa novhele hi ku helela). Anakanya u tshamela ku lulamisa swikombiso swa wena swa mianakanyo leswaku swi fambisana kahle ni misava leyi se u tshameke u hlangana na yona; ku cinca-cinca ka kona hileswaku swiyimo leswi nga languteriwangiki swi ku lahlela ekule hi ku helela. Timodelo ta tinhlayo leti rharhanganeke-kambe leti tiyeke hi ntumbuluko ti lwisana ni timhaka letitsongo ta kan’we hikuva ti humelela eku phindha-phindha “xiyimo xa le xikarhi” naswona ti titimela loko ti langutane ni ku hambana ka milawu leyi dyondziweke.

Ntlhantlho wa nkoka lowu nga vaka kona laha i vuyimeri byo tala — tithekiniki to tumbuluxa tidimenxini leti hambanisaka swihlawulekisi swo hambana eka swiyimo swo hambana swa nhlamuselo. Tinetwork leti nga nyawuriki ti paluxa ni ku vuyisa rungula hi ndlela leyi cinca-cincaka ni leyi andlariweke, ku fana ni ndlela leyi vanhu va kongomisaka ha yona eka swivumbeko leswikulu, swa nkoka eku vhumbheni ka mimbuyelo ematshan’weni yo khomeka hi vuxokoxoko lebyintsongo.

Kutani xiphiqo xin’we xa ku andlala ka xibalesa xin’we hi leswaku swivumbeko swa manguva lawa swa netiweke a swi kandziyisi mintirho yo tano ya ku hambanyisa — swi titshege ngopfu hi swivumbeko swo enta, leswi fambiwaka hi data. Hikwalaho ha yini, loko va komberiwa ku andlala rungula lerintshwa hi ku helela ni leri hlawulekeke hi mongo wutsongo, va tsandzeka.

I Yini Lexi Nga Swi Hlantlhaka Leswi?

Nkateko wa kona, a hi huma eka miehleketo hi ku helela. Valavisisi va AI (ku katsa na mina!) va sungurile ku endla tithiyori mayelana na tindlela to hlaya to antswisa vuswikoti bya AI byo andlala hi xibalesa xin’we. Man’wana ya maendlelo lama tsakisaka swinene ya rhendzeleka hi ti-architecture ta meta-learning . Ti-architecture leti ti hambanile hi xisekelo na timodeli ta namuntlha, leswi endlaka leswaku ku va na vuswikoti byo dyondza ku dyondza laha sisiteme yi cincaka hi ku cinca-cinca tipharamitha ta yona ku fambelana na tinxaka letintshwa ta datha hi ku hatlisa — ngopfungopfu ku fambisana na mahanyelo yo fana na ya vanhu.

Eka Model-Agnostic Meta-Learning (MAML) , hi xikombiso, modele wu tilulamisela ku dyondza mintirho leyintshwa hi swikombiso swa ndzetelo switsongo. Ti-Memory-Augmented Neural Networks (MANNs) ti tirha hi ndlela leyi fanaka hi ku hlayisa xiyimo lexi dyondziweke eka swiendlakalo swo tala, ku fana na ndlela leyi hi tsundzukaka tidyondzo ta nkoka ku suka eka nkarhi lowu hundzeke na ku ti tirhisa nakambe hi ndlela yo twisiseka loko hi hlangana na swiyimo leswintshwa, leswi fanaka.

Ku hlanganisa vuswikoti byo anakanyisisa byo fanekisela eka timodeli ta dyondzo yo enta i endlelo rin’wana leri tshembisaka. Timodelo leti hlomisiweke hi swiphemu swo fanekisela ti nga ‘anakanyisisa’ hi ku tirhisa logic, ku tlula ku titshega ntsena hi ku funengetiwa ka tinhlayo. Tinsimu to fana na Neuro-Symbolic AI ti nyika swihlanganisi swa timodeli ta vuhlanganisi na tisisiteme leti simekiweke eka milawu leti pfumelelaka ti-AI ku tekelela ku ehleketa ka xiyimo xa le henhla, ngopfungopfu eka swiyimo swa ku anakanya loku nga twisisekiki.

Ndlela Yo Ya Emahlweni?

Kutani leswi hinkwaswo swi vula yini eka vumundzuku bya AI? Sure, GPT-4 yi titwa yi ri masalamusi loko yi hi nyika vuhlanganisi bya vukorhokeri bya vaxavi lebyi khulukaka kumbe ku hlamula swivutiso leswi tolovelekeke, kambe hi fanele ku tumbuluxa timodeli leti nga riki tinjhini to nhlokoha ntsena. We’re headed toward a future where transfer learning , meta-learning , na ti-architecture ta neuro-symbolic ti hlangana ku tumbuluxa vadyondzi vo tala lava pfumelelanaka na swiyimo.

One-Shot Generalization Paradox a hi ndlela leyi feke ya apocalyptic eka AI. I xihinga lexi endlaka leswaku hi ehleketa nakambe hi miehleketo ya nkoka swinene mayelana na vutlhari na ku cinca-cinca. As data alone won’t fix this — models will need the ability to learn from abstractions , ku tumbuluxa swifaniso , na ku tsundzuka swihlawulekisi swa nkoka , ku nga ri ku nhlokohata ntsena.

Timodelo ta hina ta nkarhi lowu taka ti ta lava ku va ta vanhu ku tlula muchini loko swi ta eka ku hlanganisiwa ka vutivi. Naswona tanihi valavisisi, vatumbuluxi, na vasunguri lava nga eka xiyimo xo tsema, ha ha ri eka ti-innings to sungula to hlamusela leswi swi vulaka swona leswaku AI yi dyondza — hi yoxe — eka misava leyi cinca-cincaka hakunene, ya novhele.

Lexi a hi ntlhontlho wa xithekiniki ntsena. I ya filosofi.