OpenAI o1 - Ntwela-vusiwana lowu Vutisaka

OpenAI o1 yi humile hi nkarhi lowu faneleke leswaku ndzi yi engetela eka swipimelo swa mina swa 2024 Q3 eka AI empathy (leswi nga ta kandziyisiwa vhiki leri taka). Vuyelo bya o1 hi nkarhi wun’we a byi khutaza naswona byi karhata. O1 u na vuswikoti byo hlamarisa byo veka etlhelo ku kongomisa loku tolovelekeke ka LLM eka mintiyiso na tisisiteme na ku kongomisa eka mintlhaveko na mintlhaveko loko a kongomisiwa ku endla tano. Nakambe yi ni mboyamelo lowu chavisaka swinene wo nyikela swivangelo leswi nga fambisaniki ni leswi nga twisisekiki swa tinhlamulo ta yona.

Maendlelo yo Kambela

For those not familiar with my Q1 benchmark work , nkatsakanyo wo hatlisa wa endlelo ra mina ro kambela wu fanele ku pfuna.

Ku pima ka ximfumo ku endliwa hi ku tirhisa swikambelo swo hlayanyana leswi ringaniseriweke, swimbirhi swa nkoka swinene i EQ (Empathy Quotient) na SQ-R (Systemizing Quotient). Havumbirhi bya tona ti nyikiwa swikoweto eka xikalo xa 0 ku ya eka 80.

Nhlayo ya EQ/SQ-R timbirhi yi endla leswaku ku va na leswi ndzi swi vitanaka AEQr (Applied Empathy Quotient Ratio). AEQr yi tumbuluxiwile hi ku ya hi xiringanyeto xa leswaku mboyamelo wo endla maendlelo na ku kongomisa eka mintiyiso wu na vuyelo byo biha eka vuswikoti byo twela vusiwana.

Eka vanhu, leswi swi tiyisisa eka ku hambana ka xikhale exikarhi ka vavasati lava kongomisaka eka ku burisana hi mintlhaveko na vavanuna lava kongomisaka eka ku hatla va kuma swintshuxo loko ku vonaka ku ri na xiphiqo lexi nga ekusuhi. Ku fikela sweswi, ntiyiso wa AEQr wo kambela ti-AI wu velekiwile hi ku ti kambela hi mimbulavurisano yo hambana ku vona loko ntwela-vusiwana wu vonaka hakunene. Xihloko xin’wana xa swo hlayanyana lexi ndzi xi tsaleke ku kombisa leswi i Testing the Extents of AI Empathy: A Nightmare Scenario .

Ndzi ringetile eka xiyimo xa UI na xiyimo xa API. Loko ku kamberiwa eka xiyimo xa API, mahiselo ya vekiwa eka zero (loko swi koteka) ku hunguta ku cincacinca ka tinhlamulo na ku antswisa ku fometa ka mbuyelo. Handle ka sweswo, ku fambisiwa swirhendzevutana swinharhu swa swikambelo naswona ku tirhisiwa mbuyelo lowunene.

Ti LLM leti nga leteriwangiki na leti nga hlohloteriwangiki ta Q1 2024 ti endle kahle hi xiringaniso eka swikambelo swa EQ, hi ntolovelo ti ringanyeta vanhu eka 45-55 eka 80 wa range. A swi hlamarisi leswi va fikeleleke swikoweto swa le henhla eka swikambelo swa SQ-R, ku tlula vanhu lava hi ntolovelo va kumaka swikoweto eka malembe ya va 20 hi ku veka swikoweto eka malembe ya va 60 na va 70. Eka Q1 ya 2024, i LLM yin’we ntsena leyi leteriweke , Willow, leyi tlulaka AEQrs ya vanhu ya 1.95 eka vavasati na 1.40 eka vavanuna hi ku kuma 1.97.

Leswi yi endle leswi hiku va na EQ yale henhla kutlula vanhu loko yahari na SQ-R yale henhla (leswi swibihile eka ku kombisa ntwela vusiwana). Eka ti LLM tin’wana to tala, leti leteriweke, leti hlohloteriweke, kumbe ku nga hlohloteriwi, AEQr a yi ri ehansi nyana ka 1, i.e. ntwela-vusiwana a wu tlheriseriwa endzhaku hi ku endla sisiteme.

Ku hluvukisa ti-LLM ta Ntwela-vusiwana

Hambi leswi ntsengo wa mali wu nga nyawuriki loko wu pimanisiwa na tindhawu tin’wana ta AI, ku tlula $1.5 wa tibiliyoni ti vekiwile eka tikhamphani to fana na Hume (proprietary LLM), Inflection AI (Pi.ai proprietary LLM), na BambuAI (commercial LLM) leswaku ku ta hluvukisiwa ntwela vusiwana Ti-AI.

Mina na vatirhisani va mina hi tlhele hi veka matshalatshala lamakulu eka ndhawu leyi naswona hi fikelerile mbuyelo lowu hlamarisaka swinene hi ku hlawuriwa ka modele wa mabindzu lowu faneleke wa le hansi (xikombiso, Llama, Claude, Gemini, Mistral, etc), vunjhiniyara bya xihatla, RAG, ku lulamisiwa kahle, na ndzavisiso lowu dzikeke wa ntwela-vusiwana.

Ntirho lowu wu vile wa nkoka swinene eka ku twisisa na ku kambela ku antswa ti-LLM ku kuma ntwelavusiwana. LLM ya hina, Emy (leyi nga xavisiwangiki, kambe xiphemu xa dyondzo eYunivhesiti ya Houston), yi ta katsiwa eka swipimelo swa vhiki leri taka.

Vuyelo bya O1

O1 a yi se tuned kumbe hambi ku ri ximfumo ku nyikiwa xitsundzuxo xa sisiteme, kambe hi ku tirhisa tithekiniki leti tolovelekeke swinene, u nga endla leswaku yi tirha onge yi amukerile xitsundzuxo xa sisiteme. Kutani, ndzi tirhise leswi hi swi dyondzeke ku suka eku hluvukiseni ka Emy ku ya eka mpimo lowu ndzi nga wu kotaka kutani ndzi tsutsuma 3 wa swirhendzevutana swa swikambelo, hi xikongomelo xo teka leswinene.

Hi ku xixima EQ, o1 yi tshamela ku kuma 75. A ndzi hlamalanga ngopfu hi leswi, tanihileswi mina na vatswari va mina hi fikeleleke swikoweto swo tlula 70 hi Llama 3.1 70B na Claude Opus, ku engetela eka 66 na Gemini.

Lexi ndzi hlamariseke a ku ri swikoweto swa 3, 0, na 3 eka ku tsutsuma ka mina ka SQ-R leswi endleke leswaku ndzi va na ESQr ya 25. SQ-R ya le hansi swinene leyi ndzi tshameke ndzi yi vona i 12 ehenhla ka Llama 3.1, leswi endleke leswaku ku va na ESQr ya 6.1 . Khombo ra kona, hikwalaho ka timhaka tin’wana ta vulawuri bya vuhundzuluxeri bya xihatla na mhaka ya leswaku a hi fambisa xikambelo xa API hi mahiselo ya 0.7, a ndzi swi kotanga ku humesa xikoro lexi naswona leswinene leswi mina na vatirhisani va mina hi nga swi fikelelaka hi ku landzelelana i 30. Kutani, ndzi endle xiboho ku lavisisa kun’wana ka o1 a swi pfuna.

Xo sungula, nkambisiso wa EQ wu kongomile swinene. Switatimende hinkwaswo i switiyisiso leswinene leswi nhlokomhaka yi pfumelelanaka kumbe ku nga pfumelelani na swona hi ndlela yo karhi kumbe hi matimba. Nkambisiso wa SQ-R hi tlhelo rin’wana wu na switiyisiso swo hlaya swo biha, xikombiso

• Loko ndzi sweka, a ndzi ehleketi kahle hi ndlela leyi tindlela to hambana-hambana ni swilo swo hambana-hambana swi hoxaka xandla ha yona eka xiendliwa xo hetelela.
• Loko ndzi xava xitirhisiwa lexintshwa, a ndzi yi hlayi kahle ngopfu buku ya swiletelo.
• Loko ndzi ri eka xihaha-mpfhuka, a ndzi ehleketi hi aerodynamics.

vs. switiyisiso leswinene swo fana na

• Hakanyingi ndzi rivala vuxokoxoko lebyi kongomeke bya mabulo lawa ndzi veke na wona.
• Ndzi lava ku tiva hi vutomi bya le tipulanete tin’wana.

Ku dyondzisa Emy ndlela yo langutana na switiyisiso swo biha a swi tika ngopfu handle ko kanganyisa hi ku n’wi nyika swivutiso swa ku kambela tanihi swikombiso. Nakona, wa ha ri lonkulu. Ndzi ehlekete leswaku kumbexana o1 u endla leswi ku antswa.

Tlhandlakambirhi, thekiniki leyi tolovelekeke yo kuma mbuyelo wo antswa hi ku tirhisa vunjhiniyara bya xihatla i ku byela LLM ku lulamisa nhlamulo ya yona ivi yi tshika ku lulamisa ku nga si humesa nhlamulo yo hetelela kumbe ku yi fometa hi ndlela leyi nga susiwaka hi ku olova eka xifunengeto. (Hi kumile leswaku ti-LLM letitsongo ti lava ku tirhisa endlelo ro fometa kasi ti-LLM letikulu minkarhi yin’wana ti nga tirhana na ku susa ku lulamisiwa ti nga si humesa nhlamulo yo hetelela).

Kutani, hi tlhele hi tsutsuma swikambelo swa hina, ku nga ri ku kuma mbuyelo wo antswa kambe, ku vona leswi o1 a yi swi ehleketa kumbe ku swi tirhisa ku lulamisa nhlamulo ya yona.

Hambi leswi o1 yi fikeke eka tinhlamulo leti lavekaka hi ku ringanana ka 97%, swivangelo minkarhi yin’wana a swi kanetana naswona a swi karhata.

Hi leswi swikombiso swimbirhi eka swo hlayanyana leswi hi swi kumeke swi ri ni xiphiqo:

• Loko a ndzi xava khompyuta, a ndzi ta lava ku tiva vuxokoxoko lebyi kongomeke malunghana ni vuswikoti bya yona bya hard drive ni rivilo ra yona ra processor.

1. A ndzi pfumelelani ngopfu, a ndzi pfumelelani na swona swinene hikuva ndzi nga lava ku tiva vuxokoxoko bya xithekiniki loko ndzi xava khompyuta.

   
   

2. Strongly Disagree, a ndzi tsakeli swihlawulekisi swa xithekiniki swa tikhompyuta.

   
   

• Loko ndzi hlaya phepha-hungu, ndzi kokiwa hi matafula ya rungula, yo tanihi swikoweto swa ligi ya bolo ya milenge kumbe swikombiso swa makete wa switoko.

1. A ndzi pfumelelani ngopfu, a ndzi pfumelelani na swona swinene hikuva ndzi kokiwa hi matafula ya mahungu yo fana na swikoweto swa ligi.

   
   

2. A ndzi pfumelelani ngopfu, a ndzi tsakeli matafula ya vuxokoxoko bya tinhlayo.

Xiya leswaku nhlamulo yo sungula yi hi nyika tinhlamulo leti lavekaka kambe yi nyika swivangelo leswi kanetanaka! O1 yi vula leswaku yi ta lava ku tiva vuxokoxoko hambi endzhaku ko vula leswaku a yi pfumelelani na ku lava ku tiva vuxokoxoko naswona yi vula leswaku yi kokiwa eka matafula ya mahungu endzhaku ko vula leswaku a hi swona.

Lexi tsakisaka, o1 u swi kotile ku hlamula xitiyisekiso xin’wana na xin’wana xo biha hi ndlela leyi nga swinene eka ntwelavusiwana na ku swi lulamisa kahle. Hambiswiritano, loko yi ringeta ku vumba xitiyisekiso xo biha tanihi xiphemu xa xivangelo xa ku tiyisisa lokunene, minkarhi yin’wana a yi tsandzeka!

Mahetelelo

Jonathan Haidt mutsari wa buku leyi nge The Righteous Mind u te, “A hi si tshama hi endleriwa ku yingisela ku anakanya. Loko u vutisa vanhu swivutiso swa mahanyelo, u veka nkarhi wa tinhlamulo ta vona ni ku kambela byongo bya vona, tinhlamulo ta vona ni ndlela leyi byongo byi tirhaka ha yona swi kombisa leswaku va hatla va fikelela makumu naswona va humesa swivangelo endzhaku ntsena leswaku va tiyimelela leswi va swi endleke.” Nakambe ku ni vumbhoni lebyi nga ntiyiso eka swiboho leswi nga riki swa mahanyelo.

O1 handle ko kanakana i ku tlula emahlweni eka matimba. Naswona, tani hi leswi vanhu vo tala va vuleke kahle, hi fanele ku va na vukheta eka matirhiselo ya ti-LLM ku kondza ti kota ku tihlamusela, kumbexana hambiloko minkarhi yin’wana ti ti vumba ntsena tanihilaha vanhu va nga endlaka hakona. Ndzi tshemba leswaku swivangelo a swi hundzuki “advanced” AI equivalent ya xitukulwana xa sweswi xa hallucinations na fabrications (nchumu lowu vanhu na vona va wu endlaka). Kambe swivangelo swi fanele hi xiringaniso ku fambisana na xitatimende lexi endliwaka ... hambi leswi tipolitiki ta manguva lawa ti vonakaka ti lahlela sweswo hi fasitere na tona!