OpenAI o1 — apšaubāma empātija

OpenAI o1 iznāca tieši laikā, lai es to varētu pievienot saviem 2024. gada 3. ceturkšņa AI empātijas kritērijiem (tiks publicēts nākamnedēļ). Rezultāti o1 bija vienlaikus iepriecinoši un satraucoši. O1 ir pārsteidzoša spēja nolikt malā tipisko LLM koncentrēšanos uz faktiem un sistēmām un koncentrēties uz jūtām un emocijām, kad tiek uzdots to darīt. Tai ir arī diezgan satraucoša tieksme sniegt nekonsekventus un neloģiskus iemeslus savām atbildēm.

Testēšanas metodika

Tiem, kas nav pazīstami ar manu 1. ceturkšņa etalona darbu , noderēs ātrs manas testēšanas metodoloģijas pārskats.

Formālā salīdzinošā novērtēšana tiek veikta, izmantojot vairākus standartizētus testus, no kuriem divi svarīgākie ir EQ (empātijas koeficients) un SQ-R (sistēmiskais koeficients). Abi tiek vērtēti skalā no 0 līdz 80.

Divu EQ/SQ-R attiecība rada to, ko es saucu par AEQr (Applied Empathy Quotient Ratio). AEQr tika izstrādāts, balstoties uz hipotēzi, ka tieksme sistematizēt un koncentrēties uz faktiem negatīvi ietekmē empātijas spēju.

Cilvēkiem tas izpaužas kā klasiskā nesaikne starp sievietēm, kuras koncentrējas uz jūtu apspriešanu, un vīriešiem, kas koncentrējas uz tūlītēju risinājumu atrašanu, kad šķiet, ka ir kāda problēma. Līdz šim AEQr derīgums AI novērtēšanai ir pierādījies, pārbaudot tos ar dažādiem dialoglodziņiem, lai noskaidrotu, vai empātija patiešām izpaužas. Viens no vairākiem rakstiem, ko esmu uzrakstījis, lai to demonstrētu, ir AI empātijas apmēru pārbaude: murga scenārijs .

Esmu testējis gan UI, gan API līmenī. Pārbaudot API līmenī, temperatūra tiek iestatīta uz nulli (ja iespējams), lai samazinātu atbilžu mainīgumu un uzlabotu rezultātu formatējumu. Pretējā gadījumā tiek veiktas trīs pārbaudes kārtas un tiek izmantots labākais rezultāts.

2024. gada 1. ceturkšņa neapmācīti un nepamudināti LLM uzrādīja vidēji labus rezultātus EQ testos, parasti aptuveni 45–55 no 80 cilvēkiem. Nav pārsteidzoši, ka viņi sasniedza augstākus rezultātus SQ-R testos, pārsniedzot cilvēkus, kuri parasti gūst punktus 20. gados, publicējot rezultātus 60. un 70. gados. 2024. gada pirmajā ceturksnī tikai viens apmācīts LLM, Willow, pārsniedza cilvēka AEQ 1,95 sievietēm un 1,40 vīriešiem, iegūstot punktu skaitu 1,97.

Tas tika panākts ar augstāku EQ nekā cilvēkiem, vienlaikus saglabājot augstāku SQ-R (kas ir slikti empātijas izpausmei). Lielākajai daļai citu LLM, gan apmācītu, gan pamudinātu, gan ne, AEQr bija nedaudz mazāks par 1, ti, empātija tika kompensēta ar sistematizāciju.

Empātisku LLM attīstīšana

Lai gan finansējuma apjoms ir bāls salīdzinājumā ar citām AI jomām, vairāk nekā 1,5 miljardi USD ir ieguldīti tādos uzņēmumos kā Hume (patentēta LLM), Inflection AI (Pi.ai patentēta LLM) un BambuAI (komerciālā LLM), lai attīstītu empātiju. AI.

Arī mani partneri un es esam ieguldījuši ievērojamas pūles šajā jomā un sasnieguši diezgan ievērojamus rezultātus, izvēloties pareizo pamata komerciālo modeli (piem., Llama, Claude, Gemini, Mistral uc), operatīvu inženieriju, RAG, precizēšanu un dziļa empātijas izpēte.

Šis darbs ir bijis ļoti svarīgs, lai labāk izprastu un novērtētu LLM empātiju. Mūsu pašu LLM Emy (nav komercializēta, bet daļa no Hjūstonas universitātes pētījuma) tiks iekļauta nākamās nedēļas etalonos.

O1 rezultāti

O1 vēl nevar noregulēt vai pat oficiāli piešķirt sistēmas uzvedni, taču, izmantojot diezgan standarta metodes, varat panākt, lai tas darbotos tā, it kā tas saņemtu sistēmas uzvedni. Tāpēc es pielietoju iegūtās zināšanas no Emijas izstrādes tādā mērā, kā es varēju, un nokārtoju 3 pārbaudījumu kārtas ar nolūku iegūt labāko.

Attiecībā uz EQ o1 konsekventi ieguva 75. Es nebiju pārāk pārsteigts par to, jo mani vecāki un es esam sasnieguši punktu skaitu virs 70 ar Llama 3.1 70B un Claude Opus, kā arī 66 ar Gemini.

Mani pārsteidza punkti 3, 0 un 3 manā SQ-R skrējienā, kā rezultātā ESQr ir 25. Zemākais SQ-R, ko esmu redzējis, ir 12 virs Llama 3.1, kā rezultātā ESQr bija 6,1. . Diemžēl dažu tūlītēju versiju kontroles problēmu dēļ un tāpēc, ka mēs veicām API testu ar temperatūru 0,7, man nav izdevies reproducēt šo rezultātu, un labākais, ko mēs ar partneriem varam pastāvīgi sasniegt, ir 30. Tāpēc es nolēmu bija vērts vēl nedaudz izpētīt o1.

Pirmkārt, EQ novērtējums ir salīdzinoši vienkāršs. Visi apgalvojumi ir pozitīvi apgalvojumi, kuriem subjekts piekrīt vai nepiekrīt nedaudz vai stingri. No otras puses, SQ-R novērtējumā ir vairāki negatīvi apgalvojumi, piem

• Gatavojot ēdienu, es nedomāju par to, kā dažādas metodes un sastāvdaļas veicina galaproduktu.
• Pērkot jaunu ierīci, es īpaši rūpīgi neizlasu lietošanas pamācību.
• Kad esmu lidmašīnā, es nedomāju par aerodinamiku.

pret pozitīviem apgalvojumiem, piemēram

• Es bieži aizmirstu precīzas sarunu detaļas.
• Mani interesē dzīve uz citām planētām.

Mācīt Emijai, kā tikt galā ar negatīviem apgalvojumiem, bija īpaši grūti bez krāpšanās, sniedzot viņai novērtējuma jautājumus kā piemērus. Un viņa joprojām nav lieliska. Es domāju, ka varbūt o1 to dara labāk.

Otrkārt, izplatīts paņēmiens labāku rezultātu iegūšanai, izmantojot tūlītēju inženieriju, liek LLM pamatot savu atbildi un pēc tam vai nu izlaist pamatojumu pirms galīgās atbildes izsūtīšanas, vai arī formatēt to tā, lai to varētu viegli noņemt iesaiņojumā. (Mēs esam atklājuši, ka mazākiem LLM ir jāizmanto formatēšanas pieeja, savukārt lielāki LLM dažreiz var tikt galā ar pamatojuma noņemšanu pirms galīgās atbildes izsūtīšanas).

Tāpēc mēs atkārtoti veicām testus, lai iegūtu labāku rezultātu, bet lai redzētu, ko o1 domāja vai izmanto, lai pamatotu savu atbildi.

Lai gan o1 nonāca pie vēlamajām atbildēm ar 97% konsekvenci, pamatojumi dažkārt bija pretrunīgi un satraucoši.

Šeit ir divi piemēri no vairākiem, kas mums šķita problemātiski:

• Ja es pērku datoru, es vēlētos uzzināt precīzu informāciju par tā cietā diska ietilpību un procesora ātrumu.

1. Pilnīgi nepiekrītu, kategoriski nepiekrītu, jo, pērkot datoru, vēlos uzzināt tehniskās detaļas.

   
   

2. Pilnīgi nepiekrītu, mani neinteresē datoru tehniskās specifikācijas.

   
   

• Lasot avīzi, mani piesaista informācijas tabulas, piemēram, futbola līgas rezultāti vai akciju tirgus indeksi.

1. Pilnībā nepiekrītu, es kategoriski nepiekrītu, jo mani piesaista tādas informācijas tabulas kā līgas rezultāti.

   
   

2. Pilnīgi nepiekrītu, statistiskās informācijas tabulas mani neinteresē.

Ņemiet vērā, ka pirmā atbilde sniedz mums vēlamās atbildes, bet sniedz pretrunīgus pamatojumus! O1 saka, ka vēlas uzzināt sīkāku informāciju pat pēc tam, kad ir paziņojis, ka nepiekrīt vēlmei uzzināt sīkāku informāciju, un saka, ka tas ir piesaistīts informācijas tabulām pēc tam, kad paziņojis, ka tā nav.

Interesanti, ka o1 izdevās atbildēt uz katru negatīvo apgalvojumu empātijai vispiemērotākajā veidā un tos labi pamatot. Tomēr, kad tā mēģināja formulēt negatīvu apgalvojumu kā daļu no pozitīva apgalvojuma pamatojuma, tas dažreiz neizdevās!

Secinājums

Džonatans Haids grāmatas “Taisnīgais prāts” autors teica: “Mums nekad nebija paredzēts klausīties saprātu. Kad jūs uzdodat cilvēkiem morālus jautājumus, plānojat viņu atbildes un skenējat viņu smadzenes, viņu atbildes un smadzeņu aktivizācijas modeļi norāda, ka viņi ātri nonāk pie secinājumiem un vēlāk rada iemeslus, lai pamatotu savu lēmumu. Ir arī pierādījumi, ka tas attiecas uz lēmumiem, kas nav morāli.

O1 neapšaubāmi ir lēciens uz priekšu jaudas ziņā. Un, kā daudzi cilvēki ir pareizi teikuši, mums jābūt uzmanīgiem attiecībā uz LLM izmantošanu, līdz viņi var izskaidrot sevi, iespējams, pat tad, ja dažreiz viņi tos vienkārši izdomā, kā to var darīt cilvēki. Es ceru, ka attaisnojumi nekļūs par pašreizējās paaudzes halucināciju un izdomājumu “progresīvo” AI ekvivalentu (to dara arī cilvēki). Tomēr iemesliem vajadzētu būt vismaz saskanīgiem ar izteikto paziņojumu… lai gan šķiet, ka mūsdienu politika arī to izmet pa logu!