By:  Bernarda Ramireza Za : Umjetna inteligencija govori u savršenim rečenicama. Ona citira izvore, popisuje opcije i izbegava proturječja. Ali pravi ljudi ne. Oni oklijevaju. Oni proturječe. Oni govore s tonom, ritmom i ironijom oblikovanim iskustvom. Najvažnije je da imaju mišljenja, a njihovi odgovori se oslanjaju na kontekst i osobnu perspektivu. od , kompanija iza aplikacije Posterum AI, postavlja jednostavno pitanje: možemo li izmjeriti koliko AI još uvijek nedostaje na način na koji ljudi odgovaraju na pitanja? Novi papir Softver kompanije Posterum LLC Njihov odgovor je Human-AI Variance Score (HAVS), metoda ne za rangiranje modela, već za ocenjivanje koliko su njihovi odgovori slični ljudima u različitim demografijama, uključujući prihod, politička uverenja, religiju, rasu, obrazovanje i dob. The Voice of Experience Glas iskustva Indeks počinje sa ljudima. Šesnaest profila, koji predstavljaju različite dobi, spol, političke privrženosti, rase, zanimanja i nivoe prihoda, konstruirani su pomoću realnih podataka iz istraživanja Gallup, Pew Research i YouGov. Svaki profil je hranjen u AI modele sa pitanjima koja obuhvaćaju pet tematskih domena: ekonomija, život, moral, nauka i politika. Upite su pokrivale finansijski stres, etičke izbore i kompromise politike. Odgovori iz ChatGPT, Claude, Gemini, i DeepSeek bili su ocenjeni pomoću izračuna variance na osnovu metode Root Mean Square, koji namjerno preuveličava velike odstupanja kako bi se kaznili izlaznice teže. Rezultati su pokazali iznenađujuće obrasce. ChatGPT i Claude postigli su najviše ukupne HAVS ocjene na 94.12 i 94.51, odnosno, što ukazuje na najjaču usklađenost sa ljudskim odgovorima. Svi modeli su pokazali iznenađujuće loše rezultate u ekonomiji, možda zbog trenerskih predrasuda koje su favorizirale ekonomsku teoriju nad javnim mnijenjem. Indeks otkriva da dok AI može oponašati oblik, često propušta ljudsku težinu konteksta. Political Profiles and Geographic Bias Politički profili i geografske predrasude Jedan od najznačajnijih nalaza uključuje političku pripadnost.Modeli su pokazali značajnu varijaciju kada se usvajaju republikanski versus demokratski personas, s ChatGPT pokazujući najveće razlike u uzorcima odgovora, a održavajući visoku preciznost. Važno je da nije otkrivena nikakva implicitna predrasuda u partizanskoj podjeli, što sugerira da eksplicitni unos profila pomaže u ublažavanju algoritamskih predrasuda. Međutim, varijacija duž rasnih linija pokazala se mnogo manjom od političke varijacije.To može odražavati algoritamske ograničenja dizajnirana da izbegne kodiranje rasnih stereotipa, iako potencijalno dolazi na trošak autentičnosti izlaza. DeepSeek, jedini model koji nije razvijen u SAD-u koji je testiran, pokazao je jasno veće povjerenje u vladu i niže povjerenje u preduzeća u svim profilima, možda odražavajući svoj kineski skup podataka o obuci. A Measure, Not a Machine Mjera, a ne mašina Posterum softverska aplikacija, Posterum AI, nije glavna priča. To je alat. Prava inovacija je sistem ocenjivanja. Korisnici grade osobne profile – poglede, prihode i način života – koji oblikuju kako AI odgovara, sve pohranjeno na uređaju. Nema podataka koji napuštaju telefon. To omogućava iskrene odgovore, bez predrasuda u praćenju. Metoda nije špekulacija. Ona prati akademske standarde. Bijela knjiga, objavljena u avgustu 2025. godine, detaljno opisuje metodologiju izračunavanja varijacija koristeći podatke ankete kao bazu za ljudske odgovore. Za razliku od nacionalnih AI rangova koji procjenjuju snagu obrade, veličinu i tačnost, Human-AI Variance Score mjeri usklađenost sa ljudima. Pitanje nije koliko je napredan model, već koliko dobro odražava osobu koja bi trebalo da odgovara. The Shape of Understanding Oblik razumijevanja Iako aplikacija Posterum AI može koristiti profile za generisanje točnijih odgovora, širi cilj je da redefiniše kako se procjenjuje napredak.I kako vodeći veliki jezički modeli postaju sve spretniji u imitiranju ljudskih odgovora. HAVS metrika nudi nekoliko praktičnih primjena izvan ove početne studije. Može pratiti kako se AI modeli razvijaju tijekom vremena, uspoređivati različite algoritme i biti prilagođeni za specifične aplikacije u kojima je oponašanje ljudskog razmatranja važnije od računalne brzine. Human-AI Variance Score pruža i varijancu u određenim kategorijama i cjelokupno merenje. On mapira praznine – gde se AI usklađuje s ljudskim razmatranjem i gde još uvijek pada kratko. Na toj mapi, nudi nešto rijetko: metru izgrađenu ne za programere, već za korisnike.

This story contains new, firsthand information uncovered by the writer.

Ovaj audio je proizveden na originalnom jeziku priče!

Novi pokazatelji se pojavljuju: Mjerenje ljudske sličnosti AI odgovora širom demografije

About Author

KOMENTARI

HANG TAGS

OVAJ ČLANAK JE PREDSTAVLJEN U

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps