Na primjer: Bernard Ramirez Na primjer: Umjetna inteligencija govori u savršenim rečenicama. Ona citira izvore, popisuje opcije i izbjegava proturječja. Ali pravi ljudi ne. Oni oklijevaju. Oni proturječe. Oni govore s tonom, ritmom i ironijom oblikovanim iskustvom. Najvažnije, oni imaju mišljenja, a njihovi odgovori ovise o kontekstu i osobnoj perspektivi. od , tvrtka iza aplikacije Posterum AI, postavlja jednostavno pitanje: možemo li mjeriti koliko AI još uvijek nedostaje na način na koji ljudi odgovaraju na pitanja? Novi papir Posterum Software LLC tvrtka Njihov odgovor je Human-AI Variance Score (HAVS), metoda ne za rangiranje modela, već za ocjenjivanje koliko su njihovi odgovori slični ljudima u različitim demografijama, uključujući dohodak, politička uvjerenja, religiju, rasu, obrazovanje i dob. The Voice of Experience Glas iskustva Indeks počinje s ljudima. Šesnaest profila, koji predstavljaju različite dobi, spol, političke privrženosti, rase, zanimanja i razine prihoda, konstruirani su pomoću realnih podataka iz istraživanja Gallup, Pew Research i YouGov. Svaki profil je hranjen u AI modele s pitanjima koja obuhvaćaju pet tematskih područja: ekonomija, život, moral, znanost i politika. upite pokrivale su financijski stres, etičke odluke i kompromise politike. Odgovori iz ChatGPT-a, Claudea, Geminija i DeepSeeka bili su ocjenjivani pomoću izračuna variance temeljenog na metodi Root Mean Square, koja namjerno naglašava velika odstupanja kako bi kaznila izlaznike teže. Rezultati su pokazali zapanjujuće obrasce. ChatGPT i Claude postigli su najvišu ukupnu ocjenu HAVS-a na 94,12 i 94,51 bodova, što ukazuje na najjaču usklađenost s ljudskim odgovorima. Svi modeli pokazali su iznenađujuće loše rezultate u ekonomiji, vjerojatno zbog predrasuda u osposobljavanju koje su favorizirale ekonomsku teoriju nad javnim mnijenjem. Indeks otkriva da dok AI može oponašati oblik, često propušta ljudsku težinu konteksta. Political Profiles and Geographic Bias Politički profili i geografske predrasude Jedan od najznačajnijih nalaza uključuje političku pripadnost.Modeli su pokazali znatnu varijaciju pri usvajanju republikanskih versus demokratskih osoba, s ChatGPT-om koji pokazuje najveće razlike u uzorcima odgovora uz održavanje visoke točnosti. Važno je da nije otkrivena nikakva implicitna predrasuda u partizanskoj podjeli, što sugerira da eksplicitni unos profila pomaže ublažavanju algoritamskih predrasuda. To može odražavati algoritamske ograničenja osmišljene kako bi se izbjeglo kodiranje rasnih stereotipa, iako to potencijalno dolazi na cijenu autentičnosti izlaza. DeepSeek, jedini model koji nije razvijen u SAD-u, pokazao je jasno veće povjerenje u vladu i niže povjerenje u poduzeća u svim profilima, možda odražavajući kineski skup podataka o osposobljavanju. A Measure, Not a Machine Mjera, a ne stroj Posterum softverska aplikacija, Posterum AI, nije glavna priča. To je alat. Prava inovacija je sustav ocjenjivanja. Korisnici grade osobne profile – poglede, prihode i način života – koji oblikuju kako AI odgovara, sve pohranjeno na uređaju. Metoda nije špekulacija. Ona slijedi akademske standarde. Bijela knjiga, objavljena u kolovozu 2025. godine, detaljno opisuje metodologiju izračuna varijacije koristeći podatke ankete kao bazu za ljudske odgovore. Za razliku od nacionalnih AI rangova koji procjenjuju snagu obrade, razmjeru i točnost, Human-AI Variance Score mjeri usklađenost s ljudima. Pitanje nije koliko je napredan model, već koliko dobro odražava osobu koja bi trebala odgovoriti. The Shape of Understanding Oblik razumijevanja Dok aplikacija Posterum AI može koristiti profile za generiranje točnijih odgovora, širi cilj je redefinirati kako se procjenjuje napredak.I kako vodeći veliki jezični modeli postaju sve spretniji u imitiranju ljudskih odgovora. HAVS metrika nudi nekoliko praktičnih primjena izvan ove početne studije. može pratiti kako se AI modeli razvijaju tijekom vremena, usporediti različite algoritme i biti prilagođeni za specifične aplikacije u kojima je imitiranje ljudskog razmatranja važnije od računalne brzine. Human-AI Variance Score pruža i varijancu u određenim kategorijama i cjelokupno mjerenje. On mapira praznine – gdje se AI usklađuje s ljudskim razmatranjem i gdje još uvijek pada kratko. Na toj karti, nudi nešto rijetko: metru izgrađenu ne za programere, već za korisnike.

This story contains new, firsthand information uncovered by the writer.

Ovaj zvuk je proizveden na izvornom jeziku priče!

Pojavljuje se nova metrika: mjerenje ljudske sličnosti AI odgovora diljem demografije

About Author

KOMENTARI

VIJESI OZNAKE

OVAJ ČLANAK JE PREDSTAVLJEN U

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps