kautta : Pääosat Bernard Ramirez kautta : Keinotekoinen älykkyys puhuu täydellisillä lauseilla. Se lainaa lähteitä, luettelee vaihtoehtoja ja välttää ristiriitoja. Mutta todelliset ihmiset eivät. He epäröivät. He ristiriidassa. He puhuvat sävyllä, rytmillä ja ironialla, jota muodostaa kokemus. Tärkeintä on, että heillä on mielipiteitä, ja heidän vastauksensa perustuvat kontekstiin ja henkilökohtaiseen näkökulmaan. Tästä Posterum AI -sovelluksen takana oleva yhtiö esittää yksinkertaisen kysymyksen: Voimmeko mitata, kuinka pitkälle tekoäly on vielä kaukana siitä, miten ihmiset vastaavat kysymyksiin? Uusi paperi Ohjelmisto LLC Heidän vastauksensa on Human-AI Variance Score (HAVS), menetelmä ei sijoitusta malleja, mutta pistettä kuinka lähellä niiden vastaukset muistuttavat ihmisten eri väestötieteiden, kuten tulot, poliittiset uskomukset, uskonto, rotu, koulutus, ja ikä. The Voice of Experience Kokemuksen ääni Indeksi alkaa ihmisistä. 16 profiilia, jotka edustavat erilaisia ikäluokkia, sukupuolia, poliittisia liittoutumia, rotuja, ammatteja ja tulotasoja, rakennettiin käyttämällä todellisia Gallupin, Pew Researchin ja YouGovin kyselytietoja. Jokainen profiili syötettiin tekoälymalleihin, joissa oli kysymyksiä viidestä teema-alueesta: talous, elämä, moraali, tiede ja politiikka. Kysely kattoi taloudellisen stressin, eettiset valinnat ja politiikan kompromissit. ChatGPT:n, Claude, Gemini:n ja DeepSeekin vastaukset arvioitiin käyttämällä varianssin laskentaa, joka perustuu Root Mean Square -menetelmään, joka tarkoituksellisesti korostaa liikaa suuria poikkeamia rangaistakseen poikkeajia raskaammin. Tulokset paljastivat hämmästyttäviä malleja. ChatGPT ja Claude saavuttivat korkeimmat yleiset HAVS-pisteet vastaavasti 94,12 ja 94,51, mikä osoittaa voimakkaimman yhdenmukaisuuden ihmisten vastausten kanssa. Kaikki mallit suorittivat yllättävän huonosti Economicsissa, mahdollisesti koulutuksen ennakkoluulojen vuoksi, jotka suosivat taloudellista teoriaa yleistä mielipidettä kohtaan. Sitä vastoin kaikki mallit erinomaisesti jäljittelevät ihmisten vastauksia moraaliin, tieteeseen ja politiikkaan liittyviin kysymyksiin, ja HAVS-pisteet vaihtelivat 93: stä 97:een. Indeksi paljastaa, että vaikka tekoäly voi jäljitellä muotoa, se usein puuttuu ihmisen painon kontekstiin. Political Profiles and Geographic Bias Poliittiset profiilit ja maantieteelliset ennakkoluulot Yksi merkittävimmistä havainnoista liittyy poliittiseen liittymiseen. mallit osoittivat huomattavaa vaihtelua republikaanien ja demokraattien henkilöiden hyväksymisessä, ja ChatGPT osoitti suurimmat erot vastausmalleissa säilyttäen samalla korkean tarkkuuden. Tärkeää on, että puolueellisessa erossa ei havaittu epäsuoria ennakkoluuloja, mikä viittaa siihen, että nimenomaiset profiilitiedot auttavat lievittämään algoritmisia ennakkoluuloja. Tämä voi heijastaa algoritmisia rajoituksia, jotka on suunniteltu välttämään rotujen stereotypioiden koodaamista, vaikka se mahdollisesti tulee tuotoksen aitouden kustannuksella. DeepSeek, ainoa ei-Yhdysvaltojen kehittämä malli testattu, osoitti selvästi suurempaa luottamusta hallitukseen ja pienempää luottamusta yrityksiin kaikissa profiileissa, ehkä heijastaen sen kiinalaista koulutustietokokonaisuutta. A Measure, Not a Machine Yksi laite, ei kone Posterum Software -sovellus, Posterum AI, ei ole päätarina. Se on työkalu. Todellinen innovaatio on pisteytysjärjestelmä. Käyttäjät rakentavat henkilökohtaisia profiileja - näkemyksiä, tuloja ja elämäntapaa - jotka muokkaavat sitä, miten AI vastaa, kaikki tallennetaan laitteeseen. Menetelmä ei ole spekulaatio. Se noudattaa akateemisia standardeja. Elokuussa 2025 julkaistu valkoinen paperi yksityiskohtaistaa vaihtelun laskentamenetelmää käyttämällä kyselytutkimustietoja lähtökohtana ihmisen vastauksille. Toisin kuin kansalliset AI-luokitukset, jotka arvioivat käsittelyvoimaa, mittakaavaa ja tarkkuutta, Human-AI Variance Score mittaa yhdenmukaisuuden ihmisten kanssa. Kysymys ei ole siitä, kuinka kehittynyt malli on, vaan kuinka hyvin se heijastaa henkilöä, joka on tarkoitus vastata. The Shape of Understanding Ymmärryksen muoto Vaikka Posterum AI -sovellus voi käyttää profiileja tuottamaan tarkempia vastauksia, laajempi tavoite on määritellä uudelleen, miten edistystä arvioidaan.Ja miten johtavat suuret kielimallit ovat yhä taitavampia jäljittelemään ihmisten vastauksia. HAVS-metriikka tarjoaa useita käytännön sovelluksia tämän alkuperäisen tutkimuksen ulkopuolella. Se voi seurata, miten AI-mallit kehittyvät ajan myötä, vertailla erilaisia algoritmeja ja räätälöidä erityisiin sovelluksiin, joissa ihmisen ajattelun jäljittäminen on tärkeämpää kuin laskennallinen nopeus. Human-AI Variance Score tarjoaa sekä vaihtelua tietyissä luokissa että yleistä mittausta. Se kartoittaa aukkoja - missä AI sopii yhteen ihmisen ajattelun kanssa ja missä se on edelleen lyhyt. Tuossa kartassa se tarjoaa jotain harvinaista: mittaria, joka ei ole rakennettu ohjelmoijille, vaan käyttäjille.

This story contains new, firsthand information uncovered by the writer.

Tämä ääni on tuotettu tarinan alkuperäisellä kielellä!

Uusi mittari ilmestyy: AI-vasteiden ihmisen samankaltaisuuden mittaaminen väestörakenteessa

About Author

KOMMENTIT

RIPUTA TAGSIA

TÄMÄ ARTIKKELI ESITETTIIN

Related Stories

Meet Filestack: HackerNoon Company of the Week

Win Up to $2000 in the #blockchain Writing Contest by Aleph Cloud and HackerNoon

Spaghetti

7 Marketing Shifts Redefining Tech Companies in 2026

Meet Filestack: HackerNoon Company of the Week

Win Up to $2000 in the #blockchain Writing Contest by Aleph Cloud and HackerNoon

Spaghetti

7 Marketing Shifts Redefining Tech Companies in 2026

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps