prin : Bernard Ramirez prin : Inteligența artificială vorbește în propoziții perfecte. Citește surse, enumeră opțiuni și evită contradicțiile. Dar oamenii reali nu. Ei ezită. Ei contrazic. Ei vorbesc cu ton, ritm și ironie modelate de experiență. Cel mai important, ei au opinii, iar răspunsurile lor se bazează pe context și perspectivă personală. din , compania din spatele aplicației Posterum AI, pune o întrebare simplă: Putem măsura cât de departe este AI încă în afara modului în care oamenii răspund la întrebări? hârtie nouă Comentarii despre Software LLC Răspunsul lor este Human-AI Variance Score (HAVS), o metodă nu pentru modelele de clasament, ci pentru scorul cât de aproape răspunsurile lor seamănă cu cele ale oamenilor în diferite demografice, inclusiv venituri, credințe politice, religie, rasă, educație și vârstă. The Voice of Experience Vocea experienţei Indicele începe cu oamenii. Șaisprezece profiluri, reprezentând diferite vârste, sexe, afilieri politice, rase, ocupații și niveluri de venit, au fost construite folosind date reale de sondaj de la Gallup, Pew Research și YouGov. Fiecare profil a fost alimentat în modele AI cu întrebări care acoperă cinci domenii tematice: Economie, Viață, Moralitate, Știință și Politică. Întrebările au acoperit stresul financiar, alegerile etice și compromisurile de politică. Răspunsurile de la ChatGPT, Claude, Gemini și DeepSeek au fost marcate folosind un calcul de varianță bazat pe metoda Root Mean Square, care accentuează în mod deliberat deviațiile mari pentru a pedepsi pe cei din afară mai mult. Rezultatele au arătat modele surprinzătoare. ChatGPT și Claude au obținut cele mai mari scoruri HAVS la 94,12 și, respectiv, 94,51, indicând cea mai puternică aliniere cu răspunsurile umane. Toate modelele au avut performanțe surprinzător de slabe în economie, probabil din cauza prejudecăților de formare care favorizează teoria economică față de opinia publică. În schimb, toate modelele au excelat în imita răspunsurile umane la întrebări de moralitate, știință și politică, cu scoruri HAVS variind de la 93 la 97. Indexul dezvăluie că, în timp ce AI poate imita forma, adesea lipsește greutatea umană a contextului. Political Profiles and Geographic Bias Profiluri politice și biasuri geografice Una dintre cele mai semnificative constatări implică afilierea politică.Modelele au demonstrat variații substanțiale atunci când adoptă persoanele republicane versus democratice, cu ChatGPT arătând cele mai mari diferențe în modelele de răspuns, menținând în același timp o precizie ridicată. Important, nu a fost detectat niciun bias implicit în diviziunea partizană, ceea ce sugerează că intrările explicite de profil ajută la atenuarea biasurilor algoritmice. Cu toate acestea, variația de-a lungul liniilor rasiale s-a dovedit a fi mult mai mică decât variația politică. Acest lucru poate reflecta constrângerile algoritmice concepute pentru a evita codificarea stereotipurilor rasiale, deși poate veni în detrimentul autenticității producției. DeepSeek, singurul model dezvoltat din afara SUA testat, a arătat o încredere semnificativ mai mare în guvern și o încredere mai mică în întreprinderi din toate profilurile, reflectând probabil setul său de date chinezești de formare. A Measure, Not a Machine O măsură, nu o mașină Aplicația Posterum Software, Posterum AI, nu este povestea principală. Este instrumentul. Adevărata inovație este sistemul de scoring. Utilizatorii construiesc profiluri personale – vizualizări, venituri și stil de viață – care modelează modul în care AI răspunde, toate stocate pe dispozitiv. Metoda nu este speculație. Ea urmează standardele academice. Cartea albă, publicată în august 2025, detaliază metodologia de calcul al variației folosind datele sondajului ca bază pentru răspunsurile umane. Spre deosebire de clasamentele naționale AI care evaluează puterea de procesare, scara și acuratețea, Human-AI Variance Score măsoară alinierea la oameni. Întrebarea nu este cât de avansat este modelul, ci cât de bine reflectă persoana care ar trebui să răspundă. The Shape of Understanding Forma înțelegerii În timp ce aplicația Posterum AI poate utiliza profiluri pentru a genera răspunsuri mai exacte, obiectivul mai larg este de a redefini modul în care progresul este evaluat. Metrica HAVS oferă mai multe aplicații practice dincolo de acest studiu inițial. poate urmări modul în care modelele AI evoluează în timp, pot compara algoritmi diferiți și pot fi personalizate pentru aplicații specifice în care imitația raționamentului uman este mai importantă decât viteza de calcul. Scorul de variație uman-AI oferă atât variația în categorii specifice, cât și o măsurare globală. Maplează lacunele – unde AI se aliniază cu raționamentul uman și unde este încă scurt. În această hartă, oferă ceva rar: o metrică construită nu pentru programatori, ci pentru utilizatori.

This story contains new, firsthand information uncovered by the writer.

Acest audio este produs în limba originală a poveștii!

O nouă metrică apare: măsurarea asemănării umane a răspunsurilor AI în întreaga demografie

About Author

COMENTARII

Etichete suspendate

ACEST ARTICOL A FOST PREZENTAT IN

Related Stories

The #bitcoin Writing Contest by Rootstock and HackerNoon: Round 1 Results 🎉

The Data Behind Colorado's First-ever Rural Venture Capital Pitch Event

The Robots Are Taking Over

The TechBeat: Apple Customers Return Vision Pro By The Droves (2/26/2024)

The #bitcoin Writing Contest by Rootstock and HackerNoon: Round 1 Results 🎉

The Data Behind Colorado's First-ever Rural Venture Capital Pitch Event

The Robots Are Taking Over

The TechBeat: Apple Customers Return Vision Pro By The Droves (2/26/2024)

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps