By:  Бернард Рамирес от : Изкуственият интелект говори в перфектни изречения. Той цитира източници, изброява опции и избягва противоречия. Но истинските хора не го правят. Те се колебаят. Те противоречат. Те говорят с тон, ритъм и ирония, оформени от опита. Най-важното е, че те имат мнения и техните отговори разчитат на контекста и личната перспектива. от , компанията зад приложението Posterum AI, задава прост въпрос: Можем ли да измерим колко далеч AI все още не отговаря на въпросите на хората? нова хартия Създаване на софтуер LLC Отговорът им е Human-AI Variance Score (HAVS), метод не за модели за класиране, а за оценка на това колко близки са техните отговори с човешките в различни демографски групи, включително доходи, политически убеждения, религия, раса, образование и възраст. The Voice of Experience Гласът на опита Индексът започва с хора. Шестнадесет профила, представляващи различни възрасти, пол, политически принадлежности, раси, професии и нива на доходи, са конструирани с помощта на реални данни от проучвания от Gallup, Pew Research и YouGov. Всеки профил е въведен в AI модели с въпроси, обхващащи пет тематични области: икономика, живот, морал, наука и политика. Отговорите от ChatGPT, Claude, Gemini и DeepSeek бяха оценявани с помощта на изчисляване на вариациите въз основа на метода Root Mean Square, който умишлено надценява големите отклонения, за да накаже по-тежко отстъпниците. Резултатите разкриха поразителни модели. ChatGPT и Claude постигнаха най-високите общи резултати на HAVS на 94,12 и 94,51 съответно, което показва най-силното привеждане в съответствие с човешките отговори. Всички модели изпълняват изненадващо лошо в областта на икономиката, вероятно поради тренировъчни предразсъдъци, които благоприятстват икономическата теория пред общественото мнение. Напротив, всички модели се отличават в имитирането на човешките отговори на въпроси от морал, наука и политика, с резултати на HAVS, вариращи от 93 до 97. Индексът разкрива, че докато AI може да имитира форма, той често пропуска човешкото тегло на контекста. Political Profiles and Geographic Bias Политически профили и географски предубеждения Едно от най-значимите открития включва политическа принадлежност.Моделите показват значителна вариация при приемането на републиканци срещу демократични личности, като ChatGPT показва най-големите различия в моделите на отговор, като същевременно поддържа висока точност. Важно е да се отбележи, че в партизанския разрив не е открито никакво подразбиращо се предразположение, което предполага, че изричните профилни входове помагат за смекчаване на алгоритмичните предразположения. Това може да отразява алгоритмични ограничения, предназначени да избягват кодирането на расови стереотипи, въпреки че потенциално идва за сметка на автентичността на изхода. DeepSeek, единственият модел, разработен извън САЩ, показва ясно по-високо доверие в правителството и по-ниско доверие в бизнеса във всички профили, може би отразявайки своя китайски набор от данни за обучение. A Measure, Not a Machine Мярка, а не машина Приложението на Posterum Software, Posterum AI, не е основната история. Това е инструментът. Истинската иновация е системата за оценяване. Потребителите изграждат лични профили - изгледи, доходи и начин на живот - които оформят как AI отговаря, всичко съхранявано на устройството. Няма данни, които да напускат телефона. Това позволява честни отговори, без предразсъдъци за проследяване. Методът не е спекулация. Той следва академичните стандарти. Бялата книга, публикувана през август 2025 г., подробно описва методологията за изчисляване на вариациите, използвайки данните от проучването като отправна точка за човешките отговори. За разлика от националните класировки на ИИ, които оценяват мощността на обработката, мащаба и точността, Human-AI Variance Score измерва съвпадението с хората. Въпросът не е колко напреднал е моделът, а колко добре отразява човека, който трябва да отговаря. The Shape of Understanding Формата на разбирането Докато приложението Posterum AI може да използва профили, за да генерира по-точни отговори, по-широката цел е да предефинира как се оценява напредъкът.И как водещите големи езикови модели стават все по-опитни да имитират човешките отговори. Метриката на HAVS предлага няколко практически приложения извън това първоначално проучване. Тя може да проследи как моделите на AI се развиват с течение на времето, да сравняват различни алгоритми и да бъдат персонализирани за специфични приложения, където имитирането на човешкото мислене е по-важно от изчислителната скорост. Стойността на вариацията между човека и ИИ осигурява както вариация в конкретни категории, така и цялостно измерване.Той картографира пропуските – където ИИ се привежда в съответствие с човешкото мислене и където все още е кратко.В тази карта той предлага нещо рядко: метрика, построена не за програмисти, а за потребители.Това, което пита не колко правилно е ИИ, а колко ясно чува.

This story contains new, firsthand information uncovered by the writer.

Това аудио е създадено на оригиналния език на историята!

Появява се нова метрика: измерване на човешкото сходство на AI отговорите в цялата демография

About Author

КОМЕНТАРИ

ЗАКАЧВАЙТЕ ЕТИКЕТИ

ТАЗИ СТАТИЯ Е ПРЕДСТАВЕНА В

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps