Штучний інтелект, який можна пояснити, лише ребрендингує хаос, а не вирішує його

Система ШІ щойно відмовила вам у видачі іпотеки. Жодна людина не розглядала вашу справу, апеляція неможлива, і ваш втішний приз — липке пояснення: «Коефіцієнт використання вашого кредиту спричинив негативний результат». Відчуваєте впевненість? Я так не думав .

Чим більше ми перевантажуємо машини, тим голосніше ми вимагаємо зрозумілого ШІ (XAI) — інструментів, які зламатимуть ботів і витягнуть нас із мережі чорних ящиків. Це програмна досконалість! Універсальне рішення, щоб заспокоїти нашу технофобію та тримати машини під контролем.

Крім того, це не так.

Штучний інтелект, який можна пояснити, не спрощує хаос; це просто ребрендинг.

Те, що ми отримуємо, — це позолочена ілюзія: мільярди вливаються в системи декодування, а реальні проблеми — упередженість, зловживання, надмірне використання — залишаються недоторканими.

Ціна? Набагато більше, ніж долари.

XAI 101: Декодує вплив, а не намір

Поточний пояснюваний штучний інтелект (XAI) покладається на такі методи, як SHAP (додаткові пояснення Шеплі) і LIME (локальні інтерпретовані моделі-агностичні пояснення), щоб зробити висновок про кореляцію, а не причинно-наслідковий зв’язок . SHAP спирається на теорію кооперативних ігор, щоб розподілити «вину» між ключовими вхідними даними, як-от рівень доходу, кредитна історія чи піксельні кластери, відображаючи змінні, які схилили терези, тоді як LIME налаштовує вхідні дані, щоб побачити, як змінюються прогнози, створюючи спрощену модель. який пояснює, які функції найбільш важливі для конкретного рішення. Програми, що містять велику кількість зображень, вдаються до картографування помітності , яке використовує методи аналізу на основі градієнта, щоб визначити, які пікселі привернули увагу ШІ. Сценарії з більш високими ставками, як-от охорона здоров’я та наймання на роботу, вдаються до протиправдивих пояснень , які вигадують альтернативні реальності, щоб виявити потенційні результати, якщо вхід правдоподібно змінюється: наприклад, «А що, якби пухлина була на 2 мм менше?».

Якщо ви готові сплатити чималий рахунок за електроенергію, XAI може надати прийнятний звіт про те, що має значення. Але чому ? Нада.

Аргументи проти запитання «Чому»

«34-й рівень моєї згорткової нейронної мережі зареєстрував аномалію інтенсивності пікселів на 12,3% у верхньому правому квадранті, що корелює з маркерами злоякісності в 15-регіональних наборах даних, нормалізованих за демографічною та генетичною коваріацією, що дало оцінку достовірності, що перевищує поріг злоякісності, встановлений байєсівським методом. заднє калібрування».

Ось як виглядає « чому» . Збиває з пантелику? Безумовно . Втішний? Маргінально .

Але створення такого рівня пояснення (яке більшість просто викине разом із посібником зі складання IKEA) не просто дороге – воно буде руйнівним . У поганому сенсі. Зрозумілість виснажує обчислювальні ресурси, уповільнює інновації та ризикує перетворити кожен новий прорив на бюрократію самовиправдання. Хоча обіцянка пояснюваності здається благородною, компроміси можуть придушити реальний потенціал ШІ. Чи мета «чому» варта того, щоб зірвати прогрес?

Зрештою, важливо не те, як працює штучний інтелект, а те, чи працює він *для нас.*

Чіткість недешева

Щоб справді відповісти , чому було прийнято рішення, розробляються такі нові технології, як нейросимволічний штучний інтелект , порівняльні пояснення та моделі причинного висновку . Ці методи ґрунтуються на гібридних архітектурах, які поєднують розпізнавання шаблонів глибокого навчання з логікою на основі правил символічного мислення. Навчання таких систем потребує значно більших обчислювальних ресурсів, оскільки ці моделі повинні одночасно обробляти неструктуровані дані (наприклад, зображення чи текст) і структуровані логічні структури, запроваджуючи комбінаторну складність, яка збільшується з масштабом завдання.

Але справжня проблема полягає в апаратному забезпеченні. Поточні графічні та TPU, як-от H100 від NVIDIA або TPU v5 від Google, розроблені для максимального підвищення пропускної здатності для навчання та логічного висновку, а не для ітераційних обчислень, що містять градієнт, необхідних для XAI. Створення розширених пояснень, таких як причинно-наслідкові атрибуції або візуалізації уваги, потребує мікросхем, оптимізованих для градієнтного відтворення , динамічного доступу до пам’яті та паралелізму з низькою затримкою . Робочі навантаження XAI вимагають принципово іншого апаратного забезпечення, особливо для додатків у реальному часі, таких як автономні транспортні засоби чи медична діагностика, де інтерпретація має відбуватися разом із прогнозами. Подивіться, скільки великі хлопці викладають на мікросхеми для живлення LLM. Вартість розробки чіпів для XAI, ймовірно, перевищить ці витрати через потребу в нових рівнях обчислювальних витрат. Інженерний виклик? Скоріше фінансовий кошмар.

Душевний спокій VS Парадокс прогресу

Створення штучного інтелекту вже є складним експериментом і оптимізацією. Додайте до цього зрозумілість, і ви не просто ходите по канату — ви робите це з холодильником на спині.

Пояснюваність вимагає перебудови моделей для створення інтерпретованих результатів. Високопродуктивні системи, як-от перетворювачі зору (ViTs), процвітають завдяки складності — сканують масивні набори даних, щоб виділити нюанси, — але зробити їх зрозумілими часто означає вбудовувати механізми уваги або сурогатні моделі, які перекачують обчислювальну потужність і можуть знизити продуктивність. У підкріплюючому навчанні розробники можуть бути змушені спростити структури винагороди або розробити розшифровувані політики, втрачаючи потенціал оптимізації агента. Та сама складність, яка сприяє революційним результатам, стає лиходієм у системі, обмеженій вимогами прозорості .

Конвеєр розробника також добре трясеться. Методи пояснення, як-от контрфактичне чи причинно-наслідкове моделювання , вимагають повторних оцінок збурених наборів даних і додають шар за шаром пост-хок перевірок до поточної ітерації (подумайте про уточнення гіперпараметрів, налаштування функцій втрат і виконання висновків у масштабі). Це не кілька додаткових кроків; це марафон на кожному етапі, який перетворює те, що мало б бути спринтом до прориву, на бюрократичну тягу. Обчислювальне навантаження? Пояснення поглинають цикли, ніби вони безкоштовні, уповільнюючи вже льодовикові процеси навчання в таких передових сферах, як мультимодальний або генеративний ШІ.

Хаза, ти зробив це! Не так швидко , регулювання вступає в ролі фінального боса. Такі галузі, як охорона здоров’я та фінанси, вимагають пояснюваності для розгортання, але ці вимоги часто нагадують Лу Гамільтона виправдовувати кожен рух його зап’ястя, перш ніж він перетне фінішну лінію. Розробники витрачають більше часу на те, щоб довести, що їхні моделі інтерпретуються, ніж на забезпечення їх оптимальної роботи. Виготовили інструмент діагностики раку на основі ШІ? Чудово — тепер іди пояснюй кожен градієнт і вагу кімнаті очкових регулярів. Коли ви закінчите, технологія, ймовірно, застаріла, а інновація, за якою ви гналися, застрягла в чистилищі відповідності .

Поясність перекручує пріоритети. Замість того, щоб розширювати межі можливостей штучного інтелекту, команди змушені навшпиньках обійти вимоги прозорості. Як стартапи, так і дослідники можуть відмовитися від сміливих ідей, вибираючи дружні до відповідності ванільні ітерації замість місячних. Прогрес зупиняється, амбіції згасають, а поле просувається вперед, коли воно має спринтувати .

Проблема російської ляльки: Пояснення вимагають пояснень

Штучний інтелект, який можна пояснити, стверджує, що спрощує незбагненне, але той, хто пояснює, не святий. Будь-який інструмент, достатньо розумний, щоб розгадати просунуту модель, достатньо розумний, щоб створити власні таємниці . Пояснювач потребує перекладача, перекладач потребує перекладача, і ви зрозуміли суть. Рекурсія стала одкровенням, не залишивши нас розумнішими.

Візьміть контрафактні пояснення , хлопців, які імітують альтернативні реальності (наприклад, що, якби ви заощадили замість того, щоб витрачати гроші на тости з авокадо), щоб показати, як зміниться результат. Але ці сценарії покладаються на припущення щодо оптимізації, які рідко справджуються, як-от незалежність функцій або лінійний зв’язок між вхідними даними. Коли ці припущення не справджуються, пояснення стає ще однією незбагненною абстракцією. І це виправити? Другий рівень причинно-наслідкових моделей або карт помітності, що закручує нас глибше в спіраль, де кожен новий інструмент вимагає свого власного інтерпретатора. Замість того, щоб зламати чорну скриньку, ми просто вкладаємо всередину менші, однаково непрозорі .

Мультимодальні системи — моделі штучного інтелекту, які одночасно обробляють текст, зображення й аудіо — дуже корисні, але огидно заплутані. Пояснити, як ці системи врівноважують конкуруючі вхідні дані в дуже різних просторах, є складним завданням, яке передбачає декодування механізмів злиття (таких як рівні уваги або крос-модальні трансформатори), які зважують і вирівнюють функції в дуже різних типах даних. Але самі ці інструменти пояснення покладаються на складні цикли оптимізації та налаштування параметрів, що вимагає додаткових рівнів аналізу.

О, чудова іронія : XAI не демістифікує штучний інтелект — він створює іншу машину, таку ж складну, щоб створити цю ілюзію.

Ми не вирішуємо чорну скриньку; ми розбиваємо його на нескінченні фрагменти часткової ясності, кожен менш зрозумілий, ніж попередній.

Чим більше ми шукаємо «чому», тим непрозорішим і дорожчим стає ШІ, залишаючи нас заплутаними в нав’язаному самим собою парадоксі: ШІ настільки зрозумілий, що ніхто не може його пояснити.

Запобіжний засіб чи зброя?

SHAP і LIME можуть показати вам чіткі кругові діаграми того, що вплинуло на рішення, але ці діаграми настільки ж чесні, наскільки чесні люди, які їх створили . Дискримінаційні результати можна переосмислити як логічні, при цьому нешкідливі змінні, як-от поштові індекси та звички витрачання, потрапляють у центр уваги, тоді як потворніші упередження — ґендерні проксі, кластери доходів — зручно ховаються поза кадром. У чужих руках прозорість стає театром.

У сферах із високим рівнем ставок організації можуть створювати результати, які відповідають суворим нормативним вимогам, одночасно приховуючи неетичні практики чи технічні скорочення, лише відредагувавши пару параметрів. Налаштуйте пояснювач, надайте йому правильний наратив, і вуаля: правдоподібне заперечення у формі коду . Рішення, прийняті на основі упереджених наборів даних або хибних цілей, можуть бути просякнуті очищеною логікою, перетворюючи пояснюваність на щит від перевірки, а не на шлях до підзвітності — бездоганний шар псевдологіки, створений для того, щоб зупинити запитання ще до того, як вони виникнуть .

«Чому» ніколи не було проблемою

Замість того, щоб витрачати мільярди на те, щоб штучний інтелект пояснював себе , ми повинні зосередитися на тому, щоб покращити його. Справжні проблеми ШІ не в тому, що ми не знаємо, чому він робить те, що він робить, а в тому, що він спочатку робить неправильні речі. Упередженість у рішеннях? Замість 50-шарових пояснень про те, чому накази та прізвища відмовилися від позики, інвестуйте в алгоритми пом’якшення упередженості в джерелі: повторно зважте набори даних, застосуйте обмеження справедливості під час навчання або використовуйте методи змагальності, щоб викрити та усунути приховану упередженість. Виправте гниль, перш ніж вона запікається в моделі.

Пояснення також не вирішить питання надійності. Замість зворотного відстеження за допомогою таких інструментів, як LIME або SHAP, щоб виправдати помилки, використовуйте надійні методи оптимізації , які роблять моделі менш чутливими до шумних або суперечливих вхідних даних. Краща регулярізація, виявлення викидів і методи калібрування, як-от шкалювання температури або моделі байєсівської невизначеності , можуть забезпечити не тільки точні, але й надійні прогнози. Цей підхід пропускає безладний середній рівень надмірного пояснення неправильних рішень і зосереджується на прийнятті кращих.

Регулювання — це ще один кордон, який не потребує заплутаної гімнастики XAI. Довіра не вимагає, щоб ШІ оголював свою душу, а просто щоб ШІ працював послідовно. Замість того, щоб вимагати пояснюваності як розпливчастого стандарту, наполягайте на потужних структурах тестування для найгірших або крайніх сценаріїв і конвеєрів аудиту . Подумайте про це як про краш-тести для автомобілів — нікому не потрібно розуміти механіку розгортання подушок безпеки; нам просто потрібно знати, що це працює. Чому ШІ має бути іншим?

«Чому» відволікає увагу. Краще запитати «що» — що ми можемо зробити, щоб зробити ШІ справедливішим, безпечнішим і надійнішим?

Світ не потребує 100-крокового пояснення того, що пішло не так.

Їй потрібні системи, розроблені для того, щоб у першу чергу все було правильно.

Останні думки: злякайтеся, але не будьте дурнем

Якщо штучний інтелект не дозволяє вам стискати найближчий Xanax, ви або відлюдник, або заперечуєте, або плануєте анархію. ШІ справляється жахливо . Але ми не можемо дозволити екзистенціальному страху підштовхнути нас до таких заплутаних рішень, як плацебо, як хаос, який ми намагаємося вирішити .

Дивно, найкращий спосіб поводитися зі штучним інтелектом – це менше покладатися на нього. Не кожна проблема потребує виправлення за допомогою машинного навчання, і іноді звичайне людське судження працює просто чудово. Збожеволіти. Залишайтеся наляканими. Параноя посилює прогрес .

Але не дозволяйте паніці робити нас дурнішими за системи, які ми намагаємося приборкати.