설명 가능한 AI는 혼란을 해결하는 것이 아니라 단지 혼란을 리브랜딩하는 것일 뿐입니다.

방금 AI 시스템에 의해 모기지 신청이 거부되었습니다. 인간이 귀하의 사례를 검토하지 않았고, 항소도 불가능하며, 위로상은 끈적끈적한 설명입니다. "귀하의 신용 사용률이 부정적인 결과를 초래했습니다." 안심이 되시나요? 그렇지 않다고 생각했습니다 .

우리가 기계에 더 많은 것을 넘길수록, 우리는 설명 가능한 AI(XAI)를 더 큰 소리로 요구합니다 . 봇을 깨고 우리를 블랙박스의 망에서 끌어낼 도구입니다. 그것은 프로그래밍적 완벽함입니다! 우리의 기술 공포증을 달래고 기계를 통제할 수 있는 원스톱 솔루션입니다.

하지만 그렇지 않습니다.

설명 가능한 AI는 혼란을 단순화하지 않습니다. 그저 새로운 브랜드로 바꿀 뿐입니다.

우리가 얻는 것은 금으로 도금한 환상일 뿐입니다. 수십억 달러가 디코딩 시스템에 쏟아졌지만 편견, 오용, 권한 남용 등 실제 문제는 그대로 남아 있습니다.

가격은? 달러보다 훨씬 더 비쌉니다.

XAI 101: 의도가 아닌 영향을 해독하다

현재 설명 가능한 AI(XAI)는 인과관계보다는 상관관계를 추론하기 위해 SHAP(Shapley Additive Explanations) 및 LIME(Local Interpretable Model-Agnostic Explanations) 와 같은 방법에 의존합니다.SHAP는 소득 수준, 신용 기록 또는 픽셀 클러스터와 같은 주요 입력에 "비난"을 분배하기 위해 협력 게임 이론에 의존하여 저울을 기울이는 변수를 매핑하는 반면, LIME은 입력 데이터를 조정하여 예측이 어떻게 변화하는지 확인하고 특정 결정에 가장 중요한 기능을 설명하는 단순화된 모델을 만듭니다.이미지 중심 애플리케이션은 saliency 매핑 에 의존하여 기울기 기반 분석 의 기술을 사용하여 어떤 픽셀이 AI의 눈길을 끌었는지 판단합니다.건강 관리 및 고용과 같은 더 높은 위험 시나리오는 입력이 그럴듯하게 변경되면 잠재적 결과를 드러내기 위해 대체 현실을 꿈꾸는 반사실적 설명 에 의존합니다.예: "종양이 2mm 더 작았다면 어떨까요?"

만약 당신이 엄청난 전기 요금을 지불할 의향이 있다면, XAI는 중요한 것에 대한 괜찮은 보고서를 제공할 수 있습니다. 하지만 왜 ? 아무것도 없습니다.

'왜'라고 묻는 것에 반대하는 사례

"제 합성 신경망의 34번째 계층은 오른쪽 위 사분면에서 12.3% 픽셀 강도 이상을 등록했는데, 이는 인구 통계 및 유전적 공분산에 대해 정규화된 15개 지역 데이터 세트의 악성 마커와 상관관계가 있으며, 베이지안 사후 교정으로 설정된 악성 임계값을 초과하는 신뢰 점수를 산출했습니다."

이게 " 왜" 가 보이는 모습입니다. 혼란스럽나요? 확실히요 . 위안이 되나요? 약간요 .

하지만 이 수준의 설명을 생성하는 것은(대부분이 IKEA 조립 설명서와 함께 그냥 버릴 것입니다) 비용이 많이 들 뿐만 아니라 파괴적일 것입니다 . 나쁜 방식으로요. 설명 가능성은 컴퓨팅 리소스를 고갈시키고 혁신을 늦추며 모든 새로운 돌파구를 자기 정당화의 관료주의로 바꿀 위험이 있습니다. 설명 가능성의 약속은 고상하게 느껴지지만, 이러한 상쇄 효과는 AI의 진정한 잠재력을 억누를 수 있습니다. "왜"라는 목표가 진전을 방해할 만한 가치가 있을까요?

결국 중요한 것은 AI가 어떻게 작동하는지가 아니라 AI가 *우리에게* 효과적이냐 아니냐입니다.

명확성은 싸지 않다

결정이 내려진 이유에 대한 진정한 답을 찾기 위해 신경 상징적 AI , 대조적 설명 , 인과 추론 모델 과 같은 새로운 기술이 개발되고 있습니다. 이러한 방법은 딥 러닝의 패턴 인식과 상징적 추론의 규칙 기반 논리를 혼합한 하이브리드 아키텍처에 의존합니다. 이러한 시스템을 학습하려면 상당히 높은 컴퓨팅 리소스가 필요한데, 이러한 모델은 비정형 데이터(예: 이미지 또는 텍스트)와 정형 논리 프레임워크를 동시에 처리해야 하며, 작업 규모에 따라 증가하는 조합적 복잡성을 도입해야 하기 때문입니다.

하지만 진짜 과제는 하드웨어에 있습니다. NVIDIA의 H100이나 Google의 TPU v5와 같은 현재의 GPU와 TPU는 XAI에 필요한 반복적이고 기울기가 많은 계산이 아닌 학습과 추론을 위한 처리량을 극대화하도록 설계되었습니다. 인과적 귀속이나 주의 시각화와 같은 고급 설명을 생성하려면 기울기 재생 , 동적 메모리 액세스 및 저지연 병렬 처리 에 최적화된 칩이 필요합니다. XAI 워크로드는 근본적으로 다른 하드웨어를 요구하며, 특히 자율 주행차나 의료 진단과 같이 예측 과 함께 해석이 이루어져야 하는 실시간 애플리케이션의 경우 더욱 그렇습니다. 대기업들이 LLM에 전력을 공급하기 위해 칩에 얼마나 많은 비용을 지불하고 있는지 살펴보세요. XAI 전용 칩을 개발하는 데 드는 비용은 새로운 계층의 계산 오버헤드가 필요하기 때문에 이를 초과할 가능성이 큽니다. 엔지니어링 과제? 재정적 악몽과 같습니다.

마음의 평화 VS 진보의 역설

AI를 만드는 것은 이미 실험과 최적화의 하이와이어 행위입니다. 설명 가능성을 믹스에 추가하면 줄타기를 하는 것뿐만 아니라 등에 냉장고를 지고 하는 것입니다.

설명 가능성은 해석 가능한 출력을 생성하기 위해 모델을 재구성해야 합니다. 비전 트랜스포머(ViT)와 같은 고성능 시스템은 복잡성을 기반으로 번창합니다. 즉, 방대한 데이터 세트를 스캔하여 미묘한 패턴을 추출하지만, 이를 설명 가능하게 만드는 것은 종종 주의 메커니즘이나 대리 모델을 내장하는 것을 의미하며, 이는 계산 능력을 빼앗아 성능을 저하시킬 수 있습니다. 강화 학습에서 개발자는 보상 구조를 단순화하거나 해독 가능한 정책을 설계해야 할 수 있으며, 이는 에이전트의 최적화 잠재력을 무너뜨릴 수 있습니다. 획기적인 결과를 낳는 동일한 복잡성이 투명성 요구 사항에 얽매인 시스템에서 악당이 됩니다 .

개발 파이프라인도 큰 흔들림을 받습니다. 반사실적 또는 인과 모델링 과 같은 설명 가능성 기술은 교란된 데이터 세트에 대한 반복적인 평가를 요구하고 현재의 반복 작업에 사후 검증을 여러 겹 더 추가합니다(하이퍼 매개변수 정제, 손실 함수 조정, 대규모 추론 실행). 이는 몇 단계 더 추가된 것이 아니라 모든 단계에서 마라톤으로, 돌파구를 향한 단거리 달리기가 관료적인 지루한 작업으로 바뀌고 있습니다. 컴퓨팅 부하는? 설명은 마치 무료인 것처럼 사이클을 먹어치우며, 멀티모달 또는 생성 AI와 같은 고급 분야에서 이미 빙하기적인 훈련 프로세스를 늦춥니다.

만세, 성공했습니다! 너무 서두르지 마세요 . 규제가 최종 보스로 등장합니다. 의료 및 금융과 같은 산업은 배포에 대한 설명 가능성을 의무화하고 있지만 이러한 요구 사항은 종종 루 해밀턴이 결승선을 통과하기 전에 손목의 모든 경련을 정당화하도록 요구하는 것처럼 느껴집니다. 개발자는 모델이 최적으로 작동하는지 확인하는 것보다 모델이 해석 가능하다는 것을 증명하는 데 더 많은 시간을 보냅니다. AI 기반 암 진단 도구를 만들었습니까? 대단합니다. 이제 안경을 쓴 규정 담당자에게 모든 기울기와 가중치를 설명하세요. 완료할 때쯤이면 기술은 아마도 구식이 되고, 추구하던 혁신은 규정 준수 연옥에 갇혀 있을 것입니다.

설명 가능성은 우선순위를 왜곡합니다. AI가 달성할 수 있는 것의 경계를 넓히는 대신, 팀은 투명성 요구 사항을 조심조심 따라야 합니다. 스타트업과 연구자 모두 대담한 아이디어에서 물러나, 문샷 대신 규정 준수 친화적인 바닐라 반복을 선택할 수 있습니다. 진전은 멈추고, 야망은 사라지고, 분야는 달려야 할 때 조금씩 전진합니다 .

러시아 인형 문제: 설명은 설명을 요구한다

설명 가능한 AI는 이해할 수 없는 것을 단순화한다고 주장하지만, 설명하는 사람은 성인이 아니다. 고급 모델을 풀기에 충분히 똑똑한 도구는 자체적인 미스터리를 만들어낼 만큼 똑똑하다 . 설명하는 사람은 통역사가 필요하고, 통역사는 번역가가 필요할 것이고, 요점은 알 것이다. 재귀는 계시처럼 주어졌고, 우리는 더 현명해지지 못했다.

반사실적 설명을 취합니다. 예를 들어 아보카도 토스트에 돈을 쓰는 대신 저축을 한다면 어떻게 될까요? 결과가 어떻게 변할지 보여주기 위해 대체 현실을 시뮬레이션하는 사람들입니다. 하지만 이러한 시나리오는 거의 사실이 아닌 최적화 가정에 의존합니다. 예를 들어 기능의 독립성이나 입력 간의 선형 관계와 같습니다. 이러한 가정이 실패하면 설명은 또 다른 이해하기 어려운 추상화가 됩니다. 그리고 그것을 고치려면? 인과 모델이나 뛰어난 맵의 두 번째 계층이 필요합니다. 각각의 새로운 도구가 자체 인터프리터를 요구하는 나선형으로 우리를 더욱 깊이 빠뜨립니다. 블랙박스를 깨는 대신, 우리는 더 작고 똑같이 불투명한 것을 내부에 중첩합니다 .

멀티모달 시스템 (텍스트, 이미지, 오디오를 모두 한 번에 처리하는 AI 모델)은 맛있을 정도로 유용하지만 역겹게 복잡합니다. 이러한 시스템이 매우 다른 공간에서 경쟁하는 입력을 어떻게 균형 잡는지 설명하는 것은 매우 다른 데이터 유형에서 피처에 가중치를 부여하고 정렬하는 융합 메커니즘 (예: 어텐션 레이어 또는 크로스 모달 변환기)을 디코딩하는 헤라클레스 작업입니다. 하지만 이러한 설명 도구 자체는 복잡한 최적화 루프와 매개변수 튜닝에 의존하므로 추가 분석 레이어가 필요합니다.

아, 맛있는 아이러니네요 . XAI는 AI의 신비로움을 없애지 못합니다. 그 환상을 실현하기 위해 똑같이 복잡한 또 다른 기계를 만들 뿐입니다.

우리는 블랙박스를 풀고 있는 것이 아니라, 부분적으로 명확한 무한한 조각으로 그것을 분해하고 있으며, 각 조각은 이전 조각보다 이해하기 어렵습니다.

우리가 "왜"에 대해 더 많이 추구할수록 AI는 더욱 불투명하고 비용이 많이 들게 되며, 우리는 스스로에게 부과한 역설에 얽매이게 됩니다. 즉, AI는 설명이 너무 쉬워서 아무도 설명할 수 없다는 것입니다.

보호장비인가, 보조무기인가?

SHAP과 LIME은 결정에 영향을 준 요소에 대한 깔끔한 원형 차트를 보여줄 수 있지만, 그 차트는 그것을 디자인한 사람만큼 정직할 뿐입니다 . 차별적인 결과는 논리적으로 재구성될 수 있으며, 우편번호와 지출 습관과 같은 무해한 변수가 주목을 받는 반면, 더 추한 편견(성별 대리자, 소득 집단)은 편리하게 프레임 밖에 숨어 있습니다. 잘못된 손에 들어가면 투명성이 극장이 됩니다.

고위험 도메인에서 조직은 몇 가지 매개변수를 편집하여 비윤리적인 관행이나 기술적 지름길을 은폐하면서 엄격한 규제 요구 사항에 맞는 결과물을 생성할 수 있습니다. 설명자를 조정하고 올바른 내러티브를 제공하면 코드 형태로 그럴듯한 부인이 가능합니다. 편향된 데이터 세트나 결함이 있는 목표에 의해 주도된 결정은 살균된 논리에 담가질 수 있으며, 설명 가능성을 책임으로 가는 경로가 아닌 면밀한 조사에 대한 방패로 바꿀 수 있습니다. 질문이 시작되기 전에 멈추도록 설계된 완벽한 의사 논리 계층입니다 .

"왜"는 결코 문제가 되지 않았습니다

AI가 스스로를 설명하도록 수십억 달러를 쏟아붓는 대신, 우리는 AI를 더 좋게 만드는 데 집중해야 합니다. AI의 진짜 문제는 AI가 왜 그런 일을 하는지 모른다는 것이 아니라, 처음부터 잘못된 일을 한다는 것입니다. 의사 결정의 편향? 테이크아웃 주문과 성이 대출을 거부한 이유에 대한 50단계의 설명 대신, 출처에서 알고리즘 편향 완화 에 투자하세요. 데이터 세트에 다시 가중치를 주고, 훈련 중에 공정성 제약을 적용하거나, 적대적 기법을 사용하여 숨겨진 편향을 노출하고 제거하세요. 모델에 적용되기 전에 부패를 수정하세요.

설명 가능성도 신뢰성을 해결하지 못합니다. LIME 또는 SHAP과 같은 도구를 사용하여 오류를 정당화하기 위해 후퇴하는 대신, 노이즈가 있거나 적대적인 입력에 대한 모델의 민감도를 낮추는 강력한 최적화 기술을 사용합니다. 더 나은 정규화, 이상치 감지 및 교정 방법(예: 온도 스케일링 또는 베이지안 불확실성 모델 )은 예측이 정확할 뿐만 아니라 신뢰할 수 있음을 보장할 수 있습니다. 이 접근 방식은 잘못된 결정을 과도하게 설명하는 지저분한 중간 계층을 건너뛰고 더 나은 결정을 내리는 데 집중합니다.

규제는 XAI의 복잡한 체조가 필요 없는 또 다른 전선입니다. 신뢰는 AI가 영혼을 드러내야 한다는 것을 요구하지 않고, AI가 일관되게 작동해야 한다는 것을 요구합니다. 설명 가능성을 모호한 기준으로 의무화하는 대신, 최악의 경우 또는 에지 시나리오와 감사 파이프라인에 대한 강력한 테스트 프레임워크를 추진하세요. 자동차 충돌 테스트와 비슷하다고 생각하세요. 아무도 에어백이 작동하는 원리를 이해할 필요가 없습니다. 그저 작동한다는 것을 알아야 합니다. AI가 왜 달라야 합니까?

"왜"는 방해 요소입니다. 더 나은 질문은 "무엇"입니다. AI를 더 공정하고, 더 안전하고, 더 신뢰할 수 있게 만들기 위해 무엇을 할 수 있을까요?

세상에는 무엇이 잘못되었는지에 대한 100단계 설명이 필요하지 않습니다.

처음부터 모든 것을 올바르게 처리하도록 설계된 시스템이 필요합니다.

마지막 생각: 겁먹어도 어리석지 마세요

AI가 당신에게 가장 가까운 자낙스를 움켜쥐게 하지 않는다면, 당신은 은둔자이거나, 부정하거나, 아니면 무정부 상태를 설계하는 것입니다. AI는 정말 무섭습니다 . 하지만 우리는 실존적 공포가 우리를 우리가 해결하려는 혼돈처럼 복잡한 위약 솔루션 으로 밀어넣는 것을 허용할 수 없습니다 .

재밌는 건, AI를 다루는 가장 좋은 방법은 덜 의존하는 것일 수도 있다는 거예요. 모든 문제에 머신러닝이 필요한 건 아니고, 때로는 인간의 판단이 잘 먹혀들기도 해요. 겁먹어. 계속 두려워해. 편집증이 진보의 원동력이 되죠 .

하지만 당황해서 우리가 길들이려는 시스템보다 더 멍청해지지 않도록 하자.