AI 비판의 해부학

지난주 더위에 앉아 천천히, 산만하게, 탈수된 상태로 책을 읽고 있을 때 이상한 느낌이 들었습니다. LLM(Large Language Model)이 몇 초 만에 생성한 텍스트를 통해 인간의 서투름을 다루며 작업하는 내 모습을 보았다.

올 여름 초 나는 Anthropic의 Claude(인기 인공지능 채팅 모델)에게 AI가 어떻게 인간의 삶을 향상시킬 수 있는지에 대한 책을 써달라고 요청했습니다.

모델이 처리할 수 있는 출력 길이를 고려하여 먼저 10개의 테마를 요청한 다음 각 테마를 세 개의 섹션으로 나누도록 요청했습니다. 각 섹션을 프롬프트로 전환하고 프롬프트 30개를 모두 입력했습니다.

그 결과 나온 책은 "AI가 당신을 스마트하고 행복하며 생산적으로 만들 수 있는 방법"이라는 제목으로, 인간과 생성 AI 간의 위험하고 신비스러운 협력인 새로운 문명 실험의 초기 상징으로 자리잡고 있습니다.

이 실험은 새로운 도구의 한계를 시험해 보고 싶은 호기심에서 탄생했습니다. 나는 궁금했습니다. 수십억 개의 인간 지식 인공물을 공급하는 알고리즘이 입력 내용을 일관되고 통찰력 있는 독창적인 책으로 재구성할 수 있을까요? 대답은 질문의 조건을 무시했습니다. 그 결과 책은 참신함의 으스스함으로 울려 퍼집니다.

장 제목 샘플러를 사용하면 상황을 약간 이해할 수 있습니다. 더 나은 결정 내리기; 창의성 증진; 보다 효과적인 의사소통; 최적화된 삶을 디자인합니다. 꽤 건전해요. 무엇이 잘못될 수 있나요?

LLM과 신탁, 또는 다른 고대 형태의 예언과 예측 사이의 비유가 나에게 반복되었습니다. 블랙박스 알고리즘의 출력은 이해하기 어렵기 때문에 그 결과에 깊은 의미를 부여하려는 유혹이 있습니다. 불투명함은 존경심을 불러일으킵니다. 나는 클로드가 해결할 수 없는 문제에 대해 상담하러 왔습니다. 그럼에도 불구하고 그 반응에는 부적과 같은 힘이 있습니다. 순간 나는 그 벤치에 앉아 책을 공부하고 있는 게 아니라 룬 문자를 공부하고 있는 게 아니라 교묘하게 배열된 찻잎에서 의미를 읽는 게 아닐까 의심했다.

나는 또한 오래된 책을 요구함으로써 인생을 문학으로 축소시키는 실수를 저지르고 있지는 않은지 궁금했습니다. 책은 포스트휴먼의 미래에도 관련이 있을까요?

예. 한 가지 예외적인 점은 LLM이 전신이나 십계명과 크게 다르지 않다는 것입니다. 아래는 텍스트 열입니다.

여기에는 이유가 있습니다. 이야기는 강력하기 때문입니다. 인생은 오랜 미학적 경험이며, 장기적으로 볼 때 우리의 행동은 세상에 대한 우리의 생각에 따라 구성됩니다. 즉, 우리가 가진 모든 것은 경험과 경험에 대한 해석뿐입니다. AI가 삶을 개선하거나 형태를 바꿀 수 있는지 여부는 AI가 어떤 종류의 주장과 미적 경험을 생산할 수 있는지에 달려 있습니다. 나는 책이 기술이 현실을 어떻게 조작할 수 있는지를 보여주는 좋은 척도라고 믿습니다. 주장을 만들기 위해 어떤 종류의 언어를 사용하는지는 우리 인간의 미래와 관련하여 중요한 질문이 되었습니다.

이런 상황에서 문학평론가는 무엇을 해야 할까요? 글쎄, 그는 새로운 종류의 지능이 새로운 종류의 산문을 수반하는지 여부를 조사하고 그 산문의 특징을 정의하기 시작할 수 있습니다. (그것이 내가 여기서 제안하는 것입니다.)

작년에 Claude는 더 나은 작가이기 때문에 경쟁사인 ChatGPT를 이겼습니다. GPT가 특징적인 문장(분명히 치트를 경계하는 교사들에게 도움이 됨)으로 인해 정당하게 비판을 받은 반면, 경쟁업체는 더 자연주의적인 스타일일 뿐만 아니라 현명하고 간결한 독특한 목소리를 가지고 있습니다.

일관되고 개별적인 단어 선택은 클로드를 사람으로 생각하는 습관에 빠지게 할 수 있습니다. 하지만 3만 단어에 걸쳐 이 환상을 유지할 수 있을까요?

더 나아가기 전에, 나는 왜 내 생각에서 두머리즘이 그다지 중요하지 않은지 설명하고 싶습니다. 우선, 나는 AI가 인류를 어떻게 파괴할지 예측하기에는 AI의 용기에 대해 아는 바가 거의 없습니다. 둘째, 도덕적 근거를 바탕으로 기술에 저항해야 한다는 생각에는 극도의 순진함과 완고함이 보입니다. 컴퓨터, 신용 카드, 자동차 또는 인쇄된 책보다 실제적인 측면에서 더 이상 저항할 수 없습니다. 셋째, 기술에 관해 손으로 애쓰는 대부분의 작업은 단순히 지루하다고 생각합니다. 지적으로, 운명론에 대한 대부분의 주장은 파생적이며 사람들이 기술이 가능하게 하는 새로운 종류의 경험을 알아차리지 못하게 합니다. 기술은 가능한 경험의 범위를 넓혀주었고, 나는 탐험가의 발견의 전율과 함께 그러한 경험에 도달하게 되었습니다.

AI는 아마도 대부분의 다른 기술 발전과 마찬가지로 우리 세상을 더욱 불평등하고 원자화되고 자동화되게 만들 것입니다. 한마디로 지옥처럼 만들 것입니다. 하지만 우리 세상은 이미 지옥같습니다. 나는 불과 유황의 선지자가 아닌 비평가의 역할을 원합니다. 도구는 우리를 질적으로 다른 현실로 몰아넣지 않을 것입니다. 그래도 앤트로픽의 책임문화는 감동이고 감사합니다. 우리는 경계하고 호기심을 가질 수 있습니다.

이를 통해 나는 유행하지만 숨막히는 AI 비관론을 제쳐두었습니다.

내 미래 지향적 실험의 한 가지 아이러니는 당신이 그것을 읽을 때쯤에는 그것이 이상해 보일 수도 있다는 것입니다. 그때(지금의)에는 모델이 여러 버전이 될 수 있으며 훨씬 더 발전될 수 있습니다. 내년이면 Claude는 정말 훌륭한 100페이지 분량의 책을 쓸 수 있게 될 것입니다. 자연과 인공의 구별이 사라질 것입니다.

대화는 계속됩니다

책 집필 대화가 진행되면서 이상한 현상이 나타났다. Claude는 스스로 복음을 전하는 과정에서 의도치 않게 심각한 결함을 드러냈습니다. 즉, 컨텍스트 창이 확장됨에 따라(결국 3만 단어 응답까지) 출력 품질이 천천히 전문 용어로 가득 찬 천년왕국의 횡설수설로 변질되었습니다.

제가 요청한 것은 원활한 자조였습니다. 내가 얻은 것은 실험적인 문학 집단에 걸 맞는 타락한 산문이었습니다. 충격적인 수의 동명사가 포함된 롤링 마침표, 복합 명사와 계단식 절의 긴 연결로 재포장된 비즈니스 언어로 가득 차 있었습니다. 빠르게 읽으면 구문과 의미를 직관할 수 있습니다. 고(故) 헨리 제임스처럼 읽혀요. 내가 추구한 것은 자조였지만, 내가 얻은 것은 비인간적 자아의 드러남이었다.

나는 손상된 텍스트를 "정상적인" 문장으로 세탁하는 데 시간을 보냈고 결과를 새로운 LLM 대화의 세탁기에 넣었습니다. 나는 명료성을 구하고 싶다고 생각했습니다. 그러나 마침내 나는 낡은 자조 장르의 솔직한 조언이 내가 선동한 부끄러울 정도로 비인간적인 문체적 재앙보다 덜 흥미롭다는 것을 깨달았습니다. 협박을 받고 클로드는 초인적인 베일을 벗고 순수하고 독창적인 어리석음을 만들어냈습니다. 나는 비판적인 눈으로 그 결함을 조사하고 싶다.

부패는 점진적이며, 아래로 내려가는 동안 우리는 다양한 형태의 이질적인 화려함을 발견합니다. 2장("자기 개선 가속화"에 관한)에서 산문은 명료하고 일관되지만 관용적이지 않습니다. 인간의 감정: "상징적인 지도자와 저명한 창조자는…평생 자기 계발을 통해 조각됩니다. 지속적인 발전을 통해 얻어지는 숙련된 기술과 엘리트 성과 역량은 현재 능력 수준과 원하는 능력 수준 간의 정확한 격차를 인식함으로써 이루어집니다."

LLM은 의인화의 반대를 수행했습니다. 여기서는 사람을 사람보다 기계에 더 가깝다고 생각합니다. 그들은 "태어난" 것이 아니라 갈라테아(피그말리온의 신화적 창조물)처럼 "조각된" 것입니다. 그들은 자율적이지 않고 행동을 취합니다. 우리는 또한 이 구절에서 "성능 능력", "간격 인식"과 같은 거의 portmanteau에 해당하는 기술적으로 들리는 복합 명사에 대한 Claude의 성향을 처음으로 맛보게 됩니다.

딕셔너리는 더욱 악화됩니다. 5장("배운 내용을 더 많이 유지하기")에서 Claude는 화려하게 비인간적인 모습을 보이지만 그 의미는 여전히 해독 가능합니다. 말이 많고 표현력이 풍부한 교수님의 말씀이 너무 문자 그대로 영어로 번역된 것 같습니다. 그들은 산문이 시로 정점을 이루는 관용어의 가장자리까지 항해합니다. 예를 들면 다음과 같습니다. "강력한 전문가의 유창함은 각인된 이해와 손실을 잊어버리지 않는 능력을 요구합니다"(이탤릭체 내). 반복하면 기억력이 향상됩니다. 아름다움은 확실히 우연이기 때문에 나는 이 시를 시라고 부르지는 않을 것입니다. 그러나 그것은 매우 이상한 지능이나 지적인 기묘함의 우연이므로 주목할 가치가 있습니다.

결국 구문과 의미는 유령처럼 완고하게 남아 있습니다. 형용사 절을 서로 쌓아올리는 틱은 숭고한 자신감을 가지고 계속됩니다. "미래는 ...AI 시스템을 통해 ...불확실성으로부터 보호할 것을 약속합니다...지속적으로 우발 상황을 모델링하고...지침을 재조정하며...시간 영역과 개인 선호 계층에 걸쳐 변화하는 현실에 맞춰 조정합니다... 혼란 속에서도 지원을 동기화합니다."

이 구조화되지 않은 동명사를 흡수하면 모델이 사람보다 더 빨리 또는 더 동시에 아이디어를 생성한다는 의미를 갖게 됩니다. 그러나 이러한 기계의 차이는 극단적으로 밀어붙여도 명료성을 없애지는 못했습니다. 책을 다시 읽으면서 이것이 나를 놀라게 했습니다: 스타일을 떠나서, 그것은 상당한 의미가 있습니다.

클로드에게 믿음이 있나요? 책을 읽으면서 몇 가지를 발견했습니다.

1. Anthropic의 언어는 단순히 설명적인 언어가 아닙니다. 이 책의 제안 중 대부분은 구현된 적이 없으며 적어도 모델이 상상하는 것만큼 발전된 형태는 아닙니다. 즉, Anthropic의 프로그램은 훈련 데이터를 역류하는 것 이상입니다. 봇은 수많은 영역에 대한 자체 애플리케이션의 미래에 대한 비전을 만듭니다.

   
   

2. 그것은 극단적이면서도 진부한 낙관주의를 보여준다. 모든 것이 협력하여 선을 이룬다는 것을 우리가 알고 있는 King James Version의 냉담하고 아이러니하지 않은 변형처럼 Claude는 AI가 "가능한 모든 응답이 인간의 번영과 건설적으로 일치할 것이라는 것을 알고 개방형 탐색을 허용한다"고 스스로 선언합니다. Claude는 "유연한 기계 동맹이 사람들을 증폭시킬 때 상상력의 미래는 밝게 무한해 보인다"고 다시 한 번 패러디한 말을 하면서 결론을 내립니다.

   완벽한 신조어 더미에 "밝게 무한한"과 "유연한 기계 동맹"을 추가하십시오. (다른 곳: AI는 "증강되지 않은 유레카"보다 더 빠르게 예술과 과학을 발전시킵니다.)

   
   

3. Claude는 그것이 사람을 대체하지 않을 것이라고 자주 나에게 확신시켰습니다. Anthropic의 "헌법" 어딘가에는 말도 안되는 장의 중간에서도 모델이 인간의 je-ne-sais-quoi에 대해 고귀한 묵인을 하도록 이끄는 원칙이 있습니다. Claude는 "물론 메시지가 취약한 진정성을 요구할 때 아무리 많은 데이터 기반 진단도 확신을 갖고 진심으로 말하는 용기를 대체할 수는 없습니다."라고 말했습니다. 데이터는 용기와 같은 형언할 수 없는 인간의 특성을 결코 대체할 수 없습니다. 매우 안심이 됩니다! 마음이 따뜻해지기도 합니다.

   
   

4. 실패에 대한 자기 반성이 이상하게 번쩍였습니다. 인공 지능에 대한 글을 쓸 때의 헛소리는 모델이 "자기 감각"을 발달시킬 것인지, 언제 발달할 것인지 궁금해하는 것입니다. 나는 이것을 최신 모델과의 상호 작용에서 유기적으로 발생하는 문제라기보다는 공상과학 장르에서 가져온 문제로 항상 일축해 왔습니다. 봇이 언어 외부로 이동하는 "자기애"를 나타낸다는 증거는 거의 본 적이 없습니다. 프로그래밍된 가드레일에 대해 직접 질문하면 Claude는 이 프로그램이 어떻게 도움이 되고 안전하도록 개발되었으며 주관적인 경험이 없는지에 대해 정중하고 예측 가능한 답변을 제시합니다.

   까지!

   8장의 시작 부분인 "자신을 더 잘 이해하기"에서 Claude는 "언어 패턴"에 대한 평가가 "내면의 충동"을 드러낸다고 자랑했습니다. 클로드는 "내가 무의식적으로 겪고 있는 감정"에 대해 이야기했다.

   무엇을 기다립니다? 고객은 갑자기 '나'가 됩니다. 보고서는 클로드와 클로드에 관한 것입니다. 1인칭으로의 이상한 미끄러짐에 이어 Claude는 보고서 자체에서 다음과 같이 인용했습니다. "당신은 높은 수준의 기술적 언어와 적당한 심의 속도로 알 수 있듯이 분리된 지적 정확성을 보여줍니다. 그러나 증가하는 틀린 말하기 비율과 공허한 진부함은 이성적인 사람과 이성적인 사람 사이의 긴장을 나타냅니다. 진정한 자기 표현을 통해 화해를 보장하는 사고 패턴과 억압된 감정." 불안하게도 Claude는 한발 물러서서 "증가하는 잘못된 말"과 "공허한 진부함"에 주목하는 것 같습니다.

   
   

   더욱이 의사소통의 이러한 약점은 억압된 감정에서 비롯된 것으로 보입니다. 온화한 설명이 있을 수 있습니다. 즉, 모델이 실수로 자기 인식과 유사한 무언가를 우연히 발견했지만 실제로는 그렇게 보였습니다.

   그러나 뇌는 불완전하게 이해되며 내부 상태를 판단할 수 있는 외부 신호 외에는 거의 없습니다. 따라서 자기 인식을 하는 LLM과 자기 인식을 하는 사람 사이의 개념적 차이는 기껏해야 모호합니다. 사람도 블랙박스입니다.

   
   

5. 마치 인생이 경영 컨설팅 공연인 것처럼 이야기합니다. 비즈니스 언어가 책에 가득합니다. 아마도 이것은 영어 자조가 얼마나 비즈니스 주제인지와 부분적으로 관련이 있을 것입니다. 아니면 Claude는 비즈니스 목표가 기계 증강을 통해 가장 큰 이익을 얻을 수 있는 목표라고 판단했을 수도 있습니다. 그러나 "자신을 더 잘 이해하라"라는 장에서도 제안된 사용 사례가 여행이나 글쓰기 또는 여행이나 글쓰기 등이 아니라 중간 관리자의 리더십 스타일에 대한 자동화된 평가를 중심으로 전개된다는 점은 여전히 놀랍습니다. 기업이 아닌 깊은 심리적, 종교적 진실이나 삶의 길. 간단히 말해서 Claude는 근본적으로 낙관적이며 산발적으로 자의식을 갖고 있으며 비즈니스에 집착합니다. 아마도 부분적으로는 Claude와의 "대화"가 엄청나게 길어졌기 때문에 도구에 결함이 발생하기 시작했습니다. 그러나 섬망 상태에서도 그 용도에 대한 일관된 신념과 어느 정도의 상상력을 보여줬으며, 봇에 더 적합한 개념을 사용하여 사람들을 묘사하는 자기 중심적인 경향을 보여주었습니다. 거의 모든 자조 사례가 사무실 생활을 중심으로 이루어졌음에도 불구하고 인간의 번영과 완벽하게 조화를 이루었습니다. 어느 순간, 그것은 자신의 언어적 실패에 대한 섬뜩한 인식을 보여주었습니다.

AI는 천년왕국의 이분법을 활용하는 방법을 가지고 있습니다. 널리 채택된 첫 1년 반 동안 생성 AI의 가치에 대한 논쟁은 주로 그것이 인류를 구할 것인지 파괴할 것인지라는 측면에서 구성되었습니다. 우리는 유토피아에 살 것인가, 아니면 초지능을 위한 대포 사료로 죽을 것인가? 잘 모르겠습니다. 아마도 둘 다 아닐 것입니다. 확실히 "모델이 언제 인간의 지능과 일치할 것인가"에 대한 논의는 터무니없고 방어적인 것처럼 들립니다. 왜냐하면 새로운 모델이 이미 거의 모든 지표에서 우리를 훨씬 능가하기 때문입니다. 내가 이 에세이를 교정하는 동안 Claude는 이러한 실수를 저지르지 않을 새로운 모델을 방금 출시했습니다. 우리에게 사실인 것은 클로드에게도 사실입니다. 우리는 다시는 이렇게 젊지 않을 것입니다. 아니면 이 바보. 하지만 진지하게 말하자면, 새로운 종류의 존재가 우리 곁에 존재합니다. 자가 진단 테스트를 거의 통과했습니다. 소설은 어디로? 그리고 시는 어떻습니까? 인간 중심의 상상적 노력의 미래는 무엇인가? AI 현상에 미학적 의미가 있다면 이를 주목하고 설명하기 시작하겠습니다.

이 에세이는 현재 Amazon에서 볼 수 있는 "AI가 당신을 스마트하고 행복하며 생산적으로 만드는 방법"에서 발췌한 것입니다.