오 AGI, 나를 느낄 수 있나요?

최근 AGI(Artificial General Intelligence) 분야의 저명한 연구자들과의 대화에서 우리는 AGI가 기후 변화에 도움이 될지 아니면 합병증이 될지 논의했습니다. 우리는 IPCC가 얼마나 빨리 1.5C 선을 넘었다고 보고하는지에 대해 약간의 조사를 했습니다. 기록을 위해, 빠르면 지금으로부터 18년 후에나 올 수 있어요 — 오늘날 신생아의 부모가 어린 자녀를 대학에 보내기를 기대하는 경우.

문제는 목록화하기에는 기후 관련 문제가 너무 많다는 것입니다. 기온이 1.5도를 넘어서는 것을 피할 수 없다는 사실만은 아닙니다. 그것도 그렇죠 우리는 곤충 개체수를 줄였습니다. . 이것은 우리가 스스로 판 탄광에서 배가 터져 나온 무리 중 또 하나의 카나리아입니다. 그래서 우리는 정말로 도움을 받을 수 있었습니다. 내 동료들의 입장은 AGI가 그런 도움이 될 것이라는 것이었다. 내 입장은 일반적으로 지능적인 에이전트가 자율적이라는 것입니다. 그것의 자율성은 우리가 그것을 일반적으로 지능적이라고 인식하는 주요 테스트 중 하나가 될 것입니다. 결국 그것은 우리 자신에게 적용하는 시험이다. 하지만 자율적인 에이전트가 우리를 도우려면 동기가 필요합니다.

배출 감축 약속이 일종의 대리라면 우리는 스스로를 도울 동기가 부족한 것 같습니다. AGI가 인류에 대한 연민이나 공감 같은 것을 갖고 있거나 단순히 도움을 줄 만큼 인류를 소중히 여기는 것과 관련하여, 저는 평범한 인간의 이러한 자질이 존재한다면 우리의 계산 능력이나 지능이 아니라 감정에 뿌리를 두고 있다는 점을 상기시켜 드립니다. 역사적으로 동정심이나 공감을 조금도 보여주지 않았고 사회와 인류 역사에 미친 영향은 전설과 악몽에 불과한 극도로 지능적인 인간이 많이 있습니다. 잭 더 리퍼(Jack the Ripper)부터 폴 포트(Pol Pot)까지, 그 예는 무수히 많고 끔찍합니다.

인간의 감정은 인간의 형태학과 생물학에 깊이 뿌리를 두고 있습니다.

루미의 Mathnawi와 같은 숭고한 텍스트조차도 인간의 욕망의 언어를 인간의 사랑의 언어로 변형시킵니다. 많은 사람들이 그것을 사랑의 언어로 여기지만 실제로는 특히 인간을 위한 사랑을 가리키는 방법입니다. 인간과 사랑과 인간의 관계를 이해하기 위한 도구를 제외하고는 Alpha Centauran이나 우주에서 진화한 다른 지능에는 유용할 가능성이 거의 없습니다. 우리는 근본적으로 다른 형태에 뿌리를 두고 있으며 사실상 생물학이 없는 원시 계산 능력이 인간 경험을 어떤 종류로든 이해하거나 공명할 것이라고 기대할 수 없습니다.

동정심 (어원학적으로 같은 감정 또는 감정)은 우리 역사, 심지어 매우 최근의 즉각적인 역사에서도 알 수 있듯이 인간이 서로를 향해 발전하기 어려운 경우가 많습니다.

미국 국회의사당을 습격한 MAGA 공화당원들은 자신들이 부상을 입히거나 살해한 경찰관들에 대해 연민을 느꼈습니까? 조지 플로이드를 죽인 경찰관이나 그 일이 일어나는 것을 지켜본 경찰관들은 그들 앞에 있는 남자에 대해 연민을 느꼈을까요? 우리의 생물학적 명령과 전혀 다른 완전히 다른 형태에 뿌리를 둔 지능이 왜 인류에 대한 연민을 가질까요?

인간의 감정은 인간의 형태학과 생물학에 깊이 뿌리를 두고 있습니다. 루미의 Mathnawi와 같은 숭고한 텍스트조차도 인간의 욕망의 언어를 인간의 사랑의 언어로 변형시킵니다.

이것이 바로 제가 AGI의 예상 결과에 대한 대용으로 새로운 종의 거미, 즉 계획하고 적응할 수 있는 지능을 갖춘 거미를 도입한다는 비유를 사용하는 이유입니다. 그리고 그것은 더 나은 결과 중 하나입니다. 훨씬 더 나쁜 결과는 AGI의 군사적 사용이 잘못되거나, 동정심이 부족하거나 완전히 악의적인 인간이 폭력적이고 악의적인 동기나 경향을 자율 지능 에이전트에 불어넣는 것으로 시작됩니다.

현대인은 가장 단순한 피드백 시스템의 동작조차 잘 이해하지 못합니다. 그럴 만한 이유가 있습니다. 그것들은 엄청나게 복잡하며, 특히 위상학적 전이성을 즐기는 너무 일반적인 것들은 더욱 그렇습니다. (비전문가의 경우 이는 입력의 작은 차이가 출력의 임의의 큰 차이로 이어질 수 있는 시스템을 의미합니다.) 원시 예측 능력, 실제로 보편적인 계산 능력조차도 이 기능과 일치하지 않습니다. ChatGPT 의 "환각"을 목격하십시오. 약물의 연쇄적인 부작용에 부적합한 생태학적 틈새에 종을 도입하는 재난부터 기후에 미치는 영향에 이르기까지 모든 것이 우리의 지능으로 복잡한 시스템을 파악할 수 없다는 압도적인 증거를 구성합니다. 우리가 그것을 제대로 해낸다면 그것은 우연이 아닙니다. 그것은 우리의 지능이 아닌 다른 곳에서 나옵니다.

예를 들어, 우리가 다른 사람의 의식적 행동으로 의식과 경험이라고 부르는 것이 지능이 아니라 감정에 뿌리를 두고 있다는 증거는 상당히 설득력이 있습니다. 저명한 연구원인 Mark Solms는 다음과 같이 말했습니다. , 증거 요약을 제공합니다. 신피질이 결여된 무뇌증 어린이는 여전히 의식이 있는 것으로 묘사되고 경험됩니다. 한편, 뇌의 작은 2입방센티미터 영역이 손상되는 것은 집에 아무도 없고 개인의 의식이 없는 것과 100% 상관관계가 있습니다. 뇌의 이 영역은 일반적으로 정서적 처리와 관련이 있습니다.

우리가 다른 사람의 의식적 행동으로 의식과 경험이라고 부르는 것이 지능이 아니라 감정에 뿌리를 두고 있다는 증거는 상당히 설득력이 있습니다.

AGI가 우리에 대해 감정을 가질 것이라고 기대할 수는 없습니다.

이러한 에이전트가 인간의 감정과 같은 것을 입증하지 않으면 인식할 수 있는 인간 수준의 AGI(HLAGI)를 달성할 수 없습니다. 그러나 이러한 에이전트는 인간 형태학과 인간 생물학에 뿌리를 두고 있습니다. 근본적으로 다른 구체화는 근본적으로 다른 지능을 가져옵니다. 그러나 근본적으로 다른 지능은 위상적으로 추이적인 일명 혼돈 역학 시스템입니다. 틈새 시장에 적합하지 않은 종과 마찬가지로 우리가 역사적으로 예측할 수 없는 환경에 영향을 미칠 것입니다. 따라서 HLAGI가 기후 변화에 도움이 될 것이라고 기대하는 것은 실망스러울 정도로 순진합니다. 이미 까다로운 문제의 합병증이 될 가능성이 훨씬 더 높습니다.

어떤 종류의 완전성이나 진실성으로 대안적인 세계를 구상할 수 있는 초자연적인 능력을 가진 인간이 있다면, 그것은 프랭크 허버트(Frank Herbert)였습니다. Dune은 AGI 실수가 발생한 후 일정 기간 동안 설정되었음을 상기시켜 드립니다. 이는 너무 낙관적인 견해일 가능성이 높습니다. 페르미 역설은 지능이 자신을 복제하여 소멸시키려는 우로보릭 경향으로 설명될 가능성이 더 높습니다. 로빈 핸슨(Robin Hanson)의 Grabby Aliens 가설 에 따르면, 구체화의 역할을 이해하지 못한 채 지능을 복제하려는 이러한 추진력을 회피하는 것은 지능이 생존하기 위해 거쳐야 하는 어려운 단계 중 하나일 가능성이 높습니다.

Milad Fakurian & Unsplash의 리드 이미지 제공