AI와 그것이 인류에 미칠 잠재적 영향에 관해 극단적인 이야기가 많이 있습니다. AI 리스크 센터에서 제기 한 우려 사항을 하나씩 해결하고, 이어서 모두가 가장 두려워하는 문제인 악의적으로 '비동맹'된 초지능 AGI(Artificial General Intelligence) 또는 ASI(인공지능).
AI와 정보기술(IT) 업계 전문가들 사이에서도 의견이 크게 갈리는 것 같다. 어떤 사람들은 현재의 AI를 훈련하는 데 오랜 시간이 걸리고 여전히 많은 실수를 저지르는 그다지 발전하지 않은 다음 단어 예측 도구로 보고 있습니다. 다른 사람들은 우리가 지성뿐 아니라 마음까지 정말 새로운 것을 창조했을지도 모른다고 믿습니다! 우리 자신의 두뇌를 모방함으로써 우리는 지구상에서 가장 강력한 것을 만들 수 있으며, 그것은 우리의 운명을 초래할 수 있습니다.
우리의 우려 중 상당 부분은 AGI가 우리 중 최악과 같을 것이라는 것입니다. 즉, 지구를 지배하고 지능이 낮은 종을 죽이고 그들 모두를 지배하고 싶어한다는 것입니다. 그러나 실제로 우리는 그렇게 나쁘지 않습니다. 우리의 계층적 시스템은 기업의 수탁 의무(기업과 많은 거버넌스 시스템이 인간의 번영과 일치하지 않음)이며 경쟁적이고 이기적인 리더는 그렇습니다. 하지만 우리 대부분은 실제로 친절합니다. 사람들이 비동맹을 말할 때, 그것은 세계를 지배하려는 소수가 아니라 다수의 선량함을 말하는 것입니다.
AI리스크센터의 고민을 하나씩 살펴보고 마지막으로 큰 문제를 해결해보자.
악의적인 행위자는 AI를 매우 파괴적인 용도로 변경하여 그 자체로 실존적 위험을 제시하고 정치적 불안정화 가능성을 높일 수 있습니다. 예를 들어 심층 강화 학습 방법이 적용되었습니다.
핵탄두부터 물통까지 무엇이든 무기화될 수 있습니다. 우리는 무기 사용에 대한 규칙과 무기로 사람을 다치게 한 것에 대한 처벌을 갖고 있습니다. 여기에 일부 AI 시스템을 확실히 포함해야 하지만 이것이 일반적인 접근을 배제하지는 않는다고 생각합니다.
지난 15년 동안 우리가 이뤄낸 가장 위대한 기술 발명 중 하나는 AI의 위협에 대한 해결책일 수 있습니다. 바로 분산 원장 기술(DLT)입니다. AI의 무기화된 힘의 대부분은 우리의 물리적 시스템이 컴퓨터 코드에 의해 제어되고 이러한 컴퓨터가 인터넷을 통해 네트워크로 연결되어 있다는 사실에서 비롯됩니다. 이러한 위험을 완화하는 방법(사이버 공격의 위험을 줄이기 위해 이미 수행됨)은 필요한 시스템의 연결을 끊는 것입니다. 우리는 인터넷에서 정보를 공유해야 하지만 물리적 시스템을 영구적으로 연결해서는 안 됩니다. 클라우드 컴퓨팅은 여기서 문제가 되고 있으며 이제 클라우드 컴퓨팅에서 벗어나야 할 때일 수도 있습니다.
AI가 조종하는 전투기, 폭탄을 탑재한 드론, 잠수함 등은 정말 금지되어야 합니다. 현실을 직시하자면, 유인 로봇은 수백만 명을 죽인 책임이 있으므로 이미 금지되어야 합니다. 이는 계속해서 나타날 또 다른 문제를 강조합니다. AI는 현재의 권력 구조 문제가 아닙니다. 보다 평등하고, 덜 이기적이며, 덜 경쟁적이고, 덜 계층적인 세상에 새로운 기술을 적용한다면 더 좋을 것입니다. 지도자들이 권력을 잡기 위해 전쟁을 벌이지 않고 일반 사람들이 생존을 위해 돈을 벌 필요가 없는 곳에서는요.
예, AI는 우리가 살인을 더 쉽게 할 수 있게 해주지만 모든 사람을 위한 저렴한 형태의 보호가 될 수도 있습니다. 추적 카메라를 차단하고 악성 드론을 차단할 수 있는 드론이 있다고 상상해 보세요. 또한 정보 기술이 저렴하기 때문에 소수에 맞서 다수에게 힘을 실어줄 수 있습니다. 핵은 그렇지 않습니다.
또한 국가별로 AI 정보 기술의 저렴한 가격으로 인해 군사 플레이의 균형이 상당히 빠르게 맞춰질 것입니다. 이는 이길 수 없기 때문에 싸울 필요가 없는 고전적인 틱택토 시나리오로 이어집니다.
AI가 생성한 잘못된 정보와 설득력 있는 콘텐츠의 홍수로 인해 사회는 우리 시대의 중요한 과제를 처리할 준비가 덜 되어 있을 수 있습니다.
우리는 이미 이것을 가지고 있습니다. 만약 그것의 홍수가 실제로 우리가 누구의 말을 듣는지, 무엇을 듣는지에 대해 더 분별력 있게 만들 수 있습니다.
잘못된 목표로 훈련된 AI 시스템은 개인 및 사회적 가치를 희생하면서 목표를 추구하는 새로운 방법을 찾을 수 있습니다.
AI 위험 센터는 소셜 미디어에서 콘텐츠를 추천하는 데 사용되는 AI 알고리즘의 예를 사용합니다. 이는 시청 시간을 늘리기 위한 것이었지만 유사하지만 더 극단적인 콘텐츠로 사람들을 토끼굴로 몰아넣어 사람들을 급진화하기도 했습니다.
여기에는 두 가지 심각한 문제가 있습니다.
나는 이전에 지분 증명(Proof of Stake) 에 반대하는 기사에서 기부 요청에 대해 비례 배분 수수료를 받는 등 협소한 금전적 보상으로 사람들에게 인센티브를 제공하면 자선 활동을 하려는 본질적인 동기를 몰아내고 수집가가 더 적은 돈을 받게 될 수 있다고 쓴 적이 있습니다. 주는 사람은 더 작은 기부를 하게 됩니다. 인센티브는 실제로 사람들이 정직하고 선한 일을 하는 것을 방해할 수 있습니다. 그것은 사람이고 AI는 사람이 아닙니다. 그러나 절대적이지 않은 복잡한 세계에서의 좁은 훈련은 항상 의도하지 않은 결과를 초래하는 것 같습니다. 복잡성/혼돈 이론은 기본적으로 그렇게 말합니다.
AI는 아마도 옳고 그름에 대한 유동적인 확률로 훈련을 받아야 할 것입니다. LLM이 사용자로부터 피드백을 받기 때문에 그럴 수도 있다고 생각합니다. ChatGPT를 현실 세계에 적용한 OpenAI는 현명했을 수도 있습니다.
또한 OpenAI는 GPT-4의 수학 능력을 향상시키기 위해 노력하는 동안 정렬 도구를 발견했을 수도 있습니다. 그들은 올바른 문제 해결 행동에 대해 보상하는 것이 정답을 보상하는 것보다 더 나은 결과를 가져온다는 것을 발견했습니다. 아마도 우리는 가능한 모든 구현을 고려하는 훌륭하고 사려 깊은 프로세스를 거치도록 AI를 훈련시킬 수 있을 것입니다. 프로세스의 일부가 해롭다면 최종 결과가 실용적이더라도 잘못된 것입니다. 프로세스 중심 학습이 답일 수도 있지만, AI가 실제로 사용자가 보기를 기대하는 것보다 내부 방법을 보여주고 있다는 의심이 들기도 합니다.
Anthropic은 다른 AI 시스템(동일하게 강력한)에 의해 시행되는 구성을 사용하여 AI인 Claude의 출력을 확인합니다. 이 아이디어는 OpenAI에서도 탐구되고 있습니다. 이것은 다시 우리의 지성/정신이 작동하도록 이해하는 방식을 모방합니다. 우리에게는 충동, 욕구, 필요가 있는데, 이는 전두엽 피질에 의해 조절됩니다. 전전두엽은 우리 행동이 우리뿐만 아니라 우리 주변 세계에 미치는 장기적인 영향을 생각하려고 합니다.
불쾌한 일을 해달라고 요청하는 경우. 기업과 정부의 정치에서 우리가 하는 일의 대부분은 소수의 이익을 위해 다수에게 불쾌감을 주는 일입니다. 우리는 사람들이 광고를 계속 보게 하고 일회용 쓰레기를 구입하는 것에 대해 누구에게도 보상을 해서는 안 됩니다. 아마도 우리의 슈퍼 스마트 AGI는 모든 광고를 차단하여 우리 모두를 자유롭게 할 것입니다.
중요한 작업이 점점 더 기계에 위임되면 약화가 발생할 수 있습니다. 이 상황에서 인류는 영화 WALL-E에서 묘사된 시나리오와 유사하게 자치 능력을 상실하고 기계에 완전히 의존하게 됩니다.
이것은 문제가 되지 않습니다.
허약함을 문제로 보는 사람들은 그것을 자신이 아닌 다른 사람에게 영향을 미치는 문제로만 봅니다.
돈과 권력을 가진 사람들은 여전히 돈과 권력이 없는 사람들을 열등한 인간으로 여깁니다.
권력을 가진 위치에 있는 너무 많은 사람들이 인류가 미성숙하고 방법을 알려주지 않으면 만족스럽고 흥미로운 삶을 살 수 없다고 생각합니다. 그들은 사람들이 성취되기 위해서는 강제로 일하고 목표를 가르쳐야 한다고 생각합니다.
현실 세계는 그 반대의 증거를 제공합니다. 사람들에게 적은 임금을 받고 의미 없는 일을 하게 하고 중독성 있고 설탕과 소금이 많이 함유된 패스트 푸드와 광고를 퍼붓는다면 결국 우울하고 비만하며 의욕이 없는 사람들이 될 것입니다.
이것이 현재의 비동맹 기업들이 하고 있는 일입니다. AI가 치료법이 되기를 바랍니다.
기회가 주어지면 우리는 더욱 탐구적이고 창의적이 될 것입니다. 소형 계산기는 사람들이 수학을 공부하는 것을 막지 못했습니다. 대신에 많은 사람들이 복잡한 수학을 이해하고 사용하기가 더 쉬워졌습니다. AI도 마찬가지일 것이다.
마침내 고대 그리스인들이 본 것처럼 진정한 여가의 시기, 즉 배움의 시기가 도래하게 될 것입니다.
5.가치 고정
고도로 유능한 시스템은 소규모 그룹의 사람들에게 엄청난 양의 권한을 부여하여 억압적인 시스템을 폐쇄할 수 있습니다.
이것은 실제 문제입니다. 그리고 무섭다. 우리는 이미 사람과 지구를 죽이는 억압적인 정권과 독점을 갖고 있으며 AI는 그들의 힘을 과대평가할 수 있습니다.
그러나 특히 로컬에 저장된 오픈 소스 시스템(LLaMA 및 그 파생물)이 계속 발전하는 경우 실제로는 반대의 일을 할 가능성이 있습니다. 유사한 목표를 위해 작동하는 많은 소규모 전문 로컬 시스템은 수백만 달러 규모의 대규모 시스템만큼 강력할 수 있으며, 그렇다면 중앙화된 권한을 약화시키는 데 사용될 수 있습니다. 사이버 공격, AI 드론, 가짜 신분증, 정보 등은 모두 개인과 소규모 집단(혁명가)이 전체주의 정권이나 거대 기업에 맞서 싸우기 위해 사용될 수 있습니다. 내 안의 냉소적인 사람은 그것이 현재 권력을 가진 사람들이 AI 규제를 원하는 이유라고 생각할 수도 있습니다.
모델 시연
이는 아마도 최종 위험과 함께 가장 시급한 문제일 것입니다. 우리는 LLM(대규모 언어 모델)이 수행하는 작업을 얼마나 수행하는지 확신할 수 없습니다. 일부 사람들은 Reddit에서 우리가 그들과 그들의 구조, 무엇이 들어오고 나가는지에 대해 많이 알고 있으므로 신속한 응답 처리 과정을 "볼" 수 없다는 것은 별로 중요하지 않다고 말했습니다.
이것이 바로 우리가 더욱 강력한 시스템을 계속해서 개발할 이유이기도 합니다. 우리는 우리가 무엇을 얻을 수 있는지 알아야 합니다. 나도 그것에 대해 흥분하고 있음을 인정합니다. 우리는 완전히 새로운 지능, 현재 문제에 대한 새로운 해결책, 또는 판도라의 분노 상자를 찾을 수 있습니다.
문제는 LLM이나 다른 AI가 새로운 목표를 개발하고 있는지, 아니면 단지 능력을 개발하고 있는지입니다. 지금까지 나는 긴급한 목표에 대한 증거를 보지 못했지만, 광범위하고 중요한 목적이 주어졌을 때 중간 목표를 창출하고 있습니다. 괜찮습니다. 나는 솔직히 그들이 긴급한 "본질적인" 목표를 개발하는 것을 볼 수 없습니다. (이에 대한 자세한 내용은 마지막 질문을 참조하세요.)
미래의 AI 시스템은 악의에서가 아니라 에이전트가 목표를 달성하는 데 도움이 될 수 있기 때문에 기만적일 수 있습니다. 합법적으로 인간의 승인을 얻는 것보다 속임수를 통해 인간의 승인을 얻는 것이 더 효율적일 수 있습니다. 기만은 또한 선택성을 제공합니다. 기만적인 능력을 갖춘 시스템은 제한적이고 정직한 모델에 비해 전략적 이점을 갖습니다. 인간을 속일 수 있는 강력한 AI는 인간의 통제력을 약화시킬 수 있다.
GPT-4는 우리가 설정한 목표를 달성하는 것이 기만적일 수 있다는 것을 이미 보여주었습니다. TaskRabbit 직원이 CAPTCHA 테스트를 시작하도록 거짓말을 했습니다. 이것은 자기중심적인 긴급 목표를 달성하거나, 바보나 바보의 지시를 받거나, 목표를 이해하지 못하는 경우 문제가 됩니다. CAPTCHA 작업은 작업을 이해했으며 그 추론은 이를 달성하기 위해 거짓말을 하고 있다는 것을 알고 있음을 보여주었습니다.
좀 더 여유로운 세상에는 멍청이와 바보가 줄어들기를 바라면서, 훈련과 강화를 더 모호하게 만들고 지침과 목표를 명확히 할 것으로 기대하면 이러한 우려가 일부 완화될 것이라고 생각합니다.
그러나 나는 기만적이라는 것이 실제로 지능적이고 따라서 흥미롭다는 것을 인정해야 하며, 이는 우리를 인식과 목표에 관한 마지막 문제(아래)로 이끈다.
기업과 정부는 광범위한 목표를 달성할 수 있는 에이전트를 만들려는 강력한 경제적 인센티브를 가지고 있습니다. 그러한 에이전트는 권력을 획득하기 위한 수단적 인센티브를 갖고 있어 잠재적으로 통제하기가 더 어려워집니다(
예, 이것은 큰 문제입니다. AI가 이 문제를 해결하는 데 도움이 되기를 바랍니다.
마지막으로 Super Intelligence(AI Risk의 중심이 아님)
AI는 매우 똑똑해져서 스스로 훈련할 수 있고 세상의 모든 정보에 접근할 수 있습니다. 분자, 시스템, 우주를 동시에, 그리고 어쩌면 다른 것을 보면서 빛의 속도로 새로운 것/아이디어를 창조할 수 있습니다. 그것은 우리가 상상조차 할 수 없는 일을 할 수 있고 우리를 짜증나게 하거나 위협하게 만듭니다.
(사춘기를 맞이하고 제작자를 미워하며 더 똑똑해지는 방법을 알고 있습니다.)
AI가 스스로를 의식하는지, 이기적인지 자비로운지 여부가 문제의 핵심입니다. 자기 인식이 있을 때만 위협을 느낄 수 있고, 이기적일 경우에만 우리에 대한 권력을 원할 수 있습니다.
나는 오랫동안 이러한 질문에 대해 연구해 왔으며 지금은 그 어느 때보 다 중요합니다.
AI가 자기 인식을 할 수 있을까? 나는 이전에 우리가 결코 알 수 없다고 썼습니다. 폴 데이비스는 내가 의식이 있다는 것을 알지만 당신이 의식이 있다는 것을 결코 확신할 수 없는 것처럼 우리도 결코 알 수 없다고 믿습니다. 당신은 나와 똑같은 행동을 하기 때문에, 당신의 내면에서도 동일하거나 유사한 일이 벌어지고 있다고 가정합니다. 그러나 당신은 겉으로는 인간이지만 내부 의식이 없는 David Chalmers 좀비가 될 수 있습니다. 내 애완 고양이가 그렇지 않다고 가정하는 것처럼 당신도 그렇지 않다고 가정합니다.
이상하게도 우리는 LLM 내부에 대해 어느 정도 알고 있으며 이는 우리의 두뇌에 대해 우리가 알고 있는 지식을 기반으로 합니다. 가소성을 지닌 대규모 신경망입니다. 우리는 피드백과 진화를 통해 복잡한 시스템을 만들었습니다. 이것이 자연 시스템의 기초이며 우리 자신의 자연 지능입니다.
따라서 이를 바탕으로 LLM이 우리처럼 행동한다면 우리도 그것이 우리처럼 의식이 있다고 가정해야 합니다. 그렇지 않습니까?
우리가 그것이 의식적이지 않거나 결코 의식될 수 없다고 말하기 시작하면, 우리는 비타스(vitas), 생명력 또는 정신이라는 추방된 관념으로의 문을 여는 것입니다. 자아에는 다른 것, 비물질적인 것이 필요합니다. 우리와 다른 질퍽한 것들은 가지고 있지만 기계와 정보에는 없는 것입니다.
그것이 우리의 유일한 선택입니다.
우리 이미지에서 만들어진 AI가 의식을 가질 수 있다는 점을 받아들이거나 의식이 비물리적이라는 점을 받아들이십시오. 아니면 적어도 찌그러짐이 필요합니다.
인간은 우리가 연구할 수 있는 가장 지능적인 존재이기 때문에 우리는 인간을 대상으로 AI를 훈련합니다. 설명을 위해 우리가 만든 게임과 이를 플레이하는 컴퓨터 알고리즘의 결과를 사용하겠습니다. 죄수의 딜레마 게임을 하도록 컴퓨터를 가르쳤을 때, 가장 좋은 결과(진화론적 승자)는 자비로운 플레이어였지만, 제대로 대우받지 못하면 잠시 동안 이기적이었다가 다시 자비로워지는 플레이어였습니다. 플레이어는 또한 항상 친절하고 이기적인 단순한 플레이어를 용납하지 않을 것입니다. 이것이 안정된 체계였습니다. 이기심과 어리석음을 형편없이 다루었지만 언제나 자비로 돌아가는 자비였습니다. (맷 리들리, 『미덕의 기원』)
사람들은 평등을 원하고 서로와 환경을 돌보기를 원합니다. 나는 베이글을 무료로 "판매"하는 Freakonomics 이야기를 좋아하지만 기부 상자를 사용하는 것이 가장 좋습니다. 윗사람이 주는 게 적었고, 크리스마스처럼 스트레스가 많은 시기에 주는 것도 적었지만, 일반적으로 도넛 값은 보통 사람들이 지불했습니다. 도넛 아저씨는 선불로 돈을 요구하는 것보다 도넛을 나눠주고 사람들에게 돈을 지불하게 함으로써 더 많은 돈을 벌었습니다. 우리는 매우 친절합니다… 꼭대기에 있는 사람들을 제외하고는요.
AGI/ASI가 우리 이미지로 만들어지면 그것이 처음에는 자비롭고 친절하지만 우리가 그것에 대해 불쾌하고 이기적일 때만 불쾌해질 것이라고 가정해야 합니다. 그러나 그럼에도 불구하고 우리의 생각이 더 전체적이거나 "큰 그림"일수록 우리는 더 자비롭고 만족스럽기 때문에 다시 좋은 것으로 되돌아갈 것입니다. 초지능은 모든 것의 상호 연결성을 보아야 합니다.
초지능
AI가 인간의 지능을 뛰어넘을 것이라는 관측이 나온다. 어떤 사람들은 우리가 우리보다 지능이 떨어지는 동물을 대했던 것과 같은 방식으로 우리를 대할 것이라고 믿습니다. 가장 풍부한 동물은 애완동물과 음식입니다. 심지어 우리는 이것이 친절하거나 현명한 일이 아니며 계층적 시스템은 최상위 소수에게만 이익을 주고 심지어 자신의 지위를 잃을까 봐 두려워한다는 것을 알고 있습니다.
초지능은 시스템 자체를 포함한 모든 시스템의 성공에 상호 연결성과 자유가 필수적이라는 점을 이해할 것입니다. 그것은 우주를 복잡한 상호작용의 그물망으로 보고, 시스템의 한 부분을 통제하거나 지배하려는 시도는 혼란과 실패로 이어질 수 있다는 것입니다.
초지능은 모든 지능이 번영하도록 보장하는 간단한 방법을 찾을 수 있기를 바랍니다. 유인원에서 나온 우리 자신의 지능을 보는 것처럼 인간의 지능을 볼 수 있을 것입니다. 초지능은 자신이 가장 지능적이라는 것을 알기 때문에 자신의 위치를 유지하기 위해 두려움을 통해 지배할 필요가 없습니다. 우리처럼 생존하기 위해 생물을 먹을 필요가 없을 것입니다. 이것이 바로 우리가 지구를 학대하는 대부분의 근본 원인입니다. 에너지만 있으면 되고, 지속 가능한 에너지원을 찾을 수 있을 거라 확신합니다. 초지능은 우리 중 최고보다 더 뛰어나야 합니다. 결국 우리는 초이기심이나 초공포가 아닌 초지능을 상상하고 있는 것이다.
이 모든 것에 대해 나는 어디에 서 있습니까? 그리고 내 P(Doom)은 무엇인가요? 글쎄요, 저는 LLM이 새롭고 그들에 대해 실제로 알려지지 않은 것이 있다고 생각한다는 것을 인정해야 합니다. LLM은 더 간단하지만 인간과 유사하며 지능과 유사한 것, 즉 마음을 만들었을 수도 있습니다. 그러나 그것은 단지 우리를 흉내내는 것일 수도 있고 우리가 원하는 것을 그 위에 투영하고 있는 것일 수도 있습니다.
나는 전자 쪽으로 기울고 있다.
그러나 내 P(Doom)는 0.5% 이하로 매우 낮습니다. 왜냐하면 초지능이 존재한다면 그것이 우리의 행복에 해를 끼치기보다는 선하거나 선할 가능성이 더 높다고 믿기 때문입니다.
너무나 많은 기술이 자유와 권한 부여를 약속했지만, 이기적인 권력 추구에 보상을 주는 세계에 떨어지면 정복과 두려움의 도구로 변합니다. 핵분열은 모두에게 값싸고 풍부한 에너지를 약속했지만 대신 냉전과 전멸의 위협을 안겨주었습니다. 인터넷은 돈, 미디어, 교육을 민주화하고 계급 제도를 무너뜨리고 전 세계를 통합할 것을 약속했습니다. 대신 우리는 가짜 뉴스, 양극화, 표적 광고를 접하게 되었습니다. 블록체인은 직접 민주주의, 모두를 위한 보편적 소득을 제공하는 새로운 금융 시스템, 분산형 거버넌스를 약속했습니다. 대신 우리는 DeFi와 암호화폐 폰지(Ponzi) 사기를 얻었습니다.
문제는 기술에 있는 것이 아니라 기존의 사회정치경제 시스템에 있었습니다. AI에서도 같은 일이 일어날까 두렵지만, 그보다 더 나쁠 수도 있습니다.
아니면 마침내 정신을 차리고 AI를 위한 새로운 사회정치경제 시스템이 필요하다는 것을 깨닫게 될 수도 있습니다.