AI와 '지식 붕괴'의 문제

AI는 종종 환영받습니다 ( 나로서는 그 이하도 아니다 !) 인간의 지능과 창의성을 강화하기 위한 강력한 도구입니다. 하지만 AI에 의존하면 실제로 시간이 지남에 따라 혁신적인 아이디어와 혁신을 공식화하는 능력이 떨어지게 된다면 어떻게 될까요? 이번 주 Reddit과 Hacker News에서 입소문이 난 새로운 연구 논문이 제시한 놀라운 주장이 바로 이것이다.

이 논문의 핵심 주장은 언어 모델 및 지식 기반과 같은 AI 시스템의 사용 증가가 저자가 "지식 붕괴"라고 부르는 문명 수준의 위협으로 이어질 수 있다는 것입니다. 우리가 주류의 기존 정보 소스에서 훈련된 AI에 의존하게 되면서 지식의 가장자리에 있는 거칠고 비정통적인 아이디어(종종 혁신적인 발견과 발명을 촉진하는 동일한 아이디어)와의 접촉을 잃을 위험이 있습니다.

아래에서 논문에 대한 전체 분석, 일부 대위법 질문 및 기술 분석을 확인할 수 있습니다. 하지만 먼저 "지식 붕괴"가 실제로 무엇을 의미하는지, 그리고 그것이 왜 그렇게 중요한지 살펴보겠습니다.

AI와 지식붕괴의 문제

그만큼 종이 , 작성자: 앤드류 J. 피터슨 푸아티에 대학에서는 지식 붕괴 의 개념을 “시간이 지남에 따라 인간이 이용할 수 있는 정보 세트가 점진적으로 좁아지고 그에 따라 다양한 정보 세트의 인지된 가용성 및 유용성이 좁아지는 것”이라고 소개합니다.

간단히 말하면, 지식 붕괴는 AI가 기존 지식과 일반적인 아이디어에 너무 쉽게 접근할 수 있게 만들어 비전통적이고 난해한 '롱테일' 지식이 무시되고 잊혀질 때 일어나는 일입니다. 그것은 우리 개인을 더 멍청하게 만드는 것이 아니라 오히려 인간 사고의 건전한 다양성을 침식하는 것입니다.

Peterson은 다양한 아이디어, 특히 비주류 아이디어 와 상호 작용하는 것이 새로운 개념적 연결과 정신적 도약을 이루는 방법이기 때문에 이것이 혁신에 대한 실존적 위협이라고 주장합니다. 과학, 기술, 예술, 문화 분야에서 가장 영향력 있는 혁신은 종종 완전히 다른 개념을 종합하거나 한 영역에서 다른 영역으로 프레임워크를 적용하는 데서 비롯됩니다. 그러나 AI로 인해 우리가 점점 더 좁은 범위의 "정상적인" 지식을 활용하게 된다면 그러한 창의적인 불꽃이 나올 가능성은 점점 더 낮아질 것입니다. 우리의 집단지성은 순응주의 반향실에 갇혀 정체됩니다. 장기적으로 인간의 상상력의 범위는 AI 도구에 의해 최적화된 제한된 정보 식단에 맞게 축소됩니다.

이를 설명하기 위해 모든 도서 추천이 가장 인기 있는 주류 도서에 대해서만 훈련된 AI에서 나왔다고 상상해 보세요. 비주류 장르와 틈새 소재는 시간이 지나면서 사라지고, 문학계는 파생적이고 반복적인 작품의 순환에 갇히게 됩니다. 더 이상 서로 다른 영향력을 혼합하여 혁신적인 아이디어를 얻을 수 없습니다.

또는 과학자와 발명가가 기존 연구 자료에 대해 훈련된 AI로부터 모든 지식을 얻는 시나리오를 상상해 보세요. 가장 전통적이고 잘 다져진 탐구 노선은 강화되는 반면(훈련 데이터에서 많이 나타남) 실제 패러다임 전환으로 이어지는 비정통적인 접근 방식은 시들해집니다. 우리의 AI 블라인더로 인해 우리가 이를 무시하게 되므로 발견의 모든 영역이 미개척 상태가 됩니다.

이것이 바로 Peterson이 주류 데이터를 소중히 여기는 AI 시스템에 정보 공급 및 지식 큐레이션을 점점 더 많이 아웃소싱할 때 나타나는 교활한 위험입니다. 인류가 계속해서 큰 창조적 도약을 하는 데 필요한 사고의 다양성은 전통적인 것과 양적으로 대중적인 것의 중력에 의해 삼켜지고 점차 침식됩니다.

피터슨의 지식 붕괴 모델

지식 붕괴의 역학을 더 자세히 조사하기 위해 Peterson은 AI 기반의 정보 소스 축소가 세대에 걸쳐 어떻게 복합화될 수 있는지에 대한 수학적 모델을 도입합니다.

이 모델은 1) 전통적인 방법을 사용하여 정보의 완전한 실제 배포 또는 2) 주류 정보를 중심으로 더 좁은 배포에서 샘플링하는 할인된 AI 기반 프로세스 중 하나를 샘플링하여 지식을 획득하도록 선택할 수 있는 "학습자" 커뮤니티를 상상합니다.

그런 다음 Peterson은 다양한 시나리오와 가정 하에 전반적인 "공공 지식 분포"가 여러 세대에 걸쳐 어떻게 진화하는지 시뮬레이션합니다.

몇 가지 주요 결과:

• AI가 학습자에게 주류 정보에 대한 20% 비용 절감을 제공하면 공개 지식 배포는 AI가 없는 기준에 비해 2.3배 더 왜곡됩니다. 비주류 지식은 빠르게 경쟁에서 압도됩니다.

• AI 시스템(예: 다른 AI의 출력에서 학습하는 AI 등) 간의 반복적인 상호 의존성은 세대에 걸쳐 지식 붕괴를 극적으로 가속화합니다. 각 단계마다 관습에 대한 오류와 편견이 복합적으로 존재합니다.

• 붕괴를 상쇄하려면 학습자가 주변 지식을 적극적으로 찾도록 매우 강력한 인센티브가 필요합니다. 그들은 희귀한 정보의 가치를 인식할 뿐만 아니라 개인적인 비용을 들여 그것을 얻기 위해 노력해야 합니다.

  
  

Peterson은 또한 자신의 모델을 사회 학습 이론의 "정보 폭포"와 AI 회사가 가장 상업적으로 적용 가능한 데이터의 우선 순위를 지정하는 경제적 인센티브와 같은 개념과 연결합니다. 이는 모두 AI 기반 지식 생태계에서 기존 방식에 대한 강력한 압력을 시사합니다.

비판적 관점과 개방형 질문

지식 붕괴에 대한 피터슨의 주장은 철학적으로 도발적이고 기술적으로 일관성이 있습니다. 이 문서의 공식 모델은 문제를 분석하고 솔루션을 구상하는 데 유용한 프레임워크를 제공합니다.

그러나 나는 단순한 수학적 시뮬레이션을 넘어 이러한 역학이 실제로 작용하고 있다는 보다 직접적인 실제 증거를 보고 싶었습니다. 시간이 지남에 따라 지식의 다양성을 추적하기 위한 경험적 지표는 핵심 주장을 테스트하고 정량화하는 데 도움이 될 수 있습니다. 이 논문은 또한 잠재적인 반론을 다루는 데 있어서도 가볍습니다.

내 마음속에 있는 몇 가지 주요 공개 질문은 다음과 같습니다.

• 지식에 대한 AI 접근 확대가 관습에 다소 치우치더라도 여전히 혁신 측면에서 순 긍정적일 수는 없나요? 학습 장벽을 낮추는 것이 더 중요하지 않나요?

• AI 지식 도구의 효율성 향상을 유지하면서 지식 붕괴를 상쇄하는 데 도움이 될 수 있는 집단 정책, 인센티브 또는 선택 아키텍처는 무엇입니까? 기계 지능과 포괄적인 정보를 어떻게 통합할 수 있나요?

• 주류 지식이 상품화됨에 따라 AI 회사의 경제적 인센티브가 시간이 지남에 따라 희귀 데이터와 극단적 사례에 더 많은 가치를 부여하도록 바뀔 수 있습니까? 시장 역학이 실제로 다양성을 장려할 수 있을까요?

  
  

AI 교육 데이터 예약 및 비주류 지식 추구에 대한 개인의 노력과 같은 제안된 솔루션은 부분적으로만 효과적이라고 생각합니다. 이를 해결하려면 개인의 선택만이 아닌 사회, 제도적 차원의 조율이 필요한 것 같습니다. 우리는 틀에 얽매이지 않는 것을 적극적으로 가치 있게 여기고 보존하기 위한 공유 메커니즘이 필요합니다.

또한 분산형 개방형 지식 기반이 AI 기반 협소화에 대한 균형추 역할을 할 수 있는지 궁금합니다. Wikidata와 같은 이니셔티브가 arXiv , 또는 IPFS 주변 정보에 더 쉽게 접근할 수 있도록 하여 지식 붕괴에 대한 보루를 제공합니까? 여기에는 추가 작업을 위한 여지가 많습니다.

우리의 창의적인 미래를 위한 위험

궁극적으로 Peterson의 논문은 AI를 인간 지식의 중재자로 만들려는 우리의 서두르는 속에 숨어 있는 숨겨진 위험에 대한 강력한 경고입니다. 저와 같이 AI에 매우 찬성하는 사람들에게도 마찬가지입니다. 기계 지능에 의해 재편된 세계에서 혼란스럽고 다루기 힘든 사고의 다양성을 보존하는 것은 인류의 지속적인 창의성과 발전을 위해 필수적입니다.

우리는 비전통적인 것을 육성하고 기존의 것을 효율적으로 제공하기 위해 AI 지식 도구를 적극적으로 설계하는 것이 현명할 수 있습니다. 우리는 주변의 기이한 현상에 계속 연결되도록 강력한 보호 장치와 인센티브가 필요합니다. 그렇게 하지 않으면 우리 집단의 마음이 우리 자신이 설계한 순응주의 거품에 갇히게 될 위험이 있습니다.

그렇다면 당신은 어떻게 생각하십니까? AI 중심 문화에서 지식 붕괴에 대해 우려하고 있습니까? 이를 방지하기 위해 어떤 전략을 제안하시겠습니까? 댓글로 여러분의 생각을 알려주세요!

이 소개가 관심을 불러일으켰다면 유료 구독자가 되어 전체 분석을 받고 중요한 AI 문제를 명확히 하는 제 작업을 지원해 보세요. 이러한 아이디어를 고심하는 것이 우리의 창의적인 미래를 위해 필수적이라는 저의 확신에 동의하신다면 이 글을 공유하고 다른 사람들을 토론에 초대해 주십시오.

인간 지식의 다양성은 추상적이고 있으면 좋은 것이 아닙니다. 그것은 인류의 가장 의미 있는 혁신과 창조적 도약을 위한 필수적인 촉매제입니다. 초효율적인 AI 지식 큐레이션에 직면하여 역동적인 아이디어 범위를 보존하는 것은 혁신적인 종으로서 우리의 미래를 위한 결정적인 과제입니다!