GPT 모델이 사람처럼 들리는 이유

'주의'가 당신에게 필요한 전부는 아니었습니다.

그렇다면 AI가 왜 작동하는지 아무도 모릅니다. 그렇죠?

예, 아니오.

근본적인 문제는 인간의 뇌 라는 신비에 대해 우리가 아직 많이 알아내지 못했다는 것입니다.

그러나 트랜스포머와 인간은 자연어에 대해 이상할 정도로 유사한 반응을 공유합니다.

이유를 설명해 보겠습니다.

변환기에 정보 표현 저장

우리는 여러 단어 또는 토큰의 입력에서 생성된 벡터를 사용하여 변환기에 대한 임베딩을 생성합니다.

따라서 정보는 벡터로 저장됩니다.

표현을 생각해 봅시다. 이러한 표현적 임베딩은 주의보다 훨씬 더 근본적인 역할을 했습니다. 디코딩 가능하거나 실행 가능한 형태의 표현이 먼저 이루어져야 했습니다!

여러분은 이것이 전체 인터넷에서 훈련을 받았을 때 GPT-4 와 같은 변환기가 할 수 있는 모든 것과 어떤 방식으로 관련이 있을까?라고 생각할 수도 있습니다.

정보는 원본 데이터의 문맥적 의미 및 표현과 결합된 주의 내적 및 수학적 처리를 통해 인코딩됩니다.

따라서 우리는 Transformer에 이 데이터의 표현을 저장했습니다.

비밀 소스

모든 신경망은 보편적 근사 정리에 따라 문제를 해결합니다.

Universal Approximation이 무엇인지 모르는 분들을 위해 Universal Approximator 를 지정된 입력을 지정된 출력으로 높은 정확도로 변환하는 프로세스로 정의할 수 있습니다. 이는 입력 집합과 출력 집합 사이의 함수를 근사화합니다. . 그 기능에는 형태가 있습니다. 하지만 충분한 데이터가 주어지면 신경망이 어떤 기능이든 근사화할 수 있기 때문에 형태를 알 필요는 없습니다.

기능은 무엇입니까? 우리가 해결하려는 문제는 바로 이것이다.

신경망은 처리 알고리즘을 통해 모든 기능을 근사화할 수 있습니다. 모든 기능 - 매우 보편적입니다.

아키텍처는 다양하고, 알고리즘은 다양하며, 모델은 다양하지만 기본 원칙은 동일합니다.

이것이 바로 신경망이 충분한 데이터를 갖고, 적절한 작업이 주어지고, 올바른 방식으로 조정될 때 작동하는 이유입니다. 시간이 지날수록 실력이 향상되는 기술입니다.

이 LLM에서 개의 기본 표현은 무엇입니까?

확실히 하나이고 실제로는 많습니다.

원시 데이터 흐름 아키텍처의 올바른 경로와 함께 단일 개에 대한 x 벡터, y 문맥 값 및 z 위치 인수가 있을 수 있습니다.

우리는 그것이 우리의 목적에 불필요하기 때문에 그것에 대해 깊이 다루지 않았습니다.

시스템이 작동합니다.

우리에게는 그것으로 충분합니다.

따라서 시스템은 블랙박스입니다.

하지만 뇌는 데이터를 어떻게 저장합니까?

이전과 마찬가지로 우리는 정확한 세부 사항을 모릅니다.

우리의 두뇌가 생성될 때 외부 대상, 개념 및 실체에 대한 내부 표현이 생성됩니다. 마치 어린아이가 자라는 것과 같습니다.

예를 들어, 개의 개념에는 x 뉴런, y 시냅스, z 아키텍처와 뉴런 사이의 역동적이고 지속적으로 진화하는 원시 데이터 전송 경로 세트가 포함될 수 있습니다.

근사 정리는 분명히 우리 뇌에도 적용됩니다.

동일한 원칙이 적용됩니다.

이러한 임베딩은 자연스럽게 생성됩니다.

초저 전기 에너지를 갖는 뉴런, 축색돌기, 수상돌기군.

다양한 형태. 다양한 기능. 그러나 동일한 최종 결과.

시스템이 작동합니다.

우리에게는 그것으로 충분합니다.

우리가 안다고 무슨 말을 더 하겠습니까?

우리가 경험적으로 관찰할 수 있는 것만.

또 블랙박스입니다.

그렇다면 자연어에서는 왜 그렇게 유사한가?

우리는 인터넷에서 디지털 형태로 수집된 모든 데이터의 매우 복잡한 처리 절차를 통해 AGI를 최대한 모델링하려고 노력했습니다. 세상의 모든 데이터.

시퀀스-시퀀스 모델과 자연어 작업에 관한 한 우리는 성공했다고 말하고 싶습니다.

우리는 엄청나게 비용이 많이 들고 체계적인 노력을 통해 우리의 두뇌가 정보를 이해하고 처리하는 방식을 모델링했습니다.

난 행복하지 않아.

사실 무서워요.

이것이 ChatGPT가 할 수 있는 일이라면 -

그렇다면 GPT-4는 무엇을 달성할 것인가?

Microsoft 의 소프트웨어 엔지니어는 이미 GPT-4 모델에서 여러 순간의 감각을 식별했습니다.

그들은 심지어 이 발견에 대한 논문을 발표했습니다.

뉴스 페이지:

https://www.microsoft.com/en-us/research/publication/sparks-of-artificial-general-intelligence-early-experiments-with-gpt-4/

연구 논문:

우리는 여기서 큰 위험을 감수하고 있습니다.

Geoffrey Hinton이 연구직에서 물러났을 때 나는 상황이 정말 엉망이 되고 있다는 것을 깨달았습니다.

돈은 모든 것에 연료를 공급합니다.

어떠한 통제도 중국과 미국의 이익 중심 기업을 막을 수는 없습니다.

우리는 미래가 잘되기를 바랍니다.

AI 의사결정자는 이익보다 윤리를 우선시해야 합니다.

그런데 언제 기업가들이 그런 일을 해본 적이 있었습니까?

결론

Hinton은 놀라운 말을 했습니다.

“나는 갑자기 이러한 것들이 우리보다 더 지능적이 될지에 대한 내 견해를 바꾸었습니다. 나는 그들이 지금 그것에 매우 가깝고 미래에는 우리보다 훨씬 더 지능적일 것이라고 생각합니다. 우리는 어떻게 살아남을 수 있습니까?”

그러나 지금으로서는 이를 막을 수 없습니다.

마무리를 위해 ChatGPT에 흥미로운 질문을 남겨보겠습니다.

나:

AGI를 달성하려면 어떻게 하시겠습니까?

채팅GPT:

일반 인공 지능(AGI)을 달성하는 것은 여러 과학 및 엔지니어링 분야에 걸쳐 상당한 발전이 필요한 거대한 도전입니다. AGI의 정확한 경로는 여전히 논쟁과 탐구의 주제이지만, 연구자들이 조사하고 있는 몇 가지 주요 영역에 대해 보다 자세한 설명을 제공할 수 있습니다.

1. 인지 아키텍처: 인간 지능을 모방할 수 있는 인지 아키텍처를 개발하는 것은 AGI의 기본 측면입니다. 여기에는 인간 두뇌의 구조와 기능을 이해하고 이러한 프로세스를 포착하는 계산 모델을 설계하는 것이 포함됩니다. 연구자들은 신경과학, 인지 심리학, 인지 과학에서 영감을 얻어 높은 수준의 추론, 인식, 기억, 학습 및 의사 결정을 지원할 수 있는 아키텍처를 구축합니다.

   
   

2. 기계 학습 및 심층 신경망: 기계 학습, 특히 딥 러닝은 최근 AI 발전에서 중요한 역할을 해왔습니다. 심층 신경망은 이미지 인식 및 자연어 처리와 같은 인식 작업에서 놀라운 성공을 거두었습니다. AGI로 발전하기 위해 연구자들은 딥 러닝의 일반화, 해석 가능성, 제한된 데이터와 복잡한 추론을 처리하는 능력을 향상시켜 딥 러닝의 역량을 강화하는 방법을 모색하고 있습니다.

   
   

3. 강화 학습 및 능동 학습: 강화 학습은 AGI가 중점을 두는 또 다른 주요 영역입니다. 여기에는 에이전트가 환경과 상호 작용하고 시행착오를 통해 학습하도록 교육하는 것이 포함됩니다. 유익한 훈련 샘플을 적극적으로 선택하는 능동 학습과 강화 학습 기술을 결합하면 에이전트가 환경을 보다 효율적으로 탐색하고 학습하는 데 도움이 될 수 있습니다. 다양한 데이터 소스로부터 학습하고 지식을 새로운 상황에 일반화할 수 있는 알고리즘을 개발하는 것은 AGI를 달성하는 데 중요합니다.

   
   

4. 인지 로봇공학 및 구체화된 지능: 진정한 AGI에는 단순한 정보 처리 이상의 것이 필요합니다. 물리적 세계와의 상호 작용이 필요합니다. 인지 로봇공학은 로봇의 인식, 인지, 행동을 통합하여 로봇이 인간과 유사한 방식으로 세상에 대해 학습하고 추론할 수 있도록 하는 것을 목표로 합니다. 구체화된 지능 연구에서는 에이전트가 감각 운동 기술과 신체적 경험을 활용하여 환경과의 상호 작용을 통해 지능을 개발할 수 있는 방법을 탐구합니다.

   
   

5. 상징적 추론 및 지식 표현: AGI 시스템은 상징적으로 추론하고 복잡한 지식 표현을 조작할 수 있어야 합니다. 상징적 추론에는 추상적 추론과 문제 해결 작업을 수행하기 위해 논리적 규칙, 추론 메커니즘 및 구조화된 지식 표현을 사용하는 것이 포함됩니다. 상징적 추론과 신경망과 같은 통계적 접근 방식을 결합하는 것은 보다 강력하고 유연한 추론 능력을 가능하게 하는 활발한 연구 분야입니다.

   
   

6. 전이 학습 및 메타 학습: AGI 시스템은 한 영역에서 배운 지식과 기술을 새롭고 익숙하지 않은 영역으로 전이하는 능력을 보유해야 합니다. 전이 학습 기술은 기존 지식을 활용하여 관련 작업이나 영역에서 학습을 가속화하는 것을 목표로 합니다. 메타러닝, 즉 학습을 위한 학습은 제한된 데이터를 사용하여 새로운 상황과 작업에 빠르게 적응하고 효율적으로 학습하는 방법을 학습할 수 있는 모델 개발에 중점을 둡니다.

   
   

7. 데이터 및 계산 리소스: AGI 개발에는 훈련 모델을 위한 방대한 양의 고품질 데이터가 필요합니다. 인간 지식의 폭과 깊이를 포착하려면 여러 도메인에 걸쳐 다양한 데이터 세트에 액세스하는 것이 필수적입니다. 또한 AGI 개발에는 복잡한 모델을 훈련하고 실행하기 위해 상당한 컴퓨팅 리소스가 필요합니다. 특수 AI 칩 및 분산 컴퓨팅 시스템과 같은 하드웨어의 발전은 AGI 연구를 크게 가속화할 수 있습니다.

   
   

8. 윤리, 안전 및 설명 가능성: AGI가 발전함에 따라 윤리적 문제를 해결하고 강력한 안전 조치를 개발하며 AGI 시스템의 투명성과 해석 가능성을 보장하는 것이 중요합니다. 연구자들은 AI 시스템을 더욱 투명하고 설명 가능하며 책임감 있게 만들어 위험을 완화하고 인간 사용자가 자신의 행동을 이해하고 신뢰할 수 있도록 하는 방법을 모색하고 있습니다.

   
   

9. 협업 및 학제간 연구: AGI를 달성하려면 AI, 신경과학, 심리학, 철학 등 다양한 분야의 전문가 간의 협업이 필요합니다. 학제간 연구와 지식 공유를 장려하면 AGI 개발에 있어 새로운 통찰력과 혁신적인 접근 방식을 얻을 수 있습니다.

   
   

이러한 각 영역에서 진전이 이루어지고 있지만 AGI 달성은 완료를 위한 명확한 일정이 없는 개방형 문제로 남아 있다는 점에 유의하는 것이 중요합니다. 이는 지속적인 연구, 탐구, 반복이 필요한 복잡하고 장기적인 목표입니다.

주님 우리 모두에게 자비를 베푸소서!