10,830 판독값

아시모프는 자신도 모르게 현대 프롬프트 엔지니어링을 개척했습니다.

~에 의해 Login Jones15m2023/05/14

너무 오래; 읽다

프롬프트 엔지니어링은 정확하고 관련성이 높으며 유용한 출력을 생성하기 위해 AI 대형 언어 모델에 대한 입력 프롬프트를 제작하고 개선하는 프로세스입니다. 여기에는 구체적이고 원하는 결과를 달성하기 위해 AI 시스템을 조작하기 위한 프롬프트와 기본 데이터 구조의 신중하고 체계적인 설계와 개선이 포함됩니다. AI, 특히 자연어 처리 모델의 등장으로 신속한 엔지니어링이 중요해졌습니다.

featured image - 아시모프는 자신도 모르게 현대 프롬프트 엔지니어링을 개척했습니다.

SF 분야의 선구자인 아이작 아시모프(Isaac Asimov) 는 획기적인 로봇 시리즈에서 인간과 로봇의 상호 작용에 대한 생각을 자극하는 탐구를 통해 자신도 모르게 현대 신속한 공학을 개척했습니다.

프롬프트엔지니어링 - 배경과 역사

가장 인기 있는 새로운 프로그래밍 언어는 영어입니다 - Andrej Karpathy(@karpathy)

프롬프트 엔지니어링은 정확하고 관련성이 높으며 유용한 출력을 생성하기 위해 AI 대규모 언어 모델에 대한 입력 프롬프트를 제작하고 개선하는 프로세스입니다. 여기에는 구체적이고 원하는 결과를 달성하기 위해 AI 시스템을 조작하기 위한 프롬프트와 기본 데이터 구조의 신중하고 체계적인 설계와 개선이 포함됩니다. AI, 특히 자연어 처리 모델의 등장으로 신속한 엔지니어링은 AI 시스템의 효율성과 사용자 경험을 향상시키는 수단으로 중요성이 커졌습니다.

신속한 엔지니어링은 논리, 코딩, 예술 및 언어 요소를 결합합니다.

프롬프트 엔지니어링 용어

프롬프트 명확성(Prompt Clarity ) 프롬프트는 AI가 오해할 여지가 없도록 명확하고 모호하지 않아야 합니다.

Prompt Precision : AI에서 원하는 특정 정보나 출력을 목표로 설계되었습니다.

프롬프트 컨텍스트 : AI 시스템이 원하는 출력을 생성하도록 안내하려면 배경 정보나 예시와 같은 프롬프트 내의 충분한 컨텍스트가 필수적입니다.

신속한 적응성 : 다르게 훈련된 AI 모델 전반에서 예상되고 정확한 결과를 산출합니다.

일련의 사고 프롬프트 : 프롬프트에는 문제를 해결하는 데 필요한 추론 프로세스를 조명하는 일련의 추론이 포함됩니다.

최소에서 최대 프롬프트 : 문제를 하위 문제로 나눈 다음 각 문제를 해결하여 AI를 특정 방향으로 최종 솔루션으로 유도합니다.

역할 프롬프트 : AI의 컨텍스트를 특정 전문 역할로 전문화하여 보다 정확한 결과를 얻는 데 도움이 됩니다.

One, Zero 또는 Few 샷 프롬프트 : AI의 컨텍스트를 설정하고 특정 경로를 따라 제한하여 보다 정확한 결과를 얻는 데 도움이 되는 질문/답변의 0개, 1개 또는 몇 가지 예를 제공합니다.

아시모프의 로봇 시리즈

Asimov의 로봇 세계는 수많은 소설, 단편 소설, 상호 연결된 시리즈에 걸쳐 있는 광활하고 복잡한 세계입니다. 인간이 은하계 전체의 다양한 행성을 식민지화한 미래를 배경으로 하는 이 우주는 지구와 스페이서 세계 사이의 명확한 구분이 특징입니다.

인구가 과잉이고 기술적으로 제한된 지구에는 일반적으로 로봇을 두려워하고 불신하는 강철 동굴 로 알려진 광대하고 돔형 도시에 사는 인간이 살고 있습니다.

이에 반해 스페이서 세계는 인구가 적고 기술이 발달한 사회로, 인간과 로봇이 조화롭게 공존하며 로봇이 일상생활의 필수적인 부분이 되었습니다. 스페이서 세계는 지구와 그 주민들에 대해 겸손한 태도를 유지하며 그들을 뒤떨어지고 열등하다고 생각합니다.

로봇공학의 3가지 법칙은 로봇 세계의 핵심 개념으로, 로봇 행동의 지침이 되는 원칙입니다.

Asimov가 고안한 법칙은 다음과 같습니다.

로봇은 인간에게 부상을 입힐 수 없으며, 아무런 조치도 취하지 않음으로써 인간이 해를 입도록 허용할 수 없습니다.
로봇은 인간이 내린 명령에 복종해야 합니다. 단, 그러한 명령이 제1법칙과 충돌하는 경우는 예외입니다. 그리고
로봇은 제1법칙이나 제2법칙에 위배되지 않는 한 자신의 존재를 보호해야 합니다.

Asimov의 이야기 전반에 걸쳐 인간과 로봇 사이의 상호 작용은 물론 세 가지 법칙의 윤리적, 철학적 의미가 로봇 세계의 중추를 형성하여 독자들에게 인류와 진보가 이루어지는 미래의 도전과 잠재적 결과에 대한 독특한 탐구를 제공합니다. 인공지능이 공존한다.

Asimov: 무의식 프롬프트 엔지니어

1950년대부터 시작된 아이작 아시모프의 로봇 시리즈와 단편 소설들은 로봇에게 정확한 명령을 내리는 것의 중요성을 크게 강조했는데, 이는 현대 신속한 공학의 전조라고 볼 수 있다. Asimov의 작품은 특히 로봇공학의 세 가지 법칙에 따라 작동하는 로봇에 내포된 복잡한 AI 시스템을 다룰 때 신중하게 제작된 지침의 필요성에 대한 본질적인 이해를 보여주었습니다.

Asimov의 작품에서 나온 신속한 엔지니어링의 예

거울 이미지 (단편 소설 1972)

스페이서 그룹의 우연한 성간 여행 중에 우주선에서 범죄가 발생합니다. 양당은 젊고 뛰어난 수학자(Sabbat)와 원로이자 확고한 수학자(Humboldt)로, 둘 다 상대방이 상대방으로부터 뛰어난 새로운 수학적 아이디어를 훔쳤다고 비난하고 있습니다. 유일한 목격자는 수학자 로봇 하인들뿐이다. 지구인 탐정 엘리야 베일리는 범죄가 더 큰 스캔들로 폭발하기 전에 최대한 빨리 조사하고 해결하도록 도와달라는 요청을 받았지만 그가 할 수 있는 일은 로봇과 인터뷰하는 것뿐이었습니다. 베일리는 각 당사자가 상대방의 이야기를 그대로 반영하고 있는 것을 보고 어느 당사자가 거짓말을 하고 있는지 알아내야 합니다.

베일리 형사는 젊은 수학자인 사바츠(Sabbats) 로봇을 심문하고 로봇의 증언을 통해 노인 수학자가 더 큰 피해를 입게 될 것임을 보여주는 논리적 단계를 안내하고 로봇이 증언을 바꾸도록 합니다.

다음은 Elijah Baley 형사와 로봇 서버 R. Idda 사이의 심문 내용을 간략하게 수정한 내용입니다.

Baley : 당신은 Gennao Sabbat의 개인 로봇이군요, 그렇죠?
로봇 : 저는 선생님입니다.
베일리 : 얼마나 오랫동안요?
로봇 : 22년 동안이었습니다, 선생님.
베일리 : 그리고 당신 주인님의 평판이 당신에게는 소중한가요?
로봇 : 네, 선생님.
Baley : 그 평판을 보호하는 것이 중요하다고 생각하시나요?
로봇 : 네, 선생님.
베일리 : 그의 명예를 보호하는 것이 육체적 생명만큼 중요합니까?
로봇 : 아니요, 선생님.
Baley : 다른 사람의 평판만큼 자신의 평판을 보호하는 것이 중요합니까?
로봇 : 그런 경우는 개인의 장점에 따라 결정되어야 합니다, 선생님. 일반적인 규칙을 확립할 방법은 없습니다.
베일리 : 당신 주인의 평판이 다른 사람, 예를 들어 알프레드 바 훔볼트의 평판보다 더 중요하다고 결정했다면 당신은 주인의 평판을 보호하기 위해 거짓말을 하시겠습니까?
로봇 : 그러겠습니다, 선생님.
베일리 : 당신은 훔볼트 박사와의 논쟁에서 당신의 스승에 관해 증언에서 거짓말을 하였습니까?
로봇 : 아니요, 선생님.
Baley : 하지만 만약 당신이 거짓말을 하고 있었다면, 그 거짓말을 보호하기 위해 당신이 거짓말을 했다는 사실을 부인했을 것입니다. 그렇지 않나요?
로봇 : 네, 선생님.
Baley : 그럼, 이것을 생각해 봅시다. 당신의 스승인 Gennao Sabbat는 수학에서 큰 명성을 얻은 청년이지만 그는 청년입니다. 만일 훔볼트 박사와의 논쟁에서 그가 유혹에 굴복하여 비윤리적으로 행동했다면, 그는 평판이 어느 정도 훼손되었을 것입니다. 그러나 그는 젊고 회복할 시간이 충분할 것입니다. 그는 앞으로 많은 지적 승리를 거둘 것이며 사람들은 결국 이러한 표절 시도를 판단력이 부족한 열혈 청년의 실수로 간주하게 될 것입니다. 앞으로 보완할 부분이겠죠. 반면에 유혹에 굴복한 사람이 훔볼트 박사라면 문제는 훨씬 더 심각할 것입니다. 그는 수세기에 걸쳐 위대한 업적을 이룬 노인입니다. 그의 명성은 지금까지 흠잡을 데가 없었다. 그러나 그 모든 것은 그의 말년의 이 한 가지 범죄로 인해 잊혀질 것이며, 그에게 남은 비교적 짧은 시간 동안 그것을 만회할 기회도 없을 것입니다. 그가 성취할 수 있는 일은 더 이상 없을 것이다. 당신의 주인의 경우보다 훔볼트의 경우에 훨씬 더 오랜 세월의 작업이 망쳐질 것이며 그의 지위를 되찾을 기회도 훨씬 적을 것입니다. 당신은 훔볼트가 더 나쁜 상황에 직면해 있고 더 큰 배려를 받을 자격이 있다는 것을 알고 있지 않습니까?
로봇 : 내 증거는 거짓말이었어요. 훔볼트 박사였어요
베일리 : 당신은 선장의 허락을 받을 때까지 이 일에 대해 아무에게도 말하지 말라고 지시받았습니다.

Baley가 수석 수학자 Humboldt의 로봇 하인 R. Preston을 심문할 때 심문은 마지막 부분을 제외하고는 다음과 같이 진행됩니다.

Baley : 하지만 만약 당신이 거짓말을 하고 있었다면, 그 거짓말을 보호하기 위해 당신은 거짓말을 했다는 사실을 부인했을 것입니다. 그렇지 않나요?
로봇 : 네, 선생님.
Baley : 그럼, 이것을 생각해 봅시다. 당신의 스승인 알프레드 바 훔볼트(Alfred Barr Humboldt)는 수학에서 큰 명성을 얻은 노인이지만 그는 노인입니다. 만일 사바트 박사와의 논쟁에서 그가 유혹에 굴복하여 비윤리적으로 행동했다면, 그는 명성이 어느 정도 훼손될 것입니다. 그러나 그의 오랜 세월과 그의 수세기에 걸친 업적은 그것에 맞서 승리할 것입니다. 사람들은 이러한 표절 시도를 병들어 더 이상 판단이 확실하지 않은 노인의 실수로 간주할 것입니다. 반면에 유혹에 빠진 것이 Dr. Sabbat라면 문제는 훨씬 더 심각할 것입니다. 그는 평판이 훨씬 덜 안전한 청년입니다. 그는 일반적으로 지식을 축적하고 위대한 일을 성취할 수 있는 몇 세기를 앞당길 것입니다. 이제 그에게는 이것이 닫혀질 것인데, 그는 젊었을 때의 한 가지 실수로 인해 모호해졌습니다. 그는 당신의 주인보다 잃을 미래가 훨씬 더 깁니다. 당신은 안식일이 더 나쁜 상황에 직면해 있고 더 큰 배려를 받을 자격이 있다는 것을 알고 있지 않습니까?
로봇 : 내 증거는 내가-
베일리 : 계속해주세요, R. 프레스턴.
Daneel : 친구 Elijah, R. Preston이 정체 상태에 있다는 것이 두렵습니다. 그는 임무를 수행하지 않습니다.

단편 소설에서 베일리 형사는 로봇의 반응 차이를 이용해 함정을 설치하고 실제 도둑이 자백하도록 속입니다.

여기서 우리는 Asimov가 로봇을 심문하는 동안 Baley가 배치한 최소에서 최대의 프롬프트를 사용하는 것을 볼 수 있습니다. 두 로봇 모두에 대해 그는 경험에 비대칭성이 있는지(즉, 어느 쪽이 거짓말을 하고 있는지) 확인하고 싶어하며, 그의 접근 방식은 결국 복잡한 도덕적 질문을 설정하는 추론 경로로 로봇을 이끄는 것입니다.

궁극적으로 이야기에서 Baley는 로봇 반응의 비대칭성과 인간 본성에 대한 직관을 결합하여 사건을 해결하지만 Asimov가 인간 수준 AI와 상호 작용하는 데 필요한 뉘앙스를 예측하고 실제로 이 중요한 기반을 구축하는 것을 보는 것은 매우 흥미롭습니다. SF 시리즈는 그 사실을 다루고 있습니다.

런어라운드(1942)

이 짧은 이야기 에서는 유난히 비싼 로봇인 스피디(Speedy)가 위험한 행성에서 원소를 회수하는 임무를 맡게 됩니다. 이 Speedy는 비싸기 때문에 제3법칙(로봇은 제1법칙이나 제2법칙과 충돌하지 않는 한 자신의 존재를 보호해야 함)을 평소보다 더 강력하게 따르도록 프로그램되어 있습니다.

인간 주인공인 파웰과 도노반은 스피디에게 셀레늄 풀에서 셀레늄을 회수하는 임무를 맡깁니다. 인간은 부족한 전력 셀을 재충전하고 열로부터 자신을 보호하기 위해 이것이 필요합니다. 그러나 그들은 임무의 중요성을 강조하지 않는 부정확한 명령을 스피디에게 주면서 의도치 않게 로봇공학 제2법칙과 제3법칙 사이의 충돌을 일으킵니다. 그들은 Speedy에게 "나가서 [셀레늄]을 가져오세요"라고 지시합니다. 셀레늄 풀로 인한 위험과 평소보다 더 강력하게 제3법칙을 따르는 Speedy의 성향으로 인해 Speedy는 자기 보존(제3법칙)보다 자신의 명령(제2법칙)을 우선시할 수 없는 루프에 갇히게 됩니다.

문제는 결국 Powell이 자신을 위험에 빠뜨리고 제1법칙을 호출하고 Speedy가 그를 구하는 것을 우선시하도록 강요함으로써 해결됩니다. Powell과 Donovan은 Speedy에게 처음에 부정확한 명령을 내립니다.

그런 다음 그는 "들어봐, 마이크, 스피디에게 셀레늄을 보낸 후 뭐라고 말했니?"라고 말했습니다.

도노반은 깜짝 놀랐다. "젠장 - 모르겠어요. 그냥 가져오라고 했어요."

"예, 알아요. 그런데 어떻게요? 정확한 단어를 기억해 보세요."
"내가 말했지... 어... 내가 말했지: '빠르게, 셀레늄이 좀 필요해. 어디 가서 구할 수 있어. 가서 가져와' - 그게 다야. 내가 무슨 말을 더 하길 바랐나요? "

여기서 핵심은 Donovan이 내가 방금 그에게 지시한 명령이 긴급한 내용이 포함되어 있지 않았기 때문에 부정확했다는 것입니다. Asimov의 로봇 세계에서 명령의 톤과 전달은 프롬프트 자체의 추가 변수일 뿐입니다. 그래서 명령의 어조가 특별히 긴급하지 않았기 때문에 삼법의 충돌이 발생했습니다.

Speedy는 루프에 갇혀 더 정확하게 반복되고 재구성되는 다른 프롬프트를 받아들일 수 없기 때문에 올바른 조치를 취하는 유일한 방법은 초기 부정확한 프롬프트가 원하는 출력으로 이어지도록 유니버스의 다른 변수를 변경하는 것이었습니다. . Powell은 결국 자신을 위험에 빠뜨리고 Speedy가 자신을 구하는 데 우선 순위를 두도록 강요하고(1번째 법이 우선권을 가짐) 그를 2번째와 3번째 법 명령 사이의 교착 상태에서 벗어나게 함으로써 문제를 해결합니다.

이 이야기는 프롬프트(Speedy에 대한 주문)에서 적절한 컨텍스트를 사용하지 않으면 어떻게 부정확한 결과가 발생하는지 보여줍니다. Runaround에서 발췌한 적절한 내용은 다음과 같습니다.

그들을 구할 수 있는 유일한 것은 셀레늄이었습니다. 셀레늄을 얻을 수 있는 유일한 것은 Speedy였습니다. Soeedy가 돌아오지 않으면 셀레늄도 없습니다. 셀레늄도 없고 광전지 뱅크도 없습니다. 사진 은행은 없습니다. 천천히 구워서 죽는 것은 가장 불쾌한 방법 중 하나입니다.

도노반은 붉은색 머리카락을 거칠게 문지르며 씁쓸한 표정을 지었다.

"우린 시스템의 웃음거리가 될 거야, 그렉. 어떻게 모든 것이 그렇게 빨리 잘못될 수 있지? 파웰과 도노반으로 이루어진 훌륭한 팀은 현대 기술과 로봇과 우리는 첫날 모든 것을 망칩니다. 순전히 일상적인 일이기도 합니다. 우리는 결코 그것을 살지 않을 것입니다."

"아마 그럴 필요는 없을 겁니다." 파월이 조용히 대답했다. "우리가 뭔가를 빨리 하지 않으면, 아무것도 살지 못하거나 평범한 삶을 사는 것은 불가능할 것입니다."

프롬프트는 또한 적응성 이 부족하여 어려움을 겪었습니다. 좋은 프롬프트는 다양한 AI 시스템에서 정확한 결과를 산출할 수 있어야 합니다. Donovan은 셀레늄을 얻으라는 표준 명령(즉시)을 신속하게 내렸다고 말했습니다.

도노반: "내가 말했지... 어... 내가 말했지: '빠르게, 셀레늄이 좀 필요해. 여기 저기서 구할 수 있어. 가서 가져와 - 그게 다야. 내가 무슨 말을 더 하길 바랐어? ?"

파월: "당신은 긴급한 명령을 내리지 않았군요, 그렇죠?"

도노반: "왜요? 순전히 일상적인 일이었죠."

여기서 잘못된 가정은 다른 로봇/AI에서 잘 작동하는 셀레늄을 얻기 위한 간단한 명령/프롬프트가 Speedy에서도 동일하게 작동하지만 Speedy의 '양전자 두뇌'/신경망이 다르게 훈련된다는 것을 알고 있기 때문입니다(3rd 자기보존의 법칙이 강화됨) 스피디는 표준 AI가 아닙니다. 따라서 보다 적응 가능한 프롬프트/순서를 사용해야 합니다.

정확한 결과를 얻기 위해 AI에 제공되는 프롬프트의 명확성, 맥락 및 적응성의 원칙은 프롬프트 엔지니어링의 핵심 개념입니다. 프롬프트가 더 설명적이고 자세할수록 결과가 더 좋다는 것은 일반적으로 이해됩니다. PromptingGuide.ai . 이 이야기(1942년에 처음 작성됨)에서 Asimov는 이러한 규칙을 따르지 않으면 어떻게 부정확한 결과가 발생할 수 있는지 자세히 보여줍니다.

강철의 동굴(1954)

"강철의 동굴"은 1954년에 처음 출판되었으며 로봇 세계를 배경으로 한 소설 시리즈의 첫 번째 작품으로 엘리야 베일리 형사와 로봇 다니엘 올리바우라는 캐릭터를 소개합니다.

이야기는 먼 미래를 배경으로 하고 있습니다. 지구의 주민들은 크고 돔형 도시에 살고 있으며 그들은 다른 행성을 식민지화하고 첨단 기술과 로봇 공학을 수용한 인간 그룹인 스페이서에 대해 깊은 분노를 품고 있습니다. Asimov는 친구 경찰 이야기를 사용하여 편견, AI, 기술 및 협력이라는 주제를 탐구합니다. Baley와 Daneel의 파트너십은 Asimov의 로봇 시리즈의 초석 역할을 하며, 인간과 로봇/AI 간의 역동적인 관계는 물론 공존에서 직면하는 과제를 계속해서 탐구합니다.

"전문가의 말 / 기계로의 전환" 장에는 짧지만 매우 기발한 장면이 있는데, 이는 1954년에도 Asimov가 AI의 효율성을 평가할 필요가 있고 평가가 매우 침습적일 수 있다고 예측했음을 보여줍니다. 모델의 상태와 정확성을 빠르게 확인할 수 있는 더 쉬운 평가 방법도 있을 것입니다.

문제의 장면에는 Baley가 로봇 Daneel Olivaw를 평가하여 첫 번째 법칙이 올바르게 설치되었는지 확인하도록 요청받은 지구 로봇공학자(Gerrigel 박사)가 포함됩니다(기본적으로 정확한 모델).

필요한 장비를 컴퓨터실에 제공하자 Gerrigel 박사는 다음과 같이 대답합니다.

Gerrigel 박사 : 친애하는 Baley 씨, 저는 실험실이 필요하지 않습니다.
베일리 : 왜 안 돼요?
Gerrigel 박사 : 제1법칙을 테스트하는 것은 어렵지 않습니다. ... 충분히 간단합니다.
베일리 : 무슨 뜻인지 설명해 주시겠어요? 여기서 그를 시험해 볼 수 있다는 말씀이신가요?
Gerrigel 박사 : “물론이죠. 베일리씨, 제가 비유를 하나 드리겠습니다. 내가 의학박사이고 환자의 혈당을 검사해야 한다면 화학 실험실이 필요할 것입니다. 아이의 기초 대사율을 측정해야 하거나, 피질 기능을 테스트해야 하거나, 선천적 기능 장애를 찾아내기 위해 유전자를 검사해야 한다면 정교한 장비가 필요할 것입니다. 반면에 나는 그의 눈 앞에 손을 대는 것만으로도 그가 맹인인지 확인할 수 있었고, 그의 맥박을 만져보는 것만으로 그가 죽었는지 아닌지를 알 수 있었다. “내가 얻은 것은 테스트 대상 속성이 더 중요하고 기본적일수록 필요한 장비가 더 간단하다는 것입니다. 로봇에서도 마찬가지다. 제1법칙은 기본입니다. 그것은 모든 것에 영향을 미칩니다. 만약 그것이 없다면 로봇은 24가지의 명백한 방식으로 적절하게 반응할 수 없습니다.”

Gerrigel 박사가 Daneel에 대해 수행한 실제 평가에 대한 설명은 다음과 같습니다.

뒤따른 일은 그를 혼란스럽게 하고 실망시켰습니다.
Gerrigel 박사는 계속해서 질문을 하고 무의미해 보이는 행동을 수행했으며, 그의 삼중 슬라이드 룰에 대한 언급과 때때로 시청자에게 구두점을 찍었습니다.
한번은 “나에게 5살 차이가 나는 사촌이 두 명 있고, 동생이 여자라면 형은 어떤 성별이냐”고 물었다.
Daneel은 (필연적으로 Baley는 생각했습니다) “주어진 정보에 대해 말하는 것은 불가능합니다.”라고 대답했습니다.
그러자 게리겔 박사는 스톱워치를 힐끔 쳐다보는 것 외에는 오른손을 옆으로 최대한 뻗으며 “내 가운데 손가락 끝을 세 번째 손가락 끝으로 만져 주시겠습니까?”라고 말하는 것뿐이었습니다. 왼손으로요?”
다니엘은 그 일을 신속하고 쉽게 해냈습니다.
15분 만에 Gerrigel 박사의 작업이 끝났습니다.

이는 LLM(대형 언어 모델)을 평가하는 현대적인 접근 방식과 다르지 않습니다. LLM은 외부 평가라고 하는 다른 앱 및 프로세스에 통합하는 보다 복잡한 접근 방식과 내부 평가 라고 하는 AI LLM을 직접 평가하는 보다 내성적이면서도 빠른 접근 방식으로 평가할 수 있습니다. 모델 평가는 데이터 세트의 수학 공식을 사용하여 복잡성 및 엔트로피 와 같은 측정값으로 수행됩니다.

Gerrigel 박사는 Daneel을 평가할 때 로봇의 물리적, 기능적 특성을 평가하여 그것이 실제로 로봇인지 확인하고 제1법칙에 따라 올바르게 설치되었는지 이해하기 위해 일련의 테스트를 수행합니다. 마찬가지로 대규모 언어 모델의 내재적 평가에는 내부 작업과 특정 작업에 대한 성능을 분석하여 훈련 데이터에서 언어 패턴, 관계 및 지식을 얼마나 잘 학습했는지 이해하는 작업이 포함됩니다.

여기에는 문장의 다음 단어 예측, 질문에 답하기, 텍스트 요약과 같은 다양한 언어 작업에 대한 성능 측정이 포함되는 경우가 많습니다. 또한 연구자들은 학습된 임베딩이나 어텐션 메커니즘을 조사하는 등 모델의 내부 표현을 분석하여 훈련 중에 획득한 언어 지식에 대한 통찰력을 얻을 수도 있습니다. 이러한 평가는 모델의 강점과 약점은 물론 인간과 유사한 언어를 이해하고 생성하는 능력을 결정하는 데 도움이 됩니다.

두 경우 모두 평가는 대상(Daneel 또는 대규모 언어 모델)의 기능을 평가하고 기본 메커니즘에 대한 통찰력을 얻도록 설계되었습니다.

Asimov는 Daneel의 Gerrigel 박사가 수행한 '내재적 평가' 방법에 대한 세부 사항을 중심으로 많은 세계 구축을 수행하지 않지만 Asimov가 70년 전에 이러한 유형의 AI 평가가 사용될 것이라고 예측했다는 것은 놀라운 일입니다.

결론

이는 아이작 아시모프(Isaac Asimov)가 AI와 로봇으로부터 더 높은 품질의 응답을 이끌어내는 데 즉각적인 엔지니어링의 중요성을 예상하면서 AI와 인류 사이의 복잡한 관계를 어떻게 탐구했는지 보여주는 몇 가지 예에 불과합니다. Asimov의 로봇 시리즈는 대규모 언어 모델과 AI의 광범위한 성공으로 인해 점점 더 관련성이 높아진 추측성 SF를 대표합니다. 이 중요한 작업은 데이터 과학자와 기계 학습 엔지니어에게 귀중한 역사적 맥락과 통찰력을 제공하여 해당 분야의 많은 현대 아이디어와 영감의 기원을 조명합니다.