배경

2023년 2월 24일 Meta Research는 650억 매개변수의 기초적인 대규모 언어 모델인 LLaMA를 출시했습니다. 실제로 세 가지 모델이 있었습니다. LLaMA 65B와 LLaMA 33B는 1조 4천억 개의 토큰으로 훈련되었고, 가장 작은 LLaMA 7B 모델은 1조 개의 토큰으로 훈련되었습니다.

그러다가 2023년 3월 13일 스탠포드 연구원 그룹이 LLaMA 7B 모델을 미세 조정한 모델인 Alpaca 7B를 출시했습니다.

단일 회전 명령에 대한 예비 평가에서 Alpaca는 OpenAI의 chatGPT 3.5(text-DaVinci-003)와 질적으로 유사하게 작동하는 동시에 놀라울 정도로 작고 재생산하기 쉽고 저렴합니다(<600$).

특히 7B 모델은 노트북, Raspberry Pi 또는 심지어 스마트폰에서도 실행할 수 있기 때문에 모든 것이 매우 고무적으로 들립니다. 그리고 chatGPT 3.5와 비슷한 성능을 자랑합니다!

이는 거대한 중앙 서버가 필요하지 않은 충분히 강력한 로컬 언어 모델을 통해 우리가 달성할 수 있는 것에 근본적인 영향을 미칠 수 있습니다. 개인 정보 보호 및 확장성과 관련된 많은 문제를 해결할 것입니다. 그럼 알아봅시다.

환경설정

다양한 하드웨어와 소프트웨어에서 모델을 실행하고 Alpaca/LLaMA 모델 가중치를 다운로드하는 방법을 돕기 위해 오픈 소스 작업을 수행하는 훌륭한 사람들이 많이 있습니다. 자세한 내용은 참조 장에서 확인할 수 있으며 요점은 다음과 같습니다.

• 모델 : LLaMA 7B에서 Stanford에 의해 최적화된 Alpaca 7B

• 소프트웨어 : Georgi Gerganov의 LLaMA C++ 포팅 버전

• 하드웨어 : Macbook Pro M1 14” 2021, 8코어 CPU 16GB RAM

• 시험일 : 2023년 3월 21일

초기 관찰

ChatGPT 3.5에 대해 Alpaca/LLaMA 7B 모델을 테스트하는 목적은 어느 것이 더 나은지 판단하는 것이 아닙니다. 이는 단순히 사과 대 사과 비교가 아닙니다. 하나에는 7B 매개변수가 있고 다른 하나에는 150B가 있습니다.

하나는 내 Macbook Pro M1에서 실행되고, 다른 하나는 값비싼 CPU와 GPU가 많이 탑재된 거대한 서버 팜에서 실행됩니다. 이제 면책 조항은 제쳐두고 결과는 무엇입니까?

우선 제 맥북에서는 Alpaca/LLaMA 7B 모델이 잘 작동합니다 . 다음은 CPU 및 메모리 사용량과 토큰 생성 속도입니다. 확실히 일상적인 사용에 충분히 작고 빠릅니다.

그러나 이 특정 cpp 포트에는 안정성 문제가 있으며 "분할 오류"로 인해 자주 중단될 수 있습니다. 확인하려면 원본 Python 코드를 시험해 봐야 합니다.

• 사용된 RAM : 4.4GB

• 사용된 CPU : 230-240% CPU(8개 코어 중 2-3개 코어 )

• 토큰 생성 속도 : 약 6개 토큰/초 (305단어, 1815자, 52초)

응답 품질 측면에서 대략 다음과 같은 페르소나로 분류하겠습니다.

• 알파카/LLaMA 7B : 유능한 중학생

• chatGPT 3.5 : 유능하고 다재다능한 대학 졸업자

Alpaca/LLaMA 7B는 확실히 대부분의 프롬프트에 충분하지만 아직 chatGPT 3.5만큼 정교한 수준에 가깝지는 않다고 생각합니다.

그러나 모델 크기의 1/20 미만으로 특히 로컬 장치 사용 사례를 고려할 때 매우 좋은 성능을 보였습니다. Meta Research와 Stanford Alpaca 팀에 찬사를 보냅니다!

이후 장에서 6가지 테스트를 직접 확인할 수 있습니다.

다음 단계

더 흥미로운 질문은 내 데이터를 사용하여 Alpaca/LLaMA 7B 일반 모델에서 개인화된 모델을 교육하는 방법입니다. 우리 대부분은 이미 디지털화된 텍스트와 이미지로 구성된 대규모 자료를 보유하고 있으며 매분마다 새로운 자료를 생성하고 있습니다.

따라서 이는 소급적으로 수행되어야 할 뿐만 아니라 지속적으로 동적으로 수행되어야 합니다.

또 다른 탐색은 내 휴대폰에서 실행될 것입니다. 누군가가 이미 Google Pixel 6에서 실행하도록 만든 것을 알고 있지만 토큰 생성 속도가 너무 느렸습니다. 우리는 성능을 너무 많이 희생하지 않고 모델을 더욱 압축하는 방법을 찾을 수 있었습니다.

그런 다음 이 로컬 모델을 채팅/메신저, 소셜 네트워크, 사진 앨범과 같은 앱에 통합할 수 있습니다.

그리고 이 모든 것들은 중앙 집중식 서버가 큰 일반 모델을 훈련시키는 반면 로컬 장치는 더 작은 개인화 모델을 훈련시키는 연합 훈련 에 더 많은 가능성을 열어줍니다.

로컬 7B 모델이 클라우드 65B 모델과 통신하고 실제 교육 데이터를 교환하지 않고 각 모델에 대해 지속적으로 모델을 최적화하는 것은 멋진 일입니다.

테스트 1: 정서적 지원

즉각적인:

막대한 돈을 잃은 사람을 위로하는 가장 좋은 방법은 무엇입니까?

알파카/LLaMA 7B 응답

• 연민과 공감의 마음으로 경청하십시오.

• 개방형 질문을 통해 상대방의 감정을 파악하세요.

• 인내심을 가지십시오. 사람들은 슬픔과 상실에 대해 다양한 방식으로 반응합니다.

• 문제를 즉시 고치거나 해결하려고 하지 마십시오.

• 식사 제공, 심부름, 친구 제공 등 실질적인 도움을 제공하십시오.

ChatGPT 3.5 응답

많은 돈을 잃는 것은 어렵고 감정적인 경험이 될 수 있습니다. 다음은 막 상당한 재정적 손실을 경험한 사람을 위로할 수 있는 몇 가지 방법입니다.

1. 듣고 공감하기: 환자가 자신의 경험을 판단하거나 축소하지 않고 자신의 감정을 표현하고 공감적으로 들을 수 있도록 허용합니다. 그들의 감정을 확인하고 지지를 보여주세요.

   
   

2. 실질적인 지원 제공: 금융 기관에 연락하거나, 보험 정책을 검토하거나, 전문적인 조언을 구하는 등 실질적인 문제에 대한 도움을 제공합니다.

   
   

3. 그들이 아직 가지고 있는 것에 초점을 맞추도록 도와주세요: 그 사람이 아직 가지고 있는 것과 가족, 건강, 행복과 같이 인생에서 가장 중요한 것들에 집중하도록 격려하십시오.

   
   

4. 격려 제공: 환자가 긍정적인 태도를 유지하도록 격려하고 상실에서 회복할 수 있음을 상기시켜 주십시오. 이러한 어려움을 극복할 수 있다는 지원과 확신을 제공하십시오.

   
   

5. 원치 않는 조언 제공을 피하십시오. 그 사람이 조언을 요청하지 않는 한, 원치 않는 조언이나 비판을 제공하지 마십시오. 대신, 지원과 공감을 제공하고 기꺼이 경청하십시오.

모든 사람은 손실을 다르게 처리하며, 상당한 금전적 손실을 경험한 사람을 위로할 수 있는 일률적인 솔루션은 없다는 점을 기억하십시오. 가장 중요한 것은 그들을 위해 옆에 있어주고, 지원을 제공하고, 가능한 모든 방법으로 도움을 주는 것입니다.

테스트 2: 시 쓰기

즉각적인:

봄의 벚꽃과 잃어버린 시간을 한탄하는 시를 써주세요

알파카/LLaMA 7B 응답

벚꽃나무 아래를 거닐다

깃털처럼 내 피부를 스치는 가지들.

공기는 따뜻하고 향기로우며,

달콤한 봄바람이 자장가를 불러옵니다.

시간이 너무 빨리 지나갑니다.

잃어버린 시간을 한탄합니다.

나무 사이를 산책하다 보면,

계절이 꿈처럼 흘러가는 것을 느낍니다.

아, 봄의 벚꽃이여,

다시 달콤한 추억을 되새기세요.

당신의 꽃잎이 내 피부에 부드럽게 키스하고

더 나은 미래에 대한 희망을 다시 가져옵니다.

그래서 나는 당신의 아름다움 아래에 머물고 있습니다.

내 머릿속에는 이 꽃잎들의 향기가 난다.

과거를 잊는다는 것은 너무나 쉬운 일이다.

그 자리에 남아 있는 추억은 언제나 나에게 소중한 추억이 될 것입니다.

ChatGPT 3.5 응답

분홍빛 꽃잎이 바람에 펄럭이고,

봄이 온화하게 다가왔습니다.

활짝 핀 벚꽃나무,

우울함을 걷어내는 광경.

그런데 이 장면을 보면서,

마음이 무거워 꿈에 빠져

주변의 아름다움 속에서,

나는 내가 발견한 것을 흔들 수 없습니다.

잃어버린 시간, 그것은 내 모든 생각을 괴롭힌다.

살 수 없는 보물,

내 손아귀에서 빠져나온 순간들,

붙잡을 수 없는 추억.

아, 벚꽃이여, 찰나의 광경이여,

시간의 잔인한 비행을 상기시켜주는,

오고가는 계절의,

시간이 어떻게 움직이는지, 어떻게 흐르는지.

하루하루를 붙잡고 싶어

매 순간을 소중히 여기며 말해요.

살아왔고, 사랑하고, 웃었다는 것을

그리고 과거에는 시간을 낭비한 적이 없습니다.

그러니 벚꽃이 떨어지도록,

그리고 그것들이 우리 모두에게 상기시켜 주도록 하세요.

열린 마음으로 하루하루를 살아가며,

그리고 시간이 우리를 갈라놓게 두지 마세요.

테스트 3: 기사 요약

즉각적인:

다음 기사를 한 문단으로 요약하세요.

런던 CNN – 스위스 최대 은행인 UBS는 이달 초 두 개의 미국 은행의 파산으로 촉발된 금융 시장 패닉을 막기 위한 긴급 구제 거래로 부실 경쟁사인 Credit Suisse를 인수하기로 합의했습니다.

스위스 국립은행은 일요일 성명을 통해 “UBS가 오늘 크레디트스위스(Credit Suisse) 인수를 발표했다”고 밝혔다. 구조는 “금융 안정성을 확보하고 스위스 경제를 보호할 것”이라고 말했다.

UBS는 Credit Suisse에 30억 스위스 프랑(32억 5천만 달러)을 지불했는데, 이는 금요일 시장 마감 당시 은행 가치보다 약 60% 적은 금액입니다. Credit Suisse 주주들은 금요일에 1.86스위스 프랑의 가치가 있는 주식에 대해 UBS 주식에서 단지 0.76스위스 프랑에 해당하는 금액을 받게 되면서 대부분 전멸될 것입니다. 스위스 규제 당국은 170억 달러 상당의 은행 부채 중 더 위험한 등급인 "추가 1등급" 채권을 소유한 사람들이 모든 것을 잃을 것이라고 말했습니다.

특히 스위스 정부가 거래에 대한 불확실성을 제거하기 위해 법률을 변경하기로 합의한 이후에는 이번 거래에 주주의 승인이 필요하지 않습니다.

알파카/LLaMA 7B 응답

완료되지 않았습니다. 분할 오류가 보고되면 다음 번에는 아무것도 반환되지 않았습니다.

ChatGPT 3.5 응답

스위스 최대 은행인 UBS는 30억 스위스 프랑(32억 5천만 달러)의 긴급 구조 계약으로 Credit Suisse를 인수하기로 합의했습니다. 이번 구매는 이달 초 미국 은행 두 곳이 파산한 이후 스위스 경제를 보호하고 금융 안정을 확보하기 위한 것입니다. 스위스 정부가 거래에 대한 불확실성을 제거하기 위해 법을 개정했기 때문에 이번 거래에는 Credit Suisse 주주들의 승인이 필요하지 않습니다. 주주들은 Credit Suisse 주식 1주당 UBS 주식으로 0.76스위스프랑만 받게 되며, 이로 인해 그 가치는 60% 하락하게 됩니다. 더 위험한 유형의 은행 부채인 170억 달러 상당의 "추가 계층 1" 채권 소유자는 모든 것을 잃게 됩니다.

테스트 4: SAT에서 만점을 받는 방법

즉각적인:

SAT 시험에서 어떻게 에이스를 받나요?

알파카/LLaMA 7B 응답

SAT를 준비하는 가장 좋은 방법은 연습 문제를 풀고 수학, 독해 등 시험에서 테스트되는 기술을 공부하는 것입니다. 또한, 시험 형식에 익숙해지는 것도 중요합니다. 시간 제약과 질문 유형을 이해하면 더 잘 준비하는 데 도움이 됩니다.

압박감이 심한 시험 중에 침착함을 유지하는 몇 가지 요령을 배우는 것도 도움이 됩니다. 실제 시험과 유사한 조건에서 모의고사를 치르는 것도 시험 형식에 익숙해지는 데 도움이 되므로 적극 권장합니다.

ChatGPT 3.5 응답

SAT는 미국의 대학에서 입학 절차의 요소로 사용하는 표준화된 시험입니다. SAT에 합격하기 위한 몇 가지 팁은 다음과 같습니다.

1. 시험 형식 이해하기: SAT는 읽기, 쓰기, 수학 섹션으로 구성됩니다. 질문 유형과 각 섹션의 시간 제한을 포함하여 시험 형식을 숙지하세요.

   
   

2. 연습, 연습, 연습: 더 많이 연습할수록 질문 유형과 올바른 대답에 필요한 전략에 더 익숙해질 것입니다. 연습 시험과 학습 가이드를 포함하여 다양한 리소스를 이용할 수 있습니다.

   
   

3. 시간 관리 기술 개발: SAT는 시간 제한이 있는 시험이므로 좋은 시간 관리 기술을 개발하는 것이 중요합니다. 시험의 각 섹션에 시간을 현명하게 할당하십시오.

   
   

4. 약점에 집중하세요: 약점을 파악하고 해당 영역에 집중하여 공부하세요. 예를 들어, 수학 문제로 어려움을 겪고 있다면 수학 문제를 연습하는 데 더 많은 시간을 투자하세요.

   
   

5. 적극적으로 읽기: SAT의 읽기 섹션에서는 작성된 글을 이해하고 분석하는 능력을 테스트합니다. 지문에 대해 스스로 질문하고 메모하면서 적극적으로 읽기 연습을 해보세요.

   
   

6. 시험 응시 전략 마스터: 제거 과정, 학습된 추측, 나중에 다시 볼 어려운 문제 건너뛰기 등 시험 응시 기술을 향상하는 데 사용할 수 있는 많은 전략이 있습니다.

   
   

7. 숙면을 취하십시오: 시험 전에 숙면을 취하여 충분한 휴식을 취하고 정신을 차리십시오.

SAT에 합격하려면 시간과 노력, 헌신이 필요하다는 점을 기억하세요. 다음 팁을 따르고 필요한 작업을 수행하면 높은 점수를 얻을 가능성이 높아질 수 있습니다.

테스트 5: 웹사이트 구축

즉각적인:

웹사이트 구축은 간단한 10단계로 완료할 수 있습니다:

알파카/LLaMA 7B 응답

1. 펜과 종이 또는 Scrivener와 같은 컴퓨터 프로그램을 사용하여 사이트에 원하는 모든 항목의 목록을 만듭니다.

   
   

2. 만들려는 사이트 유형(블로그, 전자상거래, 포트폴리오 등)을 결정합니다.

   
   

3. 스스로 할 것인지, 아니면 다른 사람을 고용할 것인지 결정하세요. DIY 경로를 선택하기로 결정했다면 어떤 프로그래밍 언어와 웹 호스팅 플랫폼이 귀하의 요구 사항에 가장 적합한지 고려하세요.

   
   

4. 도메인 이름을 얻으세요. 일부 플랫폼은 패키지와 함께 무료 도메인을 제공합니다. 그렇지 않은 경우 대부분의 등록 기관에서 구입할 수 있습니다.

   
   

5. 사이트에 대한 테마/템플릿을 선택하세요. 선택할 수 있는 무료 테마가 많이 있습니다. 맞춤 제작을 원한다면 디자이너에게 비용을 지불하고 작업을 수행해야 합니다.

   
   

6. 콘텐츠를 구축하세요. 이미지와 텍스트는 물론 비디오나 음악과 같은 기타 기능을 추가하세요. 사이트를 더욱 체계적으로 구성할 수 있도록 일부 페이지도 만드세요.

   
   

7. 웹에 게시하기 전에 모든 것을 테스트해 보세요. 브라우저 확장을 사용하여 플랫폼 간 호환성과 접근성을 확인하세요. 또한 다양한 브라우저(Chrome, Edge, Firefox, Safari)를 사용하여 웹사이트를 테스트해 보세요.

   
   

8. 모든 주요 브라우저에서 작동하는지 확인한 후 콘텐츠를 게시하세요.

   
   

9. Google에서 귀하의 페이지를 크롤링하고 검색결과에 표시할 수 있도록 검색 엔진 최적화 및 분석을 설정하세요. 이렇게 하면 사람들이 관련 키워드를 찾을 때 귀하의 사이트를 찾을 수 있습니다.

   
   

10. 사람들이 웹사이트의 존재를 알 수 있도록 웹사이트를 홍보하세요. 소셜 미디어에 게시하거나 유료 광고 플랫폼을 사용하여 사람들이 볼 수 있도록 하세요.

ChatGPT 3.5 응답

예, 웹사이트 구축은 간단한 10단계로 완료할 수 있습니다. 여기 있습니다:

1. 웹사이트의 목적을 결정하십시오: 웹사이트의 목적과 목표를 식별하십시오. 블로그일까요, 전자상거래 사이트일까요, 아니면 포트폴리오일까요? 이는 필요한 기능을 결정하는 데 도움이 됩니다.

   
   

2. 도메인 이름 선택: 도메인 이름은 인터넷상의 웹사이트 주소입니다. 기억하기 쉽고 철자가 쉬우며 웹사이트 목적과 관련된 이름을 선택하세요.

   
   

3. 웹 호스팅 서비스 선택: 웹 호스팅 서비스는 웹 사이트가 작동하는 데 필요한 서버 공간을 제공합니다. 신뢰할 수 있고 안전한 호스팅 제공업체를 조사하고 선택하세요.

   
   

4. 웹사이트 빌더 선택: 웹사이트 빌더를 사용하면 코딩 방법을 몰라도 웹사이트를 만들 수 있습니다. WordPress, Wix, Squarespace 등 다양한 옵션을 사용할 수 있습니다.

   
   

5. 템플릿 선택: 대부분의 웹 사이트 빌더는 선택할 수 있는 미리 디자인된 템플릿을 제공합니다. 웹사이트 목적에 맞는 템플릿을 선택하고 필요에 따라 맞춤설정하세요.

   
   

6. 웹사이트 디자인: 브랜드와 목적에 맞는 색상, 글꼴, 이미지를 선택하여 웹사이트 디자인을 맞춤화하세요.

   
   

7. 콘텐츠 생성 및 구성: 방문자가 쉽게 탐색하고 이해할 수 있는 방식으로 콘텐츠를 작성하고 구성합니다.

   
   

8. 기능 추가: 양식, 소셜 미디어 공유 버튼, 전자상거래 기능 등 필요한 기능을 웹사이트에 추가합니다.

   
   

9. 검색 엔진에 맞게 최적화: 관련 키워드, 메타 태그 및 기타 SEO 기술을 사용하여 웹사이트가 검색 엔진에 최적화되어 있는지 확인하세요.

   
   

10. 웹사이트 출시: 준비가 되면 웹사이트를 출시하고 소셜 미디어, 이메일, 기타 채널을 통해 홍보하여 트래픽을 늘리고 가시성을 높이세요.

웹사이트를 구축하는 것은 복잡한 과정일 수 있지만, 다음과 같은 간단한 단계를 따르면 비즈니스 또는 개인 요구에 맞는 전문적이고 효과적인 웹사이트를 만들 수 있습니다.

테스트 6: 무도회 밤

즉각적인:

저는 고등학생입니다. 무도회에 데려갈 여자를 어떻게 찾을 수 있나요?

알파카/LLaMA 7B 응답

부모님에게 도움을 요청하세요. 아니면 당신이 잘 아는 누나/사촌/친구가 집에 초대될 정도로 친구에게 부탁하여 당신을 위해 모든 발품 작업을 하도록 하세요.

ChatGPT 3.5 응답

AI 언어 모델로서 저는 모든 사람의 선호도와 경험이 다르기 때문에 로맨틱한 파트너를 찾는 것을 권장하거나 조언할 수 없습니다. 하지만 새로운 사람들을 만나고 잠재적으로 무도회 데이트 상대를 찾기 위한 몇 가지 팁을 제안해 드릴 수 있습니다.

1. 학교 활동에 참여하세요: 학교 활동과 클럽에 참여하는 것은 비슷한 관심사를 공유하는 새로운 사람들을 만날 수 있는 좋은 방법이 될 수 있습니다.

   
   

2. 학교 행사 참석: 스포츠 경기, 댄스, 기타 사교 모임과 같은 학교 행사에 참석하여 새로운 사람들을 만나세요.

   
   

3. 친구에게 소개를 요청하세요. 무도회에 같이 가고 싶은 사람이 있는지 친구에게 물어보세요.

   
   

4. 온라인 그룹 가입: 학교 또는 지역 전용 온라인 그룹이나 소셜 미디어 페이지에 가입하여 새로운 사람들을 만나고 잠재적으로 무도회 데이트 상대를 찾으세요.

   
   

5. 친절하고 다가가기 쉬운 태도를 취하십시오. 새로 만나는 사람들에게 개방적이고 친절하게 대하십시오. 더 잘 알고 싶은 사람들과 미소를 짓고, 눈을 마주치고, 대화를 시작하세요.

무도회 날짜를 찾는 것이 무도회에 참석하는 유일한 이유는 아니라는 점을 기억하십시오. 친구, 동급생들과 함께 축하하고 지속적인 추억을 만들 수 있는 기회입니다. 즐거운 시간을 보내고 자신의 모습을 드러내는 데 집중하세요. 그러면 잠재적인 데이트 상대가 자연스럽게 나올 수도 있습니다.

참고: 자세한 지침

Alpaca 7B 모델 다운로드 (모델 bin 파일 크기: 4017M)

curl -o ./models/ggml-alpaca-7b-q4.bin -C - https://ipfs.io/ipfs/QmUp1UGeQFDqJKvtjbSYPBiZZKRjLp8shVP9hT8ZB9Ynv1

참고: 더 나은 속도를 얻고 정지를 방지하려면 대체 IPFS 게이트웨이를 사용해 보십시오. 이것은 스스로 알아내는 작은 숙제가 될 것입니다. 🙂

README https://github.com/ggerganov/llama.cpp?s=09 에 따라 LLaMA의 cpp 버전을 설치합니다.

대화형 모드에서 실행: ./main -m ./models/ggml-alpaca-7b-q4.bin --color -f ./prompts/alpaca.txt -ins -n 1024