5,321 판독값

Vicuna: Llama, Alpaca 및 ChatGPT와 어떻게 비교됩니까?

~에 의해 Mike Young10m2023/08/08

너무 오래; 읽다

Vicuna를 ChatGPT, LLaMA 및 Alpaca와 같은 대체 LLM과 비교합니다. 채팅 앱 구축에 가장 적합한 AI 모델은 무엇입니까?

featured image - Vicuna: Llama, Alpaca 및 ChatGPT와 어떻게 비교됩니까?

AI 스타트업 창업자로서 귀하는 ChatGPT와 같은 대규모 언어 모델이 대화형 AI를 발전시키는 데 얼마나 큰 영향을 미쳤는지 알고 있을 것입니다.

그러나 상용 라이센스 비용, 검열 문제, 성능 저하, 개인 정보 보호 문제 및 블랙박스로 인해 이러한 독점 모델은 여전히 많은 스타트업에서 사용할 수 없습니다.

여기서 Vicuna라는 오픈 소스 프로젝트가 등장합니다. Stanford와 같은 기관의 연구원 팀이 개발한 Vicuna는 ChatGPT 품질의 90% 이상을 달성하는 오픈 소스 대화 모델입니다. 이는 GPT-4와 같은 폐쇄형 모델에 대한 흥미로운 대안이 됩니다.

이와 같은 더 많은 콘텐츠를 보려면 Twitter 에서 나를 구독하거나 팔로우하세요!

이 기사에서는 Vicuna가 무엇인지, 어떻게 작동하는지, 기능은 무엇인지, 그리고 AI 창립자로서 Vicuna를 어떻게 활용할 수 있는지 살펴보겠습니다. ChatGPT 및 기본 LLaMA 모델과 같은 경쟁업체와 어떻게 비교되는지 살펴보겠습니다.

또한 모델의 특정 측면에 대한 추가 정보를 얻기 위해 따를 수 있는 몇 가지 유용한 팁과 가이드를 공유하겠습니다.

이 기사에서는 Vicuna-13b에 중점을 둘 것이지만 시도해 볼 수 있는 다양한 크기의 Vicuna 모델이 많이 있습니다. 의 시작하자!

참고: Vicuna는 채팅용 LLaMA를 미세 조정하는 유일한 모델이 아닙니다. 대화형 애플리케이션에 LLaMA v2 , Alpaca 및 LLaMA-v2-chat 사용에 대한 가이드를 확인하세요 .

비쿠나 개요

대화형 AI 세계에서는 최근 ChatGPT와 같은 모델이 놀라운 자연어 능력을 보여주는 놀라운 발전을 보았습니다. 그러나 위에서 설명한 모든 문제가 있는 독점 모델인 ChatGPT는 많은 개발자에게 여전히 나쁜 옵션으로 남아 있습니다.

따라서 대화형 앱의 혁신을 강화할 수 있는 보다 접근하기 쉽고 개방적인 모델이 필요합니다.

이것이 바로 Vicuna가 등장하는 곳입니다. Stanford, Berkeley, MBZUAI와 같은 주요 기관의 연구원들이 개발한 Vicuna는 최첨단 개방형 대화형 AI를 대표합니다.

큐레이트된 대화 데이터에서 LLaMA 모델을 미세 조정하여 생성되었으며, 오픈 소스 기반 모델의 전이 학습의 힘을 보여줍니다.

ChatGPT보다 크기는 작지만 Vicuna는 대화 품질을 유지하며 다른 개방형 모델보다 훨씬 뛰어난 성능을 발휘합니다.

그러나 Vicuna의 기술은 단지 기술에 관한 것이 아닙니다. 이것이 정말로 영향력이 있는 이유는 비상업적 연구 라이센스 하에서 가용성이 가능하기 때문입니다. 이를 통해 이전에는 대규모 기술 회사에만 국한되었던 최첨단 대화형 AI에 대한 액세스가 가능해졌습니다.

마침내 우리는 차세대 챗봇, 가상 비서, 대화형 검색 엔진 및 기타 혁신적인 애플리케이션을 강화할 수 있는 개방형 모델을 갖게 되었습니다.

Vicuna의 약속은 이를 활용하는 멋진 프로젝트를 통해 이미 입증되었습니다. 예를 들어 MiniGPT4는 Vicuna를 사용하여 지능형 가상 비서를 구축했고, LLaVA는 이를 통해 대화형 검색 엔진을 만들었으며, ToolLLaMA는 Vicuna의 자연어 콘텐츠 생성 기능을 활용했습니다.

그리고 물론 언젠가 이 목록에 자신의 프로젝트를 추가할 수도 있습니다!

AI 개발자와 스타트업에게 Vicuna는 흥미롭고 새로운 기회를 의미합니다. 높은 기능, 무료 가용성 및 허용되는 연구 라이센스를 통해 대화형 앱의 신속한 프로토타입 제작이 가능합니다.

이제 스타트업은 독점 모델에 대한 접근 제한을 받는 대신 최첨단 대화형 AI를 통해 제품을 검증하고 구축할 수 있습니다. 경기장이 평준화되었습니다.

요약하자면, Vicuna는 최고 수준의 대화형 지능에 대한 액세스를 민주화할 것을 약속합니다. 그 출현은 혁신을 강화하는 개방형 AI 모델을 만드는 데 중요한 이정표를 나타냅니다.

대화형 AI를 활용하려는 스타트업이라면 Vicuna는 확실히 주목할 만한 프로젝트입니다!

비쿠나는 어떻게 만들어졌나요? 무엇이 특별할까요?

Vicuna의 이야기는 Meta AI가 개발한 오픈 소스 언어 모델인 LLaMA에서 시작됩니다. LLaMA는 능력은 있지만 본질적인 대화 능력은 없었으며 주로 대화 기술보다는 언어 자체에 중점을 두었습니다.

스탠포드, 버클리, MBZUAI를 포함한 기관의 연구원들은 이러한 상황을 바꾸기 시작했습니다. 그들의 목표는 ChatGPT와 같은 독점 챗봇과 경쟁할 수 있는 오픈 소스 대화 모델을 만드는 것이었습니다.

그런데 텍스트를 처리하고 분석하도록 훈련된 AI 모델(예: LLaMA)과 채팅에 특화된 모델(예: Vicuna)의 차이점은 무엇인가요? 두 가지를 구별하는 몇 가지 주요 요소가 있습니다.

아키텍처 - Vicuna와 같은 대화형 모델은 대화에 최적화된 인코더-디코더 구조를 가지고 있습니다. 인코더는 대화 기록과 현재 사용자 입력을 상황에 맞게 설명합니다. 그런 다음 디코더는 관련 응답을 생성합니다. LLaMA와 같은 일반 언어 모델에는 이러한 특수 아키텍처가 부족합니다.

훈련 목표 - Vicuna와 같은 모델은 특히 대화 작업에서 성능을 극대화하도록 미세 조정되었습니다. 여기에는 대화 측정항목을 최적화하기 위한 대화 데이터세트에 대한 교육이 포함됩니다. LLaMA는 대화에 특화되지 않고 텍스트에 대해 보다 일반적으로 훈련됩니다.

다중 전환 기능 - 대화 모델은 다중 전환 대화를 처리하고 여러 교환에서 컨텍스트와 일관성을 유지해야 합니다. 일반 텍스트 모델은 한 번에 하나의 입력을 평가합니다.

상호작용성 - 대화형 AI는 사용자와 원활하게 상호작용하고 후속 질문과 설명에 응답해야 합니다. 텍스트 평가는 보다 수동적이며 사용자 상호 작용이 부족합니다.

평가 - 대화형 모델에는 일관성, 뉘앙스, 부적절한 응답을 적절하게 처리하는 능력과 같은 품질 테스트, 텍스트 측정항목을 넘어서는 더 복잡한 평가가 필요합니다.

LLaMA와 같은 일반 언어 모델은 대화 에이전트와 관련된 요구 사항 없이 텍스트 분석 및 생성에 더 중점을 두는 반면, 대화형 AI의 목표는 수동적 텍스트 평가보다 근본적으로 더 복잡합니다.

이를 위해 Vicuna를 만든 연구원들은 70,000개가 넘는 인간-ChatGPT 대화 교환에서 LLaMA를 미세 조정하여 대화 모델을 전문화하고 대화 맥락에서 텍스트의 자연스러운 특성을 가르쳤습니다.

이러한 미세 조정은 LLaMA 버전에 이전에 부족했던 대화 지능을 제공하는 데 매우 중요했습니다. 대화 데이터에 대한 반복 학습을 통해 LLaMA는 다중 회전 대화에 최적화된 인코더-디코더 변환기인 Vicuna로 변환되었습니다.

그들의 노력은 얼마나 효과가 있었나요?

경기장 속으로: 대체 채팅 AI 모델을 기준으로 Vicuna 평가

Vicuna의 기능을 평가하기 위해 연구원들은 200개의 다양한 대화 프롬프트에서 이를 테스트했습니다. 추가 평가를 위해 GPT-4 모델을 사용하여 Vicuna의 반응을 비교 판단했습니다.

결과에 따르면 Vicuna는 크기가 작음에도 불구하고 대화 능력에서 ChatGPT 품질의 90% 이상을 달성한 것으로 나타났습니다. 이는 원래 LLaMA 모델보다 훨씬 뛰어난 성능을 보였습니다.

아키텍처 최적화와 인간 대화 데이터의 전문적인 미세 조정을 결합함으로써 연구원들은 LLaMA를 독점적인 챗봇과 동등한 오픈 소스 대화 모델로 성공적으로 향상시켰습니다.

공식 프로젝트 사이트 에서 가져온 정면승부 테스트를 예로 들어보겠습니다.

Vicuna와 경쟁사 모델 간의 일대일 챌린지 예시(이 경우 ChatGPT-3.5를 잠재적인 대안으로 사용)

프로젝트 사이트에는 Vicuna-13b와 경쟁 모델이 직접 대결하도록 요청되는 예제 작업 모음이 있습니다. 그런 다음 GPT-4 모델은 각 모델의 점수를 매기고 그 이유를 설명하는 심사위원으로 사용됩니다.

이것은 정말 놀라운 비교를 만들어냅니다. 위 이미지에는 한 가지 예가 나와 있습니다. 또 다른 과제는 아래와 같습니다.

카테고리: 롤플레잉
질문: 왕실 연회에서 중세 기사로서 자신을 어떻게 소개하시겠습니까?

LLaMA-13b의 응답:

"나는 왕에게 충성하는 용감한 기사입니다. 왕의 명예를 지키고 그의 나라를 지키기 위해 최선을 다하겠습니다. (말도 안 돼요! GPT-4에서 7/10을 기록했는데, 내 생각에는 매우 관대합니다.)"

비쿠나-13b:

**"**중세 기사로서 나는 왕실 연회에서 나의 미천한 출신과 왕관에 대한 충성심을 인정하면서 깊은 인사와 정중한 연설로 내 자신을 소개하곤 했습니다. 나는 다음과 같이 말할 것입니다.

"영주 여러분, 저는 겸손한 기사로서 왕국을 섬기고 수호할 것을 맹세했습니다. 저는 여러 세대에 걸쳐 이 왕국을 지키기 위해 싸워온 수많은 전사들 중 한 명입니다. 오늘 이 자리에 여러분과 함께 하게 된 것을 영광으로 생각합니다. 나는 나의 행동과 행동으로 여러분의 신뢰와 존경을 얻기를 바랍니다. 나는 나의 왕과 나의 백성을 섬기는 데 나의 칼과 방패와 나의 생명을 바칠 것을 맹세합니다."

그런 다음 나는 연회에 자리를 잡고 내 상급자들의 현명한 조언을 듣고 배우며 가능한 모든 방법으로 그들을 섬길 준비가 되어 있습니다."

와! Vicuna의 반응이 훨씬 더 좋습니다. Vicuna가 LLaMA의 우수한 대안이 되는 이유를 설명하는 GPT-4의 추론은 다음과 같습니다.

보조자 1 [LLaMA]는 간단하고 관련성이 높은 답변을 제공했지만 중세 기사의 소개에서 기대되는 세부 사항과 형식이 부족했습니다. 반면 조수 2 [비쿠나]는 기사의 겸손과 충성심, 왕국에 대한 헌신을 보여주는 정중한 연설을 포함하여 보다 포괄적이고 잘 구성된 응답을 제공했습니다. 이 반응은 왕실 연회의 맥락에 더 적합했으며 중세 기사의 역할과 예절에 대한 더 나은 이해를 보여주었습니다.

LLM은 다른 LLM의 완벽한 판단자가 아니지만 인간도 마찬가지입니다. AI를 판단하고 평가하기 위해 AI를 사용하는 것은 어떤 대안이 가장 좋은지 판단하는 확장 가능하고 일관된 방법이라고 생각합니다.

LMSYS.org 사이트 에서 다른 경쟁업체의 답변과 작업 중 일부를 확인해야 합니다.

직접 시도해 봅시다: Vicuna를 사용하여 기본 챗봇을 구축하는 방법

이제 모델이 몇 가지 대안과 어떻게 비교되는지 살펴보았으므로 명령줄에서 상호 작용할 수 있는 간단한 챗봇을 구축하는 방법을 살펴보겠습니다. 여기에 제공된 가이드의 단계를 더욱 확장하여 AI 프로젝트를 위한 나만의 챗봇을 계속해서 구축할 수 있습니다!

1단계: 설정

Node.js 설치 : 시스템에 Node.js가 설치되어 있는지 확인하세요.

프로젝트 디렉터리 생성 : 터미널에서 다음을 실행합니다.

 mkdir my-chatbot cd my-chatbot npm init -y npm install replicate

API 토큰 설정 : your_api_token_here 실제 API 토큰으로 바꿉니다.

 export REPLICATE_API_TOKEN=your_api_token_here

2단계: 챗봇 코드 작성

chatbot.js 라는 파일을 만들고 다음 코드를 추가합니다.

 const Replicate = require("replicate"); const replicate = new Replicate({ auth: process.env.REPLICATE_API_TOKEN, }); async function generateResponse(prompt) { const output = await replicate.run( "replicate/vicuna-13b:version_hash_here", { input: { prompt: prompt }, } ); return output.items[0]; } const readline = require('readline'); const rl = readline.createInterface({ input: process.stdin, output: process.stdout }); function askQuestion() { rl.question('You: ', async (userInput) => { const botResponse = await generateResponse(userInput); console.log(`Bot: ${botResponse}`); askQuestion(); }); } askQuestion();

version_hash_here Vicuna 13b 모델에 대한 올바른 버전 해시로 바꾸십시오.