오픈 소스 언어 모델이 진정한 "Open AI"인 이유

2015년에는 비영리 OpenAI라고 불리는 이 회사는 "광범위하고 균등하게 분산된" AI를 만들기 위해 형성되었습니다. 2024년이 되자 OpenAI는 완전한 영리 모드로 전환하여 트랜잭션 API 서비스 뒤에 LLM에 대한 액세스를 확보했습니다. 가장 최근에 그들은 가치 평가액 1000억 달러 .

지난 10년간 AI 발전은 Google, Meta, OpenAI와 같은 대규모 기술 회사가 더욱 큰 독점 언어 모델을 출시하는 데 주도되었습니다. Bard and Claude에서 GPT-4에 이르기까지 자연어 처리(NLP) 분야의 최첨단 기술 중 상당수는 소수의 연구실에 집중되어 있습니다.

그러나 AI의 장기적인 미래는 API를 통해서만 제공되는 보다 개인적이고 큰 모델이 아니라 커뮤니티와 함께 공개적으로 구축된 오픈 소스 언어 모델에 있습니다.

오픈 소스 언어 모델

최근 몇 년 동안 소수의 스타트업, 대학 및 헌신적인 개인이 언어 모델 개발의 개방형 모델을 개척하는 데 도움을 주었습니다.

이 오픈 소스 계보를 이어가는 최신 모델은 H2O-Danube-1.8B 입니다. 18억 개의 매개변수를 지닌 다뉴브 강은 그 크기의 몇 배에 달하는 공개적으로 이용 가능한 다른 모델과 비교해도 놀라운 성능을 보여줍니다. H2O.ai 팀은 arXiv 에서 전체 보고서를 볼 수 있도록 완전히 투명하게 다뉴브 강을 세심하게 설계, 교육 및 검증했습니다.

H2O.ai는 액세스 권한을 축적하는 대신 HuggingFace에서 Danube의 전체 매개변수와 훈련 코드를 공개적으로 공개했습니다. 최초 발표 후 며칠 내에 호기심 많은 개발자들이 모델을 자유롭게 실험하기 시작했으며 독점 모델로는 실현할 수 없는 빠른 혁신 세대를 보여주었습니다. 글을 쓰는 시점에서 전체 h2o-danube-1.8b-chat 모델은 HuggingFace에서 500회 이상 다운로드되었습니다.

누구나 h2o의 HuggingFace 저장소에서 제공하는 아래 코드에 따라 transformers 라이브러리와 함께 모델을 사용할 수 있습니다.

 import torch from transformers import pipeline pipe = pipeline( "text-generation", model="h2oai/h2o-danube-1.8b-chat", torch_dtype=torch.bfloat16, device_map="auto", ) # We use the HF Tokenizer chat template to format each message # https://huggingface.co/docs/transformers/main/en/chat_templating messages = [ {"role": "user", "content": "Why is drinking water so healthy?"}, ] prompt = pipe.tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=True, ) res = pipe( prompt, max_new_tokens=256, ) print(res[0]["generated_text"]) # <|prompt|>Why is drinking water so healthy?</s><|answer|> Drinking water is healthy for several reasons: [...]

H2O는 공개적으로 협력하는 것이 AI에 대한 접근을 민주화하고 소수의 부가 아닌 다수를 위한 혜택을 제공하는 궁극적인 열쇠라고 믿습니다.

기타 오픈 소스 언어 모델

오픈 소스 AI 생태계는 개발자들이 공유 모델에 대해 전 세계적으로 협력하면서 계속 확장되고 있습니다. H2O-Danube-1.8B 외에도 수많은 주목할만한 계획은 벽으로 둘러싸인 정원 내 지식 집중을 방지하는 것을 목표로 합니다.

MPT

스타트업 모자이크ML(MosaicML)이 개발한 MPT(Machine 프로그래밍 변환기)는 전문가 혼합 병렬화 및 컨텍스트 길이 외삽과 같은 기술을 통합하여 효율성을 향상시킵니다.

매

Falcon의 가장 큰 오픈 소스 LLM은 무려 1,800억 개의 매개 변수를 갖고 있으며, 다음과 같은 제품보다 성능이 뛰어납니다. LLaMA-2 , 안정LM , 빨강파자마 , 그리고 MPT .

해당 크기에서는 모델을 실행하는 데 400GB의 사용 가능한 메모리를 확보하는 것이 좋습니다.

미스트랄

전 Google 직원과 Meta 연구자들이 설립한 Mistral은 2022년 9월에 70억 매개변수 Mistral 7B 모델을 출시했습니다. Mistral 7B는 샘플 품질에서 폐쇄형 GPT-3에 거의 필적하는 개방형 모델 중에서 경쟁력 있는 성능을 달성합니다.

레거시 모델

새로 출시된 모델 외에도 이전 오픈 소스 모델은 계속해서 개발자에게 힘을 실어줍니다. OpenAI의 GPT2와 EleutherAI의 GPT-J는 모두 현대 아키텍처에 뒤처져 있음에도 불구하고 역사적 중요성을 갖고 있습니다. 그리고 BERT와 같은 Transformer는 전 세계적으로 제품을 지원하는 NLP 혁신의 전체 하위 클래스를 탄생시켰습니다.

민주화 이야기는 자신의 창작물을 지식의 공통 풀에 아낌없이 기부하는 열정적인 커뮤니티 덕분에 더욱 강화됩니다.

더욱 공평한 미래

여러 면에서 독점 언어 모델은 기술 산업이 계속해서 씨름하고 있는 많은 불평등을 재현할 위험이 있습니다. 부유한 조직에 지식을 집중시키면 소규모 팀이 초기에 진행 상황을 형성하는 데 방해가 됩니다. 나중에 트랜잭션 API를 통해서만 통합이 가능해지면 통합 비용이 엄청나게 높아집니다.

오픈 소스 모델은 보다 공평한 발전을 위해 필수적입니다. 실제로 구체적인 AI 애플리케이션을 구축하는 다양한 커뮤니티에 더 가까운 기관이 있는 곳입니다. 긴 진보의 원호는 기술을 통제하려는 어느 조직이 아니라 기술 자체 뒤에 사람들이 함께 모일 때 정의를 향해 구부러집니다.

다뉴브강과 그것이 대표하는 개방형 패러다임은 또 다른 비전을 엿볼 수 있는 기회를 제공합니다. 단기적인 이익이나 명성이 아니라 모든 곳의 개발자가 서로의 어깨 위에 자유롭게 구축할 수 있도록 권한을 부여함으로써 추진됩니다. 독점 작업을 위한 공간은 항상 남아 있지만 AI의 진정한 미래는 열려 있습니다.

커뮤니티 중심 혁신

오픈 소스 모델을 출시하면 의욕이 넘치는 개발자 및 연구원 커뮤니티의 기여를 이끌어낼 수 있습니다. 이러한 개방형 협업 스타일은 독특한 기회를 열어줍니다. 조직 전반의 전문가들은 서로의 작업을 동료 검토하여 기술을 검증할 수 있습니다.

연구자들은 바퀴를 재발명하는 대신 새로운 아이디어를 쉽게 복제하고 확장할 수 있습니다. 그리고 소프트웨어 엔지니어는 혁신을 고객 제품에 신속하게 통합하고 배포할 수 있습니다.

아마도 가장 유망한 점은 개방형 패러다임을 통해 틈새 커뮤니티가 특정 사용 사례에 대한 사용자 정의 모델을 중심으로 모일 수 있다는 것입니다. 팀은 의학, 법률, 금융과 같은 특정 주제에 맞춰 일반 모델보다 뛰어난 버전을 만들 수 있습니다. 이러한 전문 모델은 다시 공유되어 나머지 커뮤니티에 도움이 됩니다. 그룹이 함께 모여 단일 비공개 실험실에서는 불가능했던 집단적 발전을 이룰 수 있습니다.