안녕 모두들!
AI가 골드러시라면 Nvidia는 최고의 선택 회사입니다. AI에 관한 모든 것은 계산 비용이 많이 드는 대규모 언어 모델을 배포하는 데 필요한 칩(GPU)을 만드는 유일한 회사로서의 지배력 때문에 Nvidia를 통과합니다. 모델이 확장됨에 따라 더 강력한 GPU에 대한 필요성이 증가하고 전 세계가 이를 제공하기 위해 Nvidia에 의존하고 있습니다. Nvidia는 모든 AI의 핵심에 있다고 해도 과언이 아니며 최근 반기별 개발자 컨퍼런스 GTC(3월 18~21일)를 가졌습니다. 이 게시물에서는 매우 특별한 GTC 컨퍼런스에서 얻은 주요 내용과 이것이 Gen AI 공간에 어떤 의미인지 요약하겠습니다.
Gen AI가 수행하고 제공할 수 있는 기능은 비기술 부문에서도 손실되지 않았습니다. 경제의 모든 부문에 걸쳐 기업들은 AI를 채택하고 파트너십을 맺고 실행하며 앞서 나갈 수 있는 방법을 찾아야 한다고 생각합니다. 여기서 증거는 얼마나 많은 비기술 부문 기업이 Nvidia와 파트너십을 맺었는지 살펴보는 것입니다. 소매, 자동차, 건설, 디자인 등 모든 분야의 기업들이 Nvidia와의 파트너십을 발표했습니다.
변압기가 발명된 이후로 우리는 6개월마다 LLM 규모를 두 배로 늘리고 있습니다. 예를 들어 아래 Open AI 모델의 매개변수 수를 살펴보세요.
GPT-3 시리즈에서만 매개변수 수의 범위는 125M에서 175B까지였습니다. 그리고 Open AI에서 나올 것으로 예상되는 최신 모델의 매개변수 수는 1조 개가 넘을 것이라는 소문이 돌고 있으며, 확장 속도가 계속된다면 2년 이내에 곧 1조 개에 도달할 수 있습니다. 증가하는 LLM 규모를 지원하려면 향상된 계산 능력이 필요합니다. 시장을 공략하기 위해 Nvidia는 통계학자이자 수학자인 David Blackwell의 이름을 딴 Blackwell이라는 새로운 GPU 시리즈를 출시할 예정입니다. Blackwell은 새로운 GPU 시리즈(GB200)이자 새로운 슈퍼컴퓨터 플랫폼입니다.
다음은 새로운 Blackwell GPU와 이전 세대 GPU Hopper의 성능 비교입니다.
현 세대의 컴퓨팅에서는 모든 것이 다양한 형식으로 저장된 데이터 조각을 검색하여 사용자에게 유용한 방식으로 표시하는 것에 관한 것입니다. 그러나 다음 세대의 컴퓨팅과 앱에서는 사용자의 요청에 따라 사물을 생성하고 이를 사용자에게 돌려주는 일이 더 많아질 것입니다. 예를 들어 chat-gpt의 경우, 귀하가 얻는 답변은 일부 데이터베이스에 미리 저장되지 않지만 사용자의 질문을 제공하기 위해 실시간으로 생성됩니다. 우리는 텍스트, 이미지, 비디오, 화학 물질, 단백질 등이 생성되는 것을 보게 될 것입니다.
추론은 chat-gpt에 질문을 하면 모델이 토큰 생성 형태로 답변을 파악하고 그 답변을 토큰 형태로 반환하는 것입니다. 추론이 충분히 빠르지 않으면 소비자는 AI 애플리케이션을 사용할 수 없습니다. 추론은 LLM이 점점 더 커지고 하나의 GPU에 맞지 않기 때문에 특히 까다롭습니다. 따라서 GPU 전체에서 추론을 병렬화하는 것은 어려운 작업이며 여러 최적화 기술을 사용하도록 Nvidia GPU를 프로그래밍하는 작업이 필요합니다. Blackwell GPU를 사용하면 Nvidia는 30배 더 빠른 추론 속도를 달성할 수 있습니다.
Nvidia의 Omniverse에 대해 점점 더 많이 알게 되면서 저는 이 제품과 아이디어에 대해 점점 더 낙관적이 되었습니다. 실제로 AI를 활용하고 자동화 및 로봇공학의 모든 가능성을 활용하기 위해서는 실제로 필요한 모든 데이터가 없기 때문입니다. 예를 들어, 모든 종류의 훌륭한 음식을 요리하는 로봇을 만들고 싶다고 가정해 보겠습니다. 다양한 종류의 요리를 요리하는 요리사를 1인칭 시점으로 볼 수 있는 데이터가 없습니다. 우리는 다양한 요리에 대한 일반적인 데이터를 유튜브 영상 형태로 보유하고 있지만, 로봇이 요리에 관련된 신체적 움직임을 배우게 하려면 1인칭 데이터가 필요합니다. Omniverse에서 세계의 3D 시뮬레이션은 이러한 모든 사용 사례를 잠금 해제하는 데 필요한 데이터 격차를 해소하는 데 도움이 될 수 있습니다. 나는 그 아이디어에 대해 매우 낙관적입니다.
AI 100일 중 22일차가 끝났습니다.
나는 대형 기술 분야에서 일어나는 모든 일 뒤에 숨어 있는 2차 통찰력에 대해 이야기하는 Above Average라는 뉴스레터를 작성합니다. 기술 분야에 종사하고 평범해지고 싶지 않다면 구독하세요 .
Twitter , LinkedIn 또는 HackerNoon 에서 나를 팔로우하여 100일 AI에 대한 최신 업데이트를 확인하거나 이 페이지를 북마크에 추가하세요 . 기술 분야에 종사하는 분이라면 여기에서 제 기술 전문가 커뮤니티에 가입하는 데 관심이 있으실 것입니다.