인프라 회사는 언제 Generative AI로부터 이익을 얻을 수 있습니까?

현재 생성 AI의 상태에 대해 많은 질문이 소용돌이치고 있습니다. 기업은 맞춤형 GenAI 노력을 얼마나 진행하고 있나요? 조직이 실제로 자체 독점 데이터를 사용하여 바늘을 움직이는 방식으로 AI 애플리케이션을 구축하고 있습니까? 어떤 종류의 아키텍처가 필요합니까?

이러한 질문은 놀라운 일이 아닙니다. AI에 대한 의견은 뻔뻔한 낙관주의부터 지칠 대로 지친 냉소주의까지, 많은 과대광고와 혼합되어 있습니다.

저는 이것이 시장이 보고 싶어하는 것, 일어날 수 있는 일에 대한 두려움, 2024년에 무슨 일이 일어날지(그리고 어떻게)라는 세 가지 영역에 걸쳐 GenAI 시장의 상황을 명확히 하는 데 도움이 된다는 것을 발견했습니다.

모든 사람은 무엇을 원하며 무엇을 두려워하는가?

GenAI는 2022년 말 OpenAI가 ChatGPT를 출시하고 이러한 종류의 기술이 얼마나 강력하고 접근성이 좋은지 보여주면서 현장에서 폭발적으로 성장했습니다. AI의 잠재적인 장점에 대한 흥분은 도처에 있었습니다. 곧 GenAI가 모든 기업의 모든 애플리케이션에 주입될 예정이었습니다. 투자자들은 GenAI를 지원하기 위한 인프라를 제공하는 회사의 하키스틱과 같은 성장 곡선을 상상했습니다.

반면에 반대론자들은 "웨스트월드(Westworld)"와 "블랙 미러(Black Mirror)"가 혼합된 디스토피아적인 AI 미래를 구상했습니다. 다른 사람들은 AI 버블을 경고합니다 . 투자 관점에서 일부 사람들은 이것이 다시 암호화폐와 같다고 말합니다. 많은 흥분과 과대 광고, 그리고 연기가 나는 분화구입니다.

나는 이 두 가지 두려움 모두 근거가 없다고 생각합니다. 물론 새로운 기술이 등장할 때마다 잘못된 이유로 GenAI를 사용하는 악의적인 행위자가 있을 것입니다. 그리고 GenAI의 가능성에 대한 흥분은 어디에나 있습니다. 그것은 "거품이 나는" 느낌을 갖고 있으며 심지어 암호화폐 소문보다 더 거슬릴 수도 있습니다.

그러나 GenAI와 암호화폐의 가장 큰 차이점은 전자에 대한 실제 사용 사례가 조직 전체와 산업 전반에 걸쳐 매우 많다는 사실입니다. 암호화폐에는 신뢰할 수 없는 당사자 간의 금융 거래(자금 세탁이라고도 함)라는 강력한 사용 사례가 있었습니다. 그것은 주류가 별로 관심을 두지 않는 것입니다.

현재 GenAI 애플리케이션의 상황은 기업들이 인터넷을 통해 신용 카드를 안전하게 사용할 수 있는 방법을 찾으려고 노력했던 1990년대 후반의 전자 상거래를 생각나게 합니다 . 조직이 이를 안전하게 수행하는 방법을 알아내는 데는 약간의 시간이 걸렸지만 일단 그렇게 하고 나면 갑자기 모든 사람이 전자상거래 사이트를 갖게 되었습니다.

지금 GenAI에서 볼 수 있는 유사점은 언어 모델이 환각을 통해 부정확한 응답을 반환하지 않도록 하는 방법입니다. 좋은 뉴스? 그것은 알아냈습니다( 검색 증강 생성 (RAG) 덕분에 자세한 내용은 아래에서 설명합니다).

우리는 지금 어디에 있으며, 어디로 가는가?

작년에 우리가 본 것 중 상당수는 개념 증명 GenAI 프로젝트였습니다. 즉, 회사의 리더십에게 무엇이 가능한지 보여주는 앱이었습니다. 그러나 이를 넘어 전체 생산 단계에 있는 애플리케이션을 구축하는 회사는 거의 없습니다. "프로덕션"이란 조직이 프로토타입이 아닌 방식으로 고객이나 직원이 사용하는 AI 애플리케이션을 보유하고 있음을 의미합니다.

즉, 비즈니스 운영의 일부 부문 내 활동의 일상적인 부분으로 사용할 수 있습니다. 프론트 오피스일 수도 있고 고객 서비스 호출 이면에 있을 수도 있지만 비즈니스의 주류 부분에 가까운 어딘가에 있습니다.

월마트는 이에 대한 좋은 초기 사례입니다. 소매업체는 지난 1월 자사의 쇼핑 앱에 GenAI 기반 검색을 추가했다고 발표했습니다 . Apple은 직원들이 더 빠른 기술 지원을 제공할 수 있도록 GenAI 도구를 테스트하고 있는 것으로 알려졌습니다 . 이와 같은 사례를 더 많이 볼 때까지 GenAI는 Gartner가 " 과대 광고 주기 "라고 부르는 초기 단계에 조금 더 오래 머물 것입니다.

폭스바겐(Volkswagen)은 최근 자동차용 내비게이션 및 인포테인먼트 애플리케이션용 GenAI 앱을 개발하기 위한 사내 연구소를 발표했습니다.

즉, 일부 사람들이 생각하는 것처럼 우리는 "생산성의 고원"에 도달하는 데 그리 멀지 않습니다. 앞서 언급했듯이 모델의 결과를 신뢰하는 것은 환각을 줄여 적절하고 정확한 LLM( 대형 언어 모델 ) 응답을 생성하는 방법을 찾기 위해 여전히 고심하고 있는 조직에 장애물이었습니다.

다른 소스(주로 벡터를 저장할 수 있는 데이터베이스)에서 실시간으로 추가 데이터나 컨텍스트를 모델에 제공하는 RAG가 이 문제를 해결하는 데 사용되고 있습니다. 이러한 기술 발전은 조직의 가장 귀중한 자산인 자체 데이터를 기반으로 구축된 도메인별 맞춤형 GenAI 애플리케이션을 개발하는 데 핵심입니다.

RAG는 GenAI 애플리케이션에 엔터프라이즈 컨텍스트를 가져오기 위한 사실상의 방법으로 등장했지만, 미세 조정(사전 훈련된 모델이 데이터 하위 집합에 대해 추가로 훈련되는 경우)도 종종 언급됩니다. 이 방법이 유용할 때도 있지만 개인 정보 보호, 보안 또는 속도가 우려되는 경우 RAG가 올바른 선택입니다.

애플리케이션에 컨텍스트가 어떻게 추가되는지에 관계없이, 제가 대화를 나눈 투자자들로부터 자주 받는 가장 큰 질문은 기업이 언제 GenAI 앱으로 돈을 벌기 시작할 것인가입니다.

내 답변: 귀하가 추적하는 대부분의 기업은 소비 기반 기업입니다. 현재 많은 사람들이 고객이 구축한 실험, 개념 증명(POC) 및 틈새 앱을 지원하고 있습니다. 그것들은 소비에 큰 영향을 미치지 않습니다.

그러나 주요 AI 애플리케이션이 POC에서 실제 생산으로 전환되기 시작하면서 이러한 상황이 바뀌기 시작했습니다. 2024년 말쯤에는 이런 일이 크게 일어날 것으로 예상합니다. 2024년 하반기에는 두 곳에서 결실을 맺게 될 것입니다.

첫째, 소매업이 자리를 잡게 되었습니다(앞서 언급한 월마트 사례 참조). 또한 제가 "AI 인트라넷"이라고 부르는 영역(PDF 채팅, 지식 베이스 및 내부 콜 센터)이 널리 채택되는 것을 볼 수 있습니다.

이러한 종류의 앱이 소비되면서 Microsoft , Google , 심지어 Oracle 과 같은 회사는 AI 결과를 보고하기 시작했습니다. 하이퍼스케일러 영역 외에 다른 AI 인프라 회사는 내년 1월, 2월, 3월에 발표하는 수익 보고서에서 상승세를 강조하기 시작할 가능성이 높습니다.

GenAI 애플리케이션의 생산 경로

소비 기반 AI 인프라 기업을 위한 기반은 이미 마련됐다. 우리는 이미 도메인별 맞춤형 애플리케이션의 대규모 기반에서 무엇이 가능한지 보여주는 강력하고 상업적인 증거를 확인했습니다. 창의적인 AI 앱(예: Midjourney, Adobe Firefly 및 기타 이미지 생성기)부터 GitHub Copilot( 100만 명 이상의 개발자가 사용 ), Glean 등과 같은 지식 앱에 이르기까지 이러한 애플리케이션은 많은 채택률을 기록했으며 상당한 생산성을 이끌어냈습니다. 이득.

맞춤형 앱의 발전은 상호 작용 지점에 지식을 전달하는 것을 촉진해야 하는 산업 및 사용 사례에서 가장 발전되었습니다. 지식은 기성 모델(오픈 소스 또는 독점), RAG 및 선택한 클라우드 공급자를 사용하여 자체 데이터에서 나옵니다.

기업이 생산 규모에서 엄격한 기능을 수행할 준비가 된 맞춤형 GenAI 앱을 구축하려면 스마트 컨텍스트, 관련성, 확장성이라는 세 가지 요소가 필요합니다.

스마트 컨텍스트

GenAI 애플리케이션에서 유용하고 관련성이 높으며 정확한 응답을 생성하기 위해 독점 데이터가 어떻게 사용되는지 간단히 살펴보겠습니다.

애플리케이션은 모든 종류의 데이터 형태로 사용자 입력을 받아 이를 모두 임베딩 엔진에 공급합니다. 이 엔진은 본질적으로 데이터에서 의미를 도출하고 RAG를 사용하여 벡터 데이터베이스에서 정보를 검색하며 LLM이 사용할 수 있는 "스마트 컨텍스트"를 구축합니다. 사용자에게 실시간으로 제공되는 상황에 맞는 환각 없는 응답을 생성합니다.

관련성

이는 운영 데이터베이스 회사에서 많이 듣는 주제가 아닙니다. 그러나 AI 및 벡터 데이터베이스 분야에서 관련성은 유용하고 정확하며 환각이 없는 반응을 생성하는 데 중요한 재현성과 정밀도의 혼합입니다.

기존 데이터베이스 작업과 달리 벡터 데이터베이스는 본질적으로 비결정적인 의미 또는 유사성 검색을 가능하게 합니다. 이로 인해 동일한 쿼리에 대해 반환되는 결과는 컨텍스트와 검색 프로세스가 실행되는 방식에 따라 다를 수 있습니다. 여기서 벡터 데이터베이스가 실제 응용 프로그램에서 작동하는 방식에 정확성과 관련성이 중요한 역할을 합니다. 자연스러운 상호 작용에서는 유사성 검색에서 반환된 결과가 정확하고 요청된 쿼리와 관련이 있어야 합니다.

확장성

POC를 넘어 프로덕션으로 이동하는 GenAI 앱에는 높은 처리량이 필요합니다. 처리량은 본질적으로 주어진 시간 내에 저장, 액세스 또는 검색할 수 있는 데이터의 양입니다. 실시간, 대화형, 데이터 집약적 기능을 대규모로 제공하려면 높은 처리량이 중요합니다. 쓰기에는 종종 여러 소스의 수십억 개의 벡터가 포함되며 GenAI 애플리케이션은 초당 엄청난 양의 요청을 생성할 수 있습니다.

마무리

초기 기술 혁신의 물결과 마찬가지로 GenAI는 확립된 패턴을 따르고 있으며 모든 징후는 이전 기술 혁명보다 훨씬 빠르게 움직이고 있음을 나타냅니다. 이에 대한 부정적이고 긍정적인 과대 광고를 모두 잘라내면 POC GenAI 앱을 프로덕션으로 옮기기 위해 노력하는 회사에서 유망한 진전이 이루어지고 있음이 분명합니다.

그리고 이러한 앱을 위한 확장 가능하고 구축하기 쉬운 기반을 제공하는 DataStax와 같은 회사는 생각보다 빨리 고객 소비의 이점을 보기 시작할 것입니다.

작성자: Ed Anuff, DataStax

DataStax를 통해 고객이 GenAI 앱을 프로덕션으로 전환할 수 있는 방법에 대해 자세히 알아보세요.