Snowflake 또는 BigQuery를 운영하는 모든 기업은이 느낌을 알고 있습니다 : 월간 청구서가 도착하고 예상보다 40 % 더 높으며 정확하게 이유를 설명 할 수있는 사람은 없습니다. 데이터 팀은 매주 수동으로 창고를 재구성하는 대신에 10 시간을 보냅니다 파이프라인을 구축합니다. Ido Arieli Noga, CEO 및 공동 설립자 이 사이클 내에서 12 년 이상을 보냈으며, 처음에는 정부에서 대규모 데이터 환경을 관리 한 다음 Lightico의 데이터 책임자로 Snowflake 비용을 직접 관찰했습니다. 유키 이 인터뷰에서 우리는 데이터 인프라 확장에 대한 기본 접근 방식이 왜 깨졌는지, AI 시대의 워크로드가 클라우드 예산에 어떤 영향을 미치고 있는지, 그리고 업계가 데이터 비용 관리를 처음부터 어떻게 다시 생각해야 하는지에 대해 알아 봅니다. 안녕하세요 Ido, 우리의 "Behind the Startup"시리즈에 오신 것을 환영합니다.당신은 정부, DevOps, 데이터 아키텍처, 그리고 궁극적으로 Lightico에서 데이터 책임자에서 일했습니다.그것은 넓은 경로입니다. Ishan Pandey: 내 팀은 인프라 - 창고 크기, 비용 화재 방지, 조정 쿼리를 필요로하지 않아야하는 튜닝에 시간의 60 %를 보냈다. Ido Arieli Noga: 나는 문제를 해결할 수 있었다는 것을 알고있었습니다. DevOps에서 그것을 보았습니다 - Spot.io와 같은 회사는 클라우드 인프라에 대한 자율 최적화를 구축했으며 효과가있었습니다. 같은 것이 데이터 플랫폼에 존재하지 않았습니다. 그래서 Spot.io의 공동 설립자 인 Yakir Daniel에게 접근하여 데이터에 적용 된 아이디어를 제시했으며 즉시 얻었습니다. 그 대화는 우리의 첫 번째 투자자이자 강력한 검증자가되었습니다. Snowflake, BigQuery 및 Databricks에 걸쳐 400개 이상의 데이터 팀과 대화했습니다.What's the common thread? Ishan Pandey: 플랫폼에 관계없이 동일한 좌절감. 엔지니어들은 과다 지불을 알고 있습니다.그들은 그것을 볼 수 있습니다.그러나 그것을 고치려면 지속적인 감사가 필요합니다 - 창고에 따라 창고, 작업 부하에 따라 작업 부하, 그리고 아무도 그것을위한 대역폭을 가지고 있지 않습니다. Ido Arieli Noga: 플랫폼 자체는 당신에게 제한된 옵션을 제공합니다.당신은 창고의 크기를 변경할 수 있지만, 그것은 단순한 도구입니다. 
 
 실제 최적화는 쿼리 수준에서 발생합니다 - 각 쿼리는 다른 계산 요구 사항, 다른 동시 패턴, 다른 타이밍을 가지고 있습니다.당신은 슬라이더를 움직여서 그 문제를 해결할 수 없습니다.당신은 각 쿼리를 개별적으로 살펴보고 실시간으로 올바른 인프라 결정을 내릴 무언가가가 필요합니다. 실제 최적화는 쿼리 수준에서 발생합니다 - 각 쿼리는 다른 계산 요구 사항, 다른 동시 패턴, 다른 타이밍을 가지고 있습니다.당신은 슬라이더를 움직여서 그 문제를 해결할 수 없습니다.당신은 각 쿼리를 개별적으로 살펴보고 실시간으로 올바른 인프라 결정을 내릴 무언가가가 필요합니다. 이 공간에 있는 200개 이상의 공급자는 대개 더 많은 대시보드를 추가합니다.The gap is something that acts - continuously, at the query level, without touching user code. 창고 확산, 슬롯 오용, 클러스터 확산 - 다른 플랫폼, 같은 문제. Ishan Pandey: 공급은 쉽습니다. 오른쪽 크기는 어렵습니다. 팀은 새로운 사용 사례를 계산하고, 무언가를 스핀하고 계속 진행해야합니다. 아무도 수십 개의 자원의 사용을 지속적으로 감사하지 않습니다. Ido Arieli Noga: 우리는 일관되게 그것을 볼 수 있습니다 : Snowflake에서 중간 창고 요청의 40 %는 매우 작게 실행 될 수 있습니다. BigQuery에서 슬롯 예약은 일상적으로 실제 수요의 3 ~ 4 배입니다. 엔지니어들은 신중하지 않습니다 - 그것은 단순히 수동으로 규모로 처리 할 수있는 문제가 아닙니다. 당신은 빠른 시간에 대한 가치에 대해 이야기하고 있습니다. 전형적인 배포는 어떻게 생겼는지, 그리고 그것은 어디에서 짧아졌습니까? Ishan Pandey: 우리는 응용 프로그램과 연결 수준의 데이터 플랫폼 사이에 앉아 모든 쿼리를 실시간으로 볼 수 있습니다 - 크기, 복잡성, 동시, 역사 패턴 및 적절한 크기의 컴퓨팅으로 라우팅합니다.No code changes because we're not touching queries. Ido Arieli Noga: 충격 속도는 대부분의 환경에서 얼마나 많은 헤드룸이 존재하는지에 달려 있습니다. 대부분의 계좌는 첫날부터 상당히 과다 공급됩니다. 
 
 앤젤 스튜디오는 연결 스트레인 스위트를 통해 54분 만에 실행되었으며 비용을 60% 절감했습니다.Tenable는 비용을 33% 절감하고 2주 만에 엔지니어링 시간의 25%를 회수했습니다. 앤젤 스튜디오는 연결 스트레인 스위트를 통해 54분 만에 실행되었으며 비용을 60% 절감했습니다.Tenable는 비용을 33% 절감하고 2주 만에 엔지니어링 시간의 25%를 회수했습니다. 또한 작동하지 않는 곳: 이미 수동 최적화에 많은 투자를 한 팀, 안정적인 패턴이없는 매우 불규칙한 워크로드 또는 대부분의 비용이 컴퓨팅이 아닌 저장 또는 데이터 전송이되는 환경. 귀하의 가격은 실제 저축의 비율입니다 - 저축이 없고 비용이 없습니다.이것은 기업 SaaS에서 드문 일입니다. Ishan Pandey: 그것은 확신에서 왔습니다. 제품이 작동한다면, 절약에 맞추는 것이 정직합니다. 특정 환경을 위해 작동하지 않는 경우, 우리는 요금을 부과해서는 안됩니다. Ido Arieli Noga: CFO와의 대화는 간단합니다.우리는 비용 없이 30일간의 파일럿을 실행합니다.우리가 절약을 생성하지 않으면 청구서가 없습니다.그것은 평가 위험을 완전히 제거합니다.더 어려운 부분은 일반적으로 공급입니다 - 일부 금융 팀은 결과 기반 SaaS를위한 깨끗한 버킷을 가지고 있지 않습니다.그러나 그들이 그것을 이해하면 거래를 승인하는 것이 더 쉽습니다. AI 실험은 오래된 컴퓨팅 폐기물 문제의 새로운 버전을 만듭니다. Ishan Pandey: AI 워크로드는 탐구적이며 종종 버려집니다.팀은 실험을 실행, 그것은 완료 또는 취소되고, 컴퓨터는 계속 실행됩니다. Ido Arieli Noga: 워크로드 인식 계층이 계산을 변경합니다.팀은 인프라가 조정되는 것을 알고 있기 때문에 일반적인 비용 걱정없이 워크로드를 스핀 할 수 있습니다.그것은 작지만 진정한 마찰 지점을 제거합니다.당신은 "우리는 이것을 실행할 수 있습니까?"라고 묻는 것을 멈추고 "우리는 이것에서 무엇을 배울 수 있습니까?"라고 묻기 시작합니다. 그것은 또한 데이터 리더십에 AI 지출이 어디로 가고 있는지에 대한 실제적인 시각성을 제공합니다 - 팀, 워크로드 유형, 결과. 예측할 수없는 청구서를 다루는 데이터 관리자와 엔지니어가 인프라 작업에 갇혀있는 경우 - 이번 주, 모든 플랫폼에서 감사해야 할 세 가지 사항. Ishan Pandey: 첫째, 시간 창에 의한 컴퓨팅 사용.대부분의 환경은 오프 피크 시간 동안 상당한 빈번한 컴퓨팅을 가지고 있습니다. 빠른 찾기, 빠른 수정. Ido Arieli Noga: 둘째, 리소스 레벨 대 실제 쿼리 수요 30일의 쿼리 역사, 할당된 계산 레벨에 의해 그룹화. 30% 이상의 쿼리가 그 레벨의 용량보다 훨씬 낮은 상태라면 크기 문제가 있습니다. 셋째, 활성 작업량이없는 항상 사용 가능한 리소스: 결코 완전히 중단되지 않는 창고, 클러스터 또는 슬롯 예약 - 일반적으로 잘못 구성되거나 배경 프로세스에 의해 생존. Snowflake를 넘어 BigQuery와 Databricks로 확장하고 있습니다. Ishan Pandey: 비전은 모든 주요 데이터 플랫폼에 걸쳐 통합 된 최적화 레이어가 아닌 Snowflake 도구, 비용 도구입니다.Resource management, observability, governance, whatever platform you run. Ido Arieli Noga: 현재, 최적화 레이어가없는 데이터 플랫폼을 실행하는 것은 엔지니어가 자동화되어야 할 일을 할 수 있다는 것을 의미합니다.지금부터 5 년 후에는 수동 서버 공급이 오늘날처럼 보일 것입니다 - 잘못된 것이 아니라 불필요합니다. 이 변화는 이미 일어나고 있습니다.데이터 인프라는 이제 핵심 비즈니스 인프라입니다. 스토리를 좋아하고 공유하는 것을 잊지 마세요!

This story contains new, firsthand information uncovered by the writer.

Hot off the press! This story contains factual information about a recent event.

Between Two Computer Monitors: This story includes an interview between the writer and guest/interviewee. 

Winner of Noonies 2020 for the award Hacker Noon Contributor of the Year - DATA.

2020 - Hacker Noon Contributor of the Year in DATA

Read My Stories

이 오디오는 이야기의 원래 언어로 제작되었습니다!

데이터 비용 최적화에 대한 Yuki CEO : 왜 Snowflake와 BigQuery Bill이 40%이며 AI로 인해 증가하는가

About Author

코멘트

태그 걸기

이 기사는 다음에서 발표되었습니다.

Related Stories

탭하여 수익 창출: 텔레그램에서 솔라나 이전에 100억 명의 암호화폐 사용자를 확보할 수 있음

작업 흐름을 10배 향상하는 방법: 17가지 필수 앱

HackerNoon 글쓰기 대회에서 우승하고 싶으신가요? #crypto-api 대회 우승자들이 추천하는 내용은 다음과 같습니다.

State of the Noonion: Building, Selling and Storytelling @ HackerNoon

탭하여 수익 창출: 텔레그램에서 솔라나 이전에 100억 명의 암호화폐 사용자를 확보할 수 있음

작업 흐름을 10배 향상하는 방법: 17가지 필수 앱

HackerNoon 글쓰기 대회에서 우승하고 싶으신가요? #crypto-api 대회 우승자들이 추천하는 내용은 다음과 같습니다.

State of the Noonion: Building, Selling and Storytelling @ HackerNoon

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps