Kinh tế học của việc hồi hương đám mây công cộng và lý do tại sao nó lại quá tốn kém ở quy mô lớn

Điều đã trở nên rõ ràng trong vài năm qua là đám mây công cộng, với tất cả các lợi ích của nó, không mang lại khả năng tiết kiệm chi phí ở quy mô lớn. Nó mang lại lợi ích về năng suất, đến một mức độ nào đó, nhưng sẽ không giảm chi phí của bạn. Đám mây công cộng có những ưu điểm vì nó cung cấp một đề xuất giá trị cực kỳ mạnh mẽ—cơ sở hạ tầng có sẵn ngay lập tức, ở đúng quy mô mà doanh nghiệp cần—thúc đẩy hiệu quả trong cả hoạt động và kinh tế. Đám mây cũng giúp nuôi dưỡng sự đổi mới khi các nguồn lực của công ty được giải phóng để tập trung vào các sản phẩm mới và tăng trưởng. Tuy nhiên, hành động tương tác với dữ liệu của bạn tạo ra chi phí thoát, đã được chứng minh là cực kỳ tốn kém. Điều này đặc biệt đúng khi các ứng dụng và khối lượng công việc liên tục, nhất quán và sử dụng nhiều dữ liệu (khối lượng/tốc độ/nhiều loại lệnh gọi đọc và ghi) hoặc liên quan đến phân tích hiệu suất cao - chúng chỉ không bền vững trong đám mây công cộng khi chúng phát triển.

“..khi kinh nghiệm của ngành với điện toán đám mây ngày càng hoàn thiện—và chúng ta thấy bức tranh toàn cảnh hơn về vòng đời điện toán đám mây đối với nền kinh tế của công ty—thì rõ ràng là trong khi điện toán đám mây rõ ràng mang lại lời hứa của mình ngay từ đầu trong hành trình của công ty, thì áp lực mà nó gây ra cho biên lợi nhuận có thể bắt đầu lớn hơn lợi ích khi công ty mở rộng quy mô và tăng trưởng chậm lại.” - Sara Wang và Martin Casado, Andreessen-Horowitz, 2021

Mặc dù có tính tiên đoán đáng kinh ngạc, nhưng đó là từ năm 2021. Vào năm 2024, dữ liệu đã tăng trưởng (trung bình khoảng 20% mỗi năm theo một Nghiên cứu của IDC từ năm 2022 ), khối lượng công việc đã trở nên lớn hơn và quy mô đã trở thành vấn đề. Không phải công nghệ mở rộng quy mô, mà là chi phí, cụ thể là, để mở rộng quy mô trong đám mây công cộng. Theo David Linthicum, có 3 lý do chính khiến đám mây công cộng đang “Bị đá ra khỏi lề đường” :

Chi phí - đối với một số khối lượng công việc nhất định, việc chạy chúng trên đám mây là quá tốn kém. Giá phần cứng hàng hóa đã giảm rất nhiều trong vài năm qua, phần cứng đó không còn là CapEx lớn như trước nữa.

Di chuyển không thành công - khối lượng công việc chưa được tái cấu trúc tối ưu hoặc điều chỉnh để trở thành đám mây gốc đã khiến chi phí tăng lên ~2,5 lần so với chi phí dự kiến ban đầu. Các ứng dụng không hiệu quả tại chỗ hóa ra lại không hiệu quả trên đám mây. Việc làm cho chúng hiệu quả hơn đang tốn kém quá nhiều và cuối cùng không đáng.

Nhu cầu giảm dần - Các ứng dụng ban đầu cần được triển khai nhanh chóng và hiệu quả, cũng như có khả năng mở rộng quy mô, đã mở rộng quy mô trên đám mây nhưng giờ đây chỉ là một cỗ máy thực hiện các tác vụ lặp đi lặp lại và lưu trữ dữ liệu. Các ứng dụng này không còn được hưởng lợi từ khả năng mở rộng quy mô nhanh mà đám mây có thể cung cấp và giờ đây chỉ sử dụng rất nhiều dung lượng lưu trữ đắt tiền. Không còn nhu cầu về một mô hình linh hoạt, có khả năng mở rộng quy mô nhanh nữa. Việc thương mại hóa phần cứng đã đưa ra một cách mới, tiết kiệm chi phí để chạy các khối lượng công việc này. Theo một báo cáo gần đây của Barclay Cuộc thăm dò của CIO , nhiều CIO đồng ý.

Từ đó cùng bài viết a16z -

“Vào năm 2017, Dropbox đã nêu chi tiết trong S-1 tiết kiệm được tới 75 triệu đô la tích lũy trong hai năm trước khi IPO nhờ cải tổ tối ưu hóa cơ sở hạ tầng, phần lớn trong số đó liên quan đến việc hồi hương khối lượng công việc từ đám mây công cộng.”

Khi chi phí đám mây của bạn bắt đầu dao động quanh mức 50% hoặc hơn chi phí doanh thu của bạn (như Tư thế Asana , Dữ liệu chó, Prerender.io , và những người khác), đã đến lúc bắt đầu xem xét khối lượng công việc của bạn đang làm gì trên đám mây công cộng. Lãnh đạo tổ chức và doanh nghiệp cần nhận thức được điều này để họ có thể xoay trục. Một số khối lượng công việc nhất định, chẳng hạn như chạy khối phân tích dữ liệu, cơ sở dữ liệu trong bộ nhớ hoặc cụm phân tích dữ liệu phù hợp hơn với cơ sở hạ tầng tại chỗ. Nhưng đây chỉ là một vài ví dụ.

Để tập trung vào một xu hướng cụ thể sẽ bị ảnh hưởng bởi vấn đề quy mô này, chúng ta hãy xem xét AI/ML và cụ thể là LLM (Mô hình ngôn ngữ lớn). Nếu sáng kiến AI hiện tại của bạn yêu cầu bạn xây dựng LLM hoặc mô hình nền tảng của riêng mình, hãy cân nhắc những nhược điểm khi thực hiện trên đám mây công cộng:

1. Chi phí mở rộng quy mô cao - Đào tạo và vận hành LLM ở quy mô lớn rất tốn kém và khi LLM lớn hơn, chi phí cho đám mây công cộng cũng tăng theo.

   
   

2. Mất quyền kiểm soát - Bạn có ít quyền kiểm soát và khả năng hiển thị hơn đối với việc triển khai, cơ sở hạ tầng và hiệu suất

   
   

3. Vendor Lock-in - Nếu bạn đã đào tạo LLM trên một nền tảng đám mây, sẽ rất khó để chuyển sang một nền tảng khác. Hơn nữa, việc chỉ phụ thuộc vào một nhà cung cấp đám mây duy nhất sẽ kéo theo những rủi ro cố hữu, đặc biệt là liên quan đến chính sách và biến động giá.

   
   

4. Quyền riêng tư và bảo mật dữ liệu - Tôi cũng muốn đề cập đến chủ quyền dữ liệu ở đây. Điểm mấu chốt là bạn đang tin tưởng dữ liệu của mình cho một nhà cung cấp có máy chủ trải rộng trên khắp các khu vực trên toàn thế giới.

   
   

Nếu doanh nghiệp của bạn đang xử lý petabyte hoặc có xu hướng mở rộng quy mô như vậy, thì nền kinh tế sẽ ủng hộ đám mây riêng. Đúng vậy, điều đó có nghĩa là xây dựng cơ sở hạ tầng (hoặc thuê từ một ai đó như Equinix), bao gồm bất động sản, HW, nguồn điện/làm mát, nhưng nền kinh tế vẫn rất thuận lợi. Đám mây công cộng là một nơi tuyệt vời để tìm hiểu cách thức đám mây gốc và để có quyền truy cập vào danh mục các ứng dụng đám mây gốc, nhưng không phải là nơi tuyệt vời để mở rộng quy mô.

Một ví dụ về kinh tế

Vậy, kinh tế học là gì? Để minh họa, hãy lấy một datalake hiện đại 10PB sử dụng Kubernetes để quản lý Apache Spark và Dremio cho khối lượng công việc phân tích liên tục và nhất quán. Các loại khối lượng công việc này yêu cầu đọc và ghi dữ liệu thường xuyên từ bộ lưu trữ đối tượng để phân tích, cập nhật và làm mới, và trình bày. Theo quan điểm về cấu trúc chi phí, chúng tôi sẽ sử dụng một số giả định cho các trình điều khiển chi phí chính:

• Các hồ dữ liệu và khối lượng công việc này có tiện ích hạn chế nếu chúng ta không thể sử dụng dữ liệu. Dữ liệu cung cấp thông tin chi tiết, phục vụ các ứng dụng khác và có thể cần được xử lý bên ngoài môi trường lưu trữ. Điều này yêu cầu dữ liệu phải được chuyển ra khỏi bộ lưu trữ. Nếu chúng ta giả sử 500TB được truy cập mỗi tháng, thì con số đó chỉ đại diện cho 5% dữ liệu được truy cập mỗi tháng.

  
  

• Đối với Yêu cầu Dữ liệu/Đối tượng (PUT, GET, HEAD, v.v.), chúng tôi đã làm việc với những khách hàng có khối lượng công việc nhất quán và liên tục tương tự, có hơn 10b yêu cầu đối tượng mỗi tháng. Vì vậy, chúng tôi có thể sử dụng 10b làm giả định thận trọng cho loại khối lượng công việc này.

  
  

• Tương tự như vậy, những khách hàng đó cũng thấy số lượng yêu cầu mã hóa tương tự cho các đối tượng đó, do đó, một lần nữa chúng ta sử dụng 10b làm giả định thận trọng cho ví dụ của mình.

  
  

Với những giả định đó, chi phí của đám mây công cộng có thể trông giống như thế này:

Chi phí đám mây công cộng hàng năm cho 10PB = 7,3 triệu đô la hoặc 0,061 đô la cho mỗi GB/tháng

Các giả định trên chỉ là như vậy, và thực tế là có rất nhiều giả định cho bạn biết chi phí có thể thay đổi như thế nào tùy thuộc vào các yếu tố sử dụng và khối lượng công việc cụ thể. Điều này tạo ra những thách thức đáng kể khi cố gắng lập ngân sách. Ngoài ra, việc không có phân tầng hoặc bất kỳ hoạt động Vòng đời dữ liệu nào cũng khá hiếm, vì các tổ chức thường di chuyển dữ liệu đến các tầng lạnh hơn nếu dữ liệu trở nên ít "hoạt động" hơn. Nhưng tất cả những điều đó chỉ làm tăng thêm chi phí, vì các tầng khác nhau có giá khác nhau cho mỗi GB/tháng, cũng như chi phí để tự động di chuyển các đối tượng vào các tầng đó.

MinIO cho phép bạn mở rộng quy mô trên đám mây riêng (colo hoặc trung tâm dữ liệu), sử dụng cùng các công nghệ được sử dụng trên đám mây công cộng: lưu trữ đối tượng tương thích với API S3, điện toán dày đặc, mạng tốc độ cao, Kubernetes, container và dịch vụ siêu nhỏ. Một điểm khác biệt chính là không có chi phí cho các yêu cầu đối tượng (GET, PUT, v.v.), cũng không có giới hạn nào về số lượng yêu cầu, miễn là cơ sở hạ tầng hỗ trợ. Ngoài ra, mã hóa được bao gồm trong các phiên bản MinIO Enterprise và Community và không có giới hạn về số lượng đối tượng được mã hóa được yêu cầu.

Tùy chọn này cung cấp sự kết hợp lý tưởng giữa chi phí vận hành, tính linh hoạt và khả năng kiểm soát. Đúng là bạn sẽ phải chịu CAPEX cho phần cứng, nhưng bằng cách bắt đầu nhỏ và tận dụng các bài học quan trọng của đám mây (tính đàn hồi, khả năng mở rộng theo thành phần, tách biệt tính toán khỏi lưu trữ), doanh nghiệp có thể giảm thiểu chi phí ban đầu và tối đa hóa khoản tiết kiệm vận hành.

Khi kết hợp với phần cứng thông dụng và hoạt động trong một colo hoặc trung tâm dữ liệu độc quyền, MinIO có thể giảm chi phí đám mây công cộng (cũng như chi phí liên quan đến việc quản lý chi phí đám mây đó) từ 50% - 70% và trong một số trường hợp, có thể cao hơn.

Chi phí Colo/MinIO hàng năm cho 10PB = 1,7 triệu đô la mỗi năm hoặc 0,014 đô la cho mỗi GB/tháng

Điều đó tương đương với việc giảm ~ 77% chi phí lưu trữ cho 10PB dung lượng lưu trữ so với đám mây công cộng. Ngay cả đối với nhu cầu dung lượng lưu trữ nhỏ hơn (200TB - 2PB), thì khoản tiết kiệm này cũng đáng để khám phá. Chưa kể bạn có được hiệu suất lưu trữ tốt nhất trong ngành, tường lửa tích hợp để bảo mật cấp độ thùng, khả năng quan sát được thiết kế riêng cho lưu trữ đối tượng và nhiều tính năng giá trị gia tăng khác điều đó sẽ khiến bạn tốn thêm chi phí khi sử dụng đám mây công cộng.

Yếu tố tài nguyên

Một yếu tố bổ sung đáng để phân tích nhanh là nguồn lực (con người). Chúng tôi đã nghe từ khách hàng của mình rằng số lượng nguồn lực cần thiết để quản lý cơ sở hạ tầng đám mây công cộng có thể dao động từ 5-10 FTE tùy thuộc vào quy mô của cơ sở hạ tầng đám mây. Bao gồm Kỹ sư đám mây, Trưởng nhóm đám mây, Kỹ sư DevOps và Quản lý dự án đám mây. Sử dụng các mức lương và trung bình từ Kính cửa sổ , chi phí FTE có thể dao động từ 700.000 - 1,5 triệu đô la mỗi năm, bao gồm đầy đủ chi phí.

Chúng tôi cũng nghe từ khách hàng của mình (76% trong số họ, trong một cuộc khảo sát gần đây) rằng một trong những động lực giá trị chính của MinIO là tính dễ sử dụng và khả năng quản lý. Cùng cuộc khảo sát đó cho thấy 60% trong số họ đã trích dẫn khả năng của MinIO trong việc mang lại Hiệu quả hoạt động được cải thiện.

"MinIO…đã giúp chúng tôi giảm chi phí hỗ trợ và bảo trì."

• Công ty dịch vụ chuyên nghiệp

"MinIO là một sản phẩm giải pháp lưu trữ rất tốt, nó đã...giảm chi phí tài nguyên hơn 50%."

• Nhà cung cấp giải pháp công nghệ hàng đầu chuyên cung cấp các dịch vụ DevOps trọn gói

Trong nội bộ, chúng tôi sử dụng MinIO cho nhiều khối lượng công việc, nhu cầu lưu trữ, thử nghiệm, v.v. khác nhau và chúng tôi ước tính MinIO có thể được quản lý bởi 1 FTE - 3 FTE cho cơ sở hạ tầng PB+. Điều đó cho phép cơ sở hạ tầng lớn ở quy mô lớn với nguồn lực tối thiểu.

Bắt đầu

Bây giờ bạn đã thấy cách thức và lý do tại sao nền kinh tế hoạt động đối với đám mây riêng, tôi chắc chắn bạn đang tự hỏi các bước để bắt đầu theo con đường này là gì. Các đồng nghiệp của tôi đã viết về điều này đây Và đây và tôi khuyên nhóm Đám mây và nhóm DevOps của bạn nên xem các blog này để biết thông tin chi tiết về việc di chuyển khỏi đám mây công cộng.

Chúng tôi đã chứng kiến hàng chục khách hàng hồi hương dữ liệu của họ bằng phần cứng thông dụng và trung tâm dữ liệu của riêng họ hoặc một colo, và nhận ra một số khoản tiết kiệm và lợi ích thực sự từ giải pháp lưu trữ đối tượng đơn giản, hiệu suất cao của MinIO.

Như phân tích ở trên chứng minh, các doanh nghiệp có thể tiết kiệm chi phí đáng kể, trên 50% hóa đơn S3 đám mây công cộng hàng năm hiện tại của họ, bằng cách hồi hương dữ liệu về phần cứng của riêng họ trong một trung tâm dữ liệu hoặc dịch vụ đồng định vị. Trong kịch bản trên, chỉ với 10PB, doanh nghiệp của bạn có thể tiết kiệm khoảng 6,5 triệu đô la trong năm năm tới.

Sự thật của vấn đề là đám mây công cộng có chi phí cấm ở quy mô lớn. Bản chất đàn hồi vốn có của đám mây công cộng khiến việc mở rộng quy mô ở đó có vẻ hấp dẫn, nhưng hầu như luôn là lựa chọn sai lầm theo quan điểm kinh tế. Điều này đặc biệt đúng đối với các tác vụ chuyên sâu về dữ liệu như AI/ML, nơi chi phí và mất quyền kiểm soát trong đám mây công cộng có thể rất lớn. Khi dữ liệu mở rộng quy mô, các giải pháp đám mây riêng với MinIO trở nên vượt trội về mặt kinh tế, cung cấp các công nghệ tương đương (có thể nói là tốt hơn) với chi phí thấp hơn. Bằng cách tận dụng phần cứng hàng hóa và cơ sở hạ tầng đám mây riêng, các công ty có thể đạt được mức tiết kiệm chi phí đáng kể và lợi ích về hiệu suất so với đám mây công cộng, đôi khi lên tới 70%. Chúng tôi đề xuất khám phá việc di chuyển khỏi đám mây công cộng cho khối lượng công việc của bạn và sử dụng MinIO để hiện đại hóa và mở rộng quy mô các ứng dụng kinh doanh quan trọng của bạn.

Nếu bạn muốn tìm hiểu thêm và tận dụng chức năng kỹ thuật giá trị của chúng tôi để chạy mô hình của riêng bạn, vui lòng liên hệ với chúng tôi tại xin chà[email protected] và chúng ta có thể bắt đầu cuộc trò chuyện.