Đám mây riêng mới từ góc nhìn của một kiến trúc sư

Bài viết này ban đầu xuất hiện trên The New Stack .

Trong vài năm, thuật ngữ “private cloud” có hàm ý tiêu cực. Nhưng như chúng ta đã biết, công nghệ giống bánh xe hơn là mũi tên, và đúng như dự đoán, private cloud đang nhận được rất nhiều sự chú ý và tất cả đều tích cực. Số liệu thống kê rất rõ ràng, Khảo sát về cơ sở hạ tầng đám mây năm 2023 của Forrester có 79% trong số 1.300 người ra quyết định doanh nghiệp trả lời rằng họ đang triển khai private cloud. Theo một Báo cáo Citrix tại Vương quốc Anh , 94% các nhà lãnh đạo CNTT đã tham gia vào nỗ lực hồi hương. IDC đáng kính đã phát hiện ra rằng 80% các công ty đã hồi hương một phần hoặc toàn bộ dữ liệu của họ trong vòng một năm sau khi chuyển dữ liệu đó lên đám mây. Thật là vô lý khi tổ hợp công nghiệp đám mây tuyên bố rằng "không có gì để xem ở đây..."

Có nhiều lý do khác nhau và chúng tôi sẽ trình bày chi tiết, nhưng quan trọng hơn, kiến trúc nào là phù hợp để hồi hương? Các nguyên tắc kỹ thuật đầu tiên của đám mây riêng là gì? Và cuối cùng, làm thế nào để tôi thiết kế cho các yêu cầu về cơ sở hạ tầng dữ liệu của AI?

Lý do đằng sau việc hồi hương đến Đám mây riêng

Lý do chính khiến các công ty hồi hương là chi phí. Họ tiết kiệm được tới 70% khi hồi hương. Điều này đã được chứng minh công khai bởi các công ty đa dạng như 37 tín hiệu , X Và Ahrefs .

Có liên quan, nhưng không giống nhau, là khả năng dự đoán. Đám mây riêng có độ đàn hồi kém hơn, nhưng khả năng dự đoán cao hơn (chúng tôi sẽ đề cập đến một số mẹo về độ đàn hồi bên dưới). Đối với hầu hết các CIO hiểu được khối lượng công việc của họ, sự đánh đổi này rất đáng giá. Đối với các CFO, đây là một lựa chọn thậm chí còn dễ dàng hơn.

Vấn đề bảo mật đứng thứ ba. Điều này không có nghĩa là đám mây công cộng về bản chất là không an toàn, không phải vậy. Điều này có nghĩa là các CISO không hoàn toàn tin tưởng vào các đối tác đám mây công cộng của họ (thực tế là hầu hết các nhà cung cấp đám mây đều có quyền xem xét các thùng của bạn) trên mặt trận này. Rủi ro chỉ trở nên cao hơn trong thời đại AI.

Trên một lưu ý liên quan, kiểm soát nằm trong danh sách của mọi CIO. Cùng với việc tiết kiệm chi phí, khả năng dự đoán và bảo mật, bạn không chỉ kiểm soát hoàn toàn cơ sở hạ tầng dữ liệu AI của mình mà dữ liệu đó còn gần với tất cả các ứng dụng của bạn để sử dụng, cho phép bạn lưu trữ các mô hình của mình trên cơ sở hạ tầng dữ liệu AI, nơi bạn và nhóm của bạn có thể thiết lập các tiêu chuẩn bảo mật để phù hợp với các yêu cầu bảo mật riêng của bạn - thậm chí là quyền truy cập vật lý.

Mức độ trưởng thành cũng được xếp hạng. Đám mây hiện đại là một mô hình hoạt động, không phải là một vị trí. Mô hình đó, trước đây là phạm vi độc quyền của các đám mây công cộng lớn, giờ đây đã có mặt ở khắp mọi nơi — từ biên đến lõi. Container hóa, điều phối, dịch vụ vi mô, cơ sở hạ tầng được xác định bằng phần mềm, API RESTful là các quy trình hoạt động tiêu chuẩn. Không quan trọng bạn chạy chúng ở đâu — và nếu không quan trọng, tại sao bạn phải trả gấp hai đến ba lần chi phí?

Các quy định cũng đóng một vai trò, đặc biệt là khi chúng phát triển. Một số kiến trúc, một số địa lý, một số kịch bản triển khai (quân sự/tình báo) ban đầu không yêu cầu đám mây riêng nhưng hiện tại thì cần.

Một lần nữa, lý do sẽ khác nhau nhưng hiệu ứng thì giống nhau. Đám mây riêng đang thịnh hành trở lại. Câu hỏi là: Điều gì đã thay đổi trong vài năm qua?

Mẫu thiết kế ưa thích của Private Cloud là Modern Data Lake

Như đã lưu ý ở trên, đám mây riêng, giống như đám mây công cộng, chạy trên mô hình vận hành đám mây. Đám mây biên chạy trên mô hình vận hành đám mây. Colocation chạy trên mô hình vận hành đám mây.

Mô hình hoạt động đó xác định một kiến trúc nhất định và kiến trúc đó liên tục giúp hồ dữ liệu hiện đại trở nên khả thi. Chắc chắn là có những kiến trúc khác, nhưng sử dụng đám mây riêng để xây dựng hồ dữ liệu hiện đại cho phép các tổ chức chỉ phải trả tiền cho những gì họ cần. Khi doanh nghiệp của họ phát triển, việc mở rộng quy mô chỉ đơn giản là thêm nhiều tài nguyên hơn vào một cụm. Không cần thiết kế lại. AI/ML được hỗ trợ. Phân tích nâng cao —được hỗ trợ. Phân tích nhật ký/phân tích mối đe dọa —được hỗ trợ. Thay thế/di chuyển HDFS — được hỗ trợ.

Hồ dữ liệu hiện đại là một nửa là kho dữ liệu và một nửa là hồ dữ liệu và sử dụng lưu trữ đối tượng cho mọi thứ. Lớp lưu trữ đối tượng được xác định bằng phần mềm, có thể mở rộng, gốc đám mây và có hiệu suất cao. Hiệu suất có thể điều chỉnh thông qua việc lựa chọn phần cứng (NVMe) và mạng (100 GbE trở lên) , có sẵn một cách thuận tiện trên thị trường từ các nhà cung cấp như Supermicro, Dell và HPE.

Sử dụng lưu trữ đối tượng với data lake là chuẩn, sử dụng nó với data warehouse là mới, được thực hiện nhờ Open Table Formats (OTF) như Apache Iceberg, Apache Hudi và Delta Lake. Có nhiều chi tiết đáng kể về kiến trúc này nằm ngoài phạm vi của bài viết này. Đối với điều đó, tôi khuyên bạn nên đọc toàn bộ Keith Pijanowski bài viết về hồ dữ liệu hiện đại . Đây là kiến trúc:

Kiến trúc này được thiết kế để cung cấp những mục đích sau, tất cả đều là các nguyên tắc vận hành cốt lõi của đám mây và theo nghĩa mở rộng là các nguyên tắc cốt lõi của đám mây riêng:

Hiệu suất cao: Trong khi đám mây riêng có thể được thiết kế để tăng dung lượng, đám mây riêng hiện đại hướng đến việc cung cấp hiệu suất ở quy mô lớn. Kiến trúc này ưu tiên các công cụ nhấn mạnh vào tốc độ và hiệu quả. Như Jeff Bezos đã nói, ai muốn trả nhiều tiền hơn và chờ đợi lâu hơn để có được nó? Các nguyên tắc tương tự cũng áp dụng ở đây: Ai muốn nó chậm hơn?

Tính toán và lưu trữ tách biệt: Việc tách rời các thành phần này mang lại tính linh hoạt và khả năng mở rộng cao hơn, cho phép cơ sở hạ tầng, dịch vụ và công cụ bạn chọn phát huy tối đa trong các lĩnh vực chuyên môn tương ứng.

Tiêu chuẩn mở: Tiêu chuẩn mở không chỉ khuyến khích khả năng tương tác mà còn bảo vệ khoản đầu tư của bạn trong tương lai. Điều này bao gồm không chỉ các giải pháp nguồn mở mà còn cả các định dạng bảng mở mà chúng ta sẽ khám phá. Đừng xây dựng một đám mây riêng với thiết bị lưu trữ vì những lý do này (và thực tế là chúng sẽ không bao giờ là đám mây gốc).

Khả năng tương thích với API RESTful: Khả năng kết nối là điều bắt buộc. Các công cụ của bạn nên chia sẻ một ngôn ngữ chung, với S3 đóng vai trò là ngôn ngữ chung cho lưu trữ đám mây. Vì lý do này, đừng xây dựng đám mây riêng của bạn bằng giải pháp tập trung vào POSIX, ngay cả khi nó tuyên bố hỗ trợ S3. Hãy sử dụng giải pháp thực sự.

Phần mềm điều khiển/Cơ sở hạ tầng dưới dạng mã: Tự động hóa và để Kubernetes đảm nhiệm việc sắp xếp cơ sở hạ tầng của bạn, giúp bạn loại bỏ sự phức tạp của việc quản lý thủ công và cho phép mở rộng nhanh chóng và hiệu quả.

Tăng cường bảo mật và tuân thủ: Vì đám mây riêng cung cấp cơ sở hạ tầng chuyên dụng nên chúng cung cấp khả năng kiểm soát dữ liệu tốt hơn và các biện pháp bảo mật nâng cao. Điều này đặc biệt có lợi cho các ngành xử lý thông tin nhạy cảm, chẳng hạn như tài chính và chăm sóc sức khỏe.

Tuân thủ quy định: Kiến trúc này có thể hỗ trợ tuân thủ quy định bằng cách cung cấp các thiết lập bảo mật có thể tùy chỉnh và kiểm soát kiểm toán để đáp ứng các tiêu chuẩn cụ thể của ngành.

Đưa Đám mây riêng của bạn vào hoạt động

Có một số cách tiếp cận mà chúng tôi đã thấy để thắp sáng đám mây riêng. Tất cả chúng đều có thể hoạt động; điều đó thực sự phụ thuộc vào doanh nghiệp và trường hợp sử dụng.

• Một mô hình kết hợp có giới hạn thời gian, trong đó một số dữ liệu và ứng dụng vẫn nằm trên đám mây công cộng trong khi đám mây riêng được cấp nước.
• Hoàn tất quá trình hồi hương từ đám mây công cộng sang đám mây riêng.
• Xây dựng Greenfield của một đám mây riêng. Điều này đặc biệt phổ biến khi các doanh nghiệp đưa các thử nghiệm AI của họ vào sản xuất.
• Hồi hương Brownfield nơi bạn di chuyển dữ liệu đám mây công cộng và cơ sở hạ tầng trở lại triển khai đám mây riêng hiện có. Mặc dù tiết kiệm, nhưng có một số nhược điểm đối với cách tiếp cận này.
• Thể loại “khác” (bảng vỡ và bảng bên ngoài).

Phương pháp lai giới hạn thời gian: Phương pháp lai giới hạn thời gian về cơ bản biến đám mây công cộng thành kho lưu trữ lạnh và xây dựng dấu chân đám mây riêng của bạn trong một khoảng thời gian nhất định (tháng/quý, không phải năm). Điều này liên quan đến việc mua và cấu hình cơ sở hạ tầng và ngăn xếp phần mềm của bạn trên đám mây riêng. Sau đó, bạn hướng đường ống dữ liệu của mình vào đám mây riêng, không phải đám mây công cộng. Có thể có một khoảng thời gian mà bạn có thể thực hiện cả hai. Tuy nhiên, mục tiêu là sử dụng đám mây công cộng làm kho lưu trữ lạnh theo tầng và đám mây riêng làm kho lưu trữ nóng. Theo thời gian, đám mây công cộng chuyển từ lạnh sang đông lạnh trong khi đám mây riêng trở thành loại lưu trữ chính và chiếm ưu thế.

Đây là những gì một công ty an ninh mạng hàng đầu đã làm. Họ bắt đầu bằng cách thiết lập một đám mây riêng kết hợp với MinIO và Equinix, sau đó chuyển luồng dữ liệu 250 tebibyte (TiB) một ngày theo hướng đó. Do phân tích nhật ký có hàm suy giảm cao về giá trị hoạt động, nên không mất nhiều thời gian để đám mây riêng mới trở thành nguồn dữ liệu săn tìm mối đe dọa chính. Đám mây riêng này đã phát triển lên gần một exabyte (và sẽ sớm vượt qua ngưỡng đó) và quyết định chuyển các khối lượng công việc này (thực tế là hoạt động kinh doanh cốt lõi) sang đám mây riêng (với opex chứ không phải capex) đã cải thiện biên lợi nhuận gộp của doanh nghiệp hơn 2%. Kết quả là, công ty này có bội số định giá khiến các công ty cùng ngành phải ghen tị.

Hoàn trả hoàn toàn : Có những lúc việc giữ lại các ứng dụng và dữ liệu trên cả đám mây công cộng và riêng tư không phải là một lựa chọn. Trong những trường hợp này, bạn cần phải chia tay với nhà cung cấp đám mây của mình. Thật khó khăn và ngay cả khi loại bỏ phí thoát, họ vẫn khiến bạn đau đớn (về cơ bản, bản in nhỏ nói rằng mọi thứ phải biến mất để được giảm phí thoát). Điều này rất khả thi; chỉ cần lập kế hoạch nhiều hơn một chút và thêm một chút ma sát trong kinh doanh. Trong trường hợp này, hãy cung cấp colo hoặc đám mây riêng tư và ngăn xếp ứng dụng của bạn. Sau đó, sao lưu xe tải dữ liệu hoặc cho thuê mạng để chuyển dữ liệu ra cơ sở hạ tầng dữ liệu đám mây riêng tư của bạn. Tại thời điểm này, bạn đã rảnh, nhưng hãy tính đến việc phải trả gấp đôi trong một hoặc hai tháng nếu bạn là người thích thắt lưng và dây đeo. Một trong những công ty phát trực tuyến hàng đầu đã áp dụng cách tiếp cận này khi rời khỏi đám mây công cộng. Công ty đã chuyển một nửa exabyte vào đám mây riêng tư mới, bao gồm tất cả các bộ phim, chương trình, phim tài liệu, v.v. Quá trình này mất khoảng ba phần tư. Tuy nhiên, lợi nhuận thu được rất lớn và sự phức tạp đã giảm đáng kể đối với nhóm quản lý dịch vụ. Họ cũng thích lợi ích phụ của một pop-in đẹp " thời gian đến byte đầu tiên ” — một chỉ số quan trọng trong không gian này.

Đám mây riêng Greenfield:

Đây là một đề xuất khá đơn giản và nó thường liên quan đến mọi thứ mới. Dự án mới, dữ liệu về dự án sẽ mới (hoặc khá mới) hoặc được tạo từ một số nguồn đang trực tuyến (như một nhà máy chế tạo khổng lồ hoặc dịch vụ video theo yêu cầu đám mây mới). Ở đây, bạn định cỡ khối lượng công việc — bạn thậm chí có thể thử nghiệm nó trên đám mây công cộng — nhưng ý tưởng là nó sẽ, ngay từ đầu, chạy trên đám mây riêng. Chúng ta thấy điều này khá thường xuyên với cơ sở hạ tầng dữ liệu AI. Các thử nghiệm ban đầu đang diễn ra trên đám mây công cộng. Dữ liệu không quá quan trọng. Tính khả dụng của GPU khá tốt. Tuy nhiên, doanh nghiệp biết rằng khối lượng công việc cần phải nằm trên đám mây riêng để sản xuất — cả về quy mô, mà còn về bảo mật, quyền riêng tư và khả năng kiểm soát. Một trong những công ty ô tô hàng đầu thế giới gần đây đã chuyển hướng sáng kiến tự lái hoàn toàn của mình từ hệ thống dựa trên quy tắc sang hệ thống dựa trên hành vi của người lái xe thực tế.

Hành vi đó được “học” từ hàng triệu triệu video và tệp nhật ký lấy từ các phương tiện của công ty. Tài xế giỏi, tài xế tệ, tài xế trung bình. Không chỉ từ video, mà còn từ các yếu tố khác của phép đo từ xa trên ô tô như phanh, tăng tốc, mô-men xoắn lái, v.v. Phương pháp ML dựa trên quy tắc có quy mô hàng petabyte; video có quy mô hàng exabyte. Công ty không chia sẻ dữ liệu đó với bất kỳ ai (thực tế là hai trong số các đám mây công cộng có các sáng kiến cạnh tranh). Khối lượng công việc AI đó — tổng cộng hơn 300 máy chủ — luôn là một sáng kiến đám mây riêng.

Đám mây riêng Brownfield:

Chúng tôi sẽ thành thật ở đây: Chúng tôi thấy điều này, nhưng chúng tôi không thích nó. Điều này bao gồm việc cố gắng chạy khối lượng công việc hiệu suất cao trên ổ đĩa cứng để xếp lớp MinIO trên đầu trang của SAN/NAS (mạng lưu trữ/lưu trữ kết nối mạng).

Nó hiệu quả, nhưng hiếm khi là giải pháp tối ưu. Nó tiết kiệm (bạn đang tái sử dụng phần cứng), ít ma sát (không mua sắm), nhưng hiếm khi hiệu suất cao. Tuy nhiên, chúng tôi đưa nó vào đây để toàn diện. Nó nêu ra một điểm quan trọng. Khi bạn thiết kế đám mây riêng của mình, trong bất kỳ tình huống nào, hãy lập kế hoạch cho tính không đồng nhất. Đây là một sự đảm bảo và thẳng thắn mà nói nên là một phần của kế hoạch. Trong một trong những tình huống trên, một nửa phần cứng là từ Supermicro. Nửa còn lại từ Dell. Khi thế giới thay đổi và công nghệ mới ra đời, phần mềm của bạn không nên quan tâm.

Những người khác:

Có hai kịch bản khác ít xảy ra hơn nhưng nên được cân nhắc. Một là phương pháp tiếp cận bùng nổ kết hợp và phương pháp còn lại là phương pháp tiếp cận bảng bên ngoài. Cả hai đều liên quan đến tùy chọn kết hợp, nhưng có thể không bị giới hạn thời gian. Trong phương pháp bùng nổ kết hợp, bạn duy trì một đám mây riêng trong khi thiết kế để mở rộng liền mạch hoặc "bùng nổ" vào đám mây công cộng để tăng thêm tính linh hoạt. Chiến lược này thường được áp dụng để tận dụng thêm dung lượng GPU hoặc sử dụng các dịch vụ đám mây cụ thể. Trong mô hình này, một số tác vụ nhất định được chuyển tạm thời sang đám mây công cộng để xử lý. Sau khi phân tích hoàn tất, kết quả được gửi lại đám mây riêng và sau đó các tài nguyên đám mây công cộng sẽ bị ngừng hoạt động. Chúng tôi có một khách hàng dịch vụ tài chính lớn đang thực hiện điều này với các tính toán rủi ro tín dụng và rủi ro thị trường. Khách hàng này sử dụng đám mây công cộng cho một số hoạt động tính toán và kết hợp với hồ dữ liệu đám mây riêng sử dụng MinIO và Dremio. Điểm hấp dẫn của mô hình vận hành đám mây là kiến trúc phải hỗ trợ các hoạt động ở cả hai nơi. Về cơ bản, đây là một con đường hai chiều.

Vào một thời điểm nào đó, đó là một con đường một chiều, nhưng thế giới đã thay đổi và có tùy chọn cho doanh nghiệp. Với tùy chọn bảng bên ngoài, các tổ chức vẫn có thể hưởng lợi từ các nguyên tắc của mô hình vận hành đám mây bằng cách tích hợp các kho dữ liệu đám mây hiện có của họ, chẳng hạn như Snowflake và SQL Server, với một hồ dữ liệu được xây dựng trên đám mây riêng. Thiết lập kết hợp này cho phép các doanh nghiệp hưởng lợi từ hiệu suất, bảo mật dữ liệu và thiết kế tiêu chuẩn mở của một hồ dữ liệu hiện đại trong khi vẫn tận dụng các khoản đầu tư hiện có vào cơ sở hạ tầng đám mây. Mọi nhà cung cấp cơ sở dữ liệu lớn hiện nay đều cung cấp hỗ trợ cho các bảng bên ngoài. Chức năng này cho phép người dùng truy vấn dữ liệu trong bộ lưu trữ đối tượng ở bất kỳ đâu như thể đó là một bảng thông thường trong cơ sở dữ liệu mà không gặp rắc rối khi di chuyển. Dữ liệu của bạn vẫn nằm trong đám mây riêng nhưng được cung cấp ở bất kỳ đâu khi cần.

Suy nghĩ và lời khuyên cuối cùng

Chúng tôi đã tham gia rất nhiều vào quá trình hồi hương/xây dựng mới đám mây riêng trong nhiều năm qua. Một điều khiến các nhóm ngạc nhiên là việc quản lý lại phần cứng. Trong đám mây, điều này là minh bạch. Các kỹ sư DevOps và độ tin cậy của trang web chỉ tương tác với cơ sở hạ tầng ở cấp độ API. Nếu một VM hoạt động không bình thường, hãy chấm dứt và khởi chạy một VM mới thay thế. Thật không may, trong đám mây riêng mới, thay vì chỉ loại bỏ phần cứng và mua mới, chúng ta phải làm cho phần cứng hiện có hoạt động.

Quản lý cơ sở hạ tầng là một vấn đề. Nó đi kèm với lãnh thổ. Nó không nên đáng sợ, nhưng nó cần được lên kế hoạch. Cần phải có sự phân định trách nhiệm từ phía kỹ sư phần mềm/DevOps và kỹ sư trung tâm dữ liệu. SME (chuyên gia về chủ đề) này trong các trung tâm dữ liệu nên biết rõ mọi ngóc ngách về phần cứng. Họ sẽ chịu trách nhiệm cho mọi thứ liên quan đến phần cứng bao gồm cả lỗi, thay thế và bất kỳ bảo trì nào.

Phần mềm rất quan trọng ở đây. Đó là lý do tại sao MinIO xây dựng khả năng quan sát vào bảng điều khiển toàn cầu của mình. Trong thế giới đám mây riêng, bạn nên chạy phần mềm thông minh và phần cứng ngu ngốc. Nhưng phần mềm đó phải gánh vác gánh nặng vận hành của phần thưởng kinh tế này. Những người làm phần cứng đơn giản là không thể xây dựng lớp khả năng quan sát, MinIO phải làm điều đó.

Nếu bạn là một tổ chức triển khai một lần một tuần, điều đó có nghĩa là mỗi lần triển khai có thể là một cảnh tượng. Điều này là do với các lần triển khai không thường xuyên, rất khó để dự đoán và sửa lỗi. Khi các lần triển khai không diễn ra theo kế hoạch, tất cả mọi người đều phải vào cuộc. Nhìn chung, luồng sẽ trông như sau:

• Thiết kế để triển khai ứng dụng của bạn trong một thiết lập phân tán
• Kiểm tra nó trong môi trường địa phương của bạn
• Xác thực thêm trong môi trường Dev và Stage
• Thêm giám sát, số liệu, theo dõi và thay đổi
• Triển khai môi trường tại chỗ, kết hợp và đám mây

Khi các nguyên tắc CI/CD này được áp dụng trong thực tế, một kỹ sư trung tâm dữ liệu mạnh mẽ làm việc chặt chẽ với một kỹ sư DevOps/SRE mạnh mẽ khác có thể dễ dàng quản lý hơn 5.000 nút trong một đám mây riêng hoặc cơ sở colo. Chúng tôi có những khách hàng thực hiện chính xác điều này. Khi bạn tuân theo các nguyên tắc cơ bản CI/CD, hầu như mọi thứ đều có thể và nên được tự động hóa và các kỹ sư trung tâm dữ liệu và DevOps sẽ chỉ tập trung vào những nhiệm vụ không thể tự động hóa. Cuối cùng, trong trường hợp bạn bỏ lỡ, colos đồng nghĩa với định nghĩa của chúng tôi về đám mây riêng.

Colocation cung cấp một nền tảng trung gian giữa cơ sở hạ tầng tại chỗ hoàn toàn và đám mây công cộng, mang lại lợi ích của cả hai thế giới. Với quyền truy cập vào mạng lưới hàng đầu và vị trí gần với các nhà cung cấp đám mây công cộng, colos tạo điều kiện cho các kết nối có độ trễ thấp và thiết lập đám mây lai, cho phép truyền và xử lý dữ liệu hiệu quả. Tính linh hoạt này và tiềm năng triển khai đám mây lai thành công là rất quan trọng đối với các doanh nghiệp muốn tối ưu hóa hoạt động của mình và duy trì lợi thế cạnh tranh. Để tìm hiểu thêm về cách thức hoạt động của điều này, hãy xem Trang MinIO và Equinix .