Cách kiếm 1 triệu USD với AWS sau một năm

Nếu bạn vô tình truy cập trang này với suy nghĩ rằng bạn sẽ trở nên giàu có với một số kế hoạch làm giàu nhanh chóng, tôi rất tiếc đã làm bạn thất vọng. Bài viết này sẽ nói về cách giảm hóa đơn chi phí đám mây của bạn xuống 1 triệu USD. Bằng cách đó, về cơ bản bạn sẽ tạo ra thêm một triệu đô la doanh thu — số tiền này bạn có thể chi tiêu để mua khóa học trực tuyến của tôi về cách làm giàu với AWS ( liên kết đến khóa học tại đây ).

Chi phí đám mây thường bị bỏ qua và không được tính đến khi bắt đầu các dự án của Công ty. Cuộc khảo sát của HashiCorp năm 2021 cho thấy gần 40% công ty đã chi quá mức cho chi phí đám mây vào năm 2021 [ 1 ]. Vào năm 2023, hầu hết tất cả các công ty (94%) thừa nhận rằng họ đang lãng phí tiền vào đám mây [ 1 ] và ít nhất 30% chi phí trên đám mây đã bị lãng phí [ 2 ]. Chi tiêu cho đám mây gần 500 tỷ USD vào năm 2022 — do đó, chúng ta đang nói về việc lãng phí 150 tỷ USD mỗi năm!!

Đây không chỉ là mối lo ngại về doanh thu bị mất mà còn là các hoạt động kém bền vững. 150 tỷ USD năng lượng bị lãng phí!

Những phát hiện này liên quan đến các doanh nghiệp lớn cũng như các doanh nghiệp nhỏ hơn, từ mức độ trưởng thành trên đám mây cao đến mức độ trưởng thành trên đám mây thấp. Nó đề cập đến AWS, nhưng các nguyên tắc tương tự có thể được áp dụng cho bất kỳ nhà cung cấp đám mây nào khác. Vì vậy, nếu bất kỳ phần công việc nào của bạn đều được lưu trữ trên đám mây thì bài viết này là dành cho bạn.

Tôi đang nói từ góc độ kỹ sư dữ liệu, nhưng những bài học tương tự có thể được áp dụng cho các hoạt động công nghệ phần mềm khác.

Hãy đi sâu vào.

Cần bao nhiêu tiền để chi 1 triệu USD cho đám mây trong một năm?

Loại hóa đơn đám mây này thường được giới hạn ở các doanh nghiệp rất lớn hoạt động trên toàn cầu với hàng triệu khách hàng.

Để bạn dễ hình dung, hóa đơn đám mây trị giá 1 triệu đô la có thể là kết quả của việc xử lý công việc Spark ETL ~ 1,5Tb mỗi giờ 24x7 trong 365 ngày một năm. Một ví dụ khác có thể là một ứng dụng nhận được hàng tỷ yêu cầu mỗi ngày từ nhiều địa điểm trên thế giới.

Trong một doanh nghiệp lớn, có hàng trăm ứng dụng ở quy mô này — mang lại những hợp đồng trị giá hàng tỷ đô la với các nhà cung cấp đám mây. Ví dụ: Airbnb đã cam kết chi 1,2 tỷ USD cho tài nguyên đám mây trong 5 năm vào cuối năm 2019 [3 ].

Tại Datxeviet, chúng tôi đã cắt giảm chi phí xử lý dữ liệu ETL trị giá 1,1 triệu đô la một năm xuống chỉ còn 100.000 đô la một năm bằng cách triển khai các biện pháp tối ưu hóa. Đó là giảm chi phí 91%!!

Không phải tất cả các công ty đều có các ứng dụng có quy mô lớn như vậy nhưng hãy tưởng tượng việc cắt giảm 90% chi phí đám mây chỉ cho một ứng dụng hoặc cho toàn bộ công ty của bạn.

Làm thế nào để chúng ta bắt đầu tiết kiệm?

BƯỚC 1: Thử thách các giả định thiết kế của bạn

Hãy đi và lấy danh sách các ứng dụng đắt tiền nhất của bạn và thách thức các giả định thiết kế của bạn .

• Bạn đang xây dựng một ứng dụng có độ khả dụng 99,999% và độ trễ dưới một phần nghìn giây nhưng trên thực tế, người dùng sẽ đủ tốt với độ khả dụng 99% và độ trễ hàng trăm mili giây?
• Bạn có đang tạo tập dữ liệu với hàng tỷ hàng nhưng người dùng sẽ chỉ sử dụng tổng hợp một số thước đo không?
• Bạn đang truy cập dữ liệu theo thời gian thực nhưng dữ liệu chỉ được phân tích một lần một ngày?
• Bạn có làm mới bộ đệm cứ sau 10 giây nhưng nó chỉ thực sự thay đổi qua các ngày?

Tất cả những câu hỏi này quay trở lại câu hỏi quan trọng nhất: ứng dụng sẽ được sử dụng như thế nào? Giá trị kinh doanh để nó tồn tại là gì? Ứng dụng giúp chúng ta đạt được mục tiêu nhất định như thế nào?

Tất nhiên, tất cả những câu trả lời này thường không rõ ràng khi bắt đầu dự án; nhưng đó là lý do tại sao thiết kế phải luôn là một quá trình lặp đi lặp lại - cho phép các thay đổi diễn ra liền mạch nhất có thể. Các kỹ sư nên nắm bắt sự tiến hóa và thay đổi, điều chỉnh việc phát triển ứng dụng theo tác động.

BƯỚC 2: Tinh chỉnh tài nguyên cơ sở hạ tầng theo nhu cầu của bạn

Bước thứ hai bao gồm việc cung cấp cho ứng dụng các tài nguyên phù hợp và điều chỉnh nó với cơ sở hạ tầng phù hợp.

Là một kỹ sư, hãy lưu ý cách tính chi phí đám mây. Ví dụ: AWS cung cấp các phiên bản giao ngay, trong đó bạn có thể đặt giá thầu theo giá cụm — điều này đặc biệt hữu ích nếu bạn có các ứng dụng linh hoạt và có khả năng chịu lỗi cao. Hãy sử dụng chúng nếu bạn có thể — AWS tuyên bố giảm tới 90% chi phí [ 4 ].

Một số cân nhắc khác mà bạn có thể muốn giải quyết là:

• Bạn đang phục vụ khách hàng trên toàn cầu hay chỉ ở một khu vực địa lý? Bạn có thực sự cần cơ sở hạ tầng của mình để tồn tại trên toàn cầu hay bạn có thể thiết lập nó gần hơn với cơ sở khách hàng của mình không?
• Bạn có đang cung cấp quá mức các phiên bản cụm của mình không? Cố gắng đảm bảo có đủ công suất để xử lý tải cao điểm mà không phải trả chi phí không cần thiết. Sử dụng tính năng tự động mở rộng quy mô để điều chỉnh linh hoạt các tài nguyên dựa trên nhu cầu thực tế, ngăn chặn việc thanh toán quá mức cho các tài nguyên nhàn rỗi.
• Nếu bạn đang làm việc với dữ liệu và Spark, hãy đảm bảo bạn hiểu các khái niệm và cách điều chỉnh Spark! Nếu không, hãy xem các tài nguyên sau [ 5 ] [ 6 ] [ 7 ] [ 8 ] [ 9 ].

BƯỚC 3: Sử dụng phiên bản AWS Graviton

Có rất ít hoặc không có hạn chế nào khi sử dụng phiên bản AWS Graviton. AWS đã đầu tư rất nhiều vào việc tạo ra bộ xử lý tiết kiệm chi phí nhất. Bạn có thể giảm tới 40% chi tiêu trên đám mây chỉ bằng cách chuyển từ bộ xử lý dựa trên intel sang bộ xử lý dựa trên ARM [ 10 ].

Lưu ý duy nhất cho vấn đề này là ứng dụng của bạn cần phải tương thích với bộ xử lý dựa trên ARM mà Graviton chạy trên đó. Nếu bạn đang xử lý một dịch vụ được quản lý như RDS hoặc OpenSearch thì việc chuyển đổi sẽ không có gì phức tạp cả — AWS xử lý hệ điều hành cơ bản và khả năng tương thích của ứng dụng. Nếu bạn đang xây dựng ứng dụng của riêng mình thì bạn có thể cần phải biên dịch lại gói tùy thuộc vào ngôn ngữ bạn đang sử dụng — Java và các ngôn ngữ khác không yêu cầu thay đổi trong khi Python yêu cầu một chút chú ý.

BƯỚC 4: Giám sát chi tiêu chi phí của bạn và giáo dục nhận thức về chi phí

Cuối cùng, đừng quên tiếp tục theo dõi chi phí của bạn để phát hiện những đỉnh điểm và bất ngờ bất ngờ. Chi phí vào ngày 0 của ứng dụng của bạn sẽ khác với chi phí vào ngày 170. Hãy đảm bảo rằng bạn theo dõi các thay đổi và bạn hiểu lý do tại sao thay đổi lại xảy ra: đó là chi phí lưu trữ s3 hay chỉ là một lần mũi nhọn?

Thiết lập các cảnh báo cần thiết và sách hướng dẫn vận hành !

Điều quan trọng là triển khai thẻ phân bổ chi phí để theo dõi chi tiêu theo bộ phận, dự án hoặc môi trường. Tránh nguy cơ tạo ra đầm lầy dữ liệu nơi chi phí không thể theo dõi được hoặc yêu cầu hành trình dài trên các hệ thống nhật ký khác nhau. Sẽ nhanh chóng và đơn giản để quay lại bất kỳ chi phí ứng dụng cụ thể nào.

Suy nghĩ cuối cùng

Dù bạn làm việc ở đâu, việc cân bằng việc cung cấp các tính năng mới với việc tối ưu hóa các tính năng hiện tại là điều khó khăn. Ai mà không bị áp lực phải cung cấp các tính năng mới lạ với tốc độ ánh sáng.

Tuy nhiên, điều cần thiết đối với cả kỹ sư và nhà quản lý là đưa ra quyết định có chủ ý và chủ động về các dự án hiện tại của họ, quản lý rủi ro và cơ hội một cách hiệu quả.