Cara Menghasilkan $1 Juta Dengan AWS dalam Satu Tahun

Jika Anda membuka halaman ini dengan harapan akan menjadi kaya dengan skema cepat kaya, saya minta maaf karena mengecewakan Anda. Artikel ini akan membahas tentang cara mengurangi tagihan biaya cloud Anda hingga $1 juta. Dengan melakukan itu, pada dasarnya Anda akan menghasilkan pendapatan tambahan satu juta dolar — yang dapat Anda belanjakan untuk membeli kursus online saya tentang cara menjadi kaya dengan AWS ( tautan ke kursus di sini ).

Biaya cloud sering kali diabaikan dan tidak diperhitungkan di awal proyek Perusahaan. Survei HashiCorp tahun 2021 menemukan bahwa hampir 40% perusahaan mengeluarkan biaya cloud secara berlebihan pada tahun 2021 [ 1 ]. Pada tahun 2023, hampir semua perusahaan (94%) mengakui bahwa mereka membuang-buang uang untuk cloud [ 1 ] dan setidaknya 30% biaya cloud terbuang sia-sia [ 2 ]. Pengeluaran cloud hampir mencapai $500 miliar pada tahun 2022 — oleh karena itu kita berbicara tentang $150 miliar yang terbuang per tahun!!

Yang menjadi perhatian bukan hanya hilangnya pendapatan tetapi juga praktik keberlanjutan yang buruk. Energi terbuang sia-sia sebesar $150 miliar!

Temuan ini melibatkan perusahaan besar maupun kecil, dari perusahaan dengan tingkat kematangan cloud tinggi hingga perusahaan dengan tingkat kematangan cloud rendah. Ini merujuk pada AWS, tetapi prinsip yang sama dapat diterapkan pada penyedia cloud lainnya. Jadi, jika sebagian pekerjaan Anda ada di cloud, maka artikel ini cocok untuk Anda.

Saya berbicara dari sudut pandang insinyur data, tetapi pembelajaran yang sama dapat diterapkan pada praktik rekayasa perangkat lunak lainnya.

Mari kita mulai.

Berapa biaya cloud yang dibutuhkan untuk menghabiskan $1 juta dalam setahun?

Jenis tagihan cloud ini biasanya dibatasi pada perusahaan sangat besar yang beroperasi secara global dengan jutaan pelanggan.

Sebagai gambaran, tagihan cloud senilai $1 juta dapat dihasilkan dari pekerjaan Spark ETL yang memproses ~1,5Tb per jam 24x7 selama 365 hari setahun. Contoh lain mungkin adalah aplikasi yang menerima miliaran permintaan sehari dari berbagai lokasi di dunia.

Di perusahaan besar, terdapat ratusan aplikasi dengan ukuran ini — yang menghasilkan kontrak bernilai miliaran dolar dengan penyedia cloud. Misalnya, Airbnb berkomitmen untuk menghabiskan $1,2 miliar untuk sumber daya cloud selama lima tahun pada akhir tahun 2019 [3 ].

Di Expedia, kami memangkas biaya pemrosesan data ETL yang menelan biaya $1,1 juta dolar per tahun menjadi hanya $100.000 per tahun dengan menerapkan praktik pengoptimalan. Itu adalah pengurangan biaya sebesar 91%!!

Tidak semua perusahaan memiliki aplikasi dengan ukuran sebesar itu, tetapi bayangkan saja jika Anda dapat memangkas biaya cloud hingga 90% hanya untuk satu aplikasi atau untuk seluruh perusahaan Anda.

Bagaimana kita mulai menabung?

LANGKAH 1: Tantang asumsi desain Anda

Pergi dan dapatkan daftar aplikasi Anda yang paling mahal dan tantang asumsi desain Anda .

• Apakah Anda sedang membangun aplikasi yang memiliki ketersediaan 99,999% dan latensi sub-milidetik tetapi secara realistis pengguna akan merasa cukup dengan ketersediaan 99% dan latensi ratusan milidetik?
• Apakah Anda membuat kumpulan data dengan miliaran baris tetapi pengguna hanya akan menggunakan agregasi beberapa ukuran?
• Apakah Anda mendapatkan data real-time namun data tersebut hanya dianalisis sekali sehari?
• Apakah Anda menyegarkan cache setiap 10 detik namun sebenarnya cache tersebut hanya berubah dalam beberapa hari?

Semua pertanyaan ini kembali ke pertanyaan yang paling penting: bagaimana aplikasi tersebut akan digunakan? Apa nilai bisnisnya jika aplikasi tersebut ada? Bagaimana aplikasi tersebut membantu kita mencapai tujuan tertentu?

Tentu saja, semua jawaban ini sering kali tidak jelas di awal proyek; tetapi itulah sebabnya desain harus selalu menjadi proses berulang — yang memungkinkan perubahan terjadi semulus mungkin. Insinyur harus merangkul evolusi dan perubahan, menyelaraskan pengembangan aplikasi dengan dampaknya.

LANGKAH 2: Sesuaikan sumber daya infrastruktur Anda dengan kebutuhan Anda

Langkah kedua terdiri dari menyediakan aplikasi dengan sumber daya yang tepat dan menyesuaikannya dengan infrastruktur yang tepat.

Sebagai seorang teknisi, ketahuilah bagaimana biaya cloud dihitung. Misalnya, AWS menyediakan contoh spot, tempat Anda dapat mengajukan penawaran untuk harga klaster — ini sangat berguna jika Anda memiliki aplikasi yang toleran terhadap kesalahan dan fleksibel. Gunakan contoh ini jika Anda bisa — AWS mengklaim pengurangan biaya hingga 90% [ 4 ].

Beberapa pertimbangan lain yang mungkin ingin Anda bahas adalah:

• Apakah Anda melayani pelanggan secara global atau hanya di satu wilayah geografis? Apakah Anda benar-benar membutuhkan infrastruktur untuk menjangkau seluruh dunia atau dapatkah Anda mengaturnya lebih dekat dengan basis pelanggan Anda?
• Apakah Anda menyediakan instans kluster secara berlebihan? Cobalah untuk memastikan ada cukup kapasitas untuk menangani beban puncak tanpa biaya yang tidak perlu. Manfaatkan penskalaan otomatis untuk menyesuaikan sumber daya secara dinamis berdasarkan permintaan aktual, mencegah pembayaran berlebih untuk sumber daya yang tidak aktif.
• Jika Anda bekerja dengan data dan Spark, pastikan Anda memahami konsep dan penyetelan Spark! Jika tidak, lihat sumber daya berikut [ 5 ] [ 6 ] [ 7 ] [ 8 ] [ 9 ].

LANGKAH 3: Gunakan instans AWS Graviton

Hampir tidak ada kekurangan dalam memanfaatkan instans AWS Graviton. AWS telah berinvestasi besar dalam menciptakan prosesor yang paling hemat biaya. Anda bisa mendapatkan pengurangan hingga 40% dalam pengeluaran cloud hanya dengan beralih dari prosesor berbasis Intel ke prosesor berbasis ARM [ 10 ].

Satu-satunya peringatan untuk ini adalah bahwa aplikasi Anda harus kompatibel dengan prosesor berbasis ARM yang dijalankan oleh Graviton. Jika Anda berurusan dengan layanan terkelola seperti RDS atau OpenSearch, maka tidak ada kerumitan sama sekali dalam peralihan — AWS menangani kompatibilitas OS dan aplikasi yang mendasarinya. Jika Anda membangun aplikasi Anda sendiri, maka Anda mungkin perlu mengompilasi ulang paket tersebut tergantung pada bahasa yang Anda gunakan — Java dan bahasa lainnya tidak memerlukan perubahan sedangkan Python memerlukan perhatian.

LANGKAH 4: Pantau pengeluaran biaya Anda dan edukasi tentang kesadaran biaya

Terakhir, jangan lupa untuk terus memantau biaya Anda untuk lonjakan dan kejutan yang tidak terduga. Biaya pada hari ke-0 aplikasi Anda akan berbeda dari biaya pada hari ke-170. Pastikan Anda terus memantau perubahannya, dan Anda memahami mengapa perubahan tersebut terjadi: apakah itu penumpukan biaya penyimpanan s3 atau hanya lonjakan satu kali?

Siapkan peringatan dan buku panduan operasional yang diperlukan !

Yang terpenting, terapkan tag alokasi biaya untuk melacak pengeluaran berdasarkan departemen, proyek, atau lingkungan. Hindari risiko menciptakan rawa data di mana biaya tidak dapat dilacak atau memerlukan perjalanan panjang di berbagai sistem log. Harus cepat dan mudah untuk kembali ke biaya aplikasi tertentu.

Pikiran akhir

Di mana pun Anda bekerja, menyeimbangkan penyampaian fitur baru dengan pengoptimalan fitur yang sudah ada adalah hal yang sulit. Siapa yang tidak pernah merasa tertekan untuk menyampaikan fitur unik baru dengan kecepatan cahaya.

Namun, sangat penting bagi para insinyur dan manajer untuk membuat keputusan yang disengaja dan proaktif tentang proyek mereka saat ini, mengelola risiko dan peluang secara efektif.