ML Engineer @ Expedia Group
The writer is smart, but don't just like, take their word for it. #DoYourOwnResearch before making any investment decisions or decisions regarding your health or security. (Do not regard any of this content as professional investment advice, or health advice)
Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.
Jika Anda membuka halaman ini dengan harapan akan menjadi kaya dengan skema cepat kaya, saya minta maaf karena mengecewakan Anda. Artikel ini akan membahas tentang cara mengurangi tagihan biaya cloud Anda hingga $1 juta. Dengan melakukan itu, pada dasarnya Anda akan menghasilkan pendapatan tambahan satu juta dolar — yang dapat Anda belanjakan untuk membeli kursus online saya tentang cara menjadi kaya dengan AWS ( tautan ke kursus di sini ).
Biaya cloud sering kali diabaikan dan tidak diperhitungkan di awal proyek Perusahaan. Survei HashiCorp tahun 2021 menemukan bahwa hampir 40% perusahaan mengeluarkan biaya cloud secara berlebihan pada tahun 2021 [ 1 ]. Pada tahun 2023, hampir semua perusahaan (94%) mengakui bahwa mereka membuang-buang uang untuk cloud [ 1 ] dan setidaknya 30% biaya cloud terbuang sia-sia [ 2 ]. Pengeluaran cloud hampir mencapai $500 miliar pada tahun 2022 — oleh karena itu kita berbicara tentang $150 miliar yang terbuang per tahun!!
Yang menjadi perhatian bukan hanya hilangnya pendapatan tetapi juga praktik keberlanjutan yang buruk. Energi terbuang sia-sia sebesar $150 miliar!
Temuan ini melibatkan perusahaan besar maupun kecil, dari perusahaan dengan tingkat kematangan cloud tinggi hingga perusahaan dengan tingkat kematangan cloud rendah. Ini merujuk pada AWS, tetapi prinsip yang sama dapat diterapkan pada penyedia cloud lainnya. Jadi, jika sebagian pekerjaan Anda ada di cloud, maka artikel ini cocok untuk Anda.
Saya berbicara dari sudut pandang insinyur data, tetapi pembelajaran yang sama dapat diterapkan pada praktik rekayasa perangkat lunak lainnya.
Mari kita mulai.
Jenis tagihan cloud ini biasanya dibatasi pada perusahaan sangat besar yang beroperasi secara global dengan jutaan pelanggan.
Sebagai gambaran, tagihan cloud senilai $1 juta dapat dihasilkan dari pekerjaan Spark ETL yang memproses ~1,5Tb per jam 24x7 selama 365 hari setahun. Contoh lain mungkin adalah aplikasi yang menerima miliaran permintaan sehari dari berbagai lokasi di dunia.
Di perusahaan besar, terdapat ratusan aplikasi dengan ukuran ini — yang menghasilkan kontrak bernilai miliaran dolar dengan penyedia cloud. Misalnya, Airbnb berkomitmen untuk menghabiskan $1,2 miliar untuk sumber daya cloud selama lima tahun pada akhir tahun 2019 [3 ].
Di Expedia, kami memangkas biaya pemrosesan data ETL yang menelan biaya $1,1 juta dolar per tahun menjadi hanya $100.000 per tahun dengan menerapkan praktik pengoptimalan. Itu adalah pengurangan biaya sebesar 91%!!
Tidak semua perusahaan memiliki aplikasi dengan ukuran sebesar itu, tetapi bayangkan saja jika Anda dapat memangkas biaya cloud hingga 90% hanya untuk satu aplikasi atau untuk seluruh perusahaan Anda.
Pergi dan dapatkan daftar aplikasi Anda yang paling mahal dan tantang asumsi desain Anda .
Semua pertanyaan ini kembali ke pertanyaan yang paling penting: bagaimana aplikasi tersebut akan digunakan? Apa nilai bisnisnya jika aplikasi tersebut ada? Bagaimana aplikasi tersebut membantu kita mencapai tujuan tertentu?
Tentu saja, semua jawaban ini sering kali tidak jelas di awal proyek; tetapi itulah sebabnya desain harus selalu menjadi proses berulang — yang memungkinkan perubahan terjadi semulus mungkin. Insinyur harus merangkul evolusi dan perubahan, menyelaraskan pengembangan aplikasi dengan dampaknya.
Langkah kedua terdiri dari menyediakan aplikasi dengan sumber daya yang tepat dan menyesuaikannya dengan infrastruktur yang tepat.
Sebagai seorang teknisi, ketahuilah bagaimana biaya cloud dihitung. Misalnya, AWS menyediakan contoh spot, tempat Anda dapat mengajukan penawaran untuk harga klaster — ini sangat berguna jika Anda memiliki aplikasi yang toleran terhadap kesalahan dan fleksibel. Gunakan contoh ini jika Anda bisa — AWS mengklaim pengurangan biaya hingga 90% [ 4 ].
Beberapa pertimbangan lain yang mungkin ingin Anda bahas adalah:
Hampir tidak ada kekurangan dalam memanfaatkan instans AWS Graviton. AWS telah berinvestasi besar dalam menciptakan prosesor yang paling hemat biaya. Anda bisa mendapatkan pengurangan hingga 40% dalam pengeluaran cloud hanya dengan beralih dari prosesor berbasis Intel ke prosesor berbasis ARM [ 10 ].
Satu-satunya peringatan untuk ini adalah bahwa aplikasi Anda harus kompatibel dengan prosesor berbasis ARM yang dijalankan oleh Graviton. Jika Anda berurusan dengan layanan terkelola seperti RDS atau OpenSearch, maka tidak ada kerumitan sama sekali dalam peralihan — AWS menangani kompatibilitas OS dan aplikasi yang mendasarinya. Jika Anda membangun aplikasi Anda sendiri, maka Anda mungkin perlu mengompilasi ulang paket tersebut tergantung pada bahasa yang Anda gunakan — Java dan bahasa lainnya tidak memerlukan perubahan sedangkan Python memerlukan perhatian.
Terakhir, jangan lupa untuk terus memantau biaya Anda untuk lonjakan dan kejutan yang tidak terduga. Biaya pada hari ke-0 aplikasi Anda akan berbeda dari biaya pada hari ke-170. Pastikan Anda terus memantau perubahannya, dan Anda memahami mengapa perubahan tersebut terjadi: apakah itu penumpukan biaya penyimpanan s3 atau hanya lonjakan satu kali?
Siapkan peringatan dan buku panduan operasional yang diperlukan !
Yang terpenting, terapkan tag alokasi biaya untuk melacak pengeluaran berdasarkan departemen, proyek, atau lingkungan. Hindari risiko menciptakan rawa data di mana biaya tidak dapat dilacak atau memerlukan perjalanan panjang di berbagai sistem log. Harus cepat dan mudah untuk kembali ke biaya aplikasi tertentu.
Di mana pun Anda bekerja, menyeimbangkan penyampaian fitur baru dengan pengoptimalan fitur yang sudah ada adalah hal yang sulit. Siapa yang tidak pernah merasa tertekan untuk menyampaikan fitur unik baru dengan kecepatan cahaya.
Namun, sangat penting bagi para insinyur dan manajer untuk membuat keputusan yang disengaja dan proaktif tentang proyek mereka saat ini, mengelola risiko dan peluang secara efektif.