Gelombang adopsi kecerdasan buatan (AI) di perusahaan global kian tak terbendung. Namun di balik euforia transformasi digital tersebut, mulai muncul peringatan serius bagi para pimpinan teknologi. Biaya infrastruktur AI ternyata jauh lebih mahal dan jauh lebih sulit diprediksi dibandingkan proyek IT konvensional.
Laporan terbaru International Data Corporation (IDC) mengungkapkan, perusahaan-perusahaan besar di dunia berpotensi salah menghitung biaya infrastruktur AI hingga 30 persen lebih rendah dari realisasi sebenarnya.
Kondisi ini memicu apa yang disebut IDC sebagai “AI infrastructure reckoning”, yakni momen ketika CIO dan pimpinan keuangan menyadari bahwa pendekatan penganggaran lama sudah tidak lagi relevan.
AI Bukan Proyek IT Biasa
Jevin Jensen (Vice President Infrastructure and Operations Research di IDC) menegaskan bahwa karakter konsumsi dan harga AI bersifat sangat tidak terduga. Hal ini berbeda drastis dengan proyek IT tradisional seperti implementasi ERP atau sistem enterprise lainnya.
“AI itu mahal, tidak bisa diprediksi dan berkembang jauh lebih cepat daripada kemampuan anggaran untuk mengikutinya,” tulis Jensen dalam blog resminya.
Jika sebelumnya CIO cukup menghitung biaya lisensi perangkat lunak dan kapasitas server, kini mereka harus memikirkan berbagai komponen baru.
Mulai dari GPU, inference, jaringan berkecepatan tinggi, token AI, hingga biaya tambahan seperti keamanan, tata kelola, serta pelatihan sumber daya manusia. Kompleksitas inilah yang membuat banyak perusahaan keliru memperkirakan biaya sejak awal.
Model AI Tumbuh, Biaya Ikut Meledak
Masalah semakin rumit ketika skala penggunaan AI membesar. Model AI yang ukurannya hanya dua kali lipat dapat membutuhkan hingga 10 kali lipat daya komputasi. Belum lagi beban inference yang berjalan terus-menerus, bahkan setelah proses pelatihan model selesai.
“Apa yang awalnya terlihat seperti satu pos anggaran kini berubah menjadi organisme hidup terus tumbuh, beradaptasi, dan menguras sumber daya secara tak terduga,” tulis Jensen, seperti dikutip CIO.
Tak mengherankan jika banyak CIO terkejut saat melihat lonjakan tagihan infrastruktur AI yang jauh melampaui rencana awal.
Belanja Masif Vendor AI Dorong Tekanan Biaya
Tekanan biaya juga datang dari sisi penyedia teknologi. Raksasa AI seperti OpenAI dan Anthropic, bersama hyperscaler seperti AWS, Microsoft Azure, dan Google Cloud, tengah melakukan investasi masif untuk membangun pusat data AI berskala raksasa.
CEO IBM (Arvind Krishna) mengungkapkan rencana pembangunan pusat data AI berkapasitas hingga 100 gigawatt dengan total investasi yang bisa mencapai USD8 triliun.
“Kami belum menemukan cara bagaimana mengembalikan modal dengan angka investasi sebesar itu. Untuk membayar bunganya saja dibutuhkan keuntungan sekitar USD800 miliar,” kata Krishna dalam podcast Decoder.
Barry Baker (COO IBM Infrastructure) menambahkan bahwa satu pusat data AI berkapasitas 1 gigawatt saja bisa menelan biaya lebih dari USD75 miliar.
“Lonjakan permintaan mendorong kenaikan harga di berbagai lini, mulai dari tenaga kerja, beton, hingga chip silikon,” ujarnya.
Masalah lainnya, umur perangkat keras AI relatif pendek. GPU dan sistem komputasi harus diperbarui setiap beberapa tahun, menciptakan siklus reinvestasi permanen yang kerap luput dari perencanaan jangka panjang perusahaan.
Mengapa Biaya AI Sulit Diprediksi?
Banyak perusahaan masih memandang beban kerja AI seperti beban kerja cloud pada umumnya. Padahal, beban kerja AI cenderung melebar dengan cepat setelah diadopsi.
“Satu workflow yang awalnya hanya digunakan satu tim bisa berubah menjadi layanan bersama seluruh perusahaan. Lonjakan permintaan seperti ini sering kali tidak masuk dalam model biaya awal,” ujar Nik Kale (Principal Engineer di Cisco).
Selain itu, sistem pendukung AI seperti monitoring, logging, deteksi model drift, dan validasi mengonsumsi daya komputasi yang besar. Di sejumlah organisasi, biaya sistem pendukung ini bahkan lebih mahal daripada biaya inference AI itu sendiri.
FinOps Jadi Kebutuhan Wajib
Menghadapi situasi tersebut, IDC memprediksi peran FinOps (Financial Operations) akan menjadi semakin krusial. CIO diperkirakan akan memperluas mandat tim FinOps, bahkan menjadikannya bagian inti dari pengambilan keputusan strategis AI.
“AI mengubah belanja teknologi dari konsumsi yang bisa diprediksi menjadi perilaku probabilistik. Karena itu, visibilitas keuangan harus bersifat kontinu, bukan periodik,” tulis IDC.
FinOps membantu CIO memprioritaskan proyek AI dengan potensi ROI terbaik, memahami struktur biaya infrastruktur, serta menyesuaikan strategi secara dinamis. Tim ini juga perlu memahami performa model AI untuk mengidentifikasi area pemborosan komputasi.
Salah satu strategi paling efektif adalah menggunakan model AI yang lebih kecil dan ringan, yang cukup untuk menyelesaikan tugas tertentu tanpa mengorbankan pengalaman pengguna.
Hindari Vendor Lock-in, Jangan Terburu-buru
IBM menyarankan perusahaan mengadopsi arsitektur hybrid agar tidak terlalu bergantung pada satu penyedia infrastruktur AI. Selain itu, CIO perlu memilih sumber daya yang sesuai kebutuhan bisnis, bukan sekadar yang paling mahal atau paling canggih.
“Tidak semua masalah membutuhkan model terbesar atau respons tercepat,” ujar Baker.
Pendekatan seperti quantization, compression, dan penggunaan model khusus dapat membantu menekan biaya. Bahkan, dalam beberapa kasus, bersikap lebih sabar justru menjadi strategi terbaik.
“Biarkan para early adopter menanggung risiko menjadi yang pertama. Organisasi lain bisa belajar tanpa harus membayar mahal,” katanya.
Peringatan Dini bagi CIO
IDC memperkirakan harga infrastruktur AI baru akan mulai turun sekitar tahun 2027, seiring penurunan harga GPU dan meningkatnya efisiensi pasar. Namun sebelum titik itu tercapai, banyak perusahaan harus melewati fase koreksi yang tidak mudah.
Pesannya jelas, AI bukan semata persoalan teknologi, melainkan soal disiplin finansial dan strategi jangka panjang. CIO yang gagal memahami kompleksitas biaya sejak awal berisiko menghadapi kejutan besar di tengah perjalanan transformasi digital.
Di era AI, salah hitung anggaran bukan lagi kesalahan kecil melainkan keputusan krusial yang bisa menentukan masa depan perusahaan.
