Di tengah tren penurunan harga token komputasi kecerdasan buatan (AI), perusahaan-perusahaan justru dihadapkan pada kenyataan pahit.
Total anggaran belanja teknologi diprediksi membengkak secara eksponensial karena semakin dalamnya ketergantungan korporasi terhadap sistem AI.
Berdasarkan laporan terbaru lembaga riset global Gartner, para pemimpin teknologi harus bersiap menghadapi kenaikan biaya inferensi AI yang bakal melonjak lebih dari lima kali lipat hingga tahun 2028. Inferensi AI sendiri adalah proses saat model AI menghasilkan jawaban, tindakan, atau menjalankan tugas otomatis
Lonjakan itu tidak lepas dari pergeseran pemanfaatan korporasi. Perusahaan kini mulai mengandalkan AI bukan sekadar untuk fitur bantuan sederhana, melainkan untuk menjalankan proses bisnis yang jauh lebih kompleks dan berlapis.
Akibatnya, semakin rumit proses yang dikerjakan, semakin besar pula daya komputasi dan biaya inferensi yang harus dibayar.
Terjebak dalam “Inference Paradox”
Meskipun token unit data dasar yang diproses oleh model bahasa besar (LLM) semakin efisien dari segi harga, perubahan model penetapan harga dan alur kerja semakin rumit dan menciptakan tantangan tersendiri bagi para pengambil keputusan anggaran.
Gartner menemukan bahwa laju inovasi teknologi saat ini melaju lebih cepat dibanding penghematan biaya. Will Sommer (Senior Director Analyst di Gartner) menegaskan bahwa para pemimpin produk tidak bisa lagi sekadar mengandalkan efisiensi token untuk mengendalikan anggaran organisasi.
”Setiap generasi kapabilitas AI generasi terbaru akan menuntut penggunaan token yang lebih banyak dan harga yang lebih mahal,” ujar Sommer dalam laporan tersebut.
“Tidak ada model tunggal yang andal, ekonomis, dan bisa diterapkan untuk semua kebutuhan dalam waktu dekat,” ujarnya.
Lonjakan ketergantungan ini tercermin dari masifnya adopsi sistem otonom (agentic systems) sepanjang 2026.
Menurut Gartner, belanja infrastruktur komputasi untuk mendukung pelatihan dan operasional LLM diproyeksikan tembus USD42 miliar, meningkat hampir dua kali lipat hingga akhir tahun 2026.
Sommer memperkirakan konsumsi token global saat ini telah menyentuh angka sekitar 300 triliun token per hari, dengan tingkat pertumbuhan tahunan mencapai 500 persen hingga 600 persen.
Ketidakpastian biaya AI yang sulit diprediksi ini membuat sejumlah perusahaan mulai meninjau ulang strategi implementasi mereka.
Berdasarkan laporan dari perangkat lunak manajemen biaya Mavvrik, hampir separuh organisasi melaporkan bahwa mereka terpaksa melaporkan lonjakan biaya tak terduga terkait AI langsung kepada dewan direksi.
Tiga Faktor Pemicu dan Dilema Bisnis
Gartner mengidentifikasi ada tiga faktor utama yang membentuk dinamika ekonomi token saat ini. Di satu sisi, biaya model fondasi memang mengalami penurunan yang menjadi angin segar bagi perusahaan.
Namun, peningkatan efisiensi AI justru memicu penggunaan model yang lebih kuat dan mahal demi mengejar aplikasi bernilai tinggi.
Tentunya, alur kerja AI yang canggih ini menyedot token dalam jumlah jauh lebih besar dibandingkan interaksi chatbot sederhana di masa lalu. Akhirnya, fakta ini mendongkrak biaya inferensi secara keseluruhan.
Gartner menyebut fenomena ini sebagai “Inference Paradox”, sebuah kondisi ketika total biaya AI melonjak tanpa diiringi jalur yang jelas menuju perolehan nilai (value) yang terprediksi.
”Kerasnya ekonomi dari Inference Paradox ini tergambar jelas dari perbedaan antara chatbot sederhana dan agen AI,” jelas Sommer.
“Jika chatbot sederhana hanya perlu membaca, mengartikan kueri, dan merespons dengan cepat menggunakan jawaban yang masuk akal secara probabilistik, maka agen AI harus terus-menerus bernalar, bernegosiasi, dan mempertanyakan dirinya sendiri,” ujarnya.
Laporan Gartner menekankan bahwa untuk meraup laba atas investasi (ROI) dari sistem yang lebih canggih seperti model AI berbasis agen (agentic AI), perusahaan membutuhkan tingkat pengembalian yang jauh lebih tinggi dibandingkan model dasar.
Jika tidak, perusahaan mau tidak mau harus mengoptimalkan model mereka secara masif guna menyelesaikan tugas-tugas kompleks dengan kecerdasan yang hemat biaya.
Menurut Sommer, kedua opsi tersebut sama-sama terbuka untuk ditempuh tetapi menuntut perombakan besar-besaran pada alur kerja bisnis yang ada.
“Setiap CIO akan memiliki prioritas yang berbeda, mereka akan memiliki hal-hal yang bersifat krusial bagi organisasi,” pungkas Sommer pada Juli lalu.
“CIO harus bekerja sama dengan seluruh organisasi untuk menentukan apa saja prioritasnya. Apakah AI merupakan cara yang efisien dari segi biaya untuk menyelesaikan masalah-masalah itu?,” ucapnya.
Bagaimana strategi organisasi Anda dalam mengantisipasi lonjakan biaya operasional AI seiring makin kompleksnya adopsi sistem agen AI di perusahaan?.
