Di tengah ekspansi infrastruktur yang masif, para CIO harus bergelut dengan lonjakan biaya komputasi dan mulai melirik model kecerdasan buatan (AI) yang lebih hemat anggaran untuk mengendalikan pembelanjaan korporasi.
Menurut proyeksi riset Gartner, belanja pusat data AI diproyeksikan menyumbang lebih dari setengah total pendapatan semikonduktor dalam empat tahun ke depan, melonjak dari 36.5 persen pada 2026,
Peningkatan pengeluaran pusat data ini turut mendongkrak pendapatan global semikonduktor hingga menembus angka 1,6 triliun dolar AS pada tahun ini, berarti tumbuh hampir dua kali lipat dari tahun ke tahun (year-over-year).
Meskipun pendapatan dari sektor memori masih menjadi penyumbang utama pertumbuhan industri semikonduktor tahun ini, lonjakan porsi pendapatan pusat data AI menegaskan adanya pergeseran krusial.
“Fenomena ini memperlihatkan bagaimana permintaan industri berkembang. Permintaan yang tinggi terhadap AI memicu masifnya pembangunan pusat data,” kata Ben Lee (Direktur Analis di Gartner).
Kendati demikian, para eksekutif perusahaan kini memasuki era penerapan yang jauh lebih berhati-hati di tengah beban biaya AI yang merangkak naik.
Para penyedia layanan dengan cepat beralih dari model penetapan harga langganan tarif datar ke model berbasis penggunaan atau hasil.
Justin St-Maurice (Konselor Teknis di Info-Tech Research Group) mengatakan perubahan skema harga ini rupanya belum mampu dikelola dengan baik oleh berbagai organisasi
”Pada masa-masa awal, strategi sebagian besar vendor adalah membuat perusahaan ‘ketagihan’ menggunakan teknologi tersebut. Selama fase adopsi, biaya sebenarnya masih disembunyikan,” katanya.
Kini, tagihan-tagihan biaya tersebut mulai menumpuk dengan cepat. Menurut St-Maurice, penggunaan agen AI yang bekerja secara berulang menjadi pemicu terbesar dari pembengkakan biaya AI ini.
Agen AI tersebut cenderung melakukan verifikasi ganda dan memproses ulang data sehingga mendongkrak total biaya akhir.
Di tengah kekhawatiran yang kian meningkat, sejumlah vendor terkemuka seperti Snowflake, AWS, dan Oracle mulai menghadirkan fitur-fitur baru demi membantu kalangan korporasi mengendalikan pengeluaran AI mereka.
Kendati demikian, para CIO dan eksekutif lain yang ingin mengoptimalkan pengelolaan biaya overhead AI mungkin melirik agen AI dari China yang mengembangkan model sumber terbuka berdaya saing tinggi.
Sebagai langkah nyata menekan pembengkakan biaya, perusahaan asuransi Travelers Insurance memilih membangun model bahasa besar sendiri.
Sistem mandiri itu bernama TravelersLLM yang dirancang khusus untuk menangani berbagai kueri seputar asuransi dengan biaya operasional yang jauh lebih murah dibandingkan model terdepan komersial,
“Kami menggunakan model terdepan untuk kebutuhan penalaran yang lebih luas atau kueri pemrograman. Model agen AI internal ini lebih ekonomis dan terbukti ampuh membantu meredam tingginya biaya model terdepan,” kata Mojgan Lefebvre (Wakil Presiden Eksekutif sekaligus Kepala Teknologi dan Operasi di Travelers).
