Bagi sebagian besar pemimpin teknologi (CIO) menjelaskan inisiatif kecerdasan buatan (AI) yang sedang berjalan bukanlah hal yang sulit.
Namun, tantangan besar justru muncul saat mereka harus mendemonstrasikan dan melaporkan nilai nyata dari investasi itu atau tingkat pengembalian modalnya (ROI).
Survei sentimen vendor terkait ROI AI dari Gartner mencatat fakta menarik. Hanya 27 persen responden yang setuju bahwa ROI dari inisiatif AI mudah diukur.
Selain itu, hanya satu dari empat perusahaan yang memiliki panduan jelas untuk mengevaluasi keberhasilan proyek AI mereka.
Di era transformasi digital sebelumnya, biaya komputasi relatif murah sehingga fokus perusahaan lebih tertuju pada pengalaman pengguna (user experience) dan atribut perangkat lunak klasik seperti ketersediaan, keandalan, skalabilitas, performa, serta keamanan.
Kini, aplikasi berbasis AI membawa pertimbangan baru yang jauh lebih kompleks, mulai dari tingkat akurasi, validitas, kemampuan penjelasan (explainability), keamanan data, hingga berbagai atribut kepercayaan lainnya. Seiring meluasnya adopsi AI, manajemen finansial operasional (FinOps) menjadi elemen krusial yang tidak boleh diabaikan.
Untuk membantu para CIO keluar dari kebuntuan ini, ada tiga cara terbaik bagi perusahaan untuk mengukur sejauh mana proyek AI mereka benar-benar efektif.
1. Terapkan Pendekatan Portofolio yang Selaras dengan Ambisi AI
Langkah pertama untuk mendapatkan nilai dari AI adalah melihat seluruh portofolio AI secara holistik dan bagaimana teknologi itu mendukung strategi AI serta strategi organisasi secara lebih luas.
Pendekatan itu menuntut CIO memikirkan ambisi inovasi AI perusahaan dan bagaimana cara mendongkrak pencapaian dari tahun ke tahun.
Solusinya adalah menyesuaikan alokasi anggaran perusahaan. Hal itu mencakup keseimbangan antara inisiatif cepat (quick wins) versus kebutuhan utama (must-haves), aplikasi internal karyawan versus eksternal pelanggan, proyek jangka pendek versus jangka panjang, dan penghematan biaya versus penciptaan pendapatan.
Pendekatan berbasis ambisi inovasi itu merupakan praktik terbaik dalam manajemen inovasi. Biasanya, perusahaan mengejar kemenangan cepat di awal untuk membuktikan nilai AI.
Setelah itu, mereka dapat meningkatkan ambisi di tahun-tahun berikutnya dengan mengalokasikan anggaran lebih besar pada inisiatif strategis jangka panjang yang berorientasi pada pendapatan eksternal.
Sebagai contoh, organisasi dengan tingkat kematangan awal dapat memfokuskan 80 persen investasi AI pada inisiatif internal dan 20 persen untuk eksternal pada tahun pertama. Pada tahun kedua, proporsi tersebut dapat bergeser menjadi perbandingan 70/30, dan seterusnya.
Meskipun banyak perusahaan belum melacak alokasi anggaran AI secara disiplin, langkah ini justru menjadi pembeda antara pemimpin AI dan kompetitor lainnya.
Studi PwC menunjukkan bahwa 20 persen perusahaan teratas meraup 74 persen nilai ekonomi dari AI dengan kinerja 7,2 kali lipat lebih tinggi dari kompetitor.
Selain itu, menggelar proyek uji coba terfokus sekaligus mencari keberhasilan cepat merupakan cara efektif untuk memahami potensi AI sebelum diperluas.
Joe Vaccaro (SVP and General Manager Network Platform and Assurance di Cisco) menjelaskan bahwa jaringan perusahaan kini telah menjadi sistem terdistribusi yang terus berubah dan menghasilkan jauh lebih banyak sinyal daripada kapasitas model operasional manusia.
”Survei kami terhadap 1,000 pemimpin TI dan NetOps menemukan bahwa lebih dari separuh percaya kegagalan melakukan otomatisasi akan membuka celah keamanan krusial dan meningkatkan risiko perusahaan,” ujar Vaccaro.
Ia menambahkan, “Bagi para CIO yang ingin menunjukkan ROI dari investasi AI, jalur yang kredibel adalah memulai dengan alur kerja yang ditargetkan, terukur, dan dapat dibalik. Uji coba yang terfokus dapat memvalidasi hasil dan memperkuat tata kelola sebelum penerapan yang lebih luas.”
Pada level ini, penting juga untuk memiliki metrik nilai AI yang mampu menilai kesehatan dan produktivitas portofolio. Meminjam praktik terbaik manajemen inovasi, metrik nilai AI dapat dibagi ke dalam tiga kategori utama yang mencakup seluruh pipa inovasi (innovation pipeline) dari gagasan hingga nilai:
1. Masukan dan Komposisi Inovasi AI (Input and Mix): Mengukur apa saja jenis inovasi yang masuk ke dalam antrean pipa.
2. Kesehatan dan Efisiensi Inovasi AI (Health and Efficiency): Mengukur tingkat arus kerja yang melewatinya serta jumlah pendanaan yang dialokasikan.
3. Hasil Inovasi AI (Outcomes): Mengukur pengembalian inovasi dalam bentuk komersialisasi yang telah mendatangkan pendapatan atau mencapai target lainnya.
2. Kembangkan Kerangka Penilaian yang Fokus pada Analisis Biaya-Manfaat Menyeluruh
Meskipun banyak organisasi terpaku sepenuhnya pada sisi biaya dari inisiatif AI, kerangka penilaian yang Anda bangun wajib mencakup analisis biaya-manfaat secara penuh (full cost-benefit analysis).
”Perusahaan jangan cuma terpaku pada biaya token AI. Kita juga harus melihat nilai bisnis nyata yang dihasilkan agar tahu keuntungan yang sebenarnya,” ujar David Evans, Pakar Strategi AI dari Thinkers360.
Ben Schein (VP AI and Analitik di perusahaan perangkat lunak infrastruktur AI Progress Software) menyarankan para CIO berhenti mengukur aktivitas AI dan mulai mengukur hasil nyata (outcomes) sedapat mungkin.
”Penggunaan AI hanya menunjukkan bahwa meteran sedang berputar, bukan berarti ada nilai yang dihasilkan. Lakukan instrumentasi pada sisi biaya secara menyeluruh, karena setiap tindakan AI dapat membawa beban kerja, model, dan biayanya sendiri,” ujar Schein.
“Hitung biaya dan manfaat berdasarkan tugas spesifik yang dikerjakan. Hindari mencampuradukkan pengeluaran perusahaan secara keseluruhan dengan klaim keberhasilan yang hanya berupa kisah sukses sesaat,” ucapnya.
Kendati demikian, Dan Priest selaku US Chief AI Officer di PwC menyarankan agar perusahaan perlu kembali pada dasar-dasar penghitungan investasi yang dipadukan dengan pendekatan modern.
”ROI AI seringkali sulit dicapai karena sebagian organisasi masih belajar cara mencapainya. Apalagi AI terkadang mendapat kelonggaran dari disiplin,” jelas Priest.
Untuk inisiatif AI berskala besar, perhitungan investasi harus mencakup infrastruktur baru, tenaga kerja untuk pembangunan, model untuk lapisan kecerdasan (intelligence layer), hingga biaya variabel seperti biaya token.
Seluruh komponen ini wajib dikalkulasikan ke dalam perhitungan ROI, yang sebagian di antaranya memerlukan mekanisme pelacakan serta kontrol baru.
Tolok ukur yang ia kembangkan juga menunjukkan adanya efek ambang batas (threshold effect). ROI akan tetap tidak signifikan hingga investasi AI melampaui kira-kira 1,6 persen dari pendapatan.
Di atas batas tersebut, EBITDA naik 9,5% persen pendapatan bertambah 3,5 persen, serta pengembalian bagi pemegang saham melonjak hingga 20,2 persen.
3. Perhitungkan Manfaat Secara Luas dan Ukur Hal yang Benar-Benar Penting
Praktik terbaik berikutnya yang diadopsi dari manajemen inovasi adalah melihat manfaat kuantitatif maupun kualitatif dari inisiatif AI, alih-alih hanya berfokus pada metrik finansial langsung semata.
”Terdengar klise, tetapi CIO harus mengukur nilai bisnis yang diciptakan—seperti produktivitas, pertumbuhan, dan hasil lainnya—ketimbang sekadar aktivitas yang telah dicapai, seperti membangun aplikasi, membuat dasbor, atau mengumpulkan umpan balik pelanggan,” ujar Priest.
PwC merekomendasikan agar para pemimpin mengevaluasi nilai melalui lima dimensi utama, yaitu finansial, operasional, fungsional, kepercayaan (trust), dan tenaga kerja (workforce).
Pendekatan multidimensi itu memberi para pemimpin cara yang lebih konsisten untuk mengukur dan membandingkan nilai di dalam portofolio AI. Bahkan, tatkala investasi individual dirancang untuk menghasilkan keluaran yang berbeda-beda.
Menghitung proyeksi ROI dan ROI aktual juga dapat memberikan wawasan berharga bagi CIO mengenai sejauh mana portofolio AI memenuhi ekspektasi.
Di sinilah pentingnya memasukkan biaya tata kelola sejak awal siklus hidup sebelum pendanaan disetujui, terutama untuk aplikasi berisiko tinggi yang memiliki persyaratan kepatuhan hilir yang ketat.
”Pada akhirnya, ukur apa yang benar-benar penting, awasi biaya variabel, dan pantau biaya serta manfaat aktual terhadap proyeksi awal,” tambah Priest.
”Langkah itu memberikan informasi yang dibutuhkan para CIO untuk menentukan di mana investasi memberikan hasil, di mana penyesuaian diperlukan, serta kapan harus mengambil langkah memimpin, menahan diri, atau keluar dari proyek,” ujarnya.
Mengukur nilai dan ROI AI pada dasarnya tidak menuntut metodologi atau pendekatan yang sepenuhnya baru. Hal ini semata-mata memerlukan ketegasan finansial yang sama seperti yang selama ini diterapkan pada investasi-investasi korporasi sebelumnya.
Dinamika biaya memang rumit, tetapi dapat diatasi asalkan perusahaan konsisten menyelaraskan strategi AI, memakai kerangka penilaian yang tepat, dan mengukur hal-hal yang benar-benar penting bagi bisnis.
