Tekanan untuk mengadopsi kecerdasan buatan (AI) secara kilat kini melanda berbagai korporasi global. Namun, di balik ambisi menghadirkan chatbot pintar, asisten virtual, dan layanan otomatisasi modern, para pemimpin teknologi (CIO) menyadari bahwa tren ini ibarat pedang bermata dua.
Tanpa pengelolaan yang matang, kesalahan kecil pada sistem AI dapat merusak kepercayaan pelanggan yang telah dibangun bertahun-tahun.
Berbeda dari perangkat lunak konvensional, AI generatif tidak selalu memberikan jawaban yang seragam untuk pertanyaan yang sama. Teknologi ini kerap menghasilkan jawaban keliru yang disampaikan dengan nada sangat percaya diri dan meyakinkan. Ketika konsumen mengandalkan AI untuk urusan finansial, asuransi, hingga kesehatan, dampak dari sebuah kesalahan bisa berakibat fatal.
Sumit Johar, CIO perusahaan perangkat lunak berbasis cloud BlackLine, mengingatkan bahwa respons AI yang tidak akurat tidak hanya merusak pengalaman pelanggan, tetapi juga memboroskan sumber daya untuk perbaikan, mencoreng merek (brand), hingga memicu risiko regulasi.
“Kegagalan AI menciptakan masalah kepercayaan yang masif pada solusi inti. Di sektor keuangan, nasihat atau keluaran AI yang buruk dapat mengompromikan akurasi neraca keuangan dan berujung pada kewajiban hukum serta personal yang berat,” tegasnya.
Ketika “Keyakinan Palsu” Menjadi Ancaman Nyata
Risiko tersebut dirasakan betul oleh Daniel Wang, CTO Citizen Health, perusahaan yang platformnya banyak digunakan oleh pasien penyakit langka dan para perawatnya.
Salah satu kekhawatiran terbesar Wang bukanlah sekadar potensi AI melakukan kesalahan, melainkan sifat teknologi tersebut yang mampu memoles kesalahan menjadi tampak benar.
“Sistem AI dapat menyajikan jawaban yang terdengar penuh perhatian, informatif, dan otoritatif, bahkan ketika informasi dasarnya tidak akurat,” kata Wang.
Untuk mengantisipasi hal ini, Citizen Health menerapkan standar ketat yang menelusuri sumber informasi AI kembali ke dokumen asli seperti rekam medis atau jurnal ilmiah serta menyertakan peringatan agar pasien tetap berkonsultasi dengan tenaga medis.
Dampaknya, perusahaan bahkan sempat menunda peluncuran produk AI untuk memastikan akurasi. Alih-alih merilis fitur ke publik secara serentak, mereka menguji coba sistem pada kelompok kecil pasien terlebih dahulu untuk menyerap umpan balik.
Pendekatan hati-hati serupa diterapkan oleh Jonathan Tushman, CTO dan Chief AI Officer (CAIO) di perusahaan teknologi asuransi Hi Marley.
Menurutnya, Hi Marley sebenarnya memiliki teknologi AI yang siap meluncur sejak bertahun-tahun lalu, tetapi mereka memilih untuk mengalokasikan waktu lebih banyak demi pengujian, observasi, tinjauan hukum, dan pelatihan.
“Jika bukan karena standar kepercayaan dan tata kelola, kami sudah bisa meluncur setahun lebih awal dan menikmati adopsi AI yang lebih cepat. Kami memilih untuk tidak melakukannya,” ungkap Tushman. Ia menyebut filosofi ini sebagai bekerja pada “kecepatan kepercayaan” (speed of trust).
Biaya Tersembunyi di Balik Kesalahan AI
Dorongan untuk menggelar AI sering kali didorong oleh janji efisiensi bahwa penanganan beban kerja pelanggan yang lebih besar dapat mengurangi beban karyawan.
Namun, penghematan waktu dan biaya itu dapat menyusut seketika jika karyawan justru harus menghabiskan waktu tambahan untuk memeriksa dan mengoreksi hasil kerja AI, sebuah fenomena yang dikenal sebagai hallucination tax (pajak halusinasi).
Jess Lampe (Global Lead Technologist di Launch Consulting) menjelaskan bahwa biaya tersembunyi ini meliputi hilangnya produktivitas staf hingga risiko hukum dan regulasi. Sementara itu, Chris Slovak, Global Field CTO di platform penyedia AI Unframe, menambahkan bahwa dampak terburuk justru jatuh pada reputasi merek.
“Pertimbangkan jika Anda memiliki pelanggan yang sudah frustrasi, lalu dipertemukan dengan AI yang memperburuk keadaan. Penurunan kepercayaannya bisa sangat masif,” ujarnya.
Meski demikian, Kevan Yalowitz, Global Software and Platforms Lead di Accenture, mengingatkan bahwa kesalahan pada akhirnya bisa terjadi oleh siapa pun, baik manusia maupun mesin.
“Biaya tersembunyi yang sesungguhnya adalah hancurnya kepercayaan pengguna saat kesalahan terjadi, terlepas dari apa sumbernya,” ujar Yalowitz.
“Organisasi yang paling sukses adalah mereka yang dengan cepat mengakui kesalahan, memberikan penjelasan transparan, serta menjadikannya pelajaran agar tidak terulang,” ujarnya.
Pengawasan Manusia dan Tanggung Jawab Jajaran Eksekutif
Guna meminimalkan berbagai risiko tersebut, para pemimpin IT sepakat bahwa pagar pengaman dan pengawasan manusia (human oversight) mutlak diperlukan sebelum AI bersentuhan langsung dengan pelanggan.
Menurut Sumit Johar, keputusan-keputusan kritikal di industri teregulasi seperti keuangan tidak boleh sepenuhnya diserahkan secara mandiri kepada AI. Di samping itu, perusahaan harus memastikan kualitas data pelatihan yang bersih serta memiliki kemampuan audit yang jelas.
Toyan Espeut, Chief Customer Officer di Smartsheet, menambahkan bahwa aturan tata kelola data yang ketat wajib diterapkan.
“AI tidak boleh beroperasi di luar struktur izin pelanggan yang sudah ada. Jika seseorang tidak memiliki akses ke suatu data, AI yang bertindak atas nama mereka juga tidak boleh bisa mengaksesnya,” tegas Espeut.
Terkait siapa yang harus bertanggung jawab ketika sistem AI keliru, para narasumber sepakat bahwa kesalahan tidak bisa ditimpakan kepada teknologi itu sendiri atau sekadar dibebankan kepada vendor.
Daniel Wang menyatakan bahwa masalah kepercayaan pelanggan merupakan urusan seluruh lini perusahaan. Sementara itu, Jonathan Tushman menegaskan bahwa akuntabilitas akhir tetap berada di pundaknya sebagai CTO.
“Ini bukanlah sesuatu yang bisa Anda alihkan ke sistem atau serahkan kepada vendor,” ujar Tushman.
Senada dengan hal tersebut, Udaya Bhaskar, analis keamanan aplikasi senior di Corteva Agriscience, mengingatkan bahwa perusahaan penyedia lah yang memikul tanggung jawab penuh karena AI hanyalah sebuah alat, bukan pengambil keputusan.
Mengukur Keberhasilan Secara Komprehensif
Pada akhirnya, adopsi AI tidak boleh hanya dinilai dari seberapa cepat teknologi itu tersebar atau berapa banyak pelanggan yang menggunakannya. Toyan Espeut menyarankan agar perusahaan mengukur metrik yang lebih substansial.
“Perusahaan harus melihat apakah pelanggan mampu menyelesaikan masalah dengan lebih baik, memperoleh hasil bisnis yang optimal, serta menurunkan volume tiket layanan pelanggan secara organik,” jelasnya.
“Ketika pelanggan secara aktif membantu membentuk produk Anda, ini adalah sinyal kuat bahwa mereka mempercayai teknologi tersebut dan melihat nilai jangka panjangnya,” pungkas Espeut.
