Kompetisi pengembangan kecerdasan buatan (AI) selama ini sangat identik dengan kecepatan pemrosesan dan efisiensi inferensi model bahasa besar (large language models). Seiring waktu, sistem AI berevolusi dari sekadar merespons perintah singkat menjadi alur kerja mandiri yang kompleks.
Kini, industri berhasil mengidentifikasi hambatan terbaru yang lebih mendasar yaitu daya ingat dan penyimpanan memori kerja agen AI. Selama ini, teknologi Key-Value (KV) caching diandalkan sebagai solusi optimasi untuk menyimpan hasil komputasi sementara agar model tidak perlu mengulang proses dari awal saat memproses percakapan panjang. Namun, ketika tantangan ini melibatkan agen AI (AI agents), masalah serupa muncul dalam skala yang jauh lebih besar.
Ketika Agen AI Bekerja Lintas Waktu
Agen AI masa kini tidak lagi sekadar menghasilkan teks atau respons. Mereka juga harus mengumpulkan informasi, memanggil perangkat lunak eksternal, menanyakan data perusahaan, membuat berkas, mengambil keputusan, dan merampungkan berbagai tahapan menuju satu tujuan besar.
Dalam proses panjang tersebut, agen AI secara akumulatif menghimpun memori kerja yang sangat berharga. Memori ini meliputi konteks, riwayat penggunaan perangkat, hasil sementara (intermediate results), berkas yang dihasilkan, titik pemulihan hingga referensi data perusahaan.
Kendala krusial muncul ketika tugas agen harus dihentikan dan dilanjutkan kembali baik akibat menunggu persetujuan manusia, berpindah sumber daya komputasi, pemulihan sistem, maupun jeda hingga berhari-hari.
Tanpa sistem penyimpanan yang andal, agen AI terpaksa mengulang pekerjaannya dari nol, mulai dari menarik ulang data, membangun kembali konteks, hingga menjalankan perangkat dari awal.
Berdasarkan analisis Qumulo, merekonstruksi ulang status agen AI jangka panjang terbukti sangat tidak efisien. Padahal, semakin rumit sebuah tugas, semakin krusial pula riwayat status yang telah terhimpun.
Karena itu, industri infrastruktur kini fokus memulihkan status kerja agar agen dapat melanjutkan tugas tanpa mengulang dari nol. Berbeda dengan chatbot biasa yang tahan terhadap cold start, agen jangka panjang yang mengolah data besar tentu tidak memiliki keleluasaan tersebut.
Di Mana “Cache” Tersebut Berada?
Percakapan seputar manajemen status agen AI kerap mengabaikan satu pertanyaan mendasar: di mana sebenarnya lokasi penyimpanan cache tersebut berada?. Penyimpanan status agen akan menjadi sia-sia jika data terisolasi di node atau wilayah tertentu saat sesi terhenti.
Infrastruktur modern tidak sekadar membutuhkan cache yang cepat, tetapi juga ruang penyimpanan terpusat yang konsisten dan dapat diakses dari mana saja. Dengan pendekatan ini, agen dapat beroperasi secara fleksibel baik secara lokal, di tepi jaringan (edge), maupun di komputasi awan (cloud) tanpa kehilangan akses ke data referensinya.
Sebagai solusi, konsep Cloud Data Fabric hadir sebagai ruang penyimpanan global yang menghubungkan komputer lokal, berbagai layanan cloud (seperti AWS, Azure, Google Cloud, dan OCI), hingga perangkat edge. Melalui arsitektur ini, beban kerja, model, maupun agen dapat mengakses data yang identik, di mana pun server fisik tempat mereka berjalan hari ini.
Mengubah Paradigma Infrastruktur AI
Kendati konsep “penyimpanan cache untuk agen” masih tergolong baru, logika ekonomi dari KV caching untuk menekan latensi dan memangkas biaya berlaku sama persis.
Organisasi yang sejak awal merancang infrastruktur multi-lokasi atau multi-cloud dipastikan akan segera membentur pertanyaan klasik, di mana sebenarnya memori agen ini disimpan?.
Status agen menuntut standar yang jauh lebih tinggi daripada cache penayangan model biasa yang sifatnya sementara dan terbatas di satu wilayah. Jika cache biasa mengalami kegagalan, dampaknya sekadar penundaan latensi sesaat bagi permintaan berikutnya.
Sebaliknya, agen yang tengah berada di tengah tugas dan kehilangan konteks, riwayat pemanggilan perangkat, atau berkas perantara tidak hanya akan berjalan lambat, tetapi berisiko menghasilkan jawaban keliru, mengulang proses yang mahal, atau mengalami kegagalan total.
Perubahan paradigma ini menggeser fokus penyelesaian masalah dari level model bahasa semata ke level lapisan data (data layer).
Tren infrastruktur AI ke depan tidak lagi berpusat semata pada upaya membuat model bekerja lebih cepat, melainkan memastikan bahwa agen cerdas tidak “kehilangan arah” atau melupakan identitas serta riwayat kerjanya ketika berpindah lokasi komputasi.
Bagi korporasi yang sedang menguji coba sistem berbasis agen (agentic systems) menuju tahap produksi, satu pertanyaan krusial kini harus dijawab oleh tim infrastruktur mereka. “Jika sesi agen ini berhenti di satu server dan dilanjutkan di server lain minggu depan, apakah memorinya ikut berpindah?”.
Bagi sebagian besar organisasi saat ini, jawabannya masih belum dan celah inilah yang akan menjadi arah utama investasi infrastruktur AI berikutnya.
