Salesforce AI Research mengumumkan tiga fitur terbaru yang akan membantu perusahaan bertransformasi menjadi agentic AI enterprises. Tiga inovasi Salesforce AI Research itu meliputi simulasi pengujian dan pelatihan agen AI, alat benchmark terbaru untuk mengukur efektivitas agen AI, serta fitur untuk mengonsolidasikan data akun yang terduplikasi secara otomatis.
Berikut penjelasan dari masing-masing fitur tersebut.
CRMArena-Pro: Simulasi untuk pengujian dan pelatihan agen AI
Salesforce AI Research mengembangkan CRMArena-Pro yang merupakan pengembangan dari CRMArena yang sebelumnya fokus pada tugas layanan B2C sederhana (satu kali interaksi). CRMArena-Pro menghadirkan simulasi kerangka kerja lingkungan perusahaan yang memungkinkan pengujian kinerja agen AI dalam skenario kompleks, multi-interaksi, dan multi-agen.
Beberapa contoh implementasinya seperti prediksi penjualan, penanganan eskalasi kasus layanan pelanggan (service case triage), serta proses Configure, Price, Quote (CPQ). Selain itu, CRMArena-Pro juga memanfaatkan data sintetis yang memungkinkan panggilan API dengan aman sambil tetap menjaga perlindungan ketat terhadap informasi pribadi (PII).
Menurut Salesforce, lingkungan simulasi itu berfungsi layaknya digital twin (kembaran digital) dari sebuah bisnis sehingga dapat menangkap kompleksitas penuh dari operasi perusahaan. Hal itu membuat pelanggan dapat menguji agen AI dalam berbagai situasi nyata, seperti eskalasi layanan pelanggan atau gangguan rantai pasokan sebelum diterapkan langsung di dunia nyata.
Agentic Benchmark for CRM: Tools untuk Evaluasi
Salesforce juga memperkenalkan Agentic Benchmark for CRM, sebuah alat evaluasi untuk mengukur efektivitas agen AI. Alat benchmark ini dapat melakukan evaluasi dalam konteks bisnis tertentu, seperti layanan pelanggan, layanan lapangan (field service), pemasaran, serta penjualan. Alat itu menilai agen AI berdasarkan lima metrik utama yaitu akurasi, biaya, kecepatan, kepercayaan & keamanan, keberlanjutan (sustainability).
Menariknya, Salesforce menambahkan metrik terbaru berupa sustainability yang fokus pada dampak lingkungan dari sistem AI. Tujuannya membantu perusahaan menyeimbangkan ukuran model dengan tingkat kecerdasan yang benar-benar dibutuhkan agen untuk menyelesaikan tugas spesifik, sekaligus meminimalkan penggunaan sumber daya komputasi.
Selain itu, Salesforce AI Research juga merilis dua benchmark pendukung yaitu MCP-Eval dan MCP-Universe. Keduanya berfungsi mengukur kinerja agen AI dan melacak kinerja LLM ketika berinteraksi dengan server MCP dalam kasus nyata. Bedanya, MCP-Eval menggunakan tugas sintetis untuk evaluasi otomatis dalam skala besar di berbagai server MCP. Sedangkan MCP-Universe menggunakan tugas-tugas nyata yang menantang dengan evaluator berbasis eksekusi untuk menguji ketahanan agen dalam skenario kompleks.
Account Matching: Penyatuan data akun yang terduplikasi secara otomatis
Inovasi ketiga adalah Account Matching, sebuah kemampuan terbaru Salesforce Data Cloud yang memastikan agen AI selalu mengakses data berkualitas tinggi dan terintegrasi. Dalam pengembangannya, Salesforce AI Research bekerja sama dengan tim produk Salesforce untuk menyempurnakan LLM dan SLM supaya dapat menggerakkan Account Matching.
Teknologi itu bisa mengidentifikasi data duplikat, kolom yang tidak lengkap, hingga inkonsistensi dalam penamaan, lalu menyatukannya menjadi satu catatan data tunggal yang benar. Salesforce mengklaim, Account Matching ini berhasil membantu salah satu pelanggannya menyatukan lebih dari satu juta akun dengan tingkat keberhasilan 95% hanya dalam satu bulan pertama. Data yang lengkap itu juga berhasil memangkas waktu rata-rata penanganan hingga 30 menit.
