Confluent, sebuah perusahaan IBM, hari ini mengumumkan fitur-fitur baru untuk membangun Streamhouse, sebuah arsitektur data baru yang menjaga konteks bisnis tetap terkini bagi agen AI, aplikasi dan analitik saat mereka mengambil keputusan dan bertindak.
Dengan Lightning Tables yang kini telah tersedia secara umum di AWS, Confluent melengkapi Platform Data Streaming lima pilarnya, menghadirkan kemampuan untuk mengalirkan (Stream), menghubungkan (Connect), memproses (Process), mengatur (Govern) dan kini meminta (Query) data secara terpadu dalam satu platform untuk membangun Streamhouse.
Confluent berada di pusat strategi data IBM, menggabungkan data streaming real-time dengan kemampuan integrasi, tata kelola dan AI IBM di seluruh lingkungan hybrid.
Mengapa Perusahaan Membutuhkan Streamhouse
Data lake, data warehouse dan lakehouse pada dasarnya dirancang dengan mempertimbangkan kebutuhan pelaporan atau tugas-tugas batch lainnya. Seiring dengan semakin banyaknya tugas yang ditangani oleh agen AI di seluruh perusahaan, mereka harus mengambil keputusan berdasarkan informasi yang tersebar di berbagai sistem yang diperbarui pada waktu yang berbeda-beda.
Ketika sistem-sistem tersebut memiliki pandangan yang berbeda mengenai kondisi bisnis saat ini, agen-agen tersebut dapat bertindak berdasarkan informasi yang sudah usang atau saling bertentangan. Tindakan-tindakan tersebut dapat berdampak pada alur kerja lainnya.
Streamhouse mengatasi masalah arsitektural ini dengan secara terus-menerus menangkap, memproses, mengelola dan menyajikan konteks bisnis terkini di seluruh agen, aplikasi, dan analitik. Perhatikan contoh ilustratif berikut mengenai maskapai penerbangan yang menangani penerbangan yang dibatalkan:
Saat ini, terdapat berbagai sistem yang memiliki pandangan yang saling bertentangan mengenai operasi yang sama. Operasi penerbangan melacak lokasi pesawat, sistem penjadwalan melacak waktu keberangkatan dan sistem pemesanan melacak kursi mana yang tersedia.
Ketika sistem-sistem tersebut diperbarui pada waktu yang berbeda, agen pemesanan otonom dapat menyusun rencana perjalanan yang tampak valid di setiap sistem namun tidak berfungsi dalam praktiknya, misalnya kursi tersedia, tetapi pesawat tidak dapat tiba tepat waktu untuk penerbangan lanjutan penumpang.
Tim layanan pelanggan dan sistem pemberitahuan kemudian dapat bertindak berdasarkan pandangan yang saling bertentangan tersebut, sehingga memperluas gangguan.
Dengan Streamhouse, setiap perubahan dapat memperbarui gambaran terpadu mengenai operasi maskapai. Ketika lokasi pesawat berubah, keberangkatan tertunda, atau kursi dipesan, sistem sumber mengirimkan pembaruan tersebut ke dalam aliran peristiwa yang berkelanjutan. Streamhouse menggabungkan pembaruan-pembaruan tersebut ke dalam konteks bisnis terkini dan menyediakannya bagi agen pemesanan, tim layanan pelanggan dan aplikasi saat mereka bekerja.
Alih-alih menyatukan informasi yang diperbarui secara terpisah, mereka dapat memeriksa lokasi pesawat, waktu keberangkatan dan ketersediaan kursi secara bersamaan sebelum menawarkan rencana perjalanan baru kepada penumpang.
Greg Taylor, SVP & General Manager, APAC Confluent mengatakan saat ini perusahaan-perusahaan sedang memperluas layanan digital secara eksponensial, namun pelanggan dan tim operasional semakin mengharapkan pengalaman yang responsif secara instan. Hal ini menimbulkan tantangan praktis bagi AI: seorang agen hanya dapat mengambil keputusan yang bermanfaat jika ia dapat melihat gambaran yang akurat di seluruh organisasi saat bertindak.
“Streamhouse memberikan tim landasan yang terus diperbarui dan terkelola untuk konteks tersebut, sehingga aplikasi dan agen dapat bekerja berdasarkan gambaran terkini yang sama. Cara ini membantu organisasi memanfaatkan investasi data yang sudah ada saat mereka berkembang untuk menghadirkan pengalaman AI yang lebih responsif dan relevan dengan dunia nyata ke dalam operasional,” katanya.
Berbagai perusahaan sudah mulai merasakan hasilnya. Accenture menggunakan arsitektur Streamhouse yang didukung oleh Confluent untuk menghubungkan data di seluruh bisnis globalnya.
“Beroperasi di lebih dari 120 negara, perusahaan global kami sebelumnya terkendala oleh arsitektur batch dan point-to-point yang sudah usang, di mana ekstraksi data yang berulang-ulang meningkatkan beban operasional dan menyebabkan keterlambatan data analitik,” kata Thomas Mahaffey (Kepala Strategi Data SAI, Accenture).
Thomas mengatakan peralihan ke arsitektur Streamhouse yang didukung oleh Confluent memisahkan produsen data dari konsumennya, sehingga mengubah aliran peristiwa bervolume tinggi menjadi produk data real-time yang terkelola dan dapat digunakan kembali, yang mengalir tanpa hambatan di seluruh sistem operasional dan analitik. Dengan Confluent yang menangani otomatisasi infrastruktur dan menyediakan konektivitas perusahaan yang mulus, para pengembang kami beroperasi dalam lingkungan yang terstandarisasi tanpa hambatan dalam membangun integrasi khusus atau mengelola perpindahan data secara mikro.
“Fondasi data yang berkelanjutan ini telah mempersingkat waktu yang dibutuhkan untuk memperoleh wawasan dari berbulan-bulan menjadi beberapa hari serta memangkas waktu pelaporan, sehingga memberdayakan tim kami untuk fokus pada penyediaan AI bernilai tinggi bagi 800.000 karyawan kami,” katanya.
Apa yang Membedakan Streamhouse
Streamhouse dibangun berdasarkan tiga prinsip arsitektur: berbasis arus data, kritis bagi misi dan terdesentralisasi. Streamhouse mempertahankan konteks bisnis yang terus diperbarui, dirancang sesuai standar layanan produksi dan mengakses data langsung di lokasi asalnya tanpa perlu konsolidasi terlebih dahulu.
Streamhouse beroperasi berdampingan dengan data warehouse dan lakehouse yang sudah ada, serta menambahkan lapisan operasional real-time untuk pengambilan keputusan dan tindakan.
Jonathan Kropp (Direktur Bidang AI dan Arsitektur, Extend) mengatakan sebagai platform perdagangan berbasis AI yang menghadirkan pengalaman berbelanja yang dipersonalisasi serta keunggulan operasional dan finansial bagi para pedagang, Extend membutuhkan kemampuan adaptasi yang luar biasa dalam proses onboarding pedagang yang cepat, penyesuaian harga secara real-time dan deteksi penipuan instan.
“Awalnya, kami mengalami kesulitan dengan antrian pesan tradisional dan data lake statis yang tidak memiliki kemampuan pemutaran ulang peristiwa, ketahanan data, serta penegakan skema yang ketat dalam skala besar,” katanya.
Penerapan arsitektur Streamhouse yang 100% tanpa server dan didukung oleh Confluent Cloud mengubah Kafka menjadi sumber kebenaran operasional kami, sehingga memungkinkan layanan mikro hilir untuk mengonsumsi dan menanyakan data real-time secara asinkron tanpa melanggar kontrak.
“Fondasi streaming yang secara inheren terpisah ini secara langsung memberikan fleksibilitas dan responsivitas yang diperlukan untuk menskalakan operasi kami, beradaptasi dengan sinyal pasar langsung, dan mendukung alur kerja AI agenik real,” ujarnya.
Platform Streaming Data Confluent Kini Menawarkan Streamhouse yang Lengkap
Platform Data Streaming (DSP) Confluent menyediakan fondasi yang lengkap dan terpadu untuk membangun sebuah Streamhouse. Inti dari platform ini adalah Apache Kafka®, yang menangkap dan mengalirkan peristiwa bisnis.
Jika digunakan sendiri, Kafka mengharuskan tim untuk menyusun sendiri semua hal lain yang diperlukan guna mengubah peristiwa-peristiwa tersebut menjadi konteks bisnis terkini.
DSP menyatukan semua itu dalam satu platform, kini dengan menambahkan Query sebagai pilar kelima di samping Stream, Connect, Process dan Govern. Kemampuan inti dan penambahan terbaru pada setiap pilar platform meliputi:
Stream, yang dibangun di atas Apache Kafka dan mesin Kora, menyediakan fondasi yang andal dan skalabel untuk menangkap dan mengalirkan peristiwa bisnis lintas sistem dengan latensi di bawah satu milidetik berdasarkan pengujian internal Confluent; latensi aktual bervariasi tergantung pada konfigurasi dan beban kerja.
Connect, dengan lebih dari 150 konektor yang sepenuhnya dikelola dan dapat disesuaikan, mengimpor data dari sistem perusahaan ke Kafka dan mengirimkannya ke hilir. Manajemen konektor hibrida memperluas cara tim mengelola koneksi-koneksi tersebut.
Proses ini menggunakan Apache Flink untuk menggabungkan, memperkaya, dan menyimpulkan konteks bisnis sedekat mungkin dengan sumber data seiring dengan perubahan data. Kemampuan eksekusi batch tambahan membantu menginisialisasi beban kerja streaming dari data yang sudah ada.
Govern membantu tim mengidentifikasi, mengklasifikasikan, dan mengamankan data melalui fitur-fitur seperti jejak data, katalog, kualitas, enkripsi, skema, dan kontrol akses.
Query menyediakan konteks bisnis terkini kepada sistem analitik, agen, dan aplikasi.
Query memanfaatkan data streaming untuk keperluan analitik, agen dan aplikasi, masing-masing melalui antarmuka yang sesuai dengan tugasnya:
Confluent Tableflow menyediakan data streaming ke lakehouse dan data warehouse dalam bentuk tabel terbuka, yang siap dianalisis.
Real-Time Context Engine menyajikan konteks bisnis terkini kepada agen AI melalui Model Context Protocol (MCP).
Lightning Tables memberikan aplikasi akses SQL dan API dengan latensi rendah ke kondisi bisnis terkini, sehingga aplikasi tersebut dapat merespons seiring perubahan kondisi.
Lightning Tables: Akses cepat ke kondisi bisnis terkini
Tersedia secara umum di AWS, Lightning Tables di Confluent Cloud adalah lapisan penyajian read-only yang menyimpan data Apache Kafka secara permanen dan mengkonversinya menjadi tabel, serta memastikan data tersebut tetap terkini seiring terjadinya perubahan. Fitur ini memungkinkan kondisi terkini bisnis dapat diakses melalui query dengan latensi rendah. Fitur-fiturnya meliputi:
Keterbaruan data dan kinerja query: Dalam pengujian internal Confluent, waktu yang dibutuhkan mulai dari pembuatan data baru hingga penyajiannya sekitar 100 milidetik, dengan latensi query 10–100 milidetik dan throughput lebih dari 1.000 query per detik.
Biaya dan kompleksitas yang lebih rendah: Menyajikan data secara berkelanjutan dengan lapisan penyajian yang sepenuhnya dikelola, tanpa memerlukan pipa ETL, basis data, atau cache terpisah.
1. Beragam query antarmuka: Lakukan query melalui SQL dan API langsung.
2. Tata kelola terpadu: Menerapkan skema, riwayat data dan kebijakan akses mulai dari pengumpulan data hingga penyajian data.
3. Evolusi skema: Mengelola perubahan skema untuk membantu mencegah gangguan pada aplikasi hilir.
4. Penyimpanan fitur: Menghitung fitur di Flink dan menyimpannya untuk kasus penggunaan pembelajaran mesin, termasuk personalisasi waktu nyata.
“Era berikutnya dalam AI perusahaan akan dimenangkan oleh agen-agen yang mengetahui apa yang sedang terjadi dalam bisnis pada saat mereka bertindak,” kata Shaun Clowes, Manajer Umum, Confluent dan Data, IBM.
“Itulah yang dapat diwujudkan oleh Streamhouse. Dengan Lightning Tables, Platform Data Streaming kami memberikan setiap agen dan aplikasi pandangan real-time yang terkelola mengenai bisnisnya. Artinya, perusahaan dapat menindaklanjuti sinyal penipuan lebih cepat, melayani pelanggan secara langsung dan menjalankan operasi berdasarkan kondisi terkini, bukan berdasarkan kondisi kemarin,” pungkasnya.
