Apa itu Confluent Platform?
Confluent Platform adalah full-scale data streaming platform yang memungkinkan anda untuk mengakses, menyimpan, dan mengelola data continuous, secara real-time.
Dibangun oleh pencipta asli Apache Kafka®, Confluent memperluas manfaat Kafka dengan fitur enterprise-grade.
Faktanya saat ini, Lebih dari 80% Fortune 100 didukung dengan teknologi data streaming, dan sebagian besar memanfaatkan Confluent.
Mengapa Confluent?
Dengan mengintegrasikan data historis dan real-time ke dalam satu sumber utama, Confluent memudahkan untuk membangun kategori baru, aplikasi yang digerakkan oleh peristiwa, mendapatkan universal data pipeline, dan membuka use cases baru yang kuat dengan skalabilitas penuh , performance, dan reliability.
Untuk Apa Konfluen Digunakan?
Confluent Platform memungkinkan kita fokus pada cara memperoleh nilai bisnis dengan data, daripada mengkhawatirkan mekanisme yang mendasarinya, seperti bagaimana data diintegrasikan di antara sistem yang berbeda.
Secara khusus, Confluent Platform menyederhanakan proses menghubungkan sumber data ke Kafka, membangun aplikasi streaming serta mengamankan, memantau, dan mengelola infrastruktur Kafka yang dimiliki.
Saat ini, Confluent Platform digunakan untuk beragam kasus penggunaan di berbagai industri, mulai dari layanan keuangan, ritel omnichannel, dan perusahaan otomotif, hingga mendeteksi penipuan, layanan mikro, dan IoT.
Source : Confluent
Overview of Confluent’s Event Streaming Technology
Inti dari Confluent Platform adalah Apache Kafka , platform streaming terdistribusi open source paling populer. Kemampuan utama Kafka adalah:
-
Publikasikan dan berlangganan aliran rekaman
-
Simpan aliran catatan dengan cara yang toleran terhadap kesalahan
-
Aliran proses catatan
Di luar itu, Confluent Platform juga menyertakan Schema Registry, REST Proxy, total 100+ konektor Kafka yang sudah dibuat sebelumnya, dan ksqlDB.
Selengkapnya tentang Kafka…
Overview of Confluent Platform’s Enterprise Features
Confluent Control Center
Confluent Control Center adalah GUI-based system untuk mengelola dan memantau Kafka. Ini memungkinkan kita dalam mengelola Kafka Connect dengan mudah, creat, edit, dan mengelola koneksi ke sistem lain. Ini juga memungkinkan kita memonitor data streams dari producer ke consumer, memastikan bahwa setiap message delivered, dan mengukur waktu proses message delivery.
Dengan menggunakan Control Center, kita bisa membangun production data pipeline berdasarkan Kafka tanpa menulis sebaris code. Control Center juga memiliki kemampuan unruk menentukan peringatan tentang latency dan kelengkapan statistics data streams, yang dapat dikirimkan melalui email atau notifikasi dari centralized alerting system.
Confluent untuk Kubernetes
Confluent untuk Kubernetes adalah Kubernetes operator. Ini memperluas kemampuan orkestrasi Kubernetes dengan menyediakan fitur dan persyaratan unik untuk aplikasi platform tertentu. Untuk Confluent Platform, ini termasuk sangat menyederhanakan penerapan process Kafka di Kubernetes dan automating typical infrastructure lifecycle tasks.
Confluent Connectors to Kafka
Konektor memanfaatkan Kafka Connect API untuk menghubungkan Kafka ke sistem lain seperti database, penyimpanan key-value, indeks pencarian, dan sistem file.
Confluent Hub memiliki konektor yang dapat didownload untuk sumber data dan sink paling populer. Ini termasuk versi konektor yang diuji dan didukung sepenuhnya dengan Platform Confluent.
Confluent menyediakan konektor berlisensi komersial dan Komunitas.
Self-Balancing Clusters
Self-Balancing Clusters menyediakan penyeimbangan beban otomatis, deteksi kegagalan, dan penyembuhan diri. Ini memberikan dukungan untuk menambah atau menonaktifkan broker sesuai kebutuhan, tanpa penyetelan manual. Self-Balancing adalah iterasi berikutnya dari Auto Data Balancer di dalam cluster Self-Balancing yang memantau ketidakseimbangan secara otomatis, dan secara otomatis memicu penyeimbangan ulang berdasarkan konfigurasi yang kita tentukan sendiri. (kita dapat memilih untuk menyeimbangkan otomatis hanya ketika broker ditambahkan atau kapan saja .)
Rencana penugasan ulang partisi dan eksekusi diurus untuk Anda.
Confluent Cluster Linking
Cluster Link untuk Platform Confluen secara langsung menghubungkan kluster bersama-sama dan mencerminkan topik dari satu kluster ke kluster lain melalui jembatan penghubung. Cluster Linking menyederhanakan penyiapan multi-pusat data, multi-cluster, dan penerapan cloud hybrid.
Confluent Auto Data Balancer
Saat cluster tumbuh, topik dan partisi tumbuh pada tingkat yang berbeda, broker ditambahkan dan dihapus dan seiring waktu hal ini menyebabkan beban kerja yang tidak seimbang di seluruh sumber daya pusat data. Beberapa broker sama sekali tidak melakukan apa-apa, sementara yang lain dikenakan perintah yang berat dengan partisi yang besar atau banyak, ini menyebabkan pengiriman pesan menjadi lambat.
Saat dijalankan, Confluent Auto Data Balancer memantau cluster kita untuk mengetahui jumlah broker, ukuran partisi, jumlah partisi, dan jumlah leader dalam cluster. Ini memungkinkan kita untuk memindahkan data untuk menciptakan beban kerja yang merata di seluruh cluster, sambil membatasi lalu lintas untuk menyeimbangkan kembali dari proses meminimalkan dampak pada beban kerja produksi sambil menyeimbangkan kembali.
Confluent Replicator
Replicator membuatnya lebih mudah dari sebelumnya dalam memelihara beberapa cluster Kafka di beberapa pusat data. Mengelola replikasi data dan konfigurasi topik antara pusat data memungkinkan kasus penggunaan seperti:
-
Penerapan geo-localized aktif-aktif: memungkinkan pengguna mengakses pusat data terdekat untuk mengoptimalkan arsitektur mereka untuk latensi rendah dan kinerja tinggi
-
Analitik terpusat: Gabungkan data dari beberapa klaster Kafka ke dalam satu lokasi untuk analitik di seluruh organisasi
-
Migrasi cloud: Gunakan Kafka untuk menyinkronkan data antara aplikasi lokal dan penerapan cloud
Anda dapat menggunakan Replicator untuk mengonfigurasi dan mengelola replikasi untuk semua skenario ini dari Pusat Kontrol Confluent atau command-line tools.
Tiered Storage
Tiered Storage menyediakan opsi untuk menyimpan data Kafka dalam jumlah besar menggunakan penyedia cloud favorit Anda, sehingga mengurangi beban dan biaya operasional. Dengan Tiered Storage, Anda dapat menyimpan data pada penyimpanan objek yang hemat biaya, dan penskalaan hanya jika Anda membutuhkan lebih banyak sumber daya komputasi.
Confluent JMS Client
Platform Confluen menyertakan klien yang kompatibel dengan JMS untuk Kafka. Kafka client ini mengimplementasikan API standard JMS 1.1, menggunakan broker Kafka sebagai backend. Ini berguna jika Anda memiliki aplikasi lama yang menggunakan JMS, dan Anda ingin mengganti broker pesan JMS yang ada dengan Kafka.
Dengan mengganti broker pesan JMS lama dengan Kafka, aplikasi yang ada dapat berintegrasi dengan platform streaming modern Anda tanpa harus menulis ulang aplikasi secara besar-besaran.
Confluent MQTT Proxy
Menyediakan cara untuk mempublikasikan data langsung ke Kafka dari perangkat dan gateway MQTT tanpa memerlukan Broker MQTT di tengah.
Confluent Security Plugins
Plugin Keamanan Confluen digunakan untuk menambahkan kemampuan keamanan ke berbagai alat dan produk Platform Confluen.
Saat ini, ada plugin yang tersedia untuk Confluent REST Proxy yang membantu dalam mengautentikasi permintaan yang masuk dan menyebarkan prinsip yang diautentikasi ke permintaan ke Kafka. Ini memungkinkan klien Proxy REST Confluen untuk memanfaatkan fitur keamanan multi-tenant dari broker Kafka.