Pada artikel sebelumnya, kita telah membahas apa itu data virtualization dan bagaimana pendekatan ini dapat membantu perusahaan mengakses data dari berbagai sumber tanpa harus selalu memindahkan atau menduplikasi data secara fisik.
Salah satu platform yang banyak digunakan untuk menerapkan pendekatan tersebut adalah Denodo Platform.
Denodo menggunakan pendekatan logical data management dengan data virtualization sebagai fondasinya. Platform ini menyediakan satu layer akses logis untuk menghubungkan berbagai sumber data, mengintegrasikan data, menerapkan security dan governance, serta menyajikan data kepada pengguna maupun aplikasi.
Lalu, bagaimana sebenarnya cara kerja Denodo?
Apa Itu Denodo?
Denodo adalah platform data management yang menggunakan pendekatan logical untuk mengintegrasikan dan menyediakan akses terhadap data yang tersebar di berbagai sistem.
Dalam lingkungan enterprise, data biasanya tidak berada di satu tempat. Data dapat tersebar pada:
- Database transactional
- Data warehouse
- Data lake dan lakehouse
- Cloud database
- Aplikasi enterprise
- SaaS applications
- API
- File dan sumber data lainnya
- Sistem on-premises maupun cloud
Denodo menghubungkan sumber-sumber tersebut melalui sebuah logical data layer, sehingga pengguna tidak harus berinteraksi langsung dengan setiap sistem sumber.
Dengan pendekatan ini, berbagai sumber data dapat dipresentasikan sebagai satu lingkungan data yang lebih terpadu.
Gambaran Sederhana Cara Kerja Denodo
Secara sederhana, arsitektur Denodo dapat dipahami melalui tiga lapisan utama:
Data Sources → Denodo Logical Data Layer → Data Consumers
1. Data Sources
Denodo terhubung dengan berbagai sumber data yang dimiliki perusahaan.
Contohnya:
- ERP
- CRM
- Database
- Data warehouse
- Data lake
- Cloud platform
- SaaS
- API
- File
- Sistem legacy
Sumber tersebut dapat berada pada lingkungan yang berbeda, termasuk on-premises, cloud, maupun hybrid environment.
2. Denodo Logical Data Layer
Di bagian tengah terdapat Denodo sebagai logical data layer.
Layer ini melakukan berbagai fungsi, seperti:
- Menghubungkan data source
- Membuat virtual views
- Mengintegrasikan data
- Menambahkan business semantics
- Mengatur security
- Menerapkan governance
- Mengoptimalkan query
- Menyediakan data services
Pengguna tidak perlu mengetahui secara detail di mana data fisik berada. Mereka dapat bekerja dengan representasi data yang telah disiapkan melalui logical layer.
3. Data Consumers
Data yang telah tersedia melalui Denodo kemudian dapat digunakan oleh berbagai consumer.
Misalnya:
- Business intelligence
- Data analytics
- Data science
- Business applications
- API
- Reporting
- AI applications
Denodo mendukung penyediaan data melalui interface seperti SQL, REST, dan GraphQL, sehingga data dapat dikonsumsi oleh berbagai jenis aplikasi dan tools.
Bagaimana Query Diproses oleh Denodo?
Salah satu bagian penting dalam memahami cara kerja Denodo adalah bagaimana platform menangani query yang berasal dari pengguna atau aplikasi.
Misalnya, sebuah perusahaan memiliki data customer di CRM dan data transaksi di database lain.
Seorang business analyst ingin mendapatkan informasi:
Customer mana yang memiliki transaksi terbesar dalam enam bulan terakhir?
Dalam pendekatan tradisional, data mungkin perlu dipindahkan terlebih dahulu ke data warehouse melalui proses ETL/ELT.
Dengan Denodo, data dari kedua sistem dapat diakses melalui logical layer.
Secara konseptual, prosesnya dapat berjalan seperti gambar berikut.
Denodo memiliki kemampuan query optimization untuk menentukan cara yang lebih efisien dalam mengeksekusi query lintas sumber data. Kemampuan ini mencakup optimization, pushdown processing, caching, dan teknik pemrosesan lainnya.
Apa Itu Virtual View di Denodo?
Konsep penting lainnya adalah virtual view.
Virtual view dapat digunakan untuk merepresentasikan data dari satu atau beberapa sumber data dalam bentuk yang lebih mudah digunakan oleh consumer.
Misalnya perusahaan memiliki:
CRM
- Customer ID
- Customer Name
- Customer Segment
ERP
- Customer ID
- Invoice
- Payment
E-commerce
- Customer ID
- Online Transaction
- Product
Dengan Denodo, sumber-sumber tersebut dapat dikombinasikan menjadi sebuah logical view, misalnya:
Customer 360 View
yang kemudian dapat digunakan oleh business intelligence, analytics, aplikasi, atau kebutuhan lainnya.
Keuntungan pendekatan ini adalah business user tidak harus memahami kompleksitas masing-masing source system.
Denodo Tidak Selalu Memindahkan Data
Salah satu karakteristik utama Denodo adalah pendekatan data virtualization.
Dalam pendekatan ini, data dapat tetap berada pada source system dan diakses melalui logical layer.
Hal tersebut berbeda dengan pendekatan yang selalu melakukan physical replication atau data movement ke satu repository.
Namun, penting untuk dipahami bahwa data virtualization bukan berarti tidak pernah ada data movement sama sekali.
Denodo mendukung pendekatan yang fleksibel, mulai dari real-time federation hingga selective materialization, caching, aggregation, maupun replication ketika memang dibutuhkan oleh use case tertentu.
Dengan demikian, perusahaan dapat memilih pendekatan yang sesuai dengan kebutuhan performance, latency, workload, dan arsitektur.
Bagaimana Denodo Mengoptimalkan Performance?
Salah satu pertanyaan penting dalam implementasi data virtualization adalah:
“Kalau data berada di banyak sistem, apakah query tidak menjadi lambat?”
Performance merupakan salah satu area penting dalam arsitektur Denodo.
Denodo menyediakan berbagai kemampuan untuk mengoptimalkan query lintas sumber, termasuk:
Query Optimization
Denodo dapat mengoptimalkan bagaimana query dijalankan terhadap berbagai sumber data.
Tujuannya adalah mengurangi pekerjaan yang tidak diperlukan dan menjalankan query dengan cara yang lebih efisien.
Query Pushdown
Sebagian operasi dapat didorong ke source system apabila sesuai dengan kemampuan sumber tersebut.
Dengan demikian, tidak semua proses harus dilakukan di layer Denodo.
Intelligent Caching
Untuk use case tertentu, hasil data dapat di-cache sehingga permintaan berikutnya tidak selalu harus mengakses source system secara langsung.
MPP Processing
Denodo juga menyediakan kemampuan pemrosesan paralel untuk menangani workload tertentu dengan volume dan kompleksitas tinggi.
Kombinasi query optimization, caching, optimized data movement, dan MPP menjadi bagian dari pendekatan Denodo untuk meningkatkan performa data virtualization.
Bagaimana Denodo Menangani Security?
Data enterprise tidak hanya harus mudah diakses, tetapi juga harus aman.
Salah satu keunggulan pendekatan logical data layer adalah security dan governance dapat dikelola pada layer akses data.
Denodo menyediakan kemampuan untuk menerapkan berbagai policy secara terpusat, termasuk:
- Access control
- Role-based access
- Data masking
- Row-level security
- Identity-aware policies
- Audit
- Data lineage
- Governance policies
Dengan pendekatan ini, perusahaan dapat menerapkan aturan akses secara konsisten tanpa harus mengimplementasikan seluruh policy secara terpisah pada setiap source system.
Sebagai contoh, data customer mungkin boleh diakses oleh tim marketing, tetapi informasi tertentu seperti data sensitif hanya dapat dilihat oleh role tertentu.
Policy tersebut dapat diterapkan melalui layer akses Denodo.
Bagaimana Denodo Membantu Data Governance?
Data governance menjadi semakin penting ketika perusahaan memiliki banyak sumber data.
Tanpa governance yang terpusat, perusahaan dapat menghadapi masalah seperti:
- Definisi data yang berbeda antar departemen.
- Akses data yang tidak konsisten.
- Sulit mengetahui asal data.
- Sulit mengontrol penggunaan data.
- Risiko compliance yang lebih tinggi.
Denodo dapat menyediakan logical layer yang menjadi titik pengelolaan untuk security, governance, metadata, dan data access.
Pendekatan centralized governance ini memungkinkan organisasi menerapkan policy dari satu layer terhadap berbagai sumber data.
Hal ini sangat relevan bagi perusahaan yang memiliki hybrid atau multi-cloud data environment.
Denodo dan Semantic Layer
Selain menghubungkan data, enterprise juga membutuhkan business context.
Misalnya, sebuah sistem menggunakan istilah:
cust_id
Sistem lain menggunakan:
customer_number
Sementara business user mengenalnya sebagai:
Customer ID.
Secara teknis, ketiganya mungkin merujuk pada konsep yang sama.
Logical dan semantic layer membantu menyajikan data berdasarkan konteks bisnis yang lebih mudah dipahami oleh pengguna.
Denodo menyediakan semantic capabilities untuk membantu menyatukan definisi, metadata, relationships, dan business meaning sehingga berbagai consumer dapat bekerja dengan pemahaman data yang lebih konsisten.
Denodo untuk Self-Service Data
Salah satu tantangan enterprise adalah ketergantungan business user terhadap tim IT untuk mendapatkan data.
Ketika business user membutuhkan data baru, prosesnya dapat melibatkan:
- Request ke IT
- Identifikasi source
- Pembuatan pipeline
- Data transformation
- Testing
- Deployment
- Data delivery
Proses tersebut dapat memakan waktu, terutama jika kebutuhan data terus berubah.
Dengan pendekatan logical data management, Denodo dapat menyediakan data melalui environment yang lebih terstruktur dan mendukung self-service data access.
Denodo juga menyediakan data marketplace yang membantu pengguna menemukan dan menggunakan data yang telah dikelola dan di-govern.
Denodo dalam Hybrid dan Multi-Cloud Environment
Arsitektur enterprise saat ini semakin jarang hanya menggunakan satu lingkungan.
Perusahaan dapat memiliki:
Denodo dapat berperan sebagai layer yang menghubungkan berbagai environment tersebut.
Hal ini memungkinkan organisasi membangun akses data yang lebih konsisten tanpa harus memaksa seluruh data dipindahkan ke satu lokasi.
Denodo sendiri memposisikan platformnya untuk lingkungan hybrid, multi-cloud, dan on-premises dengan pendekatan unified access terhadap distributed data.
Contoh Sederhana Implementasi Denodo
Bayangkan sebuah perusahaan retail memiliki empat sumber data:
CRM
→ Informasi customer
ERP
→ Informasi invoice dan pembayaran
E-commerce
→ Online transaction
Data Warehouse
→ Historical analytics
Business membutuhkan dashboard Customer 360.
Tanpa logical data layer, perusahaan mungkin perlu membuat beberapa pipeline untuk meng-copy data dari berbagai sistem ke sebuah repository.
Dengan Denodo, perusahaan dapat membangun:
CRM + ERP + E-commerce + Data Warehouse
↓
Denodo Logical Data Layer
↓
Customer 360 Virtual View
↓
BI / Analytics / Applications / AI
Dengan pendekatan tersebut, consumer mendapatkan unified view, sementara source system tetap dapat menjadi tempat data berada.
Untuk use case tertentu, perusahaan juga dapat memilih selective materialization atau caching jika dibutuhkan untuk memenuhi kebutuhan performance.
Denodo vs ETL: Apakah Harus Memilih Salah Satu?
Tidak.
Denodo dan ETL/ELT dapat digunakan secara bersama-sama.
ETL/ELT tetap sangat berguna ketika perusahaan membutuhkan physical data consolidation, historical processing, large-scale transformation, atau workload tertentu yang memang membutuhkan data berada di target storage.
Sementara Denodo dapat digunakan untuk:
- Real-time data access
- Federated queries
- Data integration
- Logical data layer
- Data services
- Self-service data access
- Unified governance
- Data virtualization
Denodo sendiri mendukung pendekatan integrasi yang fleksibel, mulai dari real-time federation hingga selective materialization, full replication, dan streaming.
Karena itu, arsitektur enterprise yang baik bukan sekadar memilih Denodo atau data warehouse, melainkan menentukan teknologi yang tepat untuk setiap workload.
Denodo sebagai Bagian dari Modern Data Platform
Denodo dapat menjadi salah satu komponen penting dalam modern data platform.
Contohnya:
Data Sources
Database | ERP | CRM | SaaS | API | Data Lake | Data Warehouse
↓
Denodo Logical Data Layer
Data Virtualization | Semantic Layer | Governance | Security | Query Optimization
↓
Data Consumers
BI | Analytics | Data Science | Applications | AI
Pendekatan ini memungkinkan perusahaan membangun data architecture yang lebih fleksibel tanpa harus selalu menggunakan physical data movement sebagai satu-satunya metode integrasi.
Denodo juga dapat digunakan bersama data lakehouse dan teknologi data lainnya untuk menyediakan akses data yang lebih terpadu dan governed.
Kapan Perusahaan Membutuhkan Denodo?
Denodo dapat menjadi pilihan menarik bagi perusahaan yang memiliki:
- Banyak sumber data yang tersebar.
- Hybrid atau multi-cloud environment.
- Sistem legacy yang masih harus digunakan.
- Kebutuhan data integration lintas sistem.
- Kebutuhan real-time atau near-real-time data access.
- Banyak business user yang membutuhkan self-service data.
- Tantangan data governance.
- Kebutuhan centralized security.
- Data warehouse atau data lake yang ingin dioptimalkan.
- Kebutuhan membangun logical data layer atau data fabric.
Namun, pemilihan Denodo tetap harus dilakukan berdasarkan kebutuhan arsitektur, workload, security, governance, latency, performance, dan business requirements.
Implementasi Denodo Bersama PT All Data International
Implementasi data virtualization bukan hanya mengenai instalasi software.
Perusahaan perlu menentukan bagaimana Denodo akan ditempatkan dalam arsitektur data yang sudah ada, source mana yang akan diintegrasikan, bagaimana governance diterapkan, bagaimana performance dijaga, serta bagaimana data akan dikonsumsi oleh BI, analytics, applications, maupun AI.
Sebagai partner resmi Denodo, PT All Data International dapat membantu perusahaan dalam perjalanan implementasi data virtualization, mulai dari assessment, architecture design, implementation, integration, optimization, hingga support dan managed services.
Dengan pengalaman dan ekosistem teknologi data yang luas, PT All Data International dapat membantu mengintegrasikan Denodo dengan berbagai komponen dalam enterprise data platform.
Informasi mengenai partnership PT All Data International dengan berbagai principal teknologi dapat dilihat pada halaman resmi Our Partners PT All Data International.
Kesimpulan
Cara kerja Denodo pada dasarnya berpusat pada konsep logical data layer.
Denodo menghubungkan berbagai sumber data, membangun representasi data secara virtual, mengintegrasikan data melalui logical views, mengoptimalkan query, menerapkan security dan governance, serta menyajikan data kepada berbagai consumer.
Pendekatan ini memungkinkan perusahaan mendapatkan akses terhadap data yang tersebar tanpa harus selalu melakukan physical data consolidation.
Bagi enterprise dengan lingkungan data yang kompleks, Denodo dapat menjadi bagian dari strategi untuk membangun modern, governed, dan agile data platform.
Pada akhirnya, tujuan data virtualization bukan sekadar menghubungkan lebih banyak sumber data, tetapi membuat data menjadi lebih mudah ditemukan, lebih mudah diakses, lebih terkontrol, dan lebih siap digunakan untuk analytics, applications, dan AI.
Sumber: Denodo