Qlik Cloud Data Integration est un outil puissant, pilier essentiel d’une plateforme de données moderne propulsée par Qlik. Cette plateforme offre des capacités d’intégration et d’analytique de bout en bout, permettant aux entreprises d’accélérer la production d’insights et de prendre des décisions éclairées, au bon moment, grâce à l’intelligence pilotée par les données. Dans cet article, nous vous guiderons étape par étape pour exploiter Qlik Cloud Data Integration pour l'automatisation des entrepôts de données et le streaming CDC (Change Data Capture ou capture des données modifiées). Vous pourrez ainsi analyser de grands ensembles de données en quasi-temps réel.
Dans cet exemple étape par étape, nous allons transférer nos données d'une base de données Azure SQL vers Azure Databricks. Ensuite, nous créerons notre entrepôt de données dans Databricks via Qlik Cloud Data Integration . Enfin, nous utiliserons les données de Databricks dans Qlik Sense (Qlik Cloud Analytics).
Étape 1 : Intégration
Qlik Cloud Data Integration simplifie le processus d'intégration des données en fournissant un mécanisme de commande et de contrôle via Qlik Cloud Platform. Il facilite la réplication sécurisée vers Cloud Data Platform, garantissant ainsi le transfert des données sans impact sur les systèmes sources. Cette plateforme offre des fonctionnalités telles que la gestion complète des modifications (CDC), l'intégration des données en temps réel et un faible impact sur les systèmes sources. Elle permet également la conservation des données historiques (type 2), garantissant ainsi aux entreprises l'accès et l'analyse des données de différentes périodes. Contrairement aux autres outils d'ingestion CDC, l'étape d'intégration de Qlik Cloud Data Integration vous permet de maintenir automatiquement la cohérence transactionnelle au sein des tables et entre elles.
Dans cette vidéo, nous allons créer un projet de données et intégrer des données. Lors de l'intégration, nous chargeons les données de la base de données source (Azure SQL) vers la cible (Azure Databricks).
Sources et cibles des données
Le nombre de sources et de cibles de données ne cesse de croître (plus de 50). Parmi ces sources, on peut citer : Oracle, SAP HANA, IBM DB2 pour iSeries, Salesforce, SAP Concur, Netsuite, Facebook et Google Ads, etc. Pour obtenir les dernières informations, consultez la page d'aide de Qlik Cloud Data Integration .
Étape 2 : Transformation des données
Avec Qlik Cloud Data Integration, les entreprises peuvent transformer leurs données en toute simplicité. Son interface low-code permet aux utilisateurs d'effectuer des transformations au niveau des lignes, de nettoyer et de modéliser les données. L'outil prend en charge le SQL pour les cas d'utilisation plus complexes, permettant ainsi aux utilisateurs de manipuler et de structurer les données selon leurs besoins spécifiques. Les fonctionnalités basées sur les métadonnées garantissent des transformations légères tout en conservant un contrôle total sur les données.
Dans la vidéo précédente, nous avons intégré les données. Elles sont désormais présentes dans Databricks et sont continuellement mises à jour grâce à la capture des données modifiées. Dans cette deuxième étape, nous allons transformer nos données et créer le modèle de données final que nous analyserons avec Qlik Cloud Analytics.
Intégration avec des données tierces
Qlik Cloud Data Integration étend ses fonctionnalités à l'intégration de données tierces. Les utilisateurs peuvent facilement transformer les sources de données enregistrées, telles que celles déjà présentes sur les plateformes cloud. Cette intégration permet une consolidation transparente des données et garantit aux entreprises une vue unifiée de leurs informations pour l'analyse et la prise de décision.
Étape 3 : exploitez vos données avec Qlik Cloud Analytics
Qlik Cloud Data Integration s'intègre parfaitement à Qlik Cloud Analytics, offrant aux entreprises une solution complète d'analyse de données. La plateforme prend en charge la surveillance en temps réel, l'exploration de données à la demande et l'analyse hybride. Les utilisateurs peuvent créer des modèles de machine learning avec Qlik AutoML, réaliser des analyses de simulation et identifier les facteurs clés influençant leurs performances. Qlik Cloud Platform offre également Qlik Application Automation, permettant l'ETL inversé, les fonctionnalités d'écriture différée et les alertes. Enfin, Direct Query permet aux entreprises d'exploiter de grands ensembles de données provenant de sources variées, notamment des bases de données populaires comme Amazon Redshift, Azure Databricks, Snowflake, etc.
Dans la dernière vidéo, nous utilisons les rechargements partiels Qlik Sense et l'automatisation des applications pour recharger fréquemment notre application Qlik Sense et obtenir des informations en temps quasi réel à partir de notre base de données via Azure Databricks et Qlik Cloud Data Integration.
Conclusion
En offrant scalabilité, intégration de données en temps réel et architecture ouverte, Qlik Cloud Data Integration accélère la production d’insights. Les organisations peuvent ainsi transformer les données en actions concrètes et prendre des décisions rapides et éclairées pour de meilleurs résultats.
