Transformation et publication de données | Retour d’expérience

Transformation et publication de données | Retour d’expérience

Date de publication : décembre 1, 2020

CONTEXTE

Notre client, filiale d’un grand groupe, est le spécialiste du traitement de l’eau. Il assure notamment la gestion déléguée de services d’eau et d’assainissement, que ce soit pour les collectivités publiques ou pour les entreprises.

Dès 2018, notre client commence à copier ses données clients (consommateurs d’eau) de sa base historique (en COBOL) vers la plateforme de Google GCP (Google Cloud Platform) de manière historisée quotidiennement.

Cette migration de données a ouvert la voie à de nombreux projets, allant de la transformation de données pour des applications en interne à l’analyse de données en POC.

NOS RÉALISATIONS

Création d’un projet en Python permettant l’extraction automatique de données du Data Warehouse (Bigquery) vers des fichiers XML

Intégration de données textuelles non formatées dans Bigquery et implémentation de chaînes de scripts de transformation de données

Création d’une chaîne de scripts (Bigquery) permettant le nettoyage et la transformation de données clients dans un projet de migration vers un logiciel de CRM

Conception et création de vues (Bigquery) d’objets métier structurés et d’indicateurs

Mise en place d’un POC de segmentation de données clients anonymisées en vue de proposer un service d’envoi de factures par e-mail

BÉNÉFICES CLIENT

Extractions automatisées de données aux formats demandés par différentes collectivités

Intégration et nettoyage automatisés de données textuelles non formatées

Nettoyage et migration structurée de données clients vers une source cible

● Formatage des données dans le Data Warehouse

● Segmentation de données clients

NOTRE VALEUR AJOUTÉE

● Intégrer des scripts de qualité et adaptés à l’infrastructure existante

● Automatiser les transformations de données

Compétences sur toute la chaîne de la donnée, notamment en Data Science et en Data Engineering