Cas Client Data Portal
Le client
Notre client, le groupe Vicat, est une entreprise française opérant dans le secteur des matériaux de construction. Il est présent dans plus de 12 pays à travers le monde. Le groupe, héritier d’une tradition industrielle avec l’invention du ciment artificiel par Louis Vicat en 1817, exerce aujourd’hui trois métiers principaux: le Ciment, le Béton Prêt à l’Emploi (BPE) et les Granulats.
Vicat s’efforce de fournir des solutions de construction durables et innovantes qui répondent aux besoins de ses clients, professionnels et particuliers.
La problématique
Le défi majeur auquel Vicat a été confronté était la diversité des systèmes de données à travers ses 12 pays d’implantation, avec une cartographie applicative hétérogène. Chaque pays utilise ses propres systèmes, rendant l’accès, la gestion et l’exploitation des données complexes. De plus, les services data sont dispatchés sur plusieurs outils, chacun dédié à un aspect particulier de la gestion des données, il était donc primordial de pouvoir centraliser tous les services sur la même plateforme.
Nos équipes le1817 ont accompagné le client dans le développement et le déploiement d’une application web afin qu’elle soit le point d’entrée de tous les services Data de Vicat. L’enjeu était de démocratiser l’accès à la plateforme de donnée Vicat via une stratégie metadata driven.
Le projet
Le développement du Data Portal a débuté en 2023, avec comme méthode utilisée, la méthode Agile.
Pour débuter ce projet, nos équipes le1817 ont tout d’abord créé un MVP (Minimum viable product), une première version fonctionnelle qui pose les bases techniques de l’application.
Cette version initiale a permis de se concentrer sur les 3 grands premiers piliers de l’application qui sont les suivants :
1. Data Flow Ingestion
L’une des principales fonctionnalités de l’application est d’offrir aux équipes métiers la possibilité de paramétrer leurs propres flux de données, sans nécessiter de compétences techniques. Grâce à des outils simples, chaque utilisateur qui a accès à cette fonctionnalité peut créer et configurer ses flux de données de manière autonome. Une fois les flux définis, ils sont validés par les équipes Data. Le déploiement de la configuration, à partir du data portal, a été automatisé, ce qui permet de gagner un temps précieux.
2. Data Monitoring
Le Data Portal offre également un tableau de bord de suivi des flux de données. Cela permet aux utilisateurs de connaître en temps réel l’état de chaque flux, d’identifier ceux qui sont en échec (KO) et de savoir quelles tables de données ça risque d’impacter. Cette fonctionnalité est primordiale pour garantir la qualité et la fiabilité des données.
3. Data Catalog
Le troisième aspect développé en 2023 est la possibilité de lister toutes les données disponibles dans la plateforme. Ce Data Catalog permet aux utilisateurs de savoir précisément quelles sont les données à disposition, le détail de ces données ainsi que le système source (par exemple SAP). Cette interface a été développée de manière assez simple au début, et elle est enrichie au fur et à mesure.
La version 2, développée en 2024, a permis d’aller encore plus loin en améliorant plusieurs aspects clés de l’application :
- L’automatisation du Data Flow Ingestion a été renforcée.
- Une nouvelle fonctionnalité a été intégrée pour mettre en avant les produits de données créés par Vicat. Cela permet aux utilisateurs de visualiser les produits générés à partir des données, ainsi que leur bénéfice et leur utilisation.
- L’application a été rendue responsive, pour être accessible sur smartphones, permettant aux utilisateurs de consulter et de manipuler les données à tout moment.
L’application est accessible à tous les collaborateurs du Groupe Vicat, avec des niveaux de droits différents suivant le profil.
Les technologies utilisées
Pour le frontend, data portal a été développé en utilisant React, destiné à l’interface utilisateur, c’est une bibliothèque JavaScript réputée pour créer des interfaces dynamiques et interactives.
La partie backend repose sur Node.js, une technologie robuste et rapide pour gérer des applications à grande échelle. NestJS, est un framework basé sur Node.js, il a été choisi pour sa structure orientée sur les bonnes pratiques de développement. NestJS offre un cadre adapté pour concevoir des architectures backend complexes.
Le data portal est déployé dans le cloud d’AWS, un choix stratégique pour assurer l’évolutivité, la disponibilité et la sécurité de l’application.
Les bénéfices
À ce jour, Data Portal a permis de réduire le temps de développement des nouveaux sujets en automatisant la partie Data Flow Ingestion et de diviser par 5 le temps de développement d’un nouveau flux dans l’équipe Data.
Désormais, grâce à cette première version, le Data Portal gère 140 flux de données provenant de 8 pays différents et de 30 systèmes sources.
Cette première version a également permis de donner de l’autonomie aux personnes du métier pour créer leurs propres flux de données, ainsi que de donner de la visibilité sur le monitoring et le data catalog.
Et ce n’est que le début…
La seconde version du Data Portal est sur le point d’être déployée. Et une troisième version devrait sortir en2025.
