Le C2RP, Carif-Oref des Hauts-de-France, a pour mission de mettre à disposition des ressources et outils aux acteurs de la région pour accompagner la mise en œuvre des politiques nationales et régionales en matière d’emploi, de formation et d’orientation professionnelle.

Dans ce cadre, le C2RP a sollicité TRIMANE, prestataire mono-attributaire d’un accord-cadre national dédié aux besoins décisionnels des Carif-Oref, afin de moderniser ses pratiques d’exploitation de données et d’assurer une continuité dans l’intégration et l’analyse des données.

Deux projets majeurs ont été menés pour le C2RP :

1. La mise en place d’un entrepôt de données décisionnel pour moderniser, centraliser et fiabiliser les données.
2. La migration de l’entrepôt de données existant vers une solution Open Source plus évolutive, à la suite de l’arrêt du support de Talend Open Studio.

Les deux projets ont répondu à des besoins stratégiques et techniques communs et complémentaires :

• Moderniser les outils et les processuspour améliorer les pratiques data.
• Mettre en place un référentiel partagégarantissant des données fiables et accessibles.
• Optimiser l’analyse de données provenant de sources hétérogènes et permettre des analyses temporelles.
• Renforcer l’autonomie interne des équipes pour la gestion des données et des outils.
• Éviter les risques liés à l’obsolescence technologique en adoptant une solution pérenne et évolutive.

Pour répondre aux attentes du C2RP, TRIMANE a déployé une approche structurée, combinant expertise technique et accompagnement humain. Chaque projet a été conçu pour s’inscrire dans une démarche de modernisation progressive et durable.

Mise en place d’un entrepôt de données décisionnel

• Conception de l’architecture technique : Modélisation détaillée de l’entrepôt de données réalisée avec le système de gestion de base de données PostgreSQL, et mise en place des briques techniques nécessaires pour gérer les données de manière optimale.
• Ingénierie des données : Développement des flux d’intégration via l’ETL Talend pour alimenter l’entrepôt de données.
• Analyse des données : Extraction et exploitation des données pour répondre aux besoins d’analyse sur l’offre de formation et l’emploi.
• Accompagnement des équipes : Formations des utilisateurs à l’usage de la solution de data visualisation Tableau, permettant de créer des tableaux de bord interactifs et personnalisés.

Migration de l’entrepôt de données vers Mage.AI

À la suite de l’arrêt du support de Talend Open Studio, TRIMANE a accompagné le C2RP dans la migration vers une solution Open Source plus évolutive.

Après une phase d’analyse approfondie des besoins fonctionnels et techniques, Mage AI a été sélectionnée comme nouvelle solution ETL. Cette migration a été réalisée en plusieurs étapes, avec une attention particulière portée à la continuité des opérations et à l’autonomie des équipes.

• Mise en place de l’architecture cible : création des environnements de développement, recette et production avec Mage.AI, couplés à Docker pour la gestion des conteneurs et au monitoring avancé.

• Migration des flux existants :
  • Les jobs existants développés sous Talend ont été convertis en pipelines sous Mage.AI.
  • Des tests unitaires rigoureux ont été intégrés pour garantir la fiabilité des traitements migrés.
  • Une documentation technique complète a été rédigée pour faciliter la prise en main et la maintenance des pipelines par les équipes internes.
  • Les pipelines ont été déployés en production avec un déploiement automatisé basé sur Git, permettant de versionner et de suivre toutes les évolutions du code source.
• Formation des équipes : des sessions de formation ont été organisées pour accompagner les équipes du C2RP dans l’utilisation de Mage.AI. Cette formation a permis de renforcer leur autonomie dans l’exploitation de la solution, notamment pour l’intégration de nouvelles sources de données ou l’adaptation des pipelines existants.

Grâce à cette double intervention, le C2RP bénéficie désormais d’une infrastructure moderne, fiable et évolutive, répondant pleinement aux enjeux de centralisation, de qualité et d’accessibilité des données. Ces projets ont également permis de renforcer l’autonomie des équipes internes dans la gestion et l’exploitation des données.

Le passage à Mage.AI a apporté des gains immédiats et structurants :

• Orchestration centralisée des traitements, avec une interface claire et accessible.

• Déploiement automatisé des pipelines, permettant une meilleure traçabilité et une plus grande réactivité lors des mises à jour.
• Supervision simplifiée à travers un portail dédié, permettant un suivi en temps réel et une détection rapide des anomalies.
• Versioning du code source automatisé via Git, garantissant la traçabilité de chaque évolution et facilitant le travail collaboratif.
• Gestion facilitée de l’infrastructure grâce à l’utilisation de conteneurs Docker, assurant portabilité, maintenance facilitée et déploiement rapide.
• Conversion complète des jobs Talend en pipelines Mage.AI, garantissant la continuité opérationnelle et l’ouverture vers de nouvelles évolutions.

Cette transformation technique a permis au C2RP de disposer désormais d’un système d’information plus agile et résilient. L’automatisation, la centralisation et la fiabilité des traitements permettent aux équipes internes de répondre avec plus de réactivité aux besoins métiers et d’exploiter les données de manière plus efficace, tout en sécurisant l’infrastructure à long terme.

C2RP témoigne :

« Nous sommes entièrement satisfaits des formations dispensées par TRIMANE. La qualité du contenu, la pédagogie des formateurs et l’organisation des séances ont permis un apprentissage efficace et structuré. Le programme riche et complet nous a formés à Tableau, à la Data Gouvernance et aux outils clés pour construire notre entrepôt de données.

Nous avons ainsi pu centraliser, structurer et historiser nos données multi-sources, tout en automatisant nos traitements. Ces ajustements s’avèrent être un gain de temps et de productivité quant à l’activité de notre service et nous permettent d’optimiser notre travail.

Un accompagnement de qualité que nous recommandons vivement. » – Sandra PEROUMAL ELLAMA, Chargé d’études à C2RP.