De nombreuses organisations doivent gérer de grands projets de développement ou de construction embarquant de nombreuses parties prenantes. Ces projets impliquent la mise en place d’outils décisionnels performants afin de suivre, piloter et croiser une multitude de données (budgets, avancement des activités, fournisseurs, contrats, etc).
Le grand challenge est de fournir des outils décisionnels en self-service à une grande quantité d’utilisateurs, issus de plusieurs domaines métiers dont les besoins diffèrent. Ce travail à l’échelle implique de collecter les cas d’usage avec les directions métiers, construire un système d’information performant avec un entrepôt de données et une solution de restitution des données.
Dans un projet aussi étendu, il est important que les processus et le planning soient clairs et connus des parties prenantes dès le début du projet. En tant que cabinet de conseil et d’intégration en data, nous proposons des processus de suivi permettant de gérer une multitude d’échéances en restant dans les temps quant aux objectifs fixés.
Construction du SI Décisionnel : la gestion de projet data en méthode agile SCRUM
Lors des comités de pilotage, il est important d’évaluer avec le DSI la vitesse de réalisation du projet attendue. Le choix de la méthode agile SCRUM est une solution intéressante pour gagner du temps et augmenter la fluidité du déroulement du projet décisionnel.
La méthode scrum, c’est trois rôles :
- Un Product Owner,
- Un Scrum Master,
- Une équipe dédiée.
Les cérémonies SCRUM :
- Product Backlog Refinement : présentation de ce qui est prêt à être développé, le Product owner priorise le contenu de cette réunion,
- Sprint Planning : lancement du sprint,
- Daily Scrum : réunion quotidienne, depuis le début du projet, pour fluidifier la synchronisation au sein de l’équipe.
- Sprint review : restitution du travail réalisé au client.
- Rétrospective : analyse de ce qui a fonctionné et ce qui n’a pas fonctionné, et mise en place des actions d’amélioration.
La réalisation d’un large projet décisionnel en méthodes agiles apporte de nombreux bénéfices à l’organisation :
- Synchronisation des objectifs commun et partage des difficultés avec les métiers,
- Gain de temps et de visibilité sur le projet,
- Anticipation des points de blocage qui remontent au fur et à mesure lors des Daily Scrum,
- Optimisation des plannings et de l’affectation des tâches,
- Rôles et responsabilité bien définis,
- Meilleure gestion des conflits et des incompréhensions.
Identification et collecte des cas d’usage data pour le Système d’Information Décisionnel
Plusieurs cas d’usage doivent être identifiés avec les directions métiers pour prioriser les chantiers du projet de système d’information décisionnel.
En voici quelques exemples :
- Maitrise et pilotage des dépenses : outils de reporting utilisé par les contrôleurs de gestion pour analyser le réalisé, les crédits de paiement par poste de budget, la nature des dépenses, etc.
- Pilotage des marchés et des contrats : analyse des marchés, des engagements, des services faits et des factures par directions.
- Prévention des accidents : analyser de l’effectif d’accidentés, l’indice de fréquence d’accident, le nombre d’accidents avec arrêt/sans arrêt, le nombre heures travaillés, le nombre de jours d’arrêt, le taux de fréquence des accidents, le taux gravité des accidents sur les chantiers.
- Respect des engagements RSE : la direction du développement de l’emploi et de la responsabilité sociale peut analyser le nombre de parcours de formation, le taux minimum d’heures travaillées par marché, le nombre de marchés empreinte économique, le nombre de personnes en insertion, etc.
Conception de l’architecture cible basée sur le Cloud Azure
Exemple d’une vision technique d’architecture :
Azure Data Factory est un service qui permet les actions suivantes :
- Copier des données de différentes sources et destinations (par exemple : copie de fichiers vers l’Azure Storage),
- Exécuter des programmes de transformation de la donnée,
- Orchestrer des traitements selon un ordre et des dépendances, et reprise des activités en cas d’erreur.
SQL Server Integration Services (SSIS) est l’ETL de prédilection de Microsoft il y a plus d’une décennie. Plusieurs entreprises utilisent SSIS pour l’intégration et la transformation des données dans des data warehouse depuis SQL Server 2005.
Le chargement des données dans Azure SQL Data Base peut se faire par le développement de pipeline ADF. Il peut aussi se faire par l’exécution de packages SSIS en activant l’intégration run time.
Azure Data Factory (ADF) va orchestrer les traitements, notamment la récupération des fichiers en les déposant sur l’Azure Storage.
Afin de faire communiquer la base de données SQL avec l’Azure Analysis Services, il faut mettre en place une machine virtuelle de gateway (Data Gateway) qui permet de récupérer et de transférer les données en direct.
Le Key Vault est une solution Azure qui propose de stocker tous les mots de passe permettant ainsi de centraliser et de sécuriser les données. Cette solution facilite notamment l’automatisation des données sur ADF et DevOps.
Aujourd’hui, DevOps est le centre du traitement lorsque de nombreuses personnes travaillent sur la plateforme. Chacun développe sa solution avec son accès sur les machines virtuelles. Une fois le développement terminé, il faut prendre connaissance de ce qui est déjà dans la branche dédiée pour le mettre à jour.
Le Log Analytics est utilisé pour recueillir les informations sur la plateforme dans sa globalité et suivre différentes évolutions, notamment les requêtes faites sur des bases de données.
Les avantages d’une plateforme de données basées sur le Cloud Microsoft Azure
Une plateforme de données hébergées sur le cloud Microsoft Azure offre de nombreux avantages aux entreprises parmi lesquels :
- Rentabilité : le cloud Azure offre la possibilité aux entreprises de payer les ressources en fonction de l’usage et de la consommation réelle. Il n’est pas nécessaire d’investir et de gérer une infrastructure dédiée.
- Scalabilité et élasticité : la plateforme cloud Azure s’adapte aux évolutions des besoins fonctionnels et techniques rapidement et offre des mécanismes de scalabilité intrinsèques aux services activés.
- Modernité et mises à jour : la mise à jour du système et le déploiement de correctif sont natifs au cloud Azure.
- Fiabilité : avec le cloud Azure, l’entreprise bénéficie des performances et de la disponibilité natives des plateformes cloud. La sauvegarde des données et la réplication des données sont natives.
- Sécurité : la plateforme de données bénéficie du niveau de sécurité élevé des composants Azure et des services connexes qu’on peut activer à la demande pour renforcer le niveau de sécurité.
Par Sani Imini
Manager Data chez DataValue Consutling
