Rapport de Vérification Final
Direction générale de la vérification et de l'évaluation
Juin 2007
Recommandé au sous-ministre pour approbation Le 27 mai 2008 par le CMV
Approuvé par le sous-ministre le 30 mai 2008
On peut obtenir cette publication sur supports accessibles, sur demande.
Communiquer avec la :
Section des services du multimédia
Direction générale des communications et du marketing
Industrie Canada
Bureau 264D, tour Ouest
235, rue Queen
Ottawa (Ontario) K1A 0H5
Tél. : 613-948-1554
Téléc. : 613-947-7155
Courriel : ic.cmb-creative.ic@canada.ca
Autorisation de reproduction
À moins d'indication contraire, l'information contenue dans cette publication peut être reproduite, en tout ou en partie et par quelque moyen que ce soit, sans frais et sans autre permission d'Industrie Canada, pourvu qu'une diligence raisonnable soit exercée afin d'assurer l'exactitude de l'information reproduite, qu'Industrie Canada soit mentionné comme organisme source et que la reproduction ne soit présentée ni comme une version officielle ni comme une copie ayant été faite en collaboration avec Industrie Canada ou avec son consentement.
Pour obtenir l'autorisation de reproduire l'information contenue dans cette publication à des fins commerciales, faire parvenir un courriel à copyright.droitdauteur@tpsgc.gc.ca.
N.B. Dans cette publication, la forme masculine désigne tant les femmes que les hommes.
Also available in English under the title Audit Report of the Spectrum Informatics Review and Redesign (SIRR) Governance.
Version traduite. La version anglaise de ce rapport doit prévaloir en cas d'incohérence.
Table des matières
- 1.0 Sommaire
- 2.0 Introduction
- 3.0 Observations Détaillées et Recommandations
- 4.0 Conclusion
- 5.0 Réponse de la gestion
- Appendice : Résumé des coûts du projet, par exercice
1.0 Sommaire
1.1 Objectifs de la vérification
La vérification du projet Revue et réingénierie des systèmes informatiques de gestion du spectre (RRIS) visait à évaluer l'efficacité de la gouvernance du projet et à fournir une opinion à cet égard.
1.2 Portée de la vérification
La mission portait sur le projet RRIS et comportait quatre secteurs de risque : la gouvernance, les activités, le projet et l'infrastructure. Les risques relatifs à la gouvernance du projet comprenant la structure de gouvernance du projet et à son cadre de surveillance; les risques relatifs aux activités comprennent la participation des entreprises et la définition des exigences; les risques relatifs au projet comprenant la structure et la surveillance du projet ainsi que les mises à l'essai; les risques relatifs à l'infrastructure sont axés sur l'infrastructure technique et l'état de préparation de l'organisation quant aux nouvelles technologies.
La vérification visait à examiner uniquement la gouvernance du projet RRIS exercée par Industrie Canada (on a laissé de côté la gouvernance exercée par l'entrepreneur). Le présent travail ne vise pas à fournir une opinion sur la faisabilité technique du projet RRIS ni à garantir que les produits à livrer du projet seront exécutés à temps ou que les paiements connexes seront versés conformément à l'article 34 de la Loi sur la gestion des finances publiques.
La vérification a été menée de février à juin 2007 et portait sur la structure de gouvernance du projet en vigueur pendant cette période.
1.3 Constatations clés et recommandations
Dès la mise sur pied du projet, un cadre de gestion a été mis en œuvre, mais des préoccupations soulevées récemment relativement à l'état du projet et à son exécution laissent croire que le cadre de gestion pose problème. Une surveillance accrue est maintenant en place, ce qui devrait permettre d'en effectuer un contrôle global du projet. Cependant, comme les changements sont relativement récents, on n'a pas été en mesure d'évaluer le fonctionnement de la nouvelle structure de gestion du projet au moment de la rédaction du présent rapport.
On trouve ci-dessous les constatations clés et les recommandations connexes. Les constatations détaillées et les recommandations supplémentaires se trouvent à la section 3 du présent rapport.
- Gestion des demandes de changement — Initialement, on utilisait un processus officiel pour définir les exigences des utilisateurs. Depuis, en raison du temps d'élaboration limité, on consigne toutefois les changements de spécification dans des registres particuliers (qui ne font pas partie des documents de spécifications fonctionnelles), qui doivent être appliqués en tant que regroupement à une date ultérieure. C'est pourquoi on perçoit une différence entre les documents de spécifications fonctionnelles et ce qui est réellement élaboré. Cela a entraîné le besoin de revoir les cas types. Les responsables de la gestion du projet ont depuis ce temps pris des mesures afin de veiller à ce que les documents de spécifications fonctionnelles correspondent à toutes les demandes de changement.
- Gestion des changements — Les changements organisationnels qui seront nécessaires en raison de la mise en œuvre du projet RRIS ne sont pas régis par un plan officiel. Sans un tel plan, la transition vers le nouveau système est à risque.
- Processus de surveillance du projet — Il est difficile de valider de façon distincte les rapports sur l'état du projet. En raison de cela, certains n'avaient pas prévu les retards par rapport aux échéances d'exécution initiales. Le nouveau gestionnaire de projet de l'entrepreneur a mis en œuvre une stratégie de travail révisée afin d'améliorer les processus de surveillance, notamment de nouvelles directives et la réaffectation des ressources au sein de l'équipe du projet. On s'attend à ce que les rapports sur l'état du projet révisés soient liés au plan intégré, ce qui facilitera la validation de l'état du projet par Industrie Canada.
Recommandations clés
- Gestion des demandes de changement — Le directeur du projet RRIS doit continuer à veiller à ce que la mise à jour des exigences fasse partie du processus officiel de la gestion des demandes de changement et que les exigences mises à jour soient consignées, conformément à la méthode d'élaboration du système de l'entrepreneur.
- Le directeur général, Radiocommunications et radiodiffusion, devrait planifier les changements organisationnels afin que le nouveau système soit efficace et accepté avant sa mise en œuvre.
- Processus de surveillance du projet — IC devrait passer en revue chaque mois un échantillon des produits à livrer et les comparer avec les résultats attendus décrits dans le calendrier du projet.
1.4 Conclusion de la vérification
Le cadre de surveillance de la gestion du projet, qui a été mis en œuvre d'entrée de jeu, n'a pas été aussi efficace que ce qui avait été prévu et nécessitait des modifications. En raison du temps d'élaboration limité, on a consigné toutefois les changements de spécification dans des registres particuliers (qui ne font pas partie des documents de spécifications fonctionnelles), qui doivent être appliqués en tant que regroupement à une date ultérieure. C'est pourquoi on perçoit une différence entre les documents de spécifications fonctionnelles et ce qui est réellement élaboré. Cela a cependant entraîné le besoin de revoir les cas types existants. L'entrepreneur a depuis pris la décision de revoir le projet et de remplacer le gestionnaire de projet. Le nouveau gestionnaire de projet a mis en œuvre d'autres mesures de surveillance en plus de processus d'élaboration de projet.
L'établissement de rapports sur le rendement ne permettait pas aux gestionnaires de projet d'IC de valider les données fournies ou de rassurer la haute direction quant à l'état du projet. On s'attend à ce que les nouveaux processus, notamment un plan de projet intégré et l'établissement de rapports sur l'état du projet automatisés, permettront aux gestionnaires de projet d'IC de surveiller l'état du projet.
La révision du projet aura un effet sur la mise en œuvre de la version 1.1, qui sera reportée à novembre 2008. Les coûts engagés par le retard des produits à livrer (comme il est mentionné dans l'énoncé des travaux du projet) seront assumés par l'entrepreneur. La révision du projet devrait permettre de mener une mise à l'essai pour faire en sorte que l'application corresponde aux exigences et de faciliter la planification de la transition.
L'intégration de mesures de surveillance plus sévères par le nouveau gestionnaire de projet de l'entrepreneur ainsi que la surveillance accrue exercée par le nouveau comité directeur devraient améliorer la gouvernance du projet. Comme l'établissement de rapports prendra une plus grande place, Industrie Canada aura plus de facilité dans l'avenir à déterminer les problèmes et à intervenir de façon plus efficace.
1.5 Énoncé d'assurance et de fiabilité
En tant qu'agent principal de la vérification, je considère que les procédures de vérification qui ont été menées sont suffisantes et adéquates et que les éléments de preuve recueillis soutiennent l'opinion fournie dans le présent rapport. Celle-ci s'appuie sur la comparaison des conditions de l'époque et des critères de vérification préétablis qui ont été acceptés par les gestionnaires. L'opinion ne porte que sur l'objet de la vérification.
1.6 Évènement subséquent
Le travail de la RRIS s'est terminé suite à la rédaction de ce rapport. Aucune action n'est survenue même si la gestion avait acceptée les recommandations faites. Le fait est reflété dans la réponse de la gestion dans la section 5 du rapport.
Richard Willan
Dirigeant principal de la vérification intérimaire, Industrie Canada
Date
2.0 Introduction
2.1 Contexte
Industrie Canada (IC) a pour objectif de favoriser l'essor d'une économie canadienne croissance, concurrentielle et axée sur le savoir et de promouvoir le développement durable. Le Ministère travaille avec les Canadiens de tous les secteurs de l'économie et de toutes les régions du pays à instaurer un climat favorable à l'investissement, à stimuler l'innovation, à accroître la présence canadienne sur les marchés mondiaux, à faire en sorte que les Canadiens aient accès à Internet et à créer un marché équitable et efficace. Les technologies sont une ressource clé qui permettent à IC de réaliser ses objectifs et ces résultats stratégiques.
L'infrastructure des télécommunications et le spectre radioélectrique sont des ressources qui, à l'échelle nationale et mondiale, requièrent une saine gestion. Leur utilisation est essentielle au bien-être social et économique des Canadiens. La gestion de ces ressources est une obligation du gouvernement fédéral qui est assumée par Industrie Canada par l'entremise de son programme Spectre/Télécommunications.
Les employés des programmes utilisent actuellement le Système de gestion du spectre (SGS) pour gérer le spectre radioélectrique et fournir aux clients canadiens des services relatifs aux licences. Comme il est indiqué dans la documentation concernant le projet RRIS, 70 000 entreprises et citoyens canadiens ont des licences radio, et on envoie 70 000 factures aux clients qui utilisent la radio. Le SGS administre 250 000 licences de clients.
Les gestionnaires jugent que l'ancien processus et cadre opérationnel du SGS ne peuvent plus être maintenus ni améliorés. Au cours des 25 dernières années, on a utilisé d'anciens langages de programmation (p. ex. COBOL) pour ajouter de nombreuses applications informatiques, y compris plusieurs corrections. Afin de remplacer le SGS, IC a lancé la création d'un nouveau système, Revue et réingénierie des systèmes informatiques de gestion du spectre (RRIS).
Le projet RRIS est une priorité du Ministère en raison de sa taille, de sa portée et de son lien avec le résultat stratégique d'IC qui consiste à maintenir et à favoriser l'équité, le caractère concurrentiel et l'efficacité du marché des communications. Le coût total estimé du projet est de 51 925 197 $ (incluant la TPS) pour la période de huit ans de 2004-2005 à 2011-2012. À la fin de l'exercice 2007, les dépenses s'élevaient à 16 998 375 $. Les renseignements détaillés sur les coûts figurent à l'Appendice du présent rapport.
Il est maintenant évident que le projet RRIS ne sera pas réalisé à temps. Afin de remettre le projet sur la bonne voie, on a modifié sa gestion. Par ailleurs, le projet a fait l'objet d'une surveillance accrue de la part de la haute direction.
2.2 Objectif de la vérification
La vérification du projet Revue et réingénierie des systèmes informatiques de gestion du spectre (RRIS) visait à évaluer l'efficacité de la gouvernance du projet et à fournir une opinion à cet égard.
2.3 Portée
La mission portait sur le projet RRIS et comportait quatre secteurs de risque : la gouvernance, les activités, le projet et l'infrastructure. Les risques relatifs à la gouvernance du projet comprenant la structure de gouvernance du projet et son cadre de surveillance; les risques relatifs aux activités comprennent la participation des entreprises et la définition des exigences; les risques relatifs au projet comprenant la structure et la surveillance du projet ainsi que les mises à l'essai; les risques relatifs à l'infrastructure sont axés sur l'infrastructure technique et l'état de préparation de l'organisation quant aux nouvelles technologies.
La vérification visait à examiner uniquement la gouvernance du projet RRIS exercée par Industrie Canada (on a laissé de côté la gouvernance exercée par l'entrepreneur). Le présent travail ne vise pas à fournir une opinion sur la faisabilité technique du projet RRIS ni à garantir que les produits à livrer du projet seront exécutés à temps ou que les paiements connexes seront versés conformément à l'article 34 de la Loi sur la gestion des finances publiques.
La vérification a été menée de février à juin 2007 et portait sur la structure de gouvernance du projet en vigueur pendant cette période.
2.4 Méthode
L'évaluation du projet portait sur les objectifs de contrôle pour la technologie de l'information et les technologies connexes, qui sont des pratiques relatives à la gouvernance des TI recommandées par l'Institute for IT Governance. L'évaluation tient compte du caractère unique de chaque projet. Cette méthode relative aux risques est élaborée à partir d'un ensemble de responsabilités ayant trait au développement de logiciels et à la gestion de projets de systèmes. Comme il a été mentionné précédemment, les quatre secteurs de risques suivants étaient concernés : la gouvernance, les activités, le projet et l'infrastructure.
Notre approche consistait à s'appuyer sur l'examen de documents existants et la compréhension des systèmes au moyen d'entrevues avec des employés clés d'IC et les conseillers de l'entrepreneur.
Nous avons mené 13 entrevues individuelles et passé en revue tous les documents pertinents. L'évaluation a été effectuée à partir d'un ensemble de critères préétablis qui figurent au début de chaque section.
3.0 Observations détaillées et recommandations
Les renseignements détaillés relatifs à chacune des observations, des conclusions et des recommandations découlant de notre vérification figurent ci-dessous.
3.1 Risques relatifs à la gouvernance du projet
Ces risques ont trait à la structure claire des rôles, des responsabilités et des pouvoirs dans le cadre de laquelle le projet est mené et l'ensemble des décisions importantes relatives à la portée et aux objectifs du projet, y compris les modifications de celui-ci, sont prises.
3.1.1 Cadre de surveillance de la haute direction
Critère de vérification — Les gestionnaires principaux du Ministère devraient définir les liens entre le projet et les plans stratégiques, l'attribution des responsabilités, y compris la surveillance du projet, et les rôles des organisations et des employés clés.
En raison de sa taille, de sa portée et de son lien avec le résultat stratégique d'IC qui consiste à maintenir et à favoriser l'équité, le caractère concurrentiel et l'efficacité du marché des communications, le projet RRIS est une priorité du Ministère.
On a mis en œuvre un cadre de gestion en vue de gérer le projet RRIS. On a mis sur pied un comité directeur du projet, un comité de gestion du projet et un comité d'examen du projet aux fins de sa gestion. Par ailleurs, on a créé un comité de contrôle des changements et un conseil de contrôle des changements afin de superviser les modifications apportées aux fonctions.
Les membres du comité de gestion du projet se réunissent chaque mois, et ceux du comité d'examen du projet, chaque semaine. Les questions sont acheminées aux paliers supérieurs en vue de leur résolution, au besoin. On a consigné les décisions dans des procès-verbaux révisés pour les deux comités. Le directeur du projet prend part aux réunions de tous les comités. Les procès-verbaux du comité de gestion du projet ont été passés en revue, et on a déterminé que la représentation des participants était adéquate. On a discuté de différents sujets, comme les ressources, le financement, l'état du projet et les mesures de suivi relatives à d'anciens points à l'ordre du jour, et certaines questions ont été acheminées aux paliers supérieurs, au besoin. Le nouveau comité directeur du projet (qui est une nouvelle mouture de ce même comité) est formé de personnes occupant des postes plus élevés dans l'ordre hiérarchique. Ses membres, qui se réunissent toutes les deux semaines, ont tenu leur première réunion le 23 avril 2007.
Malgré la mise en œuvre d'un cadre de gestion général pour le projet RRIS, des préoccupations ont été soulevées relativement à l'état du projet et à son exécution. Ces préoccupations sont décrites plus en détail dans la section sur les risques relatifs au projet (section 3.3). Cela montrait que le cadre de gestion n'était pas aussi efficace qu'il le devrait. Afin de résoudre les problèmes relatifs au cadre, les gestionnaires ont mis en œuvre les changements suivants :
- Les changements récents apportés au poste de gestionnaire du projet (en janvier et en mars 2007) ont permis d'évaluer la structure de gouvernance et d'apporter des améliorations.
- On a modifié la composition du comité directeur du projet afin que les sous-ministres adjoints d'IC puissent y siéger.
- Les membres des comités se réunissent plus fréquemment.
Les changements mis en œuvre récemment visent à aborder les préoccupations soulevées antérieurement. Par exemple, on a renouvelé le comité directeur du projet afin d'accroître la surveillance du projet. On consigne les décisions dans des procès-verbaux, ce qui permet d'effectuer un meilleur suivi des mesures prises. Cependant, comme les changements sont relativement récents, on n'a pas été en mesure d'évaluer le fonctionnement de la nouvelle structure de gestion du projet au moment de la rédaction du présent rapport.
3.1.2 Gestion des demandes de changement
Critère de vérification — Les gestionnaires principaux et les gestionnaires de projet devraient établir des processus permettant l'adaptation du projet aux conditions internes et externes en évolution.
Un coordonnateur du Bureau de gestion des projets est responsable de la gestion des changements. En date du 27 juin 2007, 283 changements avaient été signalés dans le registre des changements, dont 49 n'avaient pas encore été réglés. L'ordre de priorité des changements a été établi par le comité de contrôle des changements, l'analyse des répercussions a été menée par l'équipe d'élaboration et la décision d'intégrer ou de repousser les changements devrait être prise par le conseil de contrôle des changements, qui est présidé par le directeur général, Réglementation des radiocommunications et de la radiodiffusion. Pour gérer les demandes de changements et les modifications de logiciels et de documents du projet, les responsables du projet utilisent un système de gestion permettant de faire le suivi du projet.
Les changements ont été acceptés, mais on ne s'est pas toujours assuré que les documents à l'appui étaient modifiés convenablement dans les modèles des spécifications fonctionnelles des tâches de l'unité. Au bout du compte, cela a entraîné un écart perçu entre les renseignements des documents et l'état réel des nouveaux modules du système. De plus, on a élaboré des cas types pour répondre aux exigences documentées des modèles des spécifications fonctionnelles des tâches de l'unité, mais le code était différent, ce qui a entraîné des erreurs. En raison de tout cela, des retards d'horaires sont survenus. L'entrepreneur, dans une lettre datée du 29 mars 2007 envoyée à IC, reconnaît que la qualité de l'exécution liée à la portée, au calendrier et aux ressources du projet n'était pas à la hauteur.
Les gestionnaires du projet ont pris des mesures pour régler le problème. On passe en revue l'ensemble des modèles des spécifications fonctionnelles des tâches de l'unité afin de veiller à ce qu'ils soient à jour. Avant que le code ne soit modifié, le gestionnaire de projet demande maintenant que les documents du système soient mis à jour. Les nouvelles procédures devraient garantir que les documents du système sont tenus à jour et reflètent les changements approuvés.
Recommandation
Le directeur du projet RRIS doit continuer à veiller à ce que la mise à jour des exigences fasse partie du processus officiel de la gestion des demandes de changement et que les exigences mises à jour soient consignées, conformément à la méthode d'élaboration du système de l'entrepreneur.
3.1.3 Gestion des investissements et réalisation des avantages
Critère de vérification — Les gestionnaires principaux et les gestionnaires de projet devraient définir les coûts et les avantages prévus au moyen d'une analyse de rentabilisation et mesurer les avantages du projet dont bénéficiera l'organisation au fur et à mesure de leur réalisation.
Le projet RRIS a été mis sur pied principalement pour remplacer les technologies désuètes et les nombreux anciens systèmes du programme. On a mené une évaluation sur la situation actuelle et les besoins futurs et élaboré une analyse de rentabilisation. On a décrit en détail certains coûts relatifs aux technologies dans l'analyse de rentabilisation, mais on n'a pas mené d'analyse financière officielle afin d'évaluer les avantages potentiels (l'analyse menée était surtout qualitative).
IC a décidé qu'il devait redéfinir les processus et la portée du système. On a élaboré une demande de propositions en vue de retenir les services d'un entrepreneur afin qu'il mène une évaluation, puis exécute les travaux. L'étape de définition du projet et le prototype de l'architecture, qui ont coûté 3,5 millions de dollars, ont été complétés en décembre 2005.
Même si l'on a suivi un processus officiel pour définir certains des coûts et des avantages du nouveau système, les avantages connexes, outre le fait que l'ancien système serait remplacé, ne pouvaient pas encore être mesurés.
Recommandation
Le directeur général, Radiocommunications et radiodiffusion, devrait créer un programme de surveillance des avantages qui découlent de la mise en œuvre du projet RRIS.
3.2 Risques relatifs aux activités
Ces risques ont trait à la clarté et à la stabilité des règles et des processus opérationnels desquels découleront les exigences du système, à l'intégrité et à la solidité de la conception qui sera élaborée pour répondre à ces exigences et à la capacité de l'organisation de se préparer aux changements apportés par la mise en place d'un nouveau système et de les gérer.
3.2.1 Exigences opérationnelles
Critère de vérification — Les gestionnaires de projet et les gestionnaires fonctionnels devraient s'assurer que la détermination des exigences opérationnelles correspond bien aux exigences fonctionnelles et permet de réaliser les avantages établis.
Les employés des programmes utilisent actuellement le Système de gestion du spectre (SGS) pour gérer le spectre radioélectrique et fournir aux clients canadiens des services relatifs aux licences. Comme il est indiqué dans la soumission au Conseil du Trésor concernant le projet RRIS, 70 000 entreprises et citoyens canadiens ont des licences radio, et on envoie 70 000 factures aux clients qui utilisent la radio. Le SGS administre 250 000 licences de clients. Comme il s'agit d'un projet visant à remplacer un certain nombre d'anciens systèmes qui sont en place depuis de nombreuses années, les exigences opérationnelles étaient bien connues.
On a utilisé un processus officiel pour définir les exigences des utilisateurs. La méthode va du général au particulier et comprend un processus d'approbation officiel comportant une méthode itérative et la validation auprès des utilisateurs. Des séances d'information ont été présentées aux clients en vue d'améliorer les résultats des analyses.
Les entreprises clientes d'IC ont participé au processus d'élaboration. Un coordonnateur du SGS est en place dans chaque région afin de gérer le système actuel et de fournir des commentaires. Selon l'équipe de gestion, on a présenté partout au pays une version prototype, et les personnes qui l'ont utilisée ont jugé qu'elle était conviviale. De plus, les clients ont leur mot à dire lorsqu'une fonction est élaborée. Ces personnes joueront un rôle essentiel dans le lancement du système, notamment en ce qui a trait à la définition des exigences et à la gestion des changements, des essais d'acceptation par les utilisateurs et de la mise en œuvre. Les responsables du projet doivent veiller à ce que le produit soit bien compris par les utilisateurs. Pour ce faire, on a élaboré un plan de formation.
3.2.2 Conception de la solution
Critère de vérification — Les gestionnaires de projet et les gestionnaires fonctionnels devraient s'assurer qu'un processus est en place afin de transformer les exigences opérationnelles en solution d'affaires.
On a utilisé l'approche structurée de l'entrepreneur pour transformer les exigences des utilisateurs en solutions d'affaires. On a consigné des processus de travail « tels quels » et élaboré des modèles futurs. On a créé un prototype d'interface utilisateur, élaboré des règles opérationnelles et établi la conception fonctionnelle. Des spécifications fonctionnelles ont été élaborées, examinées par les clients, mises à jour et approuvées. On a effectué le codage des fonctions et on mène actuellement la mise à l'essai fonctionnelle.
En raison du caractère scientifique du système, les règles opérationnelles comportent un degré élevé de complexité. Quinze interfaces seront élaborées pour la version 1.1. Les autres interfaces seront abordées au cours des prochaines versions du projet. Certaines applications, comme le GDOC (système de suivi pour la gestion des documents) et Spectre en direct, ne feront pas l'objet de modifications importantes et seront intégrées ultérieurement au système, si les clients l'exigent.
3.2.3 Gestion des changements
Critère de vérification — Les gestionnaires de projet et les gestionnaires fonctionnels devraient se pencher sur les répercussions qu'entraînera le projet sur les principaux processus opérationnels de l'organisme promoteur et la capacité de l'organisation de s'adapter à l'ensemble des changements.
Il n'y a pas de plan officiel pour la gestion des changements organisationnels. La gestion des changements ne fait pas partie du mandat de l'entrepreneur et devrait être menée par IC de manière à garantir la réussite du système.
Les coordonnateurs régionaux du SGS ont participé à la création du nouveau système et sont conscients des répercussions qu'il aura sur les utilisateurs. Ils sont tenus de veiller à ce que les changements soient gérés au sein de leur propre organisation. Cependant, les coordonnateurs régionaux ne sont pas versés dans la gestion de ce type de changements. Leur travail est d'ordre technique, et leur expérience peut ne pas convenir à la gestion des changements. Sans plan de changements organisationnels, le passage réussi à un nouveau système est à risque.
Recommandation
Le directeur général, Radiocommunications et radiodiffusion, devrait planifier les changements organisationnels afin que le nouveau système soit efficace et accepté avant sa mise en œuvre.
3.3 Risques relatifs au projet
Ces risques ont trait à l'organisation et à la gestion interne du projet ainsi qu'à ses fonctions de surveillance, d'établissement de rapports, de contrôle et de communication. Ils tiennent compte des outils, des techniques, des méthodes et des procédures nécessaires à l'exécution des travaux réels du projet, soit de comprendre les exigences qu'il faut respecter et, à partir de cette compréhension, de concevoir, d'élaborer, de mettre en œuvre et de rendre exploitable un système pertinent, fiable et utilisable.
3.3.1 Organisation et gestion du projet
Critère de vérification — Les gestionnaires de projet et les gestionnaires techniques devraient définir les rôles et les responsabilités de chaque composante organisationnelle majeure de la structure du projet et effectuer une dotation adéquate.
On a élaboré les documents suivants relativement au projet RRIS : analyse de rentabilisation, arrêté de projet, plan de projet, chronologie des événements relatifs aux acquisitions, comparaison des options et plan de communication. Un registre comprenant de nombreux documents et rapports sur le projet est accessible sur le site intranet d'IC.
La composition et l'expertise de l'équipe du projet sont adéquates. L'équipe de projet intégrée est formée d'employés d'IC expérimentés et de conseillers de l'entrepreneur, et la plupart des équipes de travail comptent des employés d'IC pour permettre un transfert des connaissances (p. ex.les équipes chargées de la construction, des mises à l'essai et de la formation). L'équipe chargée de la construction compte près de 14 personnes, dont quatre employés d'IC. La taille de l'équipe chargée de la construction peut varier selon la charge de travail. L'entrepreneur peut faire appel à davantage de concepteurs, au besoin. Selon les personnes que l'on a interrogées, les communications pendant les réunions et l'environnement de travail au sein de l'équipe sont très positifs. L'équipe de l'entrepreneur se réunit chaque semaine et élabore un rapport sur l'état du projet hebdomadaire, qui est présenté pendant les réunions du comité d'examen du projet où l'on aborde toutes les questions, effectue le suivi des problèmes de conception et les consigne et examine l'état du projet. Les questions en suspens sont consignées dans le registre de risques. On effectue le suivi des activités et des mesures et les délègue à des personnes et on achemine, au besoin, certaines questions aux paliers supérieurs.
Les rôles et les responsabilités des membres de l'équipe du projet sont consignés. L'équipe de projet intégrée est responsable de l'élaboration et de la réalisation de l'ensemble des produits à livrer de la version 1.1, comme cela est défini dans la portée convenue et limité par les hypothèses établies. L'arrêté de projet indique que l'entrepreneur sera entièrement responsable de la mise en œuvre réussie de chaque version du projet. L'équipe d'intervention d'urgence à IC et les représentants des utilisateurs sont dirigés par les gestionnaires du projet RRIS d'Industrie Canada. L'équipe d'intervention d'urgence et les représentants des utilisateurs fournissent une connaissance et une expertise spécialisées relativement à la gestion du spectre en réponse aux demandes de renseignements de l'équipe de projet intégrée. Ils participent aux séances de travail et aux examens des produits à livrer et passent en revue et approuvent les produits à livrer de la version 1.1 qui ont trait à la définition et à l'interprétation des exigences opérationnelles du SGS.
La gestion du projet posait un problème, qui a récemment été réglé (voir également le contrôle du projet). Deux gestionnaires sont affectés au projet, un de l'entrepreneur et l'autre d'IC. Afin de remettre le projet sur la bonne voie, on a remplacé récemment les deux gestionnaires de projet.
Les mêmes ressources d'IC travaillent à l'ancien système et au nouveau système. On a indiqué dans le registre des risques que cela était un problème directement lié aux risques relatifs au projet. Tous les employés d'IC qui possèdent les connaissances requises pour être de l'équipe en font déjà partie. Les ressources humaines sont importantes pour la réalisation du projet, surtout pour maintenir l'élan au sein de la collectivité des utilisateurs. Comme le processus de dotation est très long (il est difficile d'embaucher de nouveaux employés rapidement), le maintien en poste des ressources est un enjeu. Comme nous ne disposons pas de suffisamment de temps pour revoir les processus de dotation, aucun employé ne peut remplacer ceux qui travaillent au nouveau système. Cela entraîne des incertitudes quant au transfert des connaissances.
Recommandation
Le directeur du projet devrait évaluer les exigences relatives aux ressources d'IC afin de veiller à ce que le projet RRIS reste sur la bonne voie.
3.3.2 Processus d'élaboration
Critère de vérification — Les gestionnaires de projet et les gestionnaires techniques devraient mettre en œuvre un processus d'élaboration officiel en ce qui concerne les produits à livrer.
On utilise une méthode particulière pour le processus d'élaboration, qui est entièrement géré par l'entrepreneur. On utilise un système de gestion de la configuration pour l'élaboration de documents, la surveillance de l'élaboration (p. ex. le code source), les produits à livrer, les demandes de changement, les signatures et les approbations. Le système peut également servir de piste de vérification pour retracer des travaux antérieurs.
Les retards relatifs au calendrier du projet ont été reconnus. Cela a retardé les essais d'acceptation par les utilisateurs et la mise en œuvre de la production. Le lancement de la version 1.1, qui avait initialement été prévu pour l'automne 2007, sera repoussé au mois de novembre 2008. On a élaboré un plan de projet intégré, qui indique les tâches de l'entrepreneur et celles d'IC (près de 1 600 tâches).
Dans le cadre d'une approche structurée, on a élaboré une stratégie et des plans d'essai relativement aux trois types d'essai suivants : les essais fonctionnels, les essais du système, y compris les essais d'intégration, et les essais d'acceptation par les utilisateurs. Les essais fonctionnels et les essais d'intégration sont menés par l'équipe conjointe. Industrie Canada est chargé de mener les essais d'acceptation par les utilisateurs. Un nombre important de cas types ont été rédigés à partir des documents de spécifications fonctionnelles et examinés par Industrie Canada. La procédure d'approbation est utilisée au cours des étapes suivantes : pour approuver les cas types écrits, après l'exécution des essais et pendant les essais d'acceptation par les utilisateurs.
On a mis en œuvre les environnements d'essai suivants : un bac à sable pour l'assurance de la qualité (AQ) et les mises à l'essai; un environnement de formation; un environnement d'essai d'acceptation par les utilisateurs. Selon le chef de l'équipe d'essai, la gestion de différents environnements est complexe, mais pas risquée. Plus précisément, on a planifié les essais de la façon suivante :
- Afin de garantir la qualité des essais, le nouveau gestionnaire de projet a mis à jour les cas types pour les essais fonctionnels. Il a également créé des données d'essai individuelles pour améliorer le rendement.
- Les essais d'acceptation par les utilisateurs seront gérés par les utilisateurs, ce qui signifie qu'IC sera chargé de rédiger les scénarios et les cas types. L'équipe d'essai de l'entrepreneur fournira l'assistance requise.
- Les essais de rendement ont été prévus pour juin 2007, mais n'ont pas encore été intégrés à l'énoncé des travaux de l'entrepreneur. Ils sont maintenant prévus pour août 2007 et devraient être menés en janvier 2008. Pour que des progrès soient réalisés, le gestionnaire de projet a demandé à l'entrepreneur d'affecter un expert aux essais de rendement afin d'aller de l'avant avec les essais.
- L'équipe a mené des essais d'intégration avec Windows XP, et aucun problème important n'a été détecté.
- En raison de l'évolution de la base de données, il a fallu examiner le processus de conversion. On a converti toutes les données dans les systèmes existants, dont certaines étaient très anciennes (environ 1970). On a mis à l'essai trois modules. Des essais d'intégrité des données seront menés pendant tout le projet.
On est en retard quant aux essais. Au début du mois de mars 2007, l'équipe de projet en était encore aux essais fonctionnels. Jusqu'à maintenant, la moitié des fonctions finales ont été mises à l'essai, et les défaillances ont été consignées. Selon le chef de l'équipe d'essai, en date du 3 juillet, près de 539 défaillances (graves, élevées, moyennes, faibles et prêtes pour les essais) avaient été détectées. Elles ont également été consignées. Afin d'accroître l'efficacité, on a tout d'abord remis aux concepteurs les cas types, qui ont ensuite été exécutés à nouveau par l'équipe d'essai.
En résumé, même si un processus officiel a été mis en vigueur pour superviser les efforts d'élaboration, la réalisation des produits à livrer n'a pas été respectée. Le non-respect du calendrier du projet a été reconnu et a entraîné des retards, surtout en ce qui a trait aux essais.
Recommandation
En vue du parachèvement de l'élaboration du système, les produits à livrer de l'entrepreneur devraient être régulièrement examinés par le gestionnaire de projet d'IC.
Les essais devraient être surveillés de façon très étroite de manière à garantir la qualité des produits à livrer. Les employés d'IC devraient également mener certains essais afin de s'assurer que les exigences sont respectées.
3.3.3 Processus de surveillance du projet
Critère de vérification — Le gestionnaire de projet devrait compter sur une approche normalisée en matière de surveillance du projet.
Méthode relative à la gestion du projet
On utilise une méthode de gestion du projet précise. Différents types de plans sont en vigueur, notamment un plan de lancement, un plan de ressources et un plan de qualité. Pour gérer le plan du projet, le gestionnaire de projet utilise MS-Project. Tous les chefs d'équipe élaborent des plans, qui sont tous regroupés dans un plan général intégré. On a ajouté à l'équipe de projet un coordonnateur de la planification à temps plein en vue de mettre à jour régulièrement le plan du projet. Un rapport hebdomadaire et des feuilles de temps sont élaborés pour le gestionnaire de projet de l'entrepreneur. Les rapports sur l'état du projet hebdomadaires sont passés en revue par le comité d'examen du projet, et les tâches sont réparties en produits à livrer.
Établissement de rapports relatifs au projet
Il n'y a pas si longtemps, l'établissement de rapports relatifs au projet était fondé sur l'enregistrement manuel de l'état par les chefs d'équipe de l'entrepreneur et le résumé du gestionnaire de projet de l'entrepreneur. On acheminait ensuite le résumé au directeur du projet d'IC et on en discutait pendant les réunions des comités. Comme on utilisait très peu l'automatisation, il était très difficile pour les chefs d'équipe de fournir facilement ces renseignements, et les équipes perdaient beaucoup de temps à ce niveau. Malgré l'acheminement des renseignements et le fait que divers comités discutaient des questions, il était quand même difficile de déterminer l'état réel du projet, car il était impossible pour le Bureau de gestion des projets d'IC de valider les rapports sur l'état du projet. En raison de tout cela, les employés d'IC ne se sont pas attendus au non-respect des échéances d'exécution initiales.
Comme c'est le cas pour la gestion de projet, les paiements pour le projet sont fondés sur les produits à livrer. Avant le versement des paiements, TPSGC compare les produits à livrer à l'énoncé des travaux. À la fin de l'exercice 2006-2007, près de 1,3 million de dollars n'avaient pas été facturés, car l'entrepreneur avait pris du retard dans ses produits à livrer. La portée de la vérification de la gouvernance du projet RRIS ne comprenait pas la vérification des paiements en vertu de l'article 34 de la Loi sur la gestion des finances publiques.
Nouveaux processus en matière d'établissement de rapports relatifs au projet et plan intégré
Dans le cadre de la nouvelle stratégie de travail, on a élaboré un nouveau calendrier de projet appelé « plan de projet intégré ». Le comité directeur du projet RRIS l'a reçu à sa réunion du 14 juin 2007. Conformément à cette nouvelle approche, chaque chef d'équipe tient maintenant des réunions quotidiennes avec les membres de son équipe, et le gestionnaire de projet en fait de même avec les chefs d'équipe. Des réunions quotidiennes sont également tenues avec les employés d'IC aux fins de résolution des problèmes opérationnels.
Les nouveaux processus et le plan intégré feront en sorte que les rapports sur l'état du projet seront automatisés; ainsi, ils seront plus faciles à élaborer et à valider. Cela devrait permettre aux chefs d'équipe d'économiser du temps relativement à l'établissement de rapports et devrait accroître la surveillance des tâches à exécuter.
Gestion du contrat
Le parachèvement du projet sera repoussé d'une autre année, et les coûts des produits à livrer figurant dans l'énoncé des travaux actuels seront assumés par l'entrepreneur. Des réunions hebdomadaires portant sur la gestion du contrat et du budget sont tenues avec les dirigeants de l'entrepreneur. Ces réunions sont présidées par le nouveau gestionnaire de projet. Le contrat est une autorisation de tâches à prix fixe dans le cadre d'un accord d'approvisionnement. Chaque nouvelle autorisation de tâches doit être approuvée par le comité directeur du projet pour faire en sorte qu'elle respecte les exigences et que des fonds y soit affectés.
Gestion des risques
On a défini le profil des risques du projet RRIS dans une stratégie détaillée de gestion des risques comprise dans l'arrêt de projet. Il fallait déterminer et consigner les risques et les affecter à une personne responsable en vue de leur prise en charge. Les évaluations des risques sont effectuées chaque semaine pendant les réunions du comité d'examen du projet, auxquelles participent le directeur du projet, les gestionnaires de projet d'IC et de l'entrepreneur et les chefs d'équipe, au besoin. Les évaluations des risques sont un point à l'ordre du jour de chaque réunion. Les risques relatifs au projet sont surveillés par le gestionnaire de projet de l'entrepreneur ainsi que par celui d'IC. Les risques qui ne peuvent être pris en charge sont acheminés au comité de gestion du projet, puis au comité directeur du projet.
Recommandation
Pour garantir que la nouvelle stratégie de travail mise en œuvre par le gestionnaire de projet de l'entrepreneur est efficace, IC devrait examiner, chaque mois, un échantillon des produits à livrer et les comparer aux résultats attendus décrits dans le calendrier du projet.
3.4 Risques relatifs à l'infrastructure
Ces risques ont trait au degré de risque inhérent aux plateformes technologiques choisies pour soutenir le système. Les plateformes plus récentes qui n'ont pas encore été utilisées autant que les plateformes éprouvées présentent un degré de risque plus élevé. Non seulement est-il plus probable que la plateforme ait des défaillances, mais il est rare que l'on sache comment les résoudre. Ces risques ont également trait au transfert de l'application dans l'infrastructure où elle sera utilisée. Les infrastructures nouvellement élaborées et mises en œuvre présentent plus de risques que les infrastructures éprouvées.
3.4.1 Infrastructure
Critère de vérification — Les gestionnaires de projet et les gestionnaires techniques devraient s'assurer que la solution technique est conforme aux méthodes et aux normes techniques ainsi qu'à l'environnement technologique de l'organisation. Ils devraient également mesurer les répercussions qu'entraînera le projet sur cette infrastructure.
On s'attend à ce qu'il y ait des problèmes relativement à l'architecture, mais on doit les résoudre afin de garantir la réussite des essais d'acceptation par les utilisateurs. On a élaboré des documents relatifs à l'architecture, lesquels sont affichés sur le site intranet d'IC. À la demande du directeur du projet RRIS, l'architecture du projet a été passée en revue en vue de déterminer les secteurs de l'architecture de l'application qui sont trop complexes et présentent donc un risque élevé.
L'initiative d'examen de l'architecture est presque terminée.
Recommandation
Le rapport sur l'initiative d'examen de l'architecture devrait être élaboré le plus tôt possible.
3.4.2 Transition technologique
Critère de vérification — Les gestionnaires de projet et les gestionnaires techniques devraient se pencher sur l'état de préparation de l'organisation par rapport à la nouvelle technologie, à la gestion globale de la configuration technologique et à la capacité de l'organisation de fournir un soutien à court et à long terme.
Aucun plan n'a encore été élaboré pour la transition. Un plan de mise en œuvre devrait être produit ultérieurement. Une stratégie de mise en œuvre globale a été élaborée en janvier 2005. Au cours de la réunion du comité directeur du projet du 22 juin, IC a présenté les options relatives au maintien de la version 1.1 et des versions ultérieures. Il est important de planifier la transition pour faire en sorte que l'on dispose de solutions pour le soutien et le maintien et d'être prêt pour la mise en œuvre de la version.
On a élaboré une stratégie et un plan de formation pour la version 1.1; la stratégie de formation vise à former les formateurs. L'équipe de formation est formée de deux personnes qui travaillent principalement à l'élaboration de documents de formation, comme le guide de l'utilisateur. Les documents sont bilingues, et leur élaboration nécessite six mois. Une séance de formation initiale a été fournie au début du mois de mars 2007; 34 utilisateurs ont participé à cette formation de cinq jours.
Recommandation
La transition devrait être planifiée. Il faudrait élaborer un plan de mise en œuvre pour la version 1.1.
4.0 Conclusion
Le cadre de surveillance de la gestion du projet, qui a été mis en œuvre d'entrée de jeu, n'a pas été aussi efficace que ce qui avait été prévu et nécessitait des modifications. En raison du temps d'élaboration limité, on a consigné toutefois les changements de spécification dans des registres particuliers (qui ne font pas partie des documents de spécifications fonctionnelles), qui doivent être appliqués en tant que regroupement à une date ultérieure. C'est pourquoi on perçoit une différence entre les documents de spécifications fonctionnelles et ce qui est réellement élaboré. Cela a cependant entraîné le besoin de revoir les cas types. L'entrepreneur a depuis pris la décision de revoir le projet et de remplacer le gestionnaire de projet. Le nouveau gestionnaire de projet a mis en œuvre d'autres mesures de surveillance des processus d'élaboration et du projet.
L'établissement de rapports sur le rendement ne permettait pas aux gestionnaires de projet d'IC de valider les données fournies ou de rassurer la haute direction quant à l'état du projet. On s'attend à ce que les nouveaux processus, notamment un plan de projet intégré et l'établissement de rapports sur l'état du projet automatisés, permettront aux gestionnaires de projet d'IC de surveiller l'état du projet.
La révision du projet aura un effet sur la mise en œuvre de la version 1.1, qui sera reportée à novembre 2008. Les coûts engagés en raison du retard des produits à livrer (comme il est mentionné dans l'énoncé des travaux du projet) seront assumés par l'entrepreneur. La révision du projet devrait permettre de mener une mise à l'essai de façon à ce que l'application corresponde aux exigences et de faciliter la planification de la transition.
L'intégration de mesures de surveillance plus sévères par le nouveau gestionnaire de projet de l'entrepreneur ainsi que la surveillance accrue exercée par le nouveau comité directeur devraient améliorer la gouvernance du projet. Comme l'établissement de rapports prendra une plus grande place, Industrie Canada aura plus de facilité à l'avenir à déterminer les problèmes et à intervenir de façon plus efficace.
5.0 Réponse de la gestion
Les gestionnaires reconnaissent et acceptent de façon générale les observations et les recommandations formulées dans la vérification de la gouvernance du projet RRIS. On considérera les observations et les recommandations pendant le processus de replanification actuel et, si un autre9 projet semblable est lancé, on envisagera de les inclure dans la gouvernance de ce projet.