Évaluation de mi-mandat du Programme de développement du Nord de l'Ontario (PDNO)

Rapport final

Mai 2008

Présenté et approuvé au CMÉ Le 9 juin 2008

Table des matières

• Sommaire
• 1.0 Contexte
  • 1.1 Comprendre le PDNO
  • 1.2 Évaluation de mi-mandat de 2008
• 2.0 Méthodologie et approche
  • 2.1 Questions évaluées
  • 2.2 Grille d'évaluation
  • 2.3 Limites de la méthodologie
• 3.0 Constatations de la recherche
  • 3.1 Pertinence du programme
  • 3.2 Conception et prestation
  • 3.3 Leçons apprises
• 4.0 Conclusion
  • 4.1 Pertinence du programme
  • 4.2 Conception et prestation
  • 4.3 Leçons apprises
• Réponse de la direction ou Version PDF (13.8 Ko, 1 page)

Annexes (Document Distincts)

Note : Les annexes sont disponibles par demande d'accès à l'information

• Annexe A : Membres du comité de direction
• Annexe B : Liste des documents liés au programme examinés
• Annexe C : Analyse documentaire
• Annexe D : Guides des entrevues des intervenants
• Annexe E : Observations sur le système de la mesure du rendement

On peut obtenir cette publication sur supports accessibles, sur demande.

Communiquer avec la :
Section des services du multimédia
Direction générale des communications et du marketing

Tél. : 613-948-1554
Téléc. : 613-947-7155;
Courriel : ic.cmb-creative.ic@canada.ca

Autorisation de reproduction

À moins d'indication contraire, l'information contenue dans cette publication peut être reproduite, en tout ou en partie et par quelque moyen que ce soit, sans frais et sans autre permission d'Industrie Canada, pourvu qu'une diligence raisonnable soit exercée afin d'assurer l'exactitude de l'information reproduite, qu'Industrie Canada soit mentionné comme organisme source et que la reproduction ne soit présentée ni comme une version officielle ni comme une copie ayant été faite en collaboration avec Industrie Canada ou avec son consentement.

Pour obtenir l'autorisation de reproduire l'information contenue dans cette publication à des fins commerciales, faire parvenir un courriel à copyright.droitdauteur@tpsgc.gc.ca.

N.B. Dans cette publication, la forme masculine désigne tant les femmes que les hommes.

Also available in English under the title Mid-Term Evaluation of the Northern Ontario Development Program.

Version traduite. La version anglaise de ce rapport doit prévaloir en cas d'incohérence.

Sommaire

Introduction

Industrie Canada a établi les modalités d'une évaluation de mi-mandat du Programme de développement du Nord de l'Ontario (PDNO) de l'Initiative fédérale de développement économique du Nord de l'Ontario (FedNor). Cette évaluation a été gérée par la Direction générale de la vérification et de l'évaluation d'Industrie Canada et réalisée par le cabinet TNS Canadian Facts. Elle aborde trois enjeux : la pertinence du programme; la conception et l'exécution; et les leçons apprises, et met l'accent sur la mesure du rendement et la reddition de compte. Les méthodes d'évaluation consistaient en un examen approfondi des documents du programme et des évaluations antérieures, une analyse documentaire plus limitée, un examen du système de mesure du rendement et dix-neuf entrevues réalisées auprès d'intervenants clés. Les éléments d'information recueillis auprès de ces diverses sources ont été comparés pour chaque enjeu de l'évaluation avant qu'une analyse générale ne soit entreprise.

Le présent rapport présente les conclusions de l'évaluation de mi-mandat. Cette section fournit une courte description du PDNO, résume les conclusions de l'évaluation de mi-mandat et présente des recommandations pour les gestionnaires du programme.

Programme de développement du Nord de l'Ontario

FedNor est chargée de promouvoir la croissance économique, la diversification et la création d'emplois ainsi que la présence de collectivités durables et autonomes dans le Nord de l'Ontario par le truchement d'une gamme d'initiatives visant à accroître l'accès au financement, à l'information et aux marchés pour les petites entreprises. Une de ces initiatives, le PDNO, dispense de l'aide principalement au secteur à but non lucratif. L'aide accordée au secteur privé (environ 10 p. cent) est limitée aux petites et moyennes entreprises (PME) comptant moins de 500 employés.

Le PDNO soutient des projets dans six grands secteurs : le développement économique communautaire, le commerce et le tourisme, l'innovation, la technologie de l'information et des communications, l'aide au financement des entreprises et le capital humain.

Conclusions

Pertinence du programme

Le volet sur la pertinence du programme examine les possibilités de chevauchement d'autres programmes gouvernementaux et, le cas échéant, ce que FedNor fait à cet égard.

Nous avons constaté que, bien qu'il y ait chevauchement entre le PDNO et d'autres programmes, il y a aussi des mécanismes en place pour garantir une collaboration et éviter le double emploi dans l'ensemble des sources de financement. En règle générale, FedNor joue le rôle d'agence principale chargée de coordonner la participation du promoteur et d'autres organismes de financement afin de tirer pleinement profit des partenariats et de garantir que tous les participants aient les meilleures chances possibles d'atteindre les objectifs établis pour leur contribution. FedNor a des mécanismes en place pour garantir qu'aucun soutien excessif n'est accordé et que tout financement est justifié.

Une bonne coordination est essentielle pour éviter que les ressources des contribuables ne soient gaspillées, en raison de la possibilité on ne peut plus réelle de chevauchement dans le milieu où le PDNO est actif. FedNor joue maintenant un rôle utile à titre de coordonnateur et d'organisateur en matière de développement du Nord de l'Ontario. FedNor doit continuer de jouer ce rôle de leader afin de coordonner les activités nécessaires et garantir qu'il n'y a pas de chevauchement dans l'aide aux projets et que plusieurs mesures de soutien sont utilisées pour atteindre les résultats visés pour le Nord de l'Ontario.

Conception et prestation

Trois enjeux liés à la conception et à la prestation ont été examinés, soit : la mesure dans laquelle FedNor a amélioré la surveillance, la saisie de données, la reddition de comptes sur le rendement et certains enjeux relevés dans des études d'évaluation antérieures; l'adéquation du système actuel de mesure du rendement; et les mesures en place pour garantir la qualité des données.

L'évaluation a permis de constaté que FedNor avait amélioré les questions relatives à la surveillance, à la saisie de données, à la reddition de comptes sur le rendement et aux enjeux connexes relevés dans les études d'évaluation antérieures. FedNor a apporté d'importants changements à son système de mesure du rendement à la lumière des problèmes relevés dans les évaluations antérieures.

Le programme effectue maintenant la collecte, la saisie et la sauvegarde des renseignements sur la mesure du rendement conformément aux exigences liées au CGRR du programme. Les indicateurs recueillis portent sur les résultats immédiats du modèle logique du programme tel que précisé par le CGRR. Selon notre évaluation, les résultats du modèle logique du programme semblent être conformes à la nature du programme. Faire le suivi des résultats dans le cadre du système de mesure du rendement semble approprié.

D'autres exigences du CGRR en matière de données portent sur les activités de collecte de données administratives (le Système de rapports des subventions et contributions), des données secondaires (Statistique Canada), des études de cas et des exigences relatives aux données à des fins d'évaluation finale. Le système de surveillance du rendement pourrait être plus efficace, notamment en recueillant d'autres données provisoires sur le rendement et en fournissant des rapports périodiques sur les résultats des projets.

Le système actuel de gestion du rendement offre un instantané du rendement des projets d'un groupe de projets qui ont pris fin durant l'année. L'année suivante, il offre un autre instantané d'un autre groupe de projets, et ainsi de suite. Au moment de l'évaluation finale, on obtient un regroupement des résultats de divers projets, mais tous évalués à la même étape.

Il y aura un écart dans les données sur la mesure du rendement liées aux résultats de certains projets après leur date limite et avant l'évaluation finale. Un suivi périodique des projets serait nécessaire pour resserrer cet écart. Ceci peut être réalisé au moyen d'un échéancier fixe (fin du projet, première et troisième année suivant la fin) pour l'ensemble des projets ou un échantillon aléatoire stratifié des projets pour lesquels il serait raisonnable de s'attendre à des résultats à plus long terme et pour une liste restreinte d'indicateurs (en mettant davantage l'accent sur les résultats intermédiaires) après le premier anniversaire du projet. Ce système amélioré éliminerait la pratique actuelle qui est de classer certains projets en attendant de réaliser un suivi ultérieur. Il pourrait aussi éliminer la tension entre les résultats immédiats et les résultats à plus long terme d'une part, et les premiers indicateurs de rendement et ceux qui se manifestent plus tard.

Des agents de programmes ont aidé à élaborer le système de mesure du rendement et en sont venus à l'apprécier. Leur participation et leur soutien contribuent à la qualité des données, tout comme les réunions mensuelles tenues pour assurer l'intégrité des données et régler les questions d'uniformité. Des mécanismes en place assurent la qualité des données. L'utilisation des données dans la production d'un rapport (au Comité de gestion de FedNor, le 8 avril 2008) a fourni une occasion de cerner et de corriger les problèmes de données.

La présente évaluation de mi-mandat a aussi relevé certains problèmes liés aux données qui ont été corrigés par le personnel de Politiques, Planification et Coordination.

Des vérifications des données de rendement ont lieu, mais elles ne sont pas regroupées dans un processus officiel. L'adoption de mécanismes plus officiels, comme une comparaison des données prévues aux données réelles pour chaque projet à des fins d'uniformité, aurait pour effet de garantir la qualité des données.

Du fait que des agents de FedNor ont participé à l'élaboration d'indicateurs de la mesure du rendement, il a été plus facile de faire accepter ces indicateurs dès l'étape initiale, et d'obtenir le soutien futur des agents en ce qui concerne la collecte de données sur le rendement et le maintien de l'uniformité des données sur le rendement, ainsi que la promotion d'indicateurs auprès des promoteurs de projets.

FedNor devrait poursuivre ses efforts pour préserver l'intégrité et l'uniformité du système de mesure du rendement dans l'avenir, surtout avec l'arrivée de nouveaux employés. La tenue de réunions mensuelles du Groupe de travail sur la gestion du rendement devrait continuer si l'on veut cerner et régler les questions liées à la gestion du rendement.

Leçons apprises

Les facteurs qui ont facilité ou retardé la mesure du rendement et la gestion de ces résultats, ainsi que les leçons apprises tout au long du processus de traitement de ces facteurs ont été examinés. Les leçons suivantes ont été tirées de cette expérience.

La participation d'agents de projets à l'élaboration du système de mesure du rendement a permis d'obtenir un meilleur soutien et une plus grande uniformité en matière de mesure du rendement. L'affectation d'employés à l'élaboration du système semble avoir été une étape précieuse. On s'inquiète des besoins futurs en dotation au fur et à mesure que le système sera utilisé. De plus, le roulement de personnel crée une demande continue de formation sur les exigences du système et sur les questions liées à l'uniformité des données, ce qui crée un besoin d'embaucher d'autres employés.

Bien que d'importantes discussions aient eu lieu dans l'élaboration de ces mesures, on continue de débattre si oui ou non il convient d'adopter de telles mesures à long terme. Au cœur des débats est la question de trouver le juste équilibre entre les premiers indices sur les résultats immédiats et les preuves subséquentes sur les résultats intermédiaires ou finaux.

Les agents de projets disposent et font usage des résultats attendus au moment de recueillir des données liés aux résultats actuels de la fin de l'exercice financier (FEF). Or, une valeur visée, qu'elle soit correcte ou non, peut être plus fixe qu'elle ne le devrait dans les activités de collecte de données liées aux résultats actuels. Souvent, les personnes à qui on demande de fournir une valeur choisissent la valeur visée préexistante puisqu'elle a déjà été acceptée. Cela évite de déployer des efforts supplémentaires pour en produire une nouvelle et d'avoir éventuellement à justifier un changement. L'utilisation des données prévues dans le processus de collecte des données actuelles risque de brouiller les données actuelles.

Si FedNor adoptait une collecte périodique de données sur les résultats de projets de la part de promoteurs au moyen d'un questionnaire, ce dernier ne devrait pas demander les résultats prévus antérieurs au même moment que la collecte de données actuelles. Cette méthode favoriserait l'indépendance dans les activités de collecte de données et éviterait une source d'impartialité potentielle.

Recommandations

Le PDNO et son prédécesseur, le Fonds de développement du Nord de l'Ontario, existent depuis un certain nombre d'années. Des évaluations successives ont cerné des lacunes dans la méthode utilisée pour mesurer le rendement. Au cours des derniers mois, FedNor a déployé beaucoup d'efforts pour répondre à ces préoccupations dans les domaines de la surveillance et de la mesure du rendement.

Nous fondant sur ces travaux et les conclusions de la présente évaluation de mi-mandat, nous proposons les recommandations suivantes sur le système de gestion du rendement et sur la qualité des données.

Il est recommandé :

1. que FedNor détermine les avantages et les coûts liés à la collecte d'information sur la mesure du rendement des résultats de projets au-delà de la date de clôture des projets. Le cas échéant, FedNor devrait étendre son système de mesure du rendement de manière à saisir ces résultats à plus long terme.
2. que FedNor renforce et formalise les mécanismes de vérification permettant d'assurer la qualité des données, notamment :
   • que l'on fasse une comparaison uniforme des données sur les résultats attendus et réels pour chaque projet;
   • que les agents de programmes et les proposants fassent rapport des résultats finaux sans tenir compte des résultats attendus saisis à l'étape du lancement du projet;
   • que l'on effectue une analyse des données minimales et maximales et des données les plus fréquentes pour les indicateurs;
   • que l'on crée des sous-indicateurs distincts selon les groupes de projet ayant des résultats aux caractéristiques uniques;
   • que l'on réponde aux préoccupations et règle les anomalies portant sur les données et les indicateurs, le cas échéant.

1.0 Contexte

1.1 Comprendre le PDNO

Description du programme

L'Initiative fédérale de développement économique pour le Nord de l'Ontario (FedNor) a été établie en 1987, dans le but d'encourager la croissance et la diversification économiques dans le Nord de l'Ontario. FedNor assure l'exécution du Programme de développement du Nord de l'Ontario (auparavant appelé Fonds de développement économique du Nord de l'Ontario), ¹ le Programme de développement des collectivités, ² le Programme de développement de l'Est de l'Ontario, et l'Initiative des projets pilotes francophones de téléapprentissage dans le cadre du Plan d'action pour les langues officielles du gouvernement du Canada.

À l'origine, le programme FedNor devait durer cinq ans. En mars 1992, il a été prolongé une première fois, pour une deuxième période de cinq ans. En mars 1996, le ministre de l'Industrie annonçait une version restructurée de FedNor ³ au mandat renouvelé pour trois ans avec un financement de 60 millions de dollars, mandat défini en consultation avec divers intervenants, groupes d'intérêts, organisations régionales et le caucus des députés du Nord de l'Ontario. Dans le Plan budgétaire de 1998, le ministre annonçait le maintien d'un soutien aux collectivités du Nord de l'Ontario en confirmant que l'engagement financier à l'égard de FedNor resterait au niveau de 20 millions de dollars par année après 1998–1999. En juin 1999, le ministre annonçait que le budget de FedNor augmenterait de 60 millions de dollars pour les trois années suivantes. En conséquence de cette annonce, en septembre 1999, les députés du Nord de l'Ontario discutèrent des nouvelles priorités de programme émanant d'une série de 18 rencontres communautaires tenues en 1998. La présentation au Conseil du Trésor pour solliciter les 60 millions de dollars supplémentaires a été approuvée en octobre 1999, et peu après, le secrétaire d'État annonçait les détails du nouveau programme ⁴.

En 2005, le gouvernement approuvait pour le PDNO une nouvelle stratégie intégrée de développement régional, visant à maximiser le potentiel de réussite des régions dans la nouvelle économie. La nouvelle stratégie est axée sur la mise en valeur des atouts et des points forts des sous-régions, des collectivités et des groupes spéciaux de la population; l'investissement dans l'innovation, le capital humain et l'infrastructure moderne, et une coordination et une pertinence accrues des politiques et des programmes. L'élément clé de cette nouvelle stratégie était de donner un effet multiplicateur aux activités d'autres intervenants ⁵.

Comme l'indiquait l'évaluation sommative de 2005, les ressources de programme de l'exercice 2002–2003 pour les subventions et contributions et les opérations atteignaient un total de 60,4 millions de dollars, comparativement à 53,4 millions en 2003–2004, 49,0 millions en 2004–2005, et 57,9 millions en 2005–2006 ⁶. Les ressources de programme pour les subventions et contributions et les opérations s'établissent à 59,1 millions de dollars par année pour les exercices 2006–2007 à 2009–2010 ⁷. L'enveloppe de financement pour les exercices 2005–2006 à 2009–2010 prévoit qu'environ quatre employés de coordination de la planification et des politiques (deux ETP) travailleront conjointement à l'évaluation et à la mesure suivies du rendement ^8 9.

Mission du programme

La mission de FedNor pour le Nord de l'Ontario est de « favoriser la croissance économique, la diversification, la création d'emplois et la formation de collectivités autonomes durables dans le Nord de l'Ontario par diverses initiatives qui visent à améliorer l'accès des petites entreprises aux capitaux, à l'information et aux marchés » ^10 11. Le PDNO vise à stimuler la croissance économique dans un territoire géographique vaste et diversifié, qui s'étend des lacs Muskoka jusqu'à la baie James, et de la frontière du Manitoba jusqu'à celle de l'Ouest du Québec ¹². Bien que la zone désignée d'application du programme soit le « Nord de l'Ontario », les proposants de l'extérieur de la région « qui ont démontré clairement que leur projet pourrait avoir des effets positifs pour l'économie du Nord de l'Ontario » peuvent exceptionnellement être admissibles à une aide. La plus grande partie du soutien (environ 90 p. cent) va au secteur sans but lucratif, et l'aide au secteur privé se limite aux petites et moyennes entreprises (PME) de moins de 500 employés ^13 14.

Afin d'accomplir sa mission, accélérer le passage du Nord de l'Ontario vers l'économie du savoir et rendre les entreprises plus concurrentielles sur le marché international, le PDNO a ciblé six secteurs de soutien dans le CGRR du 29 janvier 2007 : développement économique communautaire (DEC); ¹⁵ commerce et tourisme; ¹⁶ innovation; ¹⁷ technologies de l'information et des communications (TIC); ¹⁸ soutien financier aux entreprises, ¹⁹ et capital humain ²⁰.

La responsabilité générale de l'atteinte des résultats de FedNor incombe à son directeur général, qui est aidé dans sa tâche par l'équipe de direction, et relève du sous-ministre adjoint aux Opérations régionales d'Industrie Canada.

Clientèle du programme

Les principaux clients du PDNO dans sa forme actuelle comprennent les entreprises commerciales (en particulier les PME peu susceptibles d'obtenir un financement par emprunt ou fonds de placement parce qu'elles présentent un risque trop élevé); les organisations sans but lucratif de recherche et développement; les sociétés de financement autochtones, les organisations autochtones sans but lucratif, les organismes financiers contrôlés par des Autochtones et les groupes similaires en mesure de stimuler l'activité économique autochtone; les Premières nations et des personnes morales, notamment des organisations constituées sans but lucratif comme les municipalités et les organisations municipales, les organisations de développement communautaire, les établissements d'enseignement postsecondaire, les hôpitaux et les centres régionaux de soins de santé, et autres regroupements sans but lucratif de sociétés en nom collectif, entreprises individuelles, sociétés par actions et coopératives; les entreprises, y compris sociétés par actions, sociétés en nom collectif, coopératives, entreprises individuelles, fiducies ou consortiums; et les organisations d'Aide au développement des collectivités ^21 22.

Prestation du programme

i) Modèle de prestation

Pour mieux servir sa clientèle et permettre aux agents de FedNor de maintenir d'étroits contacts avec la collectivité, le PDNO a adopté une approche communautaire du développement axée sur les initiatives locales de renforcement des capacités qui ciblent des priorités stratégiques et des secteurs économiques clés. Plus de 80 p. cent des ressources vont au soutien d'un réseau décentralisé sur le terrain. FedNor compte trois bureaux principaux, à Sudbury (siège social), Sault Ste. Marie et Thunder Bay, et des bureaux satellites à plusieurs autres endroits stratégiques sur le plan géographique (Timmins, North Bay, Parry Sound et Kenora) ²³.

La nouvelle structure organisationnelle, telle que décrite dans le CGRR de 2001, a été implantée pour assurer la continuité des relations au niveau communautaire. Les clients d'une région géographique pourraient facilement établir des rapports avec des agents particuliers de FedNor qui seraient leur contact. De plus, la structure permettrait aux agents de mieux percevoir les besoins et les possibilités de leur clientèle, et de cerner les forces et les faiblesses, non seulement du point de vue du développement économique, mais aussi de la capacité du client à gérer des projets et des fonds, et à présenter des demandes dûment remplies ²⁴.

Chacun des trois bureaux principaux a été doté d'agents de contrôle et des paiements, et la restructuration du modèle de prestation de services en 2000 comprenait l'ajout d'une fonction de programmes et de politiques, responsable notamment de l'élaboration de programmes et de politiques, de l'orientation fonctionnelle des agents de programmes et de l'évaluation des programmes ²⁵.

Les agents de programmes proposent deux types de soutien aux clients des programmes du PDNO ²⁶ :

• Conseil — Les conseils dispensés par les agents de FedNor sur le terrain prennent diverses formes, par exemple des conseils sur l'admissibilité du projet et du proposant, des partenariats de courtage d'aide, des conseils pour la préparation de propositions et des explications sur les modalités régissant l'admissibilité du projet et du proposant, la fourniture de données économiques, la coordination d'activités de promotion et de commercialisation, et les processus d'approbation des projets et de traitement des demandes de remboursement.
• Financement — Le financement englobe les contributions à une vaste gamme de projets de développement régional et communautaire. Ces projets comportent habituellement un financement complémentaire avec effet multiplicateur d'autres sources externes, notamment des partenaires régionaux et communautaires, d'autres paliers de gouvernement, le secteur privé et des organisations non gouvernementales.

Processus de demande et procédure de surveillance des projets

Dans le cadre de son processus annuel de planification des activités, la direction de FedNor sollicite la contribution du personnel de prestation, de l'Unité des stratégies sectorielles et de Politiques, planification et coordination (PPC), afin d'établir les priorités de financement des six unités du PDNO. Ces priorités sont communiquées au personnel de prestation, qui les fait connaître aux clients intéressés à recevoir un soutien financier.

Habituellement, les clients élaborent leurs propositions en collaboration avec l'effectif de FedNor, dans le contexte des priorités de FedNor, bien que certaines propositions soient présentées spontanément. Cette approche collaborative permet à FedNor d'assurer une gestion suivie du budget du PDNO, tout en gérant les attentes de la clientèle, pour une adaptabilité optimale aux besoins de la clientèle et des collectivités. Les idées de projet sont consignées sur un formulaire de nouvelle proposition qui circule parmi les collègues régionaux. Le formulaire comprend les indicateurs de résultats immédiats requis pour mesurer les résultats énoncés dans la matrice de mesure du rendement du CGRR de 2007 pour le PDNO.

Lorsque l'agent de programmes de FedNor reçoit une proposition de financement, il prépare une évaluation détaillée du projet qu'il résume sur le formulaire de sommaire de projet (FSP). Ce formulaire consigne les objectifs et les mérites du projet, ainsi que la justification de son approbation. L'évaluation constitue une référence à partir de laquelle l'agent peut évaluer et surveiller l'avancement du projet, et témoigne de la diligence raisonnable exercée par FedNor dans l'examen et l'approbation des propositions. L'agent remplit le FSP dans le cadre du processus d'examen de la demande et de préparation du projet, et communique sa recommandation au moyen du formulaire et de documents d'accompagnement au titulaire approprié des pouvoirs délégués, pour approbation (lettre d'offre) ou refus (avis de refus).

Avant présentation au titulaire approprié des pouvoirs délégués, les propositions font l'objet d'un examen par les collègues. L'ébauche du FSP est transmise par courriel à l'ensemble des agents de programmes dans tout le Nord de l'Ontario, pour examen et commentaires généraux. La version finale du FSP, qui devrait tenir compte des commentaires, préoccupations et enjeux exprimés lors de cet examen initial, est également examinée par des pairs aux fins d'assurance de la qualité. Un agent désigné du contrôle et des paiements étudie également la proposition, pour déceler d'éventuels problèmes de demande de remboursement, identifier les risques éventuels pour la prestation du projet et la présentation des demandes de remboursement, et convenir d'un plan de surveillance fondé sur le risque.

Lorsque les formulaires de nouvelle proposition et de sommaire de projet ont été produits, ils franchissent les étapes de l'élaboration, puis de l'acheminement pour approbation, pour ensuite être classés dans la catégorie des projets approuvés, ou des projets refusés ou retirés. Chaque catégorie de classement comporte ses propres limites d'accès informatique. Lorsqu'un projet est entré au répertoire informatique des projets approuvés ou des projets refusés ou retirés, l'accès pour modification est restreint à un nombre très réduit d'utilisateurs. L'accès en lecture seule est consenti à tous les employés de programme à titre de référence.

Les bénéficiaires doivent produire des rapports d'étape réguliers et un rapport sommaire final de projet. La lettre d'offre du PDNO au bénéficiaire précise que le bénéficiaire doit produire sur demande les données et résultats que le gouvernement juge nécessaires aux fins de surveillance de la contribution et d'évaluation. Les données, notamment les indicateurs de résultats immédiats requis pour mesurer les résultats énoncés dans le CGRR pour le PDNO, doivent être produites en temps opportun.

L'agent de projet est chargé d'administrer l'évaluation finale de projet (EFP), qui réunit des renseignements sur les résultats immédiats finaux du projet. Les résultats attendus du projet qui avaient été consignés au FSP sont également entrés dans l'EFP, sous la rubrique « résultats attendus ». À cette étape, l'agent doit transcrire les résultats attendus du projet depuis le fichier du FSP (document WordPerfect) au fichier d'EFP (document PDF), ces deux formats étant incompatibles. Politiques, planification et coordination (PPC) de FedNor administre la base de données des EFP (MS Access), et crée et tient à jour tous les formulaires du PDNO (lettre d'offre, nouvelle proposition, sommaire de projet et évaluation finale de projet).

Tous les originaux des documents (sur papier), y compris les formulaires de nouvelle proposition, de sommaire de projet et d'évaluation finale de projet, sont portés à un dossier principal. À cette étape, une EFP doit être approuvée par un gestionnaire avant d'être acheminée pour stockage dans la base de données des EFP, à titre de mesure d'assurance de l'intégrité des données. Cette nouvelle exigence est entrée en vigueur le 28 janvier 2008. Comme ce changement a été apporté juste avant la collecte de données pour la présente évaluation, il n'a pas été possible d'évaluer l'efficacité de cette nouvelle procédure.

1.2 Évaluation de mi-mandat de 2008

Industrie Canada a établi les modalités d'une évaluation de mi-mandat du Programme de développement du Nord de l'Ontario (PDNO). Ces modalités énoncent les paramètres d'étude et les méthodes de saisie des données pour l'étude (soit examen des dossiers et documents, entrevues auprès d'intervenants clés et analyse documentaire) et les éléments du PDNO à examiner. La portée de l'évaluation se limite aux enjeux et à la recherche sur les questions d'intérêt pour la haute direction définis à l'Annexe A des modalités, l'évaluation de mi-mandat s'attachant principalement à la mesure du rendement, à la surveillance des données de résultats, et à la fonction de rapport.

2.0 Méthodologie et approche

2.1 Questions évaluées

L'évaluation de mi-mandat devait porter sur les trois principaux domaines indiqués à l'Annexe A de la DP, soit pertinence, conception et prestation, et leçons apprises, plus précisément :

Pertinence du programme

• Y a-t-il chevauchement ou dédoublement par rapport à d'autres programmes gouvernementaux? (QE1.2)
• Est-ce que FedNor collabore avec d'autres ministères et d'autres gouvernements pour réduire les chevauchements? (QE1.2)

Conception et prestation

• Quels facteurs ont facilité ou entravé la stratégie de FedNor pour la mesure du rendement du PDNO et la gestion de ces résultats?
• Quelles leçons ont été apprises de la stratégie de FedNor pour la mesure du rendement du PDNO et la gestion de ces résultats?

Leçons apprises

• Quels facteurs ont facilité ou entravé la mise en œuvre du programme?
• Quelles leçons apprises pourraient s'appliquer à de futurs programmes du PDNO? (5.1)
• Quelles leçons apprises pourraient s'appliquer à la mesure du rendement, à la surveillance du rendement et à la collecte de données? (5.2)

Après examen et approbation du rapport de méthodologie, la direction de FedNor a remis en question la pertinence des questions sur les leçons apprises énoncées à l'Annexe A et acceptées dans le rapport d'évaluation. La direction de FedNor en a discuté avec la Direction générale de la vérification et de l'évaluation (DGVE), et il a été convenu que les questions de l'Annexe sur les leçons apprises seraient remplacées par des questions visant plus explicitement l'enjeu de la mesure du rendement et de la gestion de ces résultats. Les questions de remplacement se présentent ainsi :

• Quels facteurs ont facilité ou entravé la stratégie de FedNor pour la mesure du rendement du PDNO et la gestion de ces résultats?
• Quelles leçons ont été apprises de la stratégie de FedNor pour la mesure du rendement du PDNO et la gestion de ces résultats?

Les guides d'entrevue fournis avec le rapport de méthodologie ont été modifiés en conséquence, et leur version révisée figure en annexe du présent rapport.

Compte tenu du calendrier serré de l'évaluation, les entrevues de groupe et individuelles se sont limitées aux intervenants clés, principalement des membres de l'effectif du programme et des spécialistes universitaires. Les économies réalisées grâce aux voyages évités ont été affectées en ressources supplémentaires pour l'analyse documentaire. La nature des enjeux examinés fait qu'il n'y a pas eu d'enquête auprès des clients pour ce stade d'évaluation de mi-mandat. Les enquêtes auprès des clients conviendront mieux au cadre d'une évaluation sommative axée sur les incidences pour les clients.

2.2 Grille d'évaluation

La méthodologie vise les éléments suivants :

• Examen de documents liés au programme.
• Analyse documentaire.
• Examen de la surveillance et des rapports sur le rendement.
• Entrevues avec 20 intervenants clés.

La première tâche en vertu du marché consistait à produire un rapport sur la méthodologie détaillée de l'évaluation. La pièce I-1 résume le plan de recherche pour l'évaluation, notamment les méthodes et sources employées pour répondre aux questions d'évaluation. Le plan de la pièce diffère de celui proposé dans le rapport de méthodologie, pour intégrer les modifications convenues relativement aux questions sur les leçons apprises.

Examen de documents liés au programme

Nous avons examiné les documents clés du programme pour l'évaluation, en portant une attention particulière aux aspects touchant la présente évaluation, soit assurer la disponibilité de données en vue de l'évaluation sommative de 2010–2011, identifier toute lacune dans les données, et proposer des stratégies pour corriger ces lacunes. Les documents examinés comprenaient le Cadre de gestion et de responsabilisation axé sur les résultats, les évaluations et vérifications antérieures du programme précédent, et autres documents pertinents. L'Appendice B présente la liste des documents liés au programme examinés.

Ces documents ont contribué au développement de l'approche de méthodologie et à la formulation des questions pour les entrevues des intervenants clés. Ils ont également servi à mettre en contexte les constatations du présent rapport de mi-mandat.

Analyse documentaire

Nous avons réalisé une analyse documentaire très limitée pour l'évaluation de mi-mandat, les ressources étant restreintes, et l'analyse documentaire de l'évaluation sommative de 2005 ayant déjà absorbé d'importantes ressources. Une analyse plus complète sera entreprise pour l'évaluation sommative de 2010–2011.

La direction de FedNor a répertorié un groupe central de documents, rapports et études pour l'examen, notamment des publications de l'OCDE. Parmi ces documents :

• Le nouveau paradigme rural, OCDE (2006).
• Examen territorial du Canada, OCDE (2002).
• Réaliser le potentiel des sciences et de la technologie au profit du Canada, gouvernement du Canada (2007).
• Comprendre l'exode : Lutte contre la pauvreté rurale, Comité sénatorial permanent de l'agriculture et des forêts (2006).
• Youth Intern Program: Comparative Report, FedNor, (2006).
• A Review of Rural and Regional Development Policies and Programs, Réseaux canadiens de recherche en politiques publiques (2008).

L'Appendice B présente l'analyse documentaire.

L'analyse documentaire de mi-mandat avait comme objet principal d'étudier des publications sur le développement économique, le développement régional et la stratégie des sciences et de la technologie. À partir de cette analyse, nous avons réalisé deux entrevues avec des experts universitaires, pour connaître leur opinion sur l'approche adoptée par FedNor à l'égard du PDNO. L'Appendice D présente le guide employé pour ces entrevues.

Examen de la surveillance et des rapports sur le rendement

L'examen de la surveillance et des rapports sur le rendement s'est attaché à trois questions d'évaluation :

• Est-ce que l'on recueille, consigne, protège et utilise des indicateurs de rendement pertinents pour mesurer les résultats des projets du PDNO?
• Quel est le degré d'assurance de la qualité des données?
• Dans quelle mesure FedNor a-t-elle réglé les questions de saisie des données, de surveillance des données de rendement et de rapports relevées dans les études d'évaluation antérieures?

La matrice de mesure du rendement du CGRR de 2007 a servi de point de départ à notre examen et notre évaluation de la mesure du rendement, de la surveillance des données de rendement, et des rapports. ²⁷ La première tâche consistait à établir si l'information était recueillie conformément à la matrice. Nous avons ensuite abordé les enjeux de l'exhaustivité (nombre d'observations manquantes) et de l'exactitude (valeurs douteuses ou peu vraisemblables) dans le chiffrier de saisie des données d'évaluation finale de projet du PDNO qui nous avait été transmis, couvrant la période du 1^er juillet 2006 au 31 mars 2007. Au-delà de la simple conformité aux exigences du CGRR, nous avons examiné à quel point les mesures étaient adaptées à l'usage visé. L'examen de la base de données et les entrevues des intervenants clés ont servi à évaluer les éléments suivants :

• Les indicateurs sont-ils d'un niveau approprié pour mesurer l'incidence attendue du programme?
• Le moment de la collecte des données liées aux indicateurs permet-il de saisir les incidences attendues du programme? Devrait-on prévoir des intervalles différents pour d'éventuelles incidences de programme différentes?
• À quel usage sont destinées les données de surveillance? Ont-elles été utilisées à cette fin ou à d'autres fins? Pourquoi, ou pourquoi pas?

Les constatations de cet examen sont présentées dans les sections pertinentes du chapitre II.

Entrevues avec les intervenants clés

Nous avons réalisé des entrevues avec les six groupes d'intervenants clés suivants, pour un total de 19 répondants ²⁸ :

• Gestionnaires de la prestation des programmes (n=2)
• Agents de contrôle et des paiements (n=4)
• Agents de programmes (n=3) ²⁹ Quatre étaient prévus au départ.
• Politiques, planification et coordination (PPC), y compris le directeur (n=5)
• Unité des stratégies sectorielles (USS), y compris le gestionnaire (n=3)
• Experts universitaires (n=2)

Les responsables de FedNor et les membres du comité directeur ont aidé l'équipe de recherche à identifier des intervenants clés pour chaque groupe de répondants, et fourni les coordonnées des répondants pressentis. La direction de FedNor a également contribué à l'organisation des entrevues conjointes pour maximiser la participation. Les répondants pressentis ont été très obligeants, se libérant à court préavis pour participer aux entrevues. Sans leur aide, nous n'aurions pas été en mesure de respecter les échéanciers de l'évaluation. Les entrevues se sont déroulées sur une période de deux semaines. Nous n'avons pas réalisé d'entrevues avec des clients, mais des clients seront consultés dans le cadre de l'évaluation sommative prévue pour 2010–2011.

Toutes les entrevues se sont effectuées par téléphone, et ont duré de 30 minutes à deux heures, un peu plus longtemps dans le cas des agents de programmes et des agents de contrôle et des paiements. En moyenne, une entrevue durait 75 minutes.

En collaboration avec le personnel de la DGVE et de FedNor, nous avons élaboré des guides d'entrevue distincts, certains étant communs à plus d'un groupe, pour être sûrs de ne poser aux répondants de FedNor que des questions portant sur leurs activités relatives au PDNO. Les répondants étaient libres de ne pas répondre à toute question qu'ils ne jugeaient pas pertinente à leur situation. Nous cherchions à obtenir des types d'information similaires des divers groupes (caractère approprié des indicateurs, qualité des données, etc.), mais des questions plus spécifiques avaient été prévues pour les agents s'occupant de la prestation du programme. À titre d'exemple, la direction de FedNor avait à répondre à des questions générales sur la mesure dans laquelle FedNor avait réglé les questions de saisie des données, de surveillance des données de rendement et de rapports relevées dans les études d'évaluation antérieures, tandis que les questions aux agents portaient sur les changements précis apportés aux formulaires, processus et procédures de collecte pour améliorer la qualité des données recueillies. On demandait aux deux groupes d'évaluer les modifications qui avaient été apportées, et le cas échéant d'indiquer les améliorations restant à apporter. L'Appendice D présente les guides des entrevues des intervenants clés.

2.3 Limites de la méthodologie

Examen de documents liés au programme

Nous avons réalisé un examen approfondi des documents clés du programme fournis pour l'évaluation de mi-mandat, y compris ceux sur la mesure du rendement. Ces documents ont joué un rôle essentiel dans l'élaboration de l'approche de méthodologie pour l'évaluation de mi-mandat et dans l'établissement du contexte des constatations.

Analyse documentaire

L'analyse documentaire portait principalement sur le développement économique communautaire, le développement régional et la stratégie des sciences et de la technologie. Les constatations de l'analyse documentaire visent à enrichir l'évaluation des facteurs qui ont facilité ou entravé la mise en œuvre du PDNO. L'analyse présente également un survol des leçons qui pourraient s'appliquer à de futurs programmes du PDNO, et une revue de la pertinence des mesures du rendement, de la surveillance et de la collecte de données au PDNO. L'analyse documentaire se limitait aux documents, études et rapports de base publiés depuis les examens antérieurs du PDNO.

Examen de la surveillance et des rapports sur le rendement

Nous avons étudié les données du chiffrier de saisie des données d'évaluation finale de projet du PDNO, couvrant la période du 1^er juillet 2006 au 31 mars 2007. Ces données portaient sur un nombre limité (n=273) de projets de chacun des six secteurs de programme du PDNO. La période couverte par les données était relativement brève à cause de la relative nouveauté du CGRR et des indicateurs de rendement connexes. Néanmoins, cette période était probablement suffisante pour permettre d'identifier et de corriger les problèmes initiaux, ce qui fait que l'ensemble de données présentait un niveau de maturité raisonnable aux fins de l'examen. Ce dernier portait sur la conformité aux exigences du CGRR et les anomalies des données (valeurs manquantes, surutilisées ou aberrantes, c'est-à-dire s'écartant de la fourchette attendue).

Entrevues avec les intervenants clés

La période consacrée aux entrevues était très brève, et nous n'avons donc pu réaliser qu'un petit nombre d'entrevues, peu d'entre elles étant des entrevues particulières. La plupart étaient avec deux ou trois personnes. Dans le cas des agents de programmes et des agents de contrôle et des paiements, les groupes comptaient quatre personnes (deux du Nord-Ouest et deux du Nord-Est). Nous avons fait appel à des agents à différents stades de leur carrière, tant des agents relativement nouveaux que des personnes qui travaillaient pour le programme depuis plusieurs années.

Afin que les participants se sentent à l'aise pour s'exprimer en petit groupe, nous avons interviewé séparément les gestionnaires et les membres de l'effectif, à une exception près où les personnes en cause ont choisi d'être interviewées ensemble.

Compte tenu du petit nombre d'entrevues réalisées, en particulier avec du personnel de première ligne (trois agents de programmes sur les 40 en poste), les constatations des entrevues avec les intervenants clés devraient être réputées indicatives, mais non définitives. Il s'agit de l'opinion des quelques répondants consultés, qui ne corresponde pas nécessairement à celle de l'ensemble du groupe. En entrevue, nous avons tenté d'établir si d'autres agents partageaient les opinions exprimées, mais il ne s'agit pas d'une façon entièrement satisfaisante de sonder l'opinion de l'ensemble des agents. D'autres répondants auraient pu avoir un point de vue différent sur certaines des questions, s'ils avaient participé aux entrevues, facteur qu'il convient de garder à l'esprit à la lecture des constatations.

Les clients ne faisaient pas partie de l'évaluation de mi-mandat, parce que l'on estimait qu'ils n'auraient que peu d'éléments à apporter sur les enjeux d'évaluation visés par la présente étude. Les clients devraient prendre une place plus importante dans l'évaluation sommative, puisqu'elle sera probablement axée sur les incidences pour la clientèle.

Aux fins de formation et perfectionnement, un membre de l'effectif de la DGVE a écouté le déroulement de quatre des sept entrevues, mettant en cause 12 des 19 répondants. Bien qu'il soit impossible de juger l'incidence de l'écoute des entrevues par un observateur tiers, compte tenu de la forme de recherche effectuée pour la présente étude, toute forme de distorsion en découlant serait probablement positive pour le programme.

^*1 La grille d'évaluation s'inspire de l'Annexe A (grille des questions d'évaluation formative du PDNO) aux modalités pour l'évaluation de mi-mandat du PDNO. (Retour au texte)

^*2 Plan d'analyse.(Retour au texte)

^*3 Référence à la question d'évaluation comparable de la matrice de mesure du rendement du CGRR, le 29 janvier 2007.(Retour au texte)

^*4 Révisé après présentation du rapport de méthodologie, tel que convenu par la direction du PDNO et la DGVE.(Retour au texte)

3.0 Constatations de la recherche

3.1 Pertinence du programme

Les modalités régissant l'évaluation de mi-mandat de 2008 prévoient deux questions relatives à la pertinence :

• Y a-t-il chevauchement ou dédoublement par rapport à d'autres programmes gouvernementaux? (QE1.2)
• Est-ce que FedNor collabore avec d'autres ministères et d'autres gouvernements pour réduire les chevauchements? (QE1.2)

3.1.1 Y a-t-il chevauchement ou dédoublement par rapport à d'autres programmes gouvernementaux?

Conclusion

Les commentaires reçus lors des entrevues avec des employés de FedNor semblent indiquer que l'on encourage les clients à chercher de multiples sources de financement. Un projet peut donc recevoir un financement à la fois du PDNO et d'un autre programme. Les organismes de financement décident des aspects du projet qu'ils soutiendront à partir de leurs propres critères d'évaluation, et le PDNO fait de même. Il y a chevauchement entre le PDNO et d'autres programmes dans le sens qu'ils peuvent verser un financement au même projet. On a cependant institué des mécanismes pour assurer la collaboration et éviter le dédoublement des sources de financement.

Contexte

Nous définissons le chevauchement comme une couverture multiple du même projet ou de la même activité. Le chevauchement peut constituer un problème, mais pas nécessairement. C'est seulement lorsque le chevauchement s'accompagne de dédoublement que les ressources de la société ne sont pas employées de façon opportune. Ainsi, un projet valable pourrait ne pas aller de l'avant sans un soutien gouvernemental de 10 000 $. Le projet peut satisfaire aux critères d'admissibilité de deux programmes qui se chevauchent. Les ressources de la société ne sont pas gaspillées si l'un ou l'autre programme, ou les deux en combinaison, fournissent les 10 000 $. Par contre, si ensemble les programmes versent plus de 10 000 $, il y a dédoublement, et le montant de la contribution dépassant 10 000 $ représente un gaspillage de ressources. Comme l'illustre cet exemple, la coordination s'impose pour évitement le dédoublement en situation de chevauchement. Cet aspect est traité plus en détail dans la question d'évaluation suivante.

Constatations

Le PDNO n'est pas le seul programme de soutien à l'économie du Nord de l'Ontario. Parmi d'autres sources de financement et programmes importants, mentionnons :

• le Fonds du patrimoine du Nord de l'Ontario (par l'intermédiaire du ministère du Développement du Nord et des Mines);
• la Fondation Trillium de l'Ontario (un organisme du gouvernement de l'Ontario);
• le Programme de développement économique des collectivités rurales (par l'intermédiaire du ministère de l'Agriculture, de l'Alimentation et des Affaires rurales de l'Ontario);
• Partenariats pour la création d'emplois de l'Ontario (par l'intermédiaire du ministère de la Formation et des Collèges et Universités de l'Ontario);
• divers programmes de Ressources humaines et Développement social Canada, du Conseil national de recherches (en particulier le Programme d'aide à la recherche industrielle), d'Affaires indiennes et du Nord Canada (en particulier le soutien aux entreprises autochtones par les programmes d'Entreprise autochtone Canada), et des contributions par les municipalités.

Il y aurait donc de multiples sources potentielles pour un projet admissible à un soutien du PDNO, et le chevauchement existe.

3.1.2 Est-ce que FedNor collabore avec d'autres ministères et d'autres gouvernements pour réduire les chevauchements?

Conclusion

FedNor collabore avec d'autres ministères et dans les dossiers comportant plus d'une source de financement ministériel, on effectue une analyse du cumul de financement en double pour assurer le respect des lignes directrices à cet égard. FedNor acquiert une connaissance poussée des modalités de financement en s'impliquant étroitement avec les autres organismes de financement et le client dès le début du projet. De plus, la lettre d'offre indique au client qu'il doit déclarer toutes les sources de financement. Une surveillance attentive du projet tout au long de son cycle de vie permet également de s'assurer que le client respecte l'accord de financement, et les agents de FedNor peuvent contester un paiement en présence d'anomalies.

Contexte

Les conclusions d'évaluations antérieures étaient que le financement du PDNO représente un complément à la contribution d'autres programmes gouvernementaux ou sources de financement, plutôt qu'un dédoublement.

Constatations

Le PDNO a un vaste champ d'application, visant toutes sortes d'activités liées au développement régional. Les répondants ont indiqué que les bénéficiaires ont accès à de nombreux programmes, dont certains se chevauchent. Cependant, les programmes ont des mandats, des critères d'admissibilité et des restrictions au financement qui diffèrent, ce qui fait que, même lorsqu'il y a chevauchement des programmes, les partenaires de financement dirigent leur aide sur des éléments différents du projet. Dans le cas où ils financent des éléments similaires, ils se conforment alors aux lignes directrices sur le financement en double. On attend des proposants qu'ils trouvent de multiples partenaires pour leurs projets. Les agents de FedNor participent à la négociation de tels arrangements entre le client et les autres organismes de financement. En agissant ainsi, FedNor peut agir pour rehausser l'efficacité des partenariats, dans l'esprit de l'approche préconisée par l'OCDE dans Le nouveau paradigme rural. Selon ce rapport de l'OCDE, il faut prendre en compte les facteurs nécessaires à des partenariats efficaces et être conscient des obstacles possibles à un partenariat efficace.

Le client doit certifier toutes les sources de financement, et il est tenu d'aviser le PDNO de toute modification du financement. Les projets font l'objet d'une surveillance attentive afin de s'assurer que l'on ne s'écarte pas des modalités de financement convenues à l'origine. Si une facture comporte des anomalies, le paiement peut être reporté jusqu'à ce que la question soit réglée.

Les intervenants clés pour l'évaluation de mi-mandat de 2008 convenaient de façon unanime que des mesures de protection étaient implantées pour réduire le chevauchement et le dédoublement, et qu'elles n'avaient pas besoin d'amélioration.

Examen de documents

Des évaluations antérieures abordaient la question du chevauchement, moins directement (à l'égard des autres ministères et autres gouvernements) dans l'évaluation formative de 2002, et plus directement dans l'évaluation sommative de 2005. Voici un sommaire des constatations de ces évaluations, pour mettre en contexte les constatations de 2008.

L'évaluation formative de 2002 ³⁰ a trouvé « peu de preuves » que les programmes et services de FedNor faisaient concurrence à ceux d'organismes privés ou gouvernementaux, malgré le fait que FedNor collaborait avec des banques et d'autres établissements de crédit afin de permettre aux entreprises d'obtenir des prêts à haut risque. La plupart des intervenants interviewés en 2002 estimaient que FedNor était « unique en son genre dans le Nord de l'Ontario », y compris comparativement à la Société de gestion du Fonds du patrimoine du Nord de l'Ontario (SGFPNO) ^31 32. En élargissant la comparaison à l'extérieur de la région du Nord de l'Ontario, on constatait que FedNor présentait un mandat, une conception de programme et une stratégie de prestation similaires à celles des trois organismes de développement régional exerçant un rôle comparable à celui de FedNor ailleurs au Canada [(Agence de promotion économique du Canada Atlantique (APECA), Agence de développement économique du Canada pour les régions du Québec et Diversification de l'économie de l'Ouest (DEO)]. Les employés soulignaient la complémentarité entre FedNor et la SGFPNO, et le rôle de FedNor pour aider les collectivités à obtenir des fonds d'autres sources.)

Lors de l'évaluation sommative de 2005 ³³, on a interrogé les répondants sur la disponibilité d'autres programmes ou services du gouvernement fédéral ou provincial qui seraient comparables au FDNO, et disponibles dans le Nord de l'Ontario. Moins de la moitié des répondants ont été en mesure d'identifier des programmes et services comparables. Parmi les autres programmes et services mentionnés : Fonds du patrimoine du Nord de l'Ontario, RHDSC, Fondation Trillium et Développement du Nord et Mines. En réponse à une question sur l'importance du financement de FedNor, près de la moitié des répondants indiquaient que leur projet n'aurait pas été entrepris sans la participation de FedNor. Dans les cas où les projets seraient tout de même allés de l'avant sans financement de FedNor, les répondants indiquaient que l'absence de financement de FedNor aurait affecté leur projet, c'est-à-dire que le lancement du projet aurait été remis à plus tard, que la réalisation du projet aurait pris plus de temps, que la portée du projet aurait été réduite, ou que la qualité du projet aurait été moindre. Dans le rapport de l'évaluation sommative de 2005, on concluait que FedNor collaborait de façon étendue avec d'autres organismes, que le financement du FDNO s'inscrivait en complément de la contribution d'autres sources de financement, plutôt qu'en tant que dédoublement, et qu'aucune autre méthode de prestation en remplacement du FDNO n'aurait pu produire les mêmes résultats à moindre coût.

Entrevues des intervenants clés pour l'évaluation de mi-mandat de 2008

Nous avons posé aux gestionnaires de programme, aux répondants de Politiques, Planification et coordination et de l'Unité des stratégies sectorielles (répondants GP/PPC/USS), et aux agents de programmes et experts universitaires une série de questions sur l'enjeu du chevauchement, et les mesures prises par FedNor pour réduire le chevauchement avec les activités d'autres ministères et d'autres gouvernements ³⁴. Les répondants qui n'étaient pas touchés par cet aspect du programme ont choisi de ne pas répondre à ces questions.

Autres programmes et sources de financement disponibles

Les répondants de FedNor ont indiqué que les bénéficiaires du PDNO avaient accès à de multiples sources de financement et programmes gouvernementaux, en plus de ce qu'offre le PDNO, et qu'il y avait chevauchement entre certains de ces programmes. Le PDNO a un vaste champ d'application, visant toutes sortes d'activités liées au développement régional. Le facteur critique n'est pas l'existence d'un chevauchement avec un autre programme, mais plutôt le fait que les programmes ont des mandats, des critères d'admissibilité et des restrictions au financement qui diffèrent et que, par conséquent, lorsque des programmes qui se chevauchent sont mis à contribution pour un même projet, leur participation se restreint à des composantes différentes du projet et qu'ils se conforment aux lignes directrices sur le financement en double lorsqu'ils financent des composantes similaires. L'expression qui ressortait le plus souvent des discussions état « complémentarité ». Le financement du PDNO s'inscrit en complément de celui d'autres sources et selon les intervenants clés, il n'y a pas de dédoublement. On a ensuite demandé aux répondants de FedNor ce que l'on faisait pour réduire le chevauchement et le dédoublement (le dédoublement survenant lorsque l'on demande aux deux parties de rembourser les mêmes coûts), et si ces mesures préventives étaient adéquates, ou devaient être améliorées.

Procédure de réduction du chevauchement et du dédoublement

Les mesures préventives s'amorcent au niveau du programme où l'on envisage de nouvelles initiatives ou de nouveaux programmes. Une analyse de l'environnement est effectuée, afin d'établir s'il existe des programmes similaires à celui que l'on envisage, de qui relève la prestation du programme, et quel est l'objectif ou le champ d'application du programme. L'analyse a pour objet de s'assurer que les nouveaux programmes ne créent pas un dédoublement d'un soutien déjà disponible, et plus précisément d'identifier les lacunes des programmes que la nouvelle initiative pourrait corriger.

Les mesures préventives se poursuivent au niveau du financement. Les programmes financent seulement certains types de coûts, avec des limites à la contribution possible d'un programme particulier. Il n'est pas permis de financer 100 p. cent du coût d'un projet à partir d'un programme, ce qui s'applique au PDNO, malgré son orientation dominante sur le secteur sans but lucratif. Les seuils de financement varient en fonction du projet; ainsi, jusqu'à 75 p. cent des coûts d'un projet de R et D peuvent être admissibles, alors que cette proportion s'établit à 50 p. cent pour d'autres projets. Si plusieurs sources de financement visent des composantes similaires, les agents de FedNor exécutent une analyse de financement en double des fonds provenant des divers programmes gouvernementaux (fédéraux, provinciaux ou locaux), en s'efforçant de ne pas dépasser les 90 p. cent ³⁵. Selon le projet, le PDNO peut financer entre le tiers et la moitié du coût d'un projet, le reste du financement provenant du proposant et d'autres partenaires de financement. La création de partenariats en financement représente une pratique acceptée. Les agents des divers programmes et sources de financement communiquent entre eux, échangent des renseignements pour établir qui financera quoi, et entament souvent des discussions avec d'autres organismes avant même que la demande de projet ait été présentée. Il est attendu des proposants qu'ils recherchent d'autres sources de financement pour leur projet ³⁶. Certains programmes comportent également des restrictions (p. ex. Programme de jeunes stagiaires) qui excluent un financement à la fois du gouvernement fédéral et du gouvernement provincial.

La lettre d'offre énonce les modalités de financement convenues. Le proposant doit « certifier » toutes les sources financement dans le cadre du processus de demande, et doit informer le PDNO de toute nouvelle source de financement qui se présente pour le projet, afin de régler tout problème éventuel de dédoublement après production de l'offre (la lettre d'offre comprend une disposition à cet effet). La lettre d'offre peut intégrer des éléments de discussion et des calendriers très précis. De plus, on a recours à un service de suivi de l'actualité, qui pourrait informer de tout changement dans les modalités de financement si le client n'en avisait pas le programme.

Si le PDNO n'est pas en mesure de financer un projet particulier, l'agent aiguillera le proposant vers d'autres programmes ou sources de financement, et pourra collaborer avec les agents de ces derniers afin de trouver d'autres sources de financement pour le projet. La possibilité pour le proposant de réussir à obtenir d'autres sources de financement dépendra de la conformité du proposant et du projet aux critères et exigences des autres sources. L'admissibilité n'étant pas le critère directeur du PDNO, les responsables du programme se sont abstenus de participer à certains projets qui étaient techniquement admissibles (proposant admissible, coûts particuliers admissibles). Les motifs précis de ces refus varient, mais il s'agit habituellement de questions touchant l'incidence économique du projet, relevées lors du processus d'évaluation du projet et d'exercice de la diligence raisonnable. Sans financement du PDNO, un tel projet pourrait être retardé, être révisé avec une moindre portée, ou ne pas aller de l'avant. Parfois, un proposant peut revoir son plan à partir des commentaires du PDNO, et décider d'abandonner le projet.

Les projets font l'objet d'une surveillance attentive de la part des agents de programmes et des agents du contrôle et des paiements, qui s'assurent à partir des rapports d'étape que le projet reste sur la bonne voie. Cette fonction se rattache directement aux activités et au paiement des factures. Si une facture présente des anomalies, le paiement peut être retardé jusqu'à ce que l'on ait discuté de la question avec le client, ou la facture peut être examinée article par article pour s'assurer qu'elle est conforme à l'entente. Bon nombre des bénéficiaires du financement du PDNO n'en sont pas à leur première collaboration avec l'organisation, ils connaissent bien le processus et n'ont pas l'intention de compromettre leur relation avec le PDNO. L'Unité des stratégies sectorielles peut également faire part au besoin de renseignements ou de réflexions supplémentaires aux agents de programmes.

Qu'arriverait-il sans financement du PDNO?

Compte tenu de l'approche communautaire adoptée par le PDNO et de la connaissance que possède son personnel des enjeux qu'affrontent les collectivités du Nord de l'Ontario, le PDNO est souvent la première réponse aux besoins. La présence du programme et le travail entrepris dès les étapes initiales ouvrirait apparemment la voie à des investissements subséquents par le gouvernement provincial ou le secteur privé, et sur ce plan, le PDNO peut être envisagé comme un catalyseur de changement. Comme on le mentionnait dans l'évaluation sommative de 2005 et les commentaires des répondants, le PDNO est « unique en son genre ». Le soutien apporté par le PDNO à des projets de développement économique (financer la planification stratégique ou renforcer des capacités, ou démontrer la faisabilité d'un projet d'investissement qui pourrait plus tard être financé, par exemple, par le Fonds du patrimoine) peut avoir une incidence très significative. Ainsi, le soutien du PDNO à l'analyse de rentabilisation d'investissements en télécommunications dans les régions rurales a eu d'immenses répercussions dans des domaines comme l'éducation et les soins de santé, et encore bien plus dans des collectivités autochtones isolées, par exemple pour au moins un cas dans le Nord-Ouest, où toute la collectivité était desservie par un seul téléphone public. Sans le soutien du PDNO à la planification initiale, l'investissement en infrastructure (soutenu par d'autres programmes et sources de financement) n'aurait pas été réalisé. Comme l'indiquait un répondant de FedNor, il pourrait être possible de trouver un remplacement au financement du PDNO, en fonction de la souplesse des critères d'un autre programme et de la priorité d'un projet particulier pour ce programme, mais la démarche serait inhabituelle et exigerait beaucoup de travail.

Adéquation des mesures de protection

Les répondants de FedNor ont tous déclaré que l'on collaborait avec les autres ministères et les autres gouvernements pour réduire le chevauchement. Les mesures préventives élaborées (travailler en étroite collaboration avec les autres organismes de financement, énoncer des modalités de financement précises dans la lettre d'offre, contester un paiement en présence d'anomalies dans une facture, etc.) sont perçues comme étant adéquates. Selon les intervenants clés, aucune autre mesure n'est nécessaire.

Analyse documentaire

En mars 1996, le ministre de l'Industrie annonçait une version restructurée de FedNor, au mandat défini en consultation avec divers intervenants, groupes d'intérêts, organisations régionales et le caucus des députés du Nord de l'Ontario. Dans le sillage de nouvelles approches du développement régional mises en œuvre dans d'autres régions économiquement défavorisées du Canada, FedNor adoptait alors un mode différent de prestation de services, délaissant le mécanisme d'aide directe à l'entreprise qu'utilisait l'organisme à l'origine, pour passer à des prêts de nature commerciale entièrement remboursables, protégés par des réserves pour pertes sur prêts fournies par des tiers. FedNor réorientait également ses programmes vers les besoins de l'économie du savoir.

En conséquence de cette nouvelle approche de programme, FedNor concentrait ses efforts sur les cinq domaines stratégiques suivants :

• Commerce.
• Innovation.
• Investissement.
• Connectivité.
• Partenariats communautaires.

Ces cinq priorités ont été établies de façon à aborder plus précisément les problèmes qui touchent les personnes qui vivent et travaillent dans le Nord de l'Ontario. De nouvelles composantes de programme étaient également présentées en 1999, afin de faciliter le passage à une économie du savoir, et visant spécifiquement la connectivité, l'innovation et les partenariats communautaires. Parmi ces composantes : jeunes stagiaires, infrastructure économique des collectivités, infrastructure de télécommunications, recherche appliquée et développement, redressement communautaire, renforcement de la capacité d'innovation, et applications de la technologie de l'information et des communications (TIC).

En 2005, le gouvernement approuvait pour le PDNO une nouvelle stratégie intégrée de développement régional, visant à maximiser le potentiel de réussite des régions dans la nouvelle économie. La nouvelle stratégie est axée sur la mise en valeur des atouts et des points forts des sous-régions, des collectivités et des groupes spéciaux de la population; l'investissement dans l'innovation, le capital humain et l'infrastructure moderne, et l'amélioration de la coordination et de la pertinence des politiques et des programmes. L'élément clé de cette nouvelle stratégie était de donner un effet multiplicateur aux activités d'autres intervenants.

3.2 Conception et prestation

Les modalités régissant l'évaluation de mi-mandat de 2008 prévoient trois questions relatives à la conception et à la prestation :

• Est-ce que l'on recueille, consigne, protège et utilise des données appropriées sur le rendement? (QE2.1)
• Quel est le degré d'assurance de la qualité des données? (QE2.1)
• Dans quelle mesure FedNor a-t-elle réglé les questions de surveillance, de saisie des données, de rapports sur le rendement et autres questions relevées dans les études d'évaluation antérieures? (QE2.4)

3.2.1 Est-ce que l'on recueille, consigne, protège et utilise des données appropriées sur le rendement?

Conclusion

Le programme effectue maintenant la collecte, la saisie et la sauvegarde des renseignements sur la mesure du rendement conformément aux exigences liées au CGRR du programme. Les indicateurs recueillis portent sur les résultats immédiats du modèle logique du programme tel que précisé par le CGRR. Sur ce plan, le programme est en conformité des exigences qui lui sont imposées. D'autres exigences du CGRR en matière de données portent sur les activités de collecte de données administratives (le Système de rapports des subventions et contributions), des données secondaires (Statistique Canada), des études de cas et des données à des fins d'évaluation sommative.

Jusqu'à maintenant, les indicateurs recueillis ont servi à la production d'un rapport annuel. D'autres utilisations prévues pour l'avenir comprennent le renouvellement ou la révision du programme, de nouvelles présentations au Conseil du Trésor ou au Cabinet, la planification stratégique et l'élaboration du plan d'activités.

Contexte

Des évaluations antérieures indiquaient que FedNor se trouvait à un stade relativement peu avancé en matière de gestion et de rapports sur la mesure du rendement. Au moment de l'évaluation sommative de 2005, il n'y avait pas de lien entre les objectifs de programme tels qu'énoncés dans la demande, et le rapport sur les résultats du projet produit par l'agent de programmes, et il n'y avait pas non plus de mécanisme de collecte de données de référence pour mesurer l'incidence des projets.

Constatations

Des progrès considérables ont été réalisés depuis. Exception faite des indicateurs touristiques, tous les répondants étaient d'accord pour affirmer que FedNor avait identifié les « bons » indicateurs. La sollicitation des commentaires des agents continuait de se faire au moment des entrevues, mais l'on était passé de l'étape de la définition des indicateurs, que la plupart estimaient achevée, à l'étape d'expliciter et de raffiner la compréhension et l'utilisation des indicateurs. Les agents utilisent les indicateurs dans la présélection pour s'assurer que les projets correspondent aux priorités du programme, ainsi que pour aider les proposants à définir les résultats. Autrement dit, ce travail s'effectue dans la perspective des données de résultats. On a relevé plusieurs facteurs limitatifs à l'égard de la nature à court terme des indicateurs (résultats immédiats), mais les intervenants clés estimaient que cette question pourrait se régler principalement par la collecte de données lors de futures évaluations sommatives axées sur les résultats à plus long terme.

La plupart des répondants de FedNor indiquaient que le processus était trop récent pour permettre d'utiliser les données afin d'améliorer le programme. On mentionnait cependant parmi les utilisations futures prévues des données le renouvellement ou la révision du programme, de nouvelles présentations au Conseil du Trésor ou au Cabinet, la planification stratégique et l'élaboration du plan d'activités.

Examen de documents

L'évaluation formative de 2002 indiquait qu'au moment de cette évaluation, FedNor se trouvait à un stade relativement préliminaire de la formulation de cibles et d'indicateurs de rendement et, plus généralement, de l'implantation d'une culture de gestion et de rapports sur la mesure du rendement. Pour donner suite à ces conclusions, la direction de FedNor a élaboré un Cadre de gestion et de responsabilisation axé sur les résultats (CGRR), approuvé par le Secrétariat du Conseil du Trésor en mars 2005.

Dans l'évaluation sommative de 2005, on relevait que FedNor avait alors amélioré sa capacité dans le domaine de la planification, de la surveillance et de l'établissement de rapports axés sur le rendement. L'organisme avait investi plus de ressources dans la surveillance du rendement, et entrepris des études spéciales sur des aspects définis du programme. Les agents de programmes respectaient les exigences d'évaluation du risque des projets et de production de fiches de pointage pour les réalisations, et l'on constatait une grande activité d'analyse et de production de rapports sur les données. Le rapport mentionnait également que la direction convenait que beaucoup de progrès avaient été réalisés ³⁷, mais qu'il restait des questions à régler. Il n'y avait pas de lien entre les objectifs d'un projet tels qu'énoncés dans la demande et le rapport sur les résultats du projet produit par l'agent de programmes; il était difficile de travailler avec le système ministériel d'Industrie Canada pour saisir et analyser les renseignements sur les projets, et dans le cas des projets, l'on ne disposait pas d'un mécanisme de collecte de données de référence permettant de mesurer l'incidence des projets ³⁸. On peut également lire dans l'évaluation que la plupart des employés de FedNor semblaient ignorer comment les résultats particuliers au projet étaient intégrés ou interprétés à un niveau supérieur. L'évaluation indiquait également que l'on ne pouvait pas établir clairement si les renseignements provenant des fiches de pointage des résultats de programme étaient valides et fiables, ou si les agents de programmes comprenaient bien la façon de remplir les fiches de pointage.

Entrevues des intervenants clés pour l'évaluation de mi-mandat de 2008

On a demandé aux répondants GP/PPC/USS, aux agents de programmes, et aux agents du contrôle et des paiements de commenter la pertinence des mesures du rendement. Les répondants GP/PPC/USS étaient également appelés à réfléchir au plan de mesure du rendement énoncé dans le CGRR de 2007, et à évaluer la pertinence des indicateurs de rendement recueillis, saisis, protégés et utilisés pour mesurer les résultats des projets du PDNO. Comme il était peu probable que les agents connaissent bien le CGRR de 2007, les questions à leur endroit portaient sur leur niveau de confiance à l'égard des indicateurs de rendement servant à mesurer les résultats, dans le cadre d'un groupe de questions sur la qualité des données. On leur posait également une question supplémentaire, pour leur demander si d'autres mesures devraient être prises afin d'assurer la qualité des données de rendement sur les résultats ³⁹. Nous avons également demandé aux répondants dans quelle mesure le PDNO avait utilisé les renseignements recueillis sur le rendement pour faire rapport des résultats et apporter des améliorations au programme, et de donner des exemples d'utilisation des données et de décisions prises à partir des données ⁴⁰.

Les sections suivantes traitent des principales constatations issues des entrevues d'intervenants clés pour l'évaluation de mi-mandat de 2008, à l'égard de la pertinence des mesures du rendement.

Processus de développement des indicateurs

Dans le cadre de sa réponse à l'évaluation sommative de 2005, FedNor a entrepris ce que tous les répondants ont qualifié de processus approfondi de consultation de l'effectif. Ce processus a commencé en janvier 2006 au niveau de la prestation du programme, par l'identification des activités, et il est presque arrivé à terme avec l'élaboration des indicateurs de mesure du rendement mentionnés dans le CGRR de 2007 (publié en janvier 2007) ⁴¹. Pour faciliter le processus, FedNor a embauché les évaluateurs qui avaient réalisé l'évaluation sommative du FDNO en 2005. Leur tâche consistait à mettre en œuvre leurs recommandations sur la mesure du rendement, notamment en contribuant à la conception d'un modèle logique. PPC s'est chargé à l'interne de la consultation concrète de l'effectif, les évaluateurs ayant donné une formation sur la tenue de séances de consultation.

Dans le cadre du processus, FedNor a mis sur pied un groupe de travail sur la mesure du rendement (GTMR), chargé de présenter commentaires et conseils sur les résultats de programme et les indicateurs appropriés. Ce groupe poursuit ses travaux à titre de comité permanent. Le groupe réunit une combinaison d'intervenants, notamment des représentants de la prestation de programme, des politiques et de la direction.

Les agents faisant partie du groupe de travail possédaient une expertise et de l'expérience dans au moins l'une des six composantes du programme. Le groupe de travail a récemment été élargi, pour intégrer des représentants du contrôle et des paiements.

En plus du GTMR, les employés ont plusieurs autres moyens à leur disposition pour discuter des enjeux de développement, de perfectionnement ou d'éclaircissement des indicateurs, notamment les réunions régulières du personnel, la correspondance directe entre agents de programmes et représentants du PPC, des exposés ⁴² et l'option la plus récente, la présence d'un représentant de PPC invité aux réunions mensuelles avec le personnel sur le terrain, afin de discuter des enjeux et de répondre aux questions et préoccupations touchant les indicateurs.

Ce processus de sollicitation des contributions se poursuivait au moment des entrevues, mais l'accent serait passé de l'étape de l'identification des indicateurs (qui selon la plupart des répondants est achevée) à celle d'éclaircir et de parfaire l'utilisation des indicateurs (y compris améliorer les instructions et les définitions) dans des situations particulières que l'on qualifie de « zones grises ». Ces réunions mensuelles sont perçues comme un moyen valable de contribuer à assurer l'interprétation uniforme des indicateurs et l'intégrité des données saisies.

Réactions au processus et indicateurs élaborés

L'approche retenue pour élaborer les indicateurs comportait deux avantages importants :

• Tirer profit de l'expertise du personnel de première ligne. L'évolution de la mise au point des indicateurs s'est effectuée en collaboration avec les agents qui assurent la prestation du programme. La démarche repose sur l'expertise des personnes que l'on jugerait les mieux placées pour savoir quels seraient les indicateurs les plus susceptibles de bien mesurer la réussite dans les six secteurs de programme. Il s'agit d'indicateurs ancrés dans la réalité, dont la solidité provient de la volonté de l'effectif de collaborer à leur élaboration et à leur perfectionnement.
• Influencer positivement la mobilisation de l'effectif. L'approche retenue a facilité l'acceptation et la mobilisation de la part de l'effectif, et contribué à ce qui représente clairement un changement de culture à propos de la mesure du rendement. Les répondants mentionnaient une acceptation accrue de l'importance et du besoin d'indicateurs. Pour citer l'un d'entre eux, « il y a moins de gens qui se limitent à exécuter le programme, faire le travail, maintenant ils réfléchissent dans la perspective des données sur les résultats ». Les indicateurs structurent à la fois les discussions externes avec les clients et les discussions internes entre collègues. Les agents appliquent les indicateurs à la présélection des projets pour s'assurer qu'ils correspondent aux priorités du programme, et ils utilisent les indicateurs pour aider les proposants à définir les résultats. Les indicateurs aideraient les agents à accomplir leur travail. Ces derniers peuvent expliquer aux proposants les motifs de la décision d'accepter ou de refuser de financer le projet, et deviennent la base de la justification du financement d'un projet auprès d'autres employés de FedNor. Comme le mentionnait un répondant, les agents apprécient d'avoir une référence pour recommander des projets à leurs collègues et traiter avec le client.

Les répondants de FedNor reconnaissent qu'il y a eu des difficultés au départ, ainsi qu'une certaine résistance, principalement pour savoir si l'on avait identifié les bons indicateurs ou non. Comme le disait un répondant, « Il n'y a pas d'indicateurs ou de groupes d'indicateurs parfaits… mais nous avons maintenant atteint un point où tout le monde est à peu près d'accord pour dire qu'il s'agit d'un ensemble d'indicateurs raisonnable ». Presque tous les répondants interrogés sur la pertinence des indicateurs partageaient cette opinion. Comme le mentionnait un autre, « Nous sommes beaucoup plus avancés dans la saisie des bonnes données ». Toutefois, une minorité exprimait de sérieuses réserves sur la pertinence des indicateurs développés. Le tourisme était pointé du doigt, mais la direction avance que ce sentiment ne se limite pas aux indicateurs du tourisme. La préoccupation, que l'on peut déduire des déclarations des tenants de cette opinion, repose sur l'avis que les indicateurs devraient mesurer l'efficacité et l'efficience à plus long terme.

L'accent mis actuellement sur les résultats immédiats pour mesurer le rendement correspond clairement au CGRR du programme. Tous les autres indicateurs relèvent d'autres méthodes de collecte des données, y compris celles rattachées à l'évaluation sommative.

FedNor pourrait vouloir envisager une combinaison de mesures du rendement portant sur les résultats immédiats, à moyen terme et final du programme avant de mettre un terme à la discussion sur les indicateurs.

Limites des indicateurs

Plusieurs autres observations et réserves ont été exprimées au fil des entrevues :

• Les indicateurs expriment les résultats à un moment ponctuel. Le formulaire d'évaluation finale de projet saisit des données à un moment précis, celui de la fin du projet. Certains se préoccupent de la possibilité que les résultats ne se soient pas entièrement manifestés à ce moment, et que l'on ne puisse pas toujours saisir des données sur la véritable valeur des projets. Cette situation surviendrait principalement lorsque les résultats n'ont pas été concrétisés le formulaire d'évaluation finale de projet est rempli. Pour corriger cette situation, les agents peuvent donner un code « 618 » à un projet, reportant la production du formulaire d'évaluation finale de projet jusqu'à un maximum de 12 mois. Il n'est pas certain que cette mesure ait complètement réglé la question, la période supplémentaire de 12 mois pouvant ne pas être suffisante dans certains cas. La plupart reconnaissent cependant qu'il s'agit d'une réalité avec laquelle ils doivent composer. Les avantages de certains projets peuvent ne devenir évidents que plus tard. La plupart de ces répondants de FedNor sont d'avis qu'il sera possible de consigner ces résultats dans les évaluations de programme réalisées à intervalles réguliers. Certains avançaient la possibilité de l'effectuer à l'interne, sous réserve d'une réévaluation des ressources. On craignait que les ressources ne soient exploitées à leur point limite, et que si FedNor prolongeait l'échéance de surveillance et de rapport sur les projets, il faudrait réévaluer les ressources et leur structure pour accommoder d'éventuelles exigences de surveillance supplémentaires.
• Les indicateurs ne mesurent pas les incidences indirectes des projets financés par FedNor. Les répondants de FedNor ont reconnu que certains agents de programmes ressentent de la frustration du fait que les indicateurs se limitent principalement aux résultats immédiats. Ainsi, le PDNO peut financer une étude de faisabilité sur un projet d'investissement. Une fois l'étude réalisée, le proposant sollicitera un financement d'autres sources, par exemple le Fonds du patrimoine du Nord de l'Ontario, pour la mise en œuvre du projet. Sans le soutien du PDNO à la planification initiale, l'investissement en immobilisations n'aurait pas été réalisé. De même, dans les projets d'infrastructure, les incidences dans la collectivité peuvent être considérables, mais ces résultats indirects et à plus long terme du programme ne sont pas mesurés par les mécanismes actuels. Il s'agit d'un autre domaine où les intervenants clés étaient d'avis que l'évaluation sommative pourrait servir à solliciter de l'information des clients, ou à réaliser des études de cas pour mieux jauger ces résultats.
• Reconnaître l'importance des données qualitatives. Une autre question soulevée par certains répondants de FedNor, y compris les experts universitaires, visait la place centrale accordée aux données quantitatives, à l'exclusion des données qualitatives. Le formulaire d'évaluation finale de projet comporte une section dans laquelle les agents peuvent inscrire des commentaires ⁴³, mais cette mesure ne semble pas régler totalement la question pour ces répondants de FedNor. Leur recommandation était de ne pas perdre de vue l'aspect qualitatif, « Il est important et on ne devrait pas l'oublier ». Certains voyaient dans cette limitation de la mesure un problème pour l'évaluation de projets particuliers, car certains secteurs sont plus faciles à traduire en données quantitatives que d'autres. Même si la section de texte permet de consigner les résultats qualitatifs, les répondants de FedNor ne savaient pas vraiment comment ces données sont utilisées, ou si même elles le sont.

Utilisation des renseignements recueillis sur le rendement

Un premier rapport de mesure du rendement du PDNO vient d'être produit, à partir des données existantes sur les résultats.

La plupart des répondants de FedNor ont indiqué qu'il était trop tôt dans le processus pour utiliser les données aux fins de l'amélioration du programme. Comme le disaient plusieurs de ces répondants, « nous n'en sommes pas encore là », mais ils croient qu'ils utiliseront l'information lorsqu'ils entreprendront de renouveler ou de modifier le programme, que l'information contribuera à de nouvelles présentations au Conseil du Trésor ou au Cabinet, et qu'elle jouera un rôle dans leur planification stratégique et l'élaboration de leur plan d'activités. Toutefois, selon une opinion minoritaire, il faudrait se méfier d'en arriver à trop se fier à ces données, à l'exclusion de tous les autres facteurs. Les données étaient jugées valables, mais ces répondants de FedNor estimaient qu'il ne s'agissait que d'une source d'information, que d'autres renseignements devraient compléter. Rappelons que des intervenants clés ont souligné la valeur des données qualitatives que contiennent les EFP, ainsi que la contribution attendue de l'évaluation sommative.

Les entrevues ont donné lieu à d'autres suggestions d'utilisation des données recueillies :

• Informer la collectivité. FedNor signale et communique ses réussites à la collectivité. Certains estimaient que ces données pourraient enrichir l'information déjà communiquée à la collectivité.
• Permettre aux agents de programme d'interroger la base de données. Quelques répondants de FedNor ont suggéré de permettre aux agents d'interroger directement la base de données, pour les aider à accomplir leur travail. Les exemples d'utilisations possibles des données comprenaient l'évaluation du risque pour un client particulier, en consultant les données historiques sur le client et d'autres projets qu'il a entrepris ⁴⁴, l'évaluation du mérite relatif de différentes stratégies appliquées à des projets de type similaire, ou la possibilité d'obtenir des données comparatives (à partir d'un choix de variables) pour examiner le rendement sur des périodes définies, par exemple les résultats réels par rapport aux résultats visés, ou une comparaison de tous les projets par secteur entre deux périodes ⁴⁵

Le commentaire d'un répondant de FedNor résume bien l'opinion assez généralisée sur l'utilisation des indicateurs :

L'envers de la médaille, mentionné par une minorité de répondants de FedNor, est évidemment que le PDNO devrait faire preuve de prudence avant de rejeter un projet simplement parce qu'il ne correspond pas aux indicateurs. Certains de ces répondants ont signalé le danger que les indicateurs en viennent à dominer le programme. Leur principale préoccupation était de savoir, advenant un changement dans le contexte d'affaires, si l'accent du programme évoluerait pour accommoder ce changement, ou si la décision sur la façon de procéder serait dictée par les indicateurs.

Analyse documentaire

Dans Le nouveau paradigme rural (2006), l'OCDE énonce une approche du développement rural reposant sur l'évaluation des pratiques dans une grande variété de pays membres. La nouvelle approche proposée dans l'étude est d'abord axée sur l'investissement en remplacement des subventions, et sur des politiques visant plus les régions rurales que le soutien à des secteurs particuliers.

Le rapport de l'OCDE présente en perspective des approches de prestation réussies de plusieurs pays membres, notamment une description détaillée de l'outil Lentille rurale du Canada. Il s'agit d'un cadre de politique pour l'évaluation de propositions d'initiatives rurales par le Secrétariat rural (Agriculture et Agroalimentaire Canada). L'application de la Lentille rurale vise à ce que les initiatives régionales fédérales appuient les domaines prioritaires cernés par la population rurale canadienne, notamment : accès aux programmes et services du gouvernement fédéral, accès aux ressources financières, possibilités pour la jeunesse rurale autochtone, infrastructure, compétences et technologie nécessaires pour participer à la nouvelle économie, diversification économique, accès à l'éducation et aux soins de santé à un coût raisonnable, partenariats stratégiques et promotion du Canada rural comme un endroit où il fait bon vivre et élever une famille.

L'approche de la Lentille rurale est liée à des stratégies de gouvernance, et l'OCDE (2006) signale que les questions de gouvernance ne se limitent pas à un palier de gouvernement. L'objectif (dont l'atteinte est soutenue par la Lentille rurale dans le cas du Canada) consiste à instituer les structures de gouvernance favorisant le mieux l'atteinte des buts de la politique régionale. L'OCDE souligne que pour agir efficacement en ce sens, le financement du palier central devrait être lié à la coordination des politiques avec les paliers inférieurs. Il est également important de prendre en compte les facteurs nécessaires à des partenariats efficaces, ainsi que les obstacles possibles à cette démarche. Les subventions intergouvernementales devraient être employées dans un cadre incitatif clairement défini pour donner lieu aux initiatives les plus efficaces. Il faut pour cela une responsabilisation qui devrait reposer sur des cibles et des indicateurs de rendement, et être soutenue par des activités suivies de surveillance et d'évaluation. L'OCDE indique que l'approche des meilleures pratiques permet de régler de nombreux enjeux de gouvernance.

Examen de la surveillance et des rapports sur le rendement

Dans le cadre de l'examen des documents, nous avons étudié les trois formulaires servant actuellement à la collecte de données sur le PDNO, soit le formulaire de nouvelle proposition, mis au point pour faire connaître le concept du projet aux collègues régionaux à une étape initiale du processus, le formulaire de sommaire de projet (FSP), qui consigne les objectifs et les mérites du projet, ainsi que les motifs de son approbation, et le formulaire d'évaluation finale de projet (EFP), qui consigne des données pour des indicateurs de mesure des résultats du projet. Ces formulaires ont été évalués à partir de la matrice de mesure du rendement du Cadre de gestion et de responsabilisation axé sur les résultats de 2007 pour le PDNO, et ils ont été jugés conformes. Les données sont saisies et consignées dans la base de données des évaluations finales de projet du PDNO.

La pièce D-1 de l'Appendice D présente de l'information sur les données recueillies à l'étape de la proposition. La pièce D-2 du même appendice présente des données comparables, habituellement recueillies à la fin du projet. Ces pièces présentent des statistiques sommaires pour chaque indicateur (décompte, minimum, maximum, moyenne, valeur la plus fréquente ⁴⁶, et médiane). Elles indiquent également si l'indicateur est nouveau (créé depuis le CGRR de 2007) ou s'il exige l'accès à une autre base de données (lien nécessaire), comme par exemple les indicateurs relatifs aux jeunes stagiaires (indicateur 7.7). Voir ci-après.

Le développement plus poussé du système de mesure et de rapports sur le rendement a abouti aux résultats suivants :

• Indicateurs supplémentaires (15 étant qualifiés de nouveaux dans les pièces) pour une meilleure couverture des résultats indiqués dans le CGRR de 2007.
• Plus de détails de l'incidence sur le marché du travail (emplois temporaires ou permanents, maintenus ou créés, et nombre d'emplois et d'équivalents temps plein). (Ces données ont été combinées et présentées dans la pièce sous forme de décomptes des incidences totales sur l'emploi par indicateur.)
• Évaluation des incidences par groupe cible. Voir par exemple les emplois (indicateurs 5.4–5.7) ou les incidences commerciales (indicateur 7.3) pour les Autochtones, les Francophones, les jeunes et les femmes, ou les incidences pour les collectivités ou organisations autochtones (indicateur 1.7). (La pièce ne présente pas les détails par groupe cible, mais cette information est disponible dans la base de données.)

La plupart des indicateurs se rapportent à des résultats immédiats rattachés aux projets du PDNO. Une minorité d'indicateurs vise cependant des résultats à moyen terme, qui doivent être précédés de l'atteinte de résultats immédiats du projet pour avoir lieu. (Indicateur 2.4 : en conséquence d'un meilleur accès aux marchés, nombre d'entreprises devenant de nouveaux exportateurs). De manière générale, de tels indicateurs à moyen terme sont moins susceptibles d'afficher une valeur dans la base de données. La clôture typique en fin de projet peut limiter la possibilité de concrétisation de résultats à moyen terme, ce qui pourrait être le cas de l'indicateur 2.4. (Voir également l'indicateur 3.7 de résultats à moyen terme, comparativement à l'indicateur connexe 3.6 de résultats immédiats.) ⁴⁷

3.2.2 Quel est le degré d'assurance de la qualité des données?

Conclusion

• Des mesures sont en cours pour corriger les problèmes de qualité des données identifiés précédemment. Ainsi, les lacunes au chapitre de la collecte des données, de l'uniformité et des rapports des clients ont été corrigées par la révision des formulaires de collecte de données, la formation et l'engagement des agents de programmes, et le recours à la lettre d'offre pour insister sur les indicateurs à l'égard desquels le client doit rapporter des données. Les agents de programmes ont contribué à l'élaboration du système de mesure du rendement, et y ont adhéré par la même occasion. Cette démarche aidera probablement à assurer la qualité des données, tout comme les réunions mensuelles pour tirer au clair les problèmes d'intégrité des données. La production du rapport annuel (rapport de mesure du rendement du PDNO à l'intention du comité de direction de FedNor, résultats sommaires du rapport d'évaluation finale de projet du PDNO en date du 27 février 2008) a été déterminante pour cerner des problèmes de qualité des données et de les corriger.

Contexte

Les évaluations antérieures signalaient d'importantes lacunes dans le système de gestion du rendement de FedNor, touchant les mécanismes de collecte des données, l'uniformité d'application de ces mécanismes, et la fiabilité générale des données recueillies.

Constatations

En réaction à des préoccupations antérieures, FedNor a notamment conçu plusieurs nouveaux formulaires pour recueillir des données de résultats, et en a modifié d'autres. La lettre d'offre impose aux clients de nouvelles exigences de suivi et de rapports sur les résultats, et une nouvelle base de données a été créée pour saisir et stocker ces données. PPC poursuit ses consultations avec le personnel mais ne met plus l'accent sur l'identification d'indicateurs pertinents, préférant s'assurer maintenant que les indicateurs sont compris et utilisés uniformément. La plupart des clients respecteraient apparemment les exigences de rapport, et les agents de programmes les sensibilisent à l'importance des indicateurs.

La production du rapport annuel de mesure du rendement du PDNO a permis à FedNor d'identifier les données manquantes ou aberrantes, et de consulter les agents de programmes pour régler les problèmes. Les répondants de FedNor ont mentionné le besoin d'un soutien technique allant plus loin que l'entrée des données, et craignent d'atteindre un point où il y aura trop de travail pour les ressources disponibles. On craint que la situation n'empire, et qu'on ne mette de plus en plus l'accent sur l'évaluation et la production de rapports techniques à partir des données. FedNor est en voie d'embaucher un autre analyste de données (SI-02).

FedNor a créé un système de mesure du rendement entièrement conforme aux exigences du CGRR à cet égard. Comme le prévoit l'exigence du CGRR et comme la plupart des systèmes de mesure du rendement, l'accent porte sur les résultats immédiats. En conséquence, les résultats à plus long terme relèvent d'une évaluation future, ce qui correspond également aux critères énoncés dans le CGRR.

Une question à régler sera d'établir s'il serait plus efficient et rentable d'étendre le système de mesure du rendement à la collecte de renseignements sur les résultats à plus long terme, pour ainsi libérer des ressources qui pourraient autrement être consacrées à l'évaluation future. Cette question dépassant le mandat de la présente étude, elle est soumise à l'examen de la direction.

Examen de documents

L'évaluation formative de 2002 signalait une lacune importante relative à la qualité des données dans le système de gestion du rendement de FedNor, soit que les outils établis (les feuilles de pointage de l'évaluation et des résultats de projet) n'étaient pas employés uniformément. L'information au Système de gestion de l'information sur les contributions (CMIS) manquait de fiabilité, parce que les données n'étaient pas consignées uniformément dans les champs liés au rendement aux fins du CMIS. La direction de FedNor a répondu qu'elle veillerait à ce que tous les champs liés au rendement soient remplis de manière uniforme et à ce que les agents de programmes remplissent de manière uniforme les feuilles de pointage; que FedNor mettrait au point un mécanisme pour obtenir des résultats des clients de projet, et que les données des clients sur le projet seraient intégrées à la base de données du CMIS ⁴⁸. FedNor indiquait de plus qu'elle mettrait à contribution les constatations de l'étude de référence de l'évaluation ⁴⁹ pour échanger savoir et meilleures pratiques en mesure du rendement avec les trois organismes de développement régional, tout en poursuivant l'Initiative d'amélioration des services, et qu'elle veillerait à saisir et utiliser toutes les données liées au rendement. L'information sur le rendement devait faire l'objet d'examens réguliers, et être intégrée en permanence à la prise de décisions dans l'ensemble de FedNor ⁵⁰.

Dans l'évaluation sommative de 2005, on constatait que les agents de projet avaient rempli les fiches de pointage pour les réalisations et l'évaluation des projets pour la plupart des projets terminés examinés, mais aussi que « les fiches de pointage n'étaient pas remplies de façon uniforme ni correctement ». Le personnel de FedNor interviewé pour l'évaluation se disait plutôt satisfait de la production en temps opportun, de la fiabilité et de l'exhaustivité des rapports des clients (bien que la situation variait selon les clients). On s'efforçait plus de bien expliquer les exigences de rapport aux nouveaux clients dès le départ. Les agents du contrôle et des paiements participaient parfois à des discussions (pour traiter des procédures et répondre aux questions des clients). Les clients interviewés pour l'évaluation indiquaient pour la plupart comprendre parfaitement qu'ils devaient produire des rapports, et quels renseignements y donner. Les agents de programmes indiquaient que les rappels électroniques indiquant quand le rapport d'un client était attendu avaient été utiles. Les entrevues avec d'autres intervenants, comme les SADC, ont révélé des réactions mixtes sur la facilité ou la difficulté de satisfaire aux exigences de FedNor à l'égard des projets du PDNO. Certains jugeaient que les exigences de rapport avaient augmenté de façon exponentielle.

Entrevues des intervenants clés pour l'évaluation de mi-mandat de 2008

Tous les répondants de FedNor ont été interrogés sur la qualité des données recueillies, saisies et stockées pour mesurer les résultats. On a posé aux agents de programmes et aux agents du contrôle et des paiements des questions assez détaillées sur des changements particuliers aux mécanismes ou procédures de collecte de données ⁵¹ et à la façon dont les données sont saisies et stockées ⁵². Les questions posées aux autres répondants de FedNor étaient d'ordre plus général ⁵³, mais les répondants pouvaient répondre à leur gré aux questions plus détaillées, en fonction de leur participation limitée à l'analyse ultime de la qualité des données. Pour ce qui est des changements aux outils, formulaires, mécanismes ou procédures ⁵⁴, les répondants de FedNor ont mentionné que la tâche se poursuivait sur les outils, qui ont connu des modifications constantes avec l'ajout d'indicateurs et le perfectionnement des définitions. Des répondants ont suggéré de modifier les indicateurs du tourisme et des TIC pour cerner plus clairement les résultats, et de préciser le libellé des définitions pour les rendre plus claires; l'EFP est un document évolutif qui changera à mesure que l'on continuera de perfectionner les indicateurs pour les expliciter et les uniformiser, au plan de l'utilisation et de la compréhension. Il faut cependant agir avec circonspection, des changements constants aux indicateurs pouvant nuire à l'établissement de données de référence pour le PDNO.

Les outils et procédures ont connu plusieurs modifications depuis l'évaluation sommative de 2005, notamment l'ajout du formulaire de nouvelle proposition et le remplacement des fiches de pointage par le formulaire d'évaluation finale de projet, l'inclusion dans la lettre d'offre d'indicateurs expliquant dès le départ au client comment les résultats seront mesurés, et le fait que l'EFP doit être approuvée par le gestionnaire. Les agents de programmes sont également désormais autorisés à reporter la production de l'EFP pour une période de jusqu'à 12 mois lorsque les données ne sont pas disponibles à la clôture du projet.

La nouvelle exigence de suivi et de rapport sur les indicateurs énoncés dans la lettre d'offre représente le changement le plus important. Les agents de programmes utiliseraient également le modèle logique pour expliquer aux clients la raison d'être des indicateurs et l'importance de la collecte de données, et le rapport final du client devrait tenir compte de cette nouvelle orientation. Le choix précis des indicateurs à inclure dans la lettre d'offre posait problème au moment des entrevues. Les intervenants les plus directement touchés mentionnaient la liste d'indicateurs venant avec le PPG. On a eu tendance à « copier-coller » tous les indicateurs dans la lettre d'offre, ce qui a créé de la confusion chez les clients pour qui certains indicateurs n'étaient pas pertinents. La question de restreindre l'inclusion des indicateurs dans la lettre d'offre à ceux qui sont pertinents pour le projet a été réglée ultérieurement lors de réunions du personnel ⁵⁵. L'autre changement important vient de la création d'une nouvelle base de données pour saisir les renseignements du formulaire d'évaluation finale de projet (base de données d'EFP).

Conformité aux exigences de rapport

Le programme compte beaucoup de clients qui n'en sont pas à leur premier projet, ils comprennent les exigences du programme et ont l'habitude de s'y conformer, et il n'y a pas de problèmes pour obtenir les rapports des clients. Certains répondants de FedNor mentionnaient la difficulté de gérer l'exigence de rapport pour répondre aux besoins de tous. Plusieurs répondants de FedNor indiquaient qu'il faudrait veiller à ce que la production de rapport ne représente pas un fardeau excessif, en particulier pour les clients. Beaucoup d'entre eux ne possèdent pas tellement de ressources pour la collecte de données. La ventilation des emplois par groupes cibles a été mentionnée par plusieurs répondants de FedNor, qui s'interrogeaient sur la valeur d'un tel niveau de détail. On se demandait si ces données allaient être utilisées, si elles étaient vraiment nécessaires, si les clients allaient en faire rapport. Selon eux, cette exigence cause vraiment des problèmes aux clients qui concluent des marchés de sous-traitance avec des tiers, par exemple un conseiller commercial qui pourrait avoir à communiquer avec une cinquantaine d'entreprises pour obtenir cette information. Ce problème touche seulement une minorité de projets, mais on estime qu'il impose un trop lourd fardeau à ces clients. On s'interroge également sur la fiabilité de ces données, du fait qu'elles reposent sur l'autodéclaration.

Un processus est établi pour le suivi des rapports d'étape, du rapport final du client et de l'EFP, afin d'assurer qu'ils seront produits à temps. Ce suivi relève à la fois des agents de programmes et des agents du contrôle et des paiements. C'est l'agent du contrôle et des paiements qui se charge de déceler les retards et vérifier s'ils sont complets, dans le cadre du traitement des demandes de remboursement. La plupart des rapports sont produits en temps opportun, et les difficultés, s'il y a lieu, tendent à se manifester chez les petites organisations sans but lucratif, qui manquent de personnel et de ressources pour produire les rapports. Cette situation qui affecte une minorité de projets, environ 10 p. cent, peut exiger un suivi de la part de l'agent de programmes.

Uniformité des données recueillies

La plupart des répondants de FedNor convenaient avoir à leur disposition les « bons » indicateurs, et avoir beaucoup fait pour que ces indicateurs soient utilisés de manière uniforme. Le processus suivi de consultation vise à raffiner et éclaircir l'utilisation des indicateurs. Ces discussions se poursuivront au besoin, pour s'assurer que tous utilisent les indicateurs de la même façon et ainsi améliorer l'uniformité des données dans l'ensemble du programme.

Les outils nouveaux et révisés décrits dans la note de bas de page précédente sont disponibles pour recueillir des données de projet depuis le 19 avril 2007, date à laquelle on a demandé aux agents de faire rapport rétroactivement des projets ayant pris fin depuis le 1^er juillet 2006 inclusivement. Il a fallu environ six mois pour exécuter cette initiative, et les répondants de FedNor indiquent qu'environ 80 p. cent des indicateurs sont disponibles pour ces projets. La principale difficulté que présentent les données rétroactives vient de l'absence des résultats attendus (les objectifs établis par les agents à l'étape de la demande et indiqués désormais dans le formulaire de nouvelle proposition et la lettre d'offre). La lettre d'offre de ces projets ne comporte pas d'indicateurs, ni d'exigence d'en faire rapport dans le rapport final. Les agents de programmes ont communiqué avec les clients en cause pour solliciter des données relatives aux nouveaux indicateurs, avec des résultats mitigés. Le dossier de certains de ces projets ne sera pas classé avant plusieurs mois, et les données finales des indicateurs de projets antérieurs comporteront des lacunes.

On jugeait également que le rapport de mesure du rendement du PDNO avait contribué à améliorer la qualité des données. Un des avantages dérivés du rapport est qu'il a permis au GTMR d'identifier des données manquantes et aberrantes que des analyses antérieures n'avaient pas décelées, et de demander des éclaircissements aux agents de programmes.

Un autre facteur qui aura une incidence sur la qualité des données est la mobilisation que l'on a réussi à implanter au niveau de la prestation du programme, et que l'on travaille actuellement à établir avec les clients. Les agents travaillent avec ces derniers pour les convaincre de l'importance des indicateurs. La qualité (et l'exhaustivité) des données fournies par les clients devraient s'améliorer, à mesure que les clients comprendront mieux l'importance des indicateurs, et que l'autodéclaration gagnera en fiabilité.

Saisie et stockage des données

Les répondants de FedNor avaient peu de commentaires à faire sur la saisie et le stockage des données. Les agents classent une copie imprimée dans le dossier principal, et une copie électronique est transmise automatiquement à la base de données des EFP. Les répondants estimaient que, grâce à cette transmission directe, l'erreur humaine avait été éliminée de la saisie et du stockage des données. Certains indiquaient qu'il serait avantageux que tous les formulaires soient informatisés et accessibles en direct.

Peu d'efforts ont été déployés pour examiner la qualité des données saisies et stockées, si ce n'est d'identifier les rapports sans données, la raison principale semblant être un manque de ressources. Les répondants de FedNor ont mentionné le besoin de soutien technique, en particulier au delà du niveau de base, et craignent d'avoir atteint un point où il y a trop de travail pour les ressources disponibles. On craint que la situation n'empire, et qu'on ne mette de plus en plus l'accent sur l'évaluation et la production de rapports techniques à partir des données.

Examen de la surveillance et des rapports sur le rendement

Les éléments suivants sont ressortis de notre observation du système de mesure du rendement :

• Au départ, on entrait un zéro dans la base de données pour consigner qu'il n'y avait pas de données. Dans le cadre de l'évaluation de mi-mandat, nous avons signalé que cette pratique rendait difficile la distinction entre une véritable incidence nulle et l'absence d'information sur l'incidence. L'effectif du programme a corrigé la situation, une incidence imprévue de zéro signifiant aucune incidence attendue, le code étant converti en « blanc ». Dans un tel cas, un zéro consigné comme résultat réel était remplacé par un blanc, puisque aucun résultat n'était attendu, et aucun n'était survenu, alors qu'une valeur autre que zéro dénotait une incidence imprévue. Cette correction a réglé le problème et sera appliquée à l'avenir. Ce problème de zéros excédentaires faussait des décomptes pour les indicateurs, et la correction a permis de le régler.
• On a constaté d'importantes similitudes entre les données de résultats attendus et de résultats réels pour un même projet. Il se pourrait que l'on ait utilisé les données de résultats attendus pour exprimer les résultats réels en l'absence de preuve du contraire pour modifier les données. Nous avons appris que certaines données de résultats réels ont été entrées rétroactivement pour les projets les plus anciens dans la base de données. Notre examen a fait ressortir un exemple de nombre négatif entré à la fois pour les résultats attendus et les résultats réels d'un projet (voir indicateur 3.1b). Ce projet s'inscrit dans la période où l'on entrait rétroactivement des données, et nous présumons que le résultat réel négatif a été entré comme résultat attendu. Pour cet indicateur on demande, le cas échéant, quel est l'augmentation de fréquentation par rapport aux festivals, réunions, congrès ou événements antérieurs. (Pour l'avenir, il faudrait modifier la description de cet indicateur si les valeurs négatives sont acceptées, car le libellé semble indiquer que seules les valeurs positives sont acceptées.) Si ce nombre avait d'abord été entré à titre de valeur de résultat attendu, ce cas illustre encore plus le potentiel nuisible de partir des résultats attendus pour établir automatiquement les résultats réels. Une valeur donnée, correcte ou non, peut apporter plus de rigidité qu'elle ne le justifie. La personne à qui l'on demande une valeur réelle peut décider de reprendre la valeur établie du résultat attendu, puisque cette valeur a déjà été acceptée, et que l'on peut ainsi éviter les demandes d'explication du changement, ou simplement se soustraire à l'effort de produire une nouvelle valeur. Pour l'avenir, nous recommandons que la collecte des données relatives à l'EFP se fasse à part, sans l'appui des données établies antérieures (résultats attendus), afin que les données recueillies témoignent d'une estimation valide des incidences à une date donnée. L'utilisation des données de résultats prévus dans le processus de collecte de données sur les résultats réels présente le potentiel de fausser les données sur les résultats réels.
• Certains projets présentent des résultats hautement uniformes, par exemple pour l'indicateur 3.2a, où un ensemble de 22 projets vise la mise en oeuvre d'une initiative de marketing dans une région ou destination touristique. D'autres indicateurs saisissent des données sur des projets disparates. (Ainsi, l'indicateur 7.1 saisit le nombre total de participants à un événement de formation ou de perfectionnement professionnel. Cet indicateur englobe un grand nombre de projets de Jeunes stagiaires, visant habituellement un seul stagiaire, et des événements pouvant compter jusqu'à 750 participants.) Cette variabilité limitait notre capacité à identifier des valeurs pouvant suggérer des erreurs évidentes d'entrée de données. Pour l'avenir, nous recommandons de regrouper les projets par types comparables, à tout le moins aux fins d'analyse (soit distinguer les projets Jeunes stagiaires des autres), ce qui pourrait faciliter le contrôle des erreurs.

Recommandations

Le PDNO et son prédécesseur, le Fonds de développement du Nord de l'Ontario, existent depuis plusieurs années. Des évaluations successives ont cerné des lacunes dans la méthode utilisée pour mesurer le rendement. Au cours des derniers mois, FedNor a déployé beaucoup d'efforts pour répondre à ces préoccupations dans les domaines de la surveillance et de la mesure du rendement.

Nous fondant sur ces travaux et les conclusions de la présente évaluation de mi-mandat, nous proposons les recommandations suivantes sur le système de mesure du rendement et sur la qualité des données.

Il est recommandé :

1. que FedNor détermine les avantages et les coûts liés à la collecte d'information sur la mesure du rendement des résultats de projets au-delà de la date de clôture des projets. Le cas échéant, FedNor devrait étendre son système de mesure du rendement de manière à saisir ces résultats à plus long terme.
2. que FedNor renforce et formalise les mécanismes de vérification permettant d'assurer la qualité des données, notamment :
   • que l'on fasse une comparaison uniforme des données sur les résultats attendus et réels pour chaque projet;
   • que les agents de programmes et les proposants fassent rapport des résultats finaux sans tenir compte des résultats attendus saisis à l'étape du lancement du projet;
   • que l'on effectue une analyse des données minimales et maximales et des données les plus fréquentes pour les indicateurs;
   • que l'on crée des sous-indicateurs distincts selon les groupes de projet ayant des résultats aux caractéristiques uniques;
   • que l'on réponde aux préoccupations et règle les anomalies portant sur les données et les indicateurs, le cas échéant.

3.0 Constatations de la recherche (suite)

3.2 Conception et prestation (suite)

3.2.3 Dans quelle mesure FedNor a-t-elle réglé les questions de saisie des données, de surveillance des données de rendement et de rapports relevées dans les études d'évaluation antérieures?

Conclusion

FedNor a travaillé à régler les questions de surveillance, de saisie des données et de rapports sur le rendement relevées dans les études d'évaluation antérieures. L'organisation a affecté considérablement de temps et de ressources à la réalisation des améliorations proposées dans les études d'évaluation antérieures. Les efforts déployés par FedNor pour mettre au point un nouveau CGRR, des outils et des bases de données et pour définir les données à recueillir auprès des clients devraient contribuer à de meilleurs rapports sur les données de résultats. La fonction de rapport en est encore au stade préliminaire. Le premier rapport sur le rendement a été produit récemment, et même s'il révélait que certains problèmes antérieurs subsistaient, dans la plupart des cas, on avait recueilli des données pour chaque indicateur. Il serait peut-être avisé d'intégrer des variables de risque au système de surveillance du rendement. FedNor pourrait ainsi explorer les compromis entre les risques et les avantages des projets, ce qui pourrait éventuellement guider les décisions sur les risques de projet qui seraient admissibles pour le PDNO à l'avenir.

Contexte

Les évaluations antérieures relevaient plusieurs préoccupations en matière de surveillance et d'évaluation. L'évaluation sommative de 2005 mentionnait le besoin de parfaire le CGRR de 2005 pour qu'il corresponde mieux aux priorités de programme, et le besoin de mettre au point un système et des outils de mesure et de rapports sur le rendement répondant aux exigences énoncées dans le CGRR révisé. L'évaluation de 2002 soulignait le besoin de développer une culture de gestion et de rapports de mesure du rendement.

Constatations

FedNor a affecté considérablement de temps et de ressources à régler les problèmes relevés dans les évaluations antérieures. Parmi les changements apportés :

• Élaboration d'un nouveau CGRR concordant mieux avec la conception et la prestation du PDNO.
• Conception de nouveaux outils et d'une nouvelle base de données pour les données recueillies.
• Nouvelles exigences s'appliquant aux clients en ce qui a trait aux données de résultats.

Le personnel en est au stade préliminaire des analyses et rapports sur les données, mais l'on a produit un premier rapport à partir des données de résultats, et des plans ont été définis pour l'utilisation future de ces données.

Examen de documents

La pièce II-1 résume l'examen des trois CGRR produits pour le FDNO/PDNO relativement à certaines variables clés : contexte, mission énoncée, thèmes des programmes, clientèle clé, activités soutenues, résultats attendus, et plans de surveillance et de mesure du rendement. Les paragraphes qui suivent apportent un complément d'information.

Comme on l'indiquait précédemment, l'évaluation formative de 2002 concluait que FedNor en était à ses débuts dans l'élaboration d'indicateurs et d'objectifs de rendement, et, d'un point de vue plus général, d'une culture qui favorise la mesure, la gestion et les rapports du rendement. On mentionnait que FedNor devait développer une culture organisationnelle qui favorise non seulement la collecte régulière de l'information sur le rendement, mais aussi l'analyse et l'utilisation des données dans le processus décisionnel de l'ensemble de FedNor. Le rapport recommandait que FedNor continue de perfectionner son système de mesure du rendement et de veiller à ce que le système tire ses renseignements de nombreuses sources. L'évaluation formative de 2001–2002 cernait deux lacunes importantes dans le système de gestion du rendement de FedNor, soit que les outils établis de collecte de données n'étaient pas utilisés systématiquement ⁵⁶, et que l'on ne procédait pas à la collecte continue et régulière d'information auprès des clients sur les résultats des projets ⁵⁷. Pour donner suite à l'évaluation de 2002, la direction de FedNor a produit le CGRR de 2005 et modifié sa procédure de collecte des données de la façon décrite précédemment, soit continuer d'utiliser le CMIS pour l'information sur les intrants, les extrants et la portée; s'assurer que les champs portant sur le rendement sont remplis systématiquement; continuer de faire remplir la feuille de pointage de l'évaluation et des résultats de projets par les agents de programmes; mettre au point un mécanisme pour obtenir des données de résultats des clients, et échanger savoir et meilleures pratiques dans le domaine de la mesure du rendement et des rapports à cet égard avec les trois organismes régionaux ministériels. ⁵⁸

Dans l'évaluation sommative de 2005, on concluait que, bien que le CGRR de 2005 ait doté les gestionnaires d'un meilleur outil pour mesurer le rendement, et que le processus de planification (au moment de l'évaluation de 2005) se rattachait plus étroitement aux exigences en matière de gestion du rendement du FDNO, des problèmes subsistaient néanmoins. L'un des plus importants était que le CGRR ne correspondait pas entièrement à la conception et à l'exécution du FDNO, et que les outils et les systèmes existants n'avaient pas été mis à jour en fonction des exigences en matière de mesure du rendement énoncées dans le CGRR de 2005. De plus, il n'était pas clair alors si l'information recueillie à partir des fiches de pointage des résultats de projets était valide et fiable, ni si les agents de programmes comprenaient clairement comment remplir les fiches. Les systèmes ministériels de saisie et d'analyse de l'information sur les projets ont également eu leur part de critiques. Le Système de rapports sur les subventions et les contributions (SRSC) n'était pas jugé adéquat pour répondre aux exigences en matière de surveillance et de responsabilisation de FedNor par rapport au FDNO. On estimait qu'il n'était pas bien harmonisé avec des exigences du FDNO, et pas du tout harmonisé avec les fiches résultats des projets, et il était difficile de déterminer la mesure dans laquelle les projets produisaient les résultats attendus. Les champs de la base de données ne pouvaient pas être modifiés en fonction de l'évolution du programme pour mieux exprimer les besoins changeants des collectivités du Nord de l'Ontario.

L'évaluation sommative proposait deux recommandations pour corriger le problème : 1) poursuivre la mise au point du CGRR du FDNO pour exprimer avec plus d'exactitude les priorités du programme et mettre au point les systèmes et outils d'établissement de rapports afin d'assurer la conformité avec les exigences énoncées dans le CGRR, et 2) consulter la Direction générale de la vérification et de l'évaluation et la Direction générale de la gestion de l'information, pour s'assurer que les systèmes ministériels offrent aux gestionnaires de FedNor la souplesse nécessaire pour saisir de façon adéquate l'information sur le rendement dont elle a besoin pour mieux satisfaire à ses exigences en matière de surveillance et de reddition de comptes. Dans sa réponse à l'évaluation, la direction de FedNor indiquait que FedNor réviserait le CGRR du FDNO pour l'automne 2006, en conformité des recommandations de l'évaluation, et que FedNor mettrait au point de nouveaux outils de collecte de données, accompagnés d'un guide, en harmonie avec les résultats attendus des priorités courantes du programme ⁵⁹. FedNor a également indiqué qu'elle continuerait de consulter les deux directions générales à propos de la conception des systèmes d'information ministériels ⁶⁰.

Entrevues des intervenants clés pour l'évaluation de mi-mandat de 2008

Comme on l'a indiqué, les évaluations antérieures ont relevé plusieurs préoccupations relatives à la surveillance et à l'évaluation. On a posé aux intervenants clés une série de questions sur la mesure dans laquelle FedNor avait donné suite aux questions signalées dans ces évaluations antérieures. Les répondants étaient restreints au groupe des répondants GP/PPC/USS, puisque l'on prévoyait que les agents devraient moins bien connaître le CGRR ⁶¹.

Dans l'élaboration du CGRR de 2007 et du système et des outils de rapport actuellement en usage, FedNor a clairement donné suite aux critiques formulées. Les sections précédentes du présent rapport faisaient état du fait que FedNor avait investi considérablement, en temps et en ressources, pour corriger les problèmes relevés dans les évaluations antérieures. Plus précisément, FedNor a :

• remplacé le CGRR de 2005 par celui de 2007, qui selon l'avis presque unanime des répondants de FedNor, correspond plus exactement à la conception et à la prestation du PDNO;
• tenu des consultations poussées avec l'effectif tout au long du processus, afin d'élaborer les indicateurs de rendement appropriés des résultats immédiats de chaque composante du programme;
• poursuivi les consultations pour continuer de perfectionner et d'expliciter l'utilisation des indicateurs, afin d'assurer qu'ils sont compris et utilisés de manière uniforme à l'échelle de tout le programme;
• atteint le point auquel les répondants de FedNor acceptent les indicateurs qui ont été élaborés, à l'exception des indicateurs supplémentaires à moyen ou long terme signalés dans le cas des indicateurs du tourisme;
• réussi à mobiliser les agents à l'égard du processus; ils utilisent dorénavant les indicateurs pour structurer leurs discussions avec les clients et les collègues lorsqu'ils acceptent ou refusent un projet. On effectue un examen préliminaire des projets en fonction de leur adéquation aux priorités du programme. Tout le processus a abouti à une évolution de la culture relativement à la mesure du rendement, qui s'étend jusqu'aux clients eux-mêmes;
• élaboré de nouvelles exigences pour les clients (relativement aux données de résultats), clairement énoncées dans les discussions avec l'agent de programmes et la lettre d'offre;
• révisé et, dans certains cas, remplacé les outils de collecte de données, et mis sur pied une nouvelle base de données pour saisir et stocker l'information du formulaire d'évaluation finale de projet ⁶².
• FedNor, bien qu'étant à l'étape préliminaire d'analyse et de rapport sur les données, a produit un premier rapport de mesure du rendement du PDNO qui devrait être largement diffusé. Les utilisations futures prévues des données de résultats comprennent la contribution de ces données pour solliciter des renouvellements ou des changements au programme, les présentations au Conseil du Trésor ou au Cabinet, la planification stratégique, et la préparation du plan d'activités. Parmi d'autres utilisations proposées des données, mentionnons la rétroaction avec la collectivité et les commentaires aux agents pour les aider à accomplir leur travail.

Les répondants de FedNor ont déclaré presque à l'unanimité que FedNor avait réglé les problèmes antérieurs, et se trouvait bien préparée à avoir les données nécessaires à l'évaluation sommative de 2010–2011.

Examen de la surveillance et des rapports sur le rendement

Notre examen du système de surveillance du rendement nous a permis de constater que la conception du nouveau système a pris en compte les critiques antérieures sur la mesure du rendement. Le système permet de recueillir et de stocker les données et de les consulter, pour évaluer tous les résultats immédiats et certains des résultats à moyen terme du modèle logique. Cette fonctionnalité est plus que conforme aux exigences du tableau 3 du CGRR à l'égard de la base de données des évaluations finales de projet.

Un domaine dont ne traite pas le modèle logique du CGRR pour le programme ou son tableau 3, et qui ne fait donc pas partie de la base de données des évaluations finales de projet, est celui du rôle de catalyseur de FedNor dans le développement du Nord de l'Ontario. La base de données ne consigne pas de renseignements sur les dossiers dans lesquels FedNor ne finance pas un projet, mais contribue de manière déterminante au développement de ce dernier. Cette information serait très utile pour une évaluation sommative, mais elle risque d'être perdue à moins qu'un suivi continu n'ait lieu. Cet élément pourrait peut-être prendre la forme d'un indicateur qualitatif. Le CGRR pourrait également être modifié pour tenir compte de cette activité et de ce résultat.

3.3 Leçons apprises

Comme on l'a mentionné, le thème des questions sur les leçons apprises a été modifié après présentation et approbation du rapport de méthodologie. Les questions révisées (remplaçant celles de l'Annexe A) sont les suivantes :

• Quels facteurs ont facilité ou entravé la stratégie de FedNor pour la mesure du rendement du PDNO et la gestion de ces résultats?
• Quelles leçons ont été apprises de la stratégie de FedNor pour la mesure du rendement du PDNO et la gestion de ces résultats?

3.3.1 Quels facteurs ont facilité ou entravé la stratégie de FedNor pour la mesure du rendement du PDNO et la gestion de ces résultats?

Conclusion

La participation d'agents de projets à l'élaboration du système de mesure du rendement a permis d'obtenir un meilleur soutien et une plus grande uniformité en matière de mesure du rendement. L'affectation d'employés à l'élaboration du système semble avoir été une étape précieuse, mais soulève la question des besoins futurs en dotation au fur et à mesure que le système sera utilisé. De plus, le roulement de personnel crée une demande continue de formation sur les exigences du système et sur les questions liées à l'uniformité des données.

Contexte

FedNor a déployé des efforts considérables pour améliorer son système de mesure du rendement et ses procédures de gestion des données. Il serait utile de faire connaître les facteurs qui ont facilité ou entravé le processus à d'autres organisations qui entreprennent des activités similaires.

Constatations

Entrevues des intervenants clés

i) Ce qui a bien fonctionné

Tous les répondants de FedNor ont été interrogés sur les facteurs qui ont facilité ou entravé la stratégie de FedNor pour la mesure du rendement du PDNO et la gestion de ces résultats. Quelques thèmes sont ressortis des discussions.

Lorsqu'il était question de ce qui a bien fonctionné, les répondants de FedNor mentionnaient le plus souvent la démarche collaborative adoptée pour identifier et définir plus clairement les indicateurs. Selon un répondant, dont l'opinion correspondait à celle de la majorité, FedNor avait consacré beaucoup de temps à définir les bons indicateurs, et à bien les faire comprendre aux gens. En conséquence, l'uniformité s'est améliorée dans tout le programme. Le degré d'acceptation de la part de l'effectif constitue l'une des conséquences de la démarche adoptée. Certains faisaient état d'un changement de culture à l'égard de la mesure du rendement, d'autres mentionnaient la façon dont avaient évolué les pratiques de travail, l'interaction avec les clients et la gestion des résultats. L'unité de PPC s'est méritée beaucoup de compliments pour l'approche adoptée.

L'autre élément important dans ce qui a bien fonctionné était la décision d'affecter directement des ressources à la tâche. En l'absence de ces ressources, FedNor n'aurait pas pu progresser autant dans le processus. Toutefois, certains répondants de FedNor se disaient préoccupés par le besoin de ressources supplémentaires. Le personnel qui a participé à cette activité exerce des responsabilités à l'égard d'autres programmes de FedNor, en plus du PDNO, et certains de ces autres programmes exigent beaucoup de temps de la part de l'effectif responsable de la mesure du rendement de FedNor.

Défis

Deux facteurs ayant entravé l'initiative ont été mentionnés. Le premier était le roulement du personnel, ce qui a incité certains répondants de FedNor à se demander s'il ne faudrait pas consacrer plus d'attention aux ressources humaines, plus précisément, le besoin d'un plus grand nombre d'employés et, peut-être dans le cas du personnel administratif et de soutien, d'un effectif possédant un niveau de formation technique dépassant le premier échelon.

Le deuxième facteur qui aurait entravé la stratégie de FedNor découle simplement de la complexité du travail accompli. L'élaboration du CGRR de 2007 était l'aboutissement d'une longue courbe d'apprentissage, et la plupart convenaient du fait que le perfectionnement des définitions et des instructions pour la saisie des données n'est pas encore terminé.

Analyse documentaire

Au chapitre de l'évaluation et de la surveillance, l'OCDE insiste sur l'importance de ces activités pour favoriser l'efficacité des politiques et créer un lieu de dialogue parmi les divers partenaires des politiques régionales. Le rapport souligne que les programmes de subventions avec sélection concurrentielle peuvent intégrer des mécanismes de rapport en appui à la surveillance et à l'évaluation.

Examen de la surveillance et des rapports sur le rendement

Notre examen du système de surveillance du rendement a donné lieu aux constatations suivantes :

• Le système se concentre surtout sur les résultats immédiats des projets, mais englobe certains résultats à moyen terme, ce qui pourrait représenter une recherche de compromis entre le besoin d'indicateurs précoces de l'éventuelle incidence du programme et l'intention de mesurer à plus long terme les réalisations possibles.
• Si l'on utilise le système de surveillance du rendement pour le suivi des résultats à moyen terme, un plus grand nombre de projets pourrait être classé comme étant en suspens (statut 618). Une telle pratique limiterait la valeur du système à titre d'outil permettant d'obtenir une indication précoce des incidences éventuelles.
• FedNor pourrait plutôt envisager de clore tous les dossiers après un an, et d'instituer un suivi périodique de certains indicateurs (indicateurs à moyen terme et mise à jour des indicateurs clés de résultats immédiats). On pourrait ainsi mieux équilibrer le double objectif (indications précoces et réussite à plus long terme), tout en obtenant des données probantes sur les incidences au fil du temps.

3.3.2 Quelles leçons ont été apprises de la stratégie de FedNor pour la mesure du rendement du PDNO et la gestion de ces résultats?

Conclusion

Malgré les discussions poussées sur les éléments de mesure les plus pertinents, l'opportunité d'inclure des mesures à plus long terme continue d'être débattue. L'enjeu est de trouver l'équilibre approprié entre des données probantes précoces sur les résultats immédiats et des données plus tardives sur les résultats à moyen terme ou finaux. Un autre aspect important porte sur les avantages que la direction pourrait avoir à surveiller les résultats de telles données, et les économies dans les ressources que l'on consacrera à une évaluation sommative future.

Contexte

FedNor a déployé des efforts considérables pour améliorer son système de mesure du rendement et ses procédures de gestion des données. Il serait utile de faire connaître les leçons apprises du processus à d'autres organisations qui entreprennent des activités similaires.

Constatations

Entrevues des intervenants clés

En entrevue, on a posé à tous les répondants de FedNor des questions sur les grandes forces de la conception des mesures d'évaluation du rendement du PDNO, les limites ou défis principaux que présentent ces mesures, et toute amélioration nécessaire de ces mesures.

Les questions n'ont pas produit une foule de réponses, mais quelques thèmes se sont imposés. On a mentionné les défis et les frustrations liés à la mesure du rendement, qui a imposé une courbe d'apprentissage. Le travail de PPC pour les réalisations obtenues a été louangé, en particulier les efforts soutenus du personnel de PPC pour faire progresser l'initiative. L'autre grand thème portait sur le problème de l'attribution. Comme le mentionnait un répondant, il s'agit d'indicateurs s'appliquant au début du processus. On a signalé qu'il s'agit d'un programme de petite envergure, sur le plan des fonds injectés dans l'économie, et que l'on peut s'interroger à propos de son degré d'influence sur des facteurs macroéconomiques pour le PIB, l'emploi, et autres.

Analyse documentaire

Dans Le nouveau paradigme rural (OCDE 2006), on relève que la mise au point d'indicateurs appropriés peut créer d'importants défis, à cause du caractère unique de différents lieux agricoles, et de l'absence de modèles fiables pour évaluer exactement « comment et pourquoi le développement régional a lieu ». Les deux problèmes connexes identifiés par l'OCDE viennent du « cadre d'information incomplet », dans lequel les responsables de la mise en œuvre des politiques détiennent une grande partie du savoir nécessaire à l'évaluation, et la difficulté d'établir un lien de causalité entre les politiques et les résultats.

Devant le défi de la mise au point d'indicateurs valables, l'OCDE affirme que ces indicateurs ne doivent pas laisser place à l'ambiguïté, et que leur validité doit être largement acceptée (la qualité des données doit être « incontestable et fiable » pour que « tous les acteurs aient confiance »).

Examen de la surveillance et des rapports sur le rendement

L'information utile à la direction d'un programme s'inscrit dans une échelle progressive. À un bout de l'échelle, on trouve des détails opérationnels et comptables des activités, habituellement consignés dans des systèmes et bases de données de gestion des subventions et contributions. À l'autre bout de l'échelle, il y a l'information évaluative, provenant typiquement d'évaluations formatives et sommatives. La mesure du rendement s'inscrit quelque part entre ces deux points; pour la situer exactement, il faut savoir si les besoins de la direction en matière d'information sur le rendement visent les résultats immédiats, les résultats à plus long terme, ou une combinaison des deux.

Le système actuel de mesure du rendement du PDNO se situe plus près de l'extrémité des résultats immédiats de cette échelle, ce qui est typique de la plupart des systèmes de mesure du rendement, et aussi ce qui était préconisé dans le CGRR.

Dans nos entrevues des intervenants clés, un point de vue minoritaire était qu'il pourrait être préférable de positionner la mesure du rendement un peu plus loin dans l'échelle. Nous estimons que seule la direction peut prendre position sur cette question, à partir de ses besoins en matière d'information.

Dans la mesure où il est valable pour la direction d'étendre la mesure du rendement à des résultats plus à moyen terme (et peut-être aux résultats finaux), le système pourrait être ouvert à la couverture d'autres résultats, d'échéanciers plus éloignés, ou de mesures périodiques. L'un des avantages à prendre en compte dans une portée étendue du système de mesure du rendement viendrait des économies de ressources à consacrer à l'évaluation sommative.

4.0 Conclusion

Introduction

Ce chapitre présente notre évaluation des résultats de l'évaluation de mi-mandat.

4.1 Pertinence du programme

Le PDNO de FedNor fonctionne dans un environnement qui comprend d'autres programmes offrant un soutien à des projets qui satisfont à ses critères d'admissibilité. Malgré ce chevauchement, les effectifs de ces divers programmes coordonnent leurs activités pour tenter d'éviter un dédoublement qui serait un gaspillage des ressources de la société.

Compte tenu de l'approche communautaire du PDNO et de son expertise des enjeux dans les collectivités du Nord de l'Ontario, il s'agit souvent du premier programme sollicité, et il remplit souvent une fonction de coordination avec les autres sources de financement disponibles. Comme l'avance l'OCDE, il y a un besoin de coordination dans les situations de chevauchement, ce que FedNor est bien placée pour assurer.

Le soutien des divers bailleurs de fonds peut viser des aspects différents d'un projet. Lorsque différentes sources financent les mêmes éléments, on effectue une analyse de financement en double pour s'assurer que le soutien ne dépasse pas un niveau défini. Les proposants doivent informer les agents de toutes leurs sources de financement, et un service de suivi de l'actualité permet d'alerter le personnel à l'existence d'un soutien possible par une autre source inconnue de financement.

Compte tenu de la possibilité très réelle d'un dédoublement dans le contexte de fonctionnement du PDNO, la coordination est essentielle pour garantir que les fonds publics ne seront pas gaspillés. FedNor remplit une fonction utile de coordination et de facilitation du développement du Nord de l'Ontario.

En conclusion :

• Le PDNO et d'autres programmes se chevauchent. Des mécanismes ont toutefois été institués pour assurer la collaboration et éviter le dédoublement des sources de financement.
• FedNor collabore avec d'autres ministères et organismes gouvernementaux pour réduire le dédoublement, une conséquence négative possible du chevauchement.

4.2 Conception et prestation

On convient généralement que les mesures actuelles du rendement répondent aux préoccupations des évaluations antérieures et respectent les exigences énoncées dans le CGRR de 2007. Les mesures du rendement sont axées sur les résultats immédiats, comme le préconise le CGRR. Certains ont suggéré qu'il serait préférable de concentrer les mesures du rendement sur des résultats à moyen ou plus long terme, ou d'envisager également des indicateurs qualitatifs. Une préoccupation mineure visait la possibilité que la sélection d'un projet soit plus influencée par les indicateurs que par la valeur inhérente du projet.

Notre examen du système de mesure du rendement semble indiquer qu'il surpasse les critères de conception définis par le CGRR de 2007. Bien qu'il englobe certains résultats à moyen terme, il est axé sur les résultats immédiats, comme la plupart des autres systèmes de gestion du rendement, et présumément selon les besoins de la direction du programme, compte tenus des efforts déployés à l'interne pour le développement du système. Nous relevons que l'information est produite en temps moins opportun si l'accent du système de mesure du rendement est déplacé vers des résultats à plus long terme.

Les données sur la plupart des projets sont saisies à la fin du projet. Certains dossiers de projet peuvent être mis en suspens pour jusqu'à une année, si l'on estime que le moment est prématuré pour évaluer les résultats du projet. La clôture du projet s'effectue à la production de l'évaluation finale de projet et aucun autre suivi du projet n'est prévu, conformément au CGRR. Le système de mesure du rendement produit donc une série d'instantanés du rendement d'un projet, habituellement à la fin d'un projet. Le suivi à plus long terme est réservé à l'évaluation sommative, et parfois à des activités d'étude de cas, là aussi en conformité du CGRR.

Il en découle des lacunes d'information, et il faudrait un suivi périodique des projets pour combler ces lacunes. Ceci pourrait être réalisé au moyen d'un échéancier fixe (fin du projet, première et troisième année suivant la fin) pour l'ensemble des projets ou un échantillon aléatoire stratifié des projets pour lesquels il serait raisonnable de s'attendre à des résultats à plus long terme et pour une liste restreinte d'indicateurs (en mettant davantage l'accent sur les résultats intermédiaires) après le premier anniversaire du projet. Ce système amélioré éliminerait la pratique actuelle qui est de classer certains projets en attendant de réaliser un suivi ultérieur.

Pour réduire les coûts, FedNor pourrait envisager de poster la demande de collecte de données aux proposants (avec des instructions claires sur la façon de remplir le formulaire), et effectuer un suivi seulement auprès de ceux qui ne retournent pas le formulaire. FedNor ne devrait pas communiquer les résultats attendus indiqués au début du projet au proposant lors de la collecte des données de résultats réels, pour encourager une meilleure séparation des événements de collecte de données et éviter une source possible de distorsion.

En conclusion :

• Le programme a maintenant des activités de collecte, de saisie et de protection de renseignements pertinents à la mesure du rendement en conformité du CGRR du programme. Les indicateurs recueillis sont axés sur les résultats immédiats définis dans le modèle logique du programme, comme le prévoit le CGRR. À ce titre, le programme respecte les exigences qui lui sont imposées.
• Jusqu'à maintenant, les indicateurs recueillis ont contribué à la production d'un rapport annuel, qui n'a pas encore été publié. Les autres utilisations futures prévues comprennent le renouvellement ou la révision du programme, de nouvelles présentations au Conseil du Trésor ou au Cabinet, la planification stratégique, et la préparation du plan d'activités.
• Des agents de programmes ont aidé à élaborer le système de mesure du rendement et en sont venus à l'apprécier. Leur participation et leur soutien contribuent à la qualité des données, tout comme les réunions mensuelles tenues pour régler les problèmes d'intégrité des données. L'utilisation des données dans la production du rapport annuel a fourni une occasion de cerner et de corriger les problèmes de données.
• FedNor a réglé les questions de saisie des données, de surveillance des données de rendement et de rapports relevées dans les études d'évaluation antérieures. Des variables de risque pour les projets pourraient éventuellement s'ajouter au système de surveillance du rendement, ce qui permettrait à FedNor d'explorer les compromis risques-avantages des projets et éventuellement d'influencer les décisions en matière de risque de projet que le PDNO accepterait d'entreprendre à l'avenir.

4.3 Leçons apprises

La participation de l'effectif de FedNor au développement des indicateurs de mesure du rendement a contribué à la mobilisation de l'effectif, au soutien futur des efforts de collecte et d'uniformité soutenue des données de rendement, et à la promotion des indicateurs auprès des proposants de projet.

En conclusion :

• La participation d'agents de projets à l'élaboration du système de mesure du rendement a permis d'obtenir un meilleur soutien et une plus grande uniformité en matière de mesure du rendement. L'affectation d'employés à l'élaboration du système semble avoir été une étape précieuse. On s'inquiète des besoins futurs en dotation au fur et à mesure que le système sera utilisé. De plus, le roulement de personnel crée une demande continue de formation sur les exigences du système et sur les questions liées à l'uniformité des données.
• Bien que d'importantes discussions aient eu lieu quant à l'élaboration de ces mesures, on continue de débattre si oui ou non il convient d'adopter de telles mesures à long terme. Au cœur des débats est la question de trouver le juste équilibre entre les premiers indices sur les résultats immédiats et les preuves subséquentes sur les résultats à moyen terme ou les résultats finaux. Un autre aspect important est l'avantage que pourrait tirer la direction de la surveillance de telles données.

Réponse de la direction aux recommandations de l'évaluation de mi-année du Programme de développement du Nord de l'Ontario — 2007

Notes en bas de page

¹ Le nom du programme a été modifié en juillet 2006. (retour à la référence de note 1)

² En octobre 1995, FedNor devenait responsable de l'exécution directe du Programme de développement des collectivités dans le Nord et le Sud de l'Ontario. Les sociétés d'aide au développement des collectivités (SADC) sont implantées stratégiquement dans des collectivités rurales de partout en Ontario, pour aider FedNor et Industrie Canada à s'acquitter de leur mission au moyen de trois secteurs de service : planification et développement économiques communautaires, investissement dans les entreprises locales, et services de conseils et de développement aux entreprises. (Évaluation de FedNor, Rapport final, le 9 mai 2002). (retour à la référence de note 2)

³ Dans le sillage de nouvelles approches du développement régional mises en œuvre dans d'autres régions économiquement défavorisées du Canada, FedNor adoptait en mars 1996 un mode différent de prestation de services, délaissant le mécanisme d'aide directe à l'entreprise utilisé à l'origine, pour passer à des prêts de nature commerciale entièrement remboursables, protégés par des réserves pour pertes sur prêts fournies par des tiers. FedNor réorientait également ses programmes vers les besoins de l'économie du savoir. (Cadre de gestion et de responsabilisation axé sur les résultats (CGRR) de FedNor, le 24 septembre 2001). Dans le CGRR de 2005, on attribuait à ce virage la mise en valeur des efforts du Nord de l'Ontario pour la diversification économique et l'implantation dans les collectivités et entreprises du Nord d'une solide fondation pour affronter les défis de la nouvelle économie. (retour à la référence de note 3)

⁴ En 1999, FedNor reclassait ses programmes selon cinq catégories stratégiques : Commerce, Innovation, Investissement, Connectivité, et Partenariats communautaires. Ces priorités ont été établies de façon à aborder plus précisément les problèmes qui touchent les personnes qui vivent et travaillent dans le Nord de l'Ontario. De nouvelles composantes de programme étaient également présentées en 1999, afin de faciliter le passage à une économie du savoir, et visant spécifiquement la connectivité, l'innovation et les partenariats communautaires. Parmi ces composantes : jeunes stagiaires, infrastructure économique des collectivités, infrastructure de télécommunications, recherche appliquée et développement, redressement communautaire, renforcement de la capacité d'innovation, et application de la technologie de l'information et des communications (TIC). (Évaluation de FedNor, Rapport final, le 9 mai 2002) Un sommaire de l'évolution du programme est présenté à la pièce II-1 dans le chapitre du rapport de méthodologie de février 2008 énonçant l'approche et le plan de travail. (retour à la référence de note 4)

⁵ Cadre de gestion et de responsabilisation axé sur les résultats (CGRR) de FedNor, le 31 mars 2005. (retour à la référence de note 5)

⁶ Évaluation sommative du Fonds de développement économique du Nord de l'Ontario (FDNO), Rapport final, janvier 2006. (retour à la référence de note 6)

⁷ CGRR de Fednor, le 29 janvier 2007. (retour à la référence de note 7)

⁸ Idem. (retour à la référence de note 8)

⁹ Le CGRR pour le Programme de développement du Nord de l'Ontario en date d'octobre 2006 mentionne les mêmes ressources consacrées au rendement et à l'évaluation que le CGRR de 2007, ce qui semble indiquer que les programmes se partagent ces ressources. (retour à la référence de note 9)

¹⁰ Évaluation sommative du Fonds de développement économique du Nord de l'Ontario (FDNO), résumé, janvier 2006, et CGRR du PDNO, le 29 janvier 2007. (retour à la référence de note 10)

¹¹ L'objectif du FDNO/PDNO a évolué au fil des trois CGRR. L'énoncé de mission diffère de celui du CGRR de 2001, l'objectif pour la mission du programme étant alors de promouvoir le développement économique dans le Nord de l'Ontario pour en arriver à un renforcement de l'économie nationale et contribuer à assurer le développement de débouchés d'affaires et de possibilités d'emploi. (CGRR, le 24 septembre 2001) (retour à la référence de note 11)

¹² L'aire désignée de couverture englobe les divisions de recensement suivantes : district de Muskoka ((DR44), district de Nipissing (DR48), district de Parry Sound (DR49), district de Manitoulin (DR51), district de Sudbury (DR52), municipalité régionale de Sudbury (DR53), district de Timiskaming (DR54), district de Cochrane (DR56), district d'Algoma (DR57), district de Thunder Bay (DR58), district de Rainy River (DR59) et district de Kenora (DR60). (CGRR, le 29 janvier 2007). (retour à la référence de note 12)

¹³ Idem. (retour à la référence de note 13)

¹⁴ À l'origine, le programme était limité aux PME de moins de 250 employés, avec des ventes annuelles inférieures à 20 M$. (CGRR, le 24 septembre 2001). (retour à la référence de note 14)

¹⁵ Mobiliser et habiliter les collectivités à prendre en charge leur propre avenir et à exploiter les occasions qui entraîneront des avantages économiques à long terme, notamment la création d'emploi, la diversification économique et une compétitivité commerciale accrue, en soutien d'un développement durable. Le CGRR indique que FedNor devait réorienter ses efforts de développement économique communautaire en 2006–2007 selon une formule plus stratégique et proactive, axée sur trois domaines prioritaires : planification stratégique communautaire, mise en œuvre de plans communautaires, et infrastructure économique communautaire. (retour à la référence de note 15)

¹⁶ Le CGRR indique qu'avec la création du Centre de commerce international (CCI), la constitution du réseau commercial Équipe Nord Ontario (TNO) réunissant les conseillers et organisations commerciales communautaires, et le soutien bien implanté aux missions commerciales, FedNor révisera l'orientation du CCI en 2006–2007 pour se concentrer plus sur l'aide directe à l'entreprise, par exemple sous forme de conseils à l'entreprise, de stages pour les jeunes et de perfectionnement des compétences, en vue de renforcer les compétences en exportation et direction des affaires des entreprises du Nord de l'Ontario. Le soutien de FedNor au tourisme devait se concentrer stratégiquement sur les projets stimulant des degrés supérieurs d'activité et de recettes touristiques dans le Nord. (retour à la référence de note 16)

¹⁷ On vise à renforcer la capacité d'innovation et de rendement de l'économie du Nord de l'Ontario dans six secteurs clés : soutenir l'infrastructure d'innovation et les programmes d'enseignement et de formation; investir dans les activités fondées sur le savoir, dans les nouvelles technologies permettant d'améliorer la productivité et dans les nouvelles formes d'organisation du travail; favoriser l'expansion des exportations et la compétitivité sur la scène internationale; aider les divers intervenants à s'unir de façon plus efficace pour former des groupes stratégiques et pour encourager les associations entre les établissements de recherche et d'enseignement postsecondaire, les entreprises, les collectivités et le gouvernement; encourager la concurrence en matière d'idées, de technologies et de solutions, ainsi que les partenariats qui unissent des idées et des solutions nouvelles à des problèmes sociaux et aux possibilités du marché; offrir un accès à des services de télécommunications avancées. (retour à la référence de note 17)

¹⁸ Développement et amélioration de l'infrastructure des télécommunications, des réseaux et des applications des TIC. (retour à la référence de note 18)

¹⁹ FedNor verse le financement de base des SADC par l'intermédiaire du programme d'Aide au développement des collectivités. FedNor fournit également une aide directe remboursable aux PME dans des domaines comme la R et D appliquée, et explore des moyens de faciliter l'accès aux capitaux patients et à risque. (retour à la référence de note 19)

²⁰ Initiatives de soutien contribuant à attirer, perfectionner et maintenir en poste des gens hautement qualifiés et à offrir des possibilités d'apprentissage permanent. (retour à la référence de note 20)

²¹ CGRR, le 29 janvier 2007. (retour à la référence de note 21)

²² Les SADC sont un véhicule qui aide les gestionnaires et le personnel de FedNor à s'acquitter de leur mandat. Les SADC sont des organismes sans but lucratif constitués en sociétés et dirigés à l'échelle locale par un conseil d'administration bénévole qui représentent les intérêts variés de la collectivité. Les SADC locales établissent leurs propres priorités et stratégies de développement en créant et mettant en œuvre un plan stratégique communautaire en collaboration avec leurs partenaires. Elles offrent aussi aux petites entreprises et aux entrepreneurs locaux des conseils, des renseignements et des services d'orientation vers d'autres organismes. Enfin, les SADC peuvent aussi procurer aux petites entreprises et aux entrepreneurs l'accès à des capitaux; elles administrent un fonds d'investissement grâce auquel elles peuvent consentir des prêts, des garanties de prêts et des placements en actions qui permettront le lancement, l'expansion ou la stabilisation d'entreprises. (Évaluation de FedNor, Rapport final, le 9 mai 2002). (retour à la référence de note 22)

²³ Évaluation de FedNor, Rapport final, le 9 mai 2002. (retour à la référence de note 23)

²⁴ CGRR, le 24 septembre 2001. (retour à la référence de note 24)

²⁵ CGRR, le 24 septembre 2001. (retour à la référence de note 25)

²⁶ CGRR, le 29 janvier 2007. (retour à la référence de note 26)

²⁷ La matrice de mesure du rendement énonce les données à recueillir (indicateurs), leur source (habituellement où les données sont stockées, mais parfois une source d'information externe) et leur fréquence de collecte (annuelle, trimestrielle, continue). (retour à la référence de note 27)

²⁸ Un total de 20 personnes était prévu au départ, mais l'un des agents n'a pas participé à une entrevue de groupe prévue. (retour à la référence de note 28)

²⁹ Les entrevues étaient planifiées en fonction des horaires des répondants. L'un des agents n'a pas téléphoné pour participer à l'entrevue prévue. (retour à la référence de note 29)

³⁰ Évaluation de FedNor, Rapport final, le 9 mai 2002. (retour à la référence de note 30)

³¹ Un examen comparatif de FedNor et de la SGFPNO réalisé dans le cadre de l'évaluation concluait qu'ils avaient des buts similaires (soutenir et assurer la croissance et le développement économique dans les collectivités du Nord de l'Ontario), ainsi que des processus et composantes similaires. Cependant, on estimait que les autres programmes du gouvernement de l'Ontario étaient plus restrictifs et moins efficaces que FedNor dans la pratique. Un autre avantage était que FedNor apportait de l'appui en matière de développement et de gestion de projet, en plus du financement. (Idem) (retour à la référence de note 31)

³² Le caractère unique de FedNor semble découler de son degré d'évolution (depuis 1996) d'un financement d'entreprises particulières vers des programmes communautaires; d'autres organismes de développement régional œuvraient dans le même sens, sans cependant avoir la même portée d'action que FedNor. (retour à la référence de note 32)

³³ Évaluation sommative du Fonds de développement économique du Nord de l'Ontario (FDNO), Rapport final, janvier 2006. (retour à la référence de note 33)

³⁴ Questions 2 a) à 4) dans les deux guides d'entrevue. (retour à la référence de note 34)

³⁵ Le financement peut dépasser les 90 p. cent dans des cas exceptionnels, pour des projets autochtones ou des projets sans but lucratif de moins de 100 000 $. (retour à la référence de note 35)

³⁶ Comme on le mentionnait, les agents n'attendent pas la présentation de propositions, ils les sollicitent. Les agents collaborent avec le proposant au développement du projet, pour s'assurer qu'il concorde avec les objectifs de programme. Une partie de l'évaluation complète réalisée pour chaque projet consiste à discuter de la formule de financement du projet, qui seront les autres intervenants, à quoi s'appliquera la contribution des autres sources de financement, et comment équilibrer ces facteurs pour assurer un financement suffisant du projet, tout en réduisant le potentiel de chevauchement ou de dédoublement. Si FedNor constitue le point de contact initial du proposant et que son projet correspond aux priorités du PDNO, l'agent du PDNO proposera (au besoin) des partenaires éventuels au proposant, ou impliquera des représentants d'autres programmes ou sources de financement pour définir le rôle de chacun dans la formule ou l'accord de financement que l'on met au point pour le projet. Les partenaires qui financent des projets touristiques ont tenté de rendre leur approche plus stratégique au moyen d'une entente de partenariat, en vigueur depuis cinq ans. Les participants à cette entente ont énoncé officiellement les éléments qu'ils sont disposés à financer et la façon dont les divers partenaires participeront à des projets liés au tourisme. Cette formule garderait l'investissement aligné sur la stratégie. Dans des secteurs comme l'Innovation, on avançait que le programme n'avait pas autant accès qu'il le pourrait au financement des conseils subventionnaires. Cette question est à l'étude. La procédure est également légèrement différente pour ces projets. Les proposants sont d'abord dirigés vers d'autres programmes, et reviennent présenter les résultats de leurs démarches à FedNor. Le PDNO peut alors choisir d'offrir un financement complémentaire ou de s'occuper lui-même du projet. (retour à la référence de note 36)

³⁷ Notamment : changements apportés au CGRR de FedNor, modifications au système ministériel, et nouveaux employés et changements dans l'effectif ayant participé au développement des outils de mesure du rendement. (retour à la référence de note 37)

³⁸ Certains des agents de programme estimaient qu'il fallait améliorer les fiches de pointage et mieux s'efforcer, dès le départ, de bien faire comprendre aux clients l'importance des données de rendement. (Évaluation sommative du Fonds de développement économique du Nord de l'Ontario (FDNO), Rapport final, janvier 2006) Au lieu de remanier les fiches de pointage, on les a remplacées par les EFP. Certains agents de projet ont également commencé à utiliser le modèle logique du programme avec les proposants pour définir les résultats attendus et insister sur l'importance de produire les données de rendement demandées. (retour à la référence de note 38)

³⁹ Question 4 du guide d'entrevue des répondants GP/PPC/USS; questions 3 f) et h) du guide d'entrevue des agents de programme; questions 2 g) et h) du guide d'entrevue des agents de contrôle et des paiements. (retour à la référence de note 39)

⁴⁰ Question 9 du guide d'entrevue des répondants GP/PPC/USS; question 6 du guide d'entrevue des agents de programme; question 5 du guide d'entrevue des agents de contrôle et des paiements. (retour à la référence de note 40)

⁴¹ Des séances de formation de l'effectif (les 6 et 7 mai 2008 dans le Nord-Est, et le 17 mai 2008 dans le Nord-Ouest) pourraient permettre de parfaire les mesures. (retour à la référence de note 41)

⁴² Le premier exposé a été donné au personnel au printemps 2007, lorsque les indicateurs ont été présentés à l'occasion d'une réunion annuelle. Les répondants croient toutefois que les employés auraient été informés dans une certaine mesure avant cet événement, au cours de conversations avec leurs collègues, dont les membres du GTMR. (retour à la référence de note 42)

⁴³ La section de texte est également transférée automatiquement à la base de données des EFP. (retour à la référence de note 43)

⁴⁴ En particulier dans le cas d'un agent de programmes qui n'a pas déjà travaillé avec le client. (retour à la référence de note 44)

⁴⁵ Actuellement, l'accès aux données brutes de la base de données est très limité, et il faudrait modifier en profondeur la technologie pour permettre un tel accès. (retour à la référence de note 45)

⁴⁶ La valeur la plus fréquente ne peut pas être calculée dans tous les cas. En l'absence de cette valeur, la formule produit la mention S.O. (retour à la référence de note 46)

⁴⁷ Décider si un indicateur porte sur des résultats immédiats ou intermédiaires exige une connaissance détaillée du projet particulier. Cependant, à partir des renseignements disponibles, les indicateurs 1.7, 1.8, 2.5, 2.6, 2.7, 2.8, 2.9, 4.2, et 4.3 sont probablement d'autres indicateurs de résultats intermédiaires. (retour à la référence de note 47)

⁴⁸ L'évaluation formative relevait comme préoccupation le fait que les données de résultat saisies se limitaient à la perspective des agents de programmes. On recommandait que les agents de programmes continuent de saisir ces données de résultats, mais qu'on leur apporte en complément une contribution directe des clients sur les résultats. (retour à la référence de note 48)

⁴⁹ L'étude de référence comportait un examen de trois organismes fédéraux de développement régional, soit l'Agence de promotion économique du Canada Atlantique (APECA), l'Agence de développement économique du Canada pour les régions du Québec et Diversification de l'économie de l'Ouest (DEO). Chacun des autres organismes faisant partie du portefeuille d'Industrie Canada est un organisme opérationnel distinct, tandis que FedNor est une unité fonctionnelle au sein d'Industrie Canada, qui dépend donc de l'expertise d'Industrie Canada et de la Direction générale de la vérification et de l'évaluation pour appuyer la capacité interne de mesure du rendement. Les plans d'activités et les rapports annuels de rendement de FedNor sont simples comparativement aux autres organismes, qui produisent des rapports individuels sur les plans et les priorités (RPP) et des rapports ministériels sur le rendement (RMR). Les rapports sur les plans et les priorités de FedNor ne comptent que quelques pages et sont intégrés aux RPP et aux RMR d'Industrie Canada. La plupart des cibles et des mesures liées au rendement se trouvaient dans le secteur des ressources déployées, des activités terminées et des résultats, par exemple le nombre de projets terminés. Les experts-conseils constataient que FedNor répondait aux exigences accrues en matière de mesure, de gestion et de production de rapports liés au rendement, et avait consacré des ressources supplémentaires à cet élément au cours des deux années précédentes. Une culture de mesure du rendement et de rapport s'implantait graduellement dans les secteurs de prestation de programme de FedNor, comme en témoignait le CGRR (élaboré et approuvé par le Conseil du Trésor en septembre 2001) et la création de la feuille de pointage de l'évaluation et des résultats de projet que doivent remplir les agents de programmes. (Évaluation de FedNor, Rapport final, le 9 mai 2002). (retour à la référence de note 49)

⁵⁰ Réponse de la direction à l'évaluation formative de FedNor, le 24 juin 2002. (retour à la référence de note 50)

⁵¹ Questions 3 a) à 7) du guide d'entrevue des agents du programme et Q2 a) à f) du guide d'entrevue des agents de contrôle et des paiements. (retour à la référence de note 51)

⁵² Questions 4 a) à d) et question 5 du guide d'entrevue des agents de programme, questions 3 a) à d) et question 5 du guide d'entrevue des agents de contrôle et des paiements. (retour à la référence de note 52)

⁵³ Questions 5, 6, 7 et 8 du guide d'entrevue des répondants GP/PPC/USS. (retour à la référence de note 53)

⁵⁴ Nous avons amorcé la discussion en identifiant les outils et procédures servant à recueillir des données de résultats sur les projets du PDNO. Voici une description sommaire de chaque outil ou mécanisme servant à la saisie des données et à la surveillance des projets, et de sa raison d'être :

• Formulaire de demande rempli par le client, avec contribution de l'agent de programmes. Il s'agit de la première étape vers l'obtention d'un financement de projet. Le processus de demande exige des proposants qu'ils « certifient » toutes les sources de financement du projet. À ce stade du processus, le proposant peut être redirigé vers d'autres sources de financement; ainsi, on conseillerait au proposant d'un projet touristique de consulter le site Web du ministère du Tourisme de l'Ontario, qui propose une variété d'outils pouvant convenir au projet.
• Le formulaire de nouvelle proposition récemment créé s'inscrit entre le formulaire de demande et le formulaire de sommaire de projet, pour présenter le projet aux autres membres de l'effectif et énoncer les indicateurs constituant le motif de proposition du projet. Rempli par l'agent de programmes, ce formulaire constitue la première étape d'encadrement du projet pour le client et en vue du processus d'examen et de commentaire par les collègues.
• Le formulaire de sommaire de projet (FSP) fait l'objet d'une diffusion générale à FedNor, d'abord sous forme d'ébauche de document de travail. Le FSP révisé comprend une évaluation complète du projet, notamment une évaluation du risque, et intègre les commentaires des collègues. Tous les projets au stade du développement font l'objet d'une évaluation du risque, tant pour le client que pour le projet. Cette évaluation est intégrée au FSP et à la lettre d'offre, avec les indicateurs qui serviront à surveiller et évaluer le projet. Le FSP est transmis pour approbation ou refus.
• La lettre d'offre énonce les indicateurs qui serviront à surveiller et évaluer le projet et le détail des modalités de financement, y compris une disposition qui impose au proposant d'informer le programme de toute modification aux modalités de financement. Une lettre d'offre peut comprendre des discussions et des calendriers très détaillés.
• Les rapports d'étape et le rapport final de projet sont remplis par le client. Les agents de programmes et les agents du contrôle et des paiements utilisent les rapports d'étape pour le suivi du projet et le traitement des demandes de remboursement. La surveillance du projet s'effectue au niveau des activités (pour vérifier qu'elles correspondent aux objectifs) et au niveau financier, lors du traitement des factures. Les clients ne sont pas tenus de faire rapport sur les indicateurs avant la fin du projet, et les rapports d'étape ne traitent pas des indicateurs.
• Pour certains projets, le dossier de projet comprendra, en plus de tous les autres renseignements, des analyses d'incidences, des résultats d'enquête et des évaluations de tiers. L'une des conséquences de l'accent accru sur la mesure est que les agents ont commencé à inciter les proposants à intégrer l'évaluation à leur projet. Dans certains cas, FedNor finance cette fonction, en plus de financer le projet.
• Documents officieux créés pendant la durée du projet, notamment notes de l'agent de programmes portées au dossier à la suite de visites sur place ou de discussions avec le client, commentaires de l'agent du contrôle et des paiements accompagnant les documents de facturation, photographies, etc.
• La plupart des agents de programmes tiendraient un dossier informel pour le suivi d'autres activités et projets du client, dont certains éléments peuvent aboutir dans les dossiers de projet.
• Chaque projet achevé doit faire l'objet d'une évaluation finale de projet (EFP), un formulaire rempli par l'agent de programmes. Au début de janvier 2008, on adoptait l'exigence supplémentaire de faire approuver l'EFP par un gestionnaire. En cas de divergence entre les évaluations du gestionnaire et de l'agent de programmes, le gestionnaire, l'agent de programmes et un représentant de Politiques se rencontrent pour discuter de la question et la régler. S'il y a lieu, l'EFP est modifiée ou mise à jour après cette consultation.

(retour à la référence de note 54)

⁵⁵ La possibilité de supprimer les indicateurs sans pertinence dans la lettre d'offre a été éclaircie aux réunions du personnel du Nord-Ouest et du Nord-Est, le 19 février 2008. (retour à la référence de note 55)

⁵⁶ L'examen du CMIS révélait que certains éléments de données importants n'étaient pas saisis systématiquement. (retour à la référence de note 56)

⁵⁷ On critiquait dans l'évaluation le fait que les données de résultats consignées à la feuille d'évaluation des résultats de projets provenaient uniquement du point de vue limité de l'agent, pour recommander de recueillir des données sur les résultats à court terme auprès des clients. On relevait également que l'Initiative d'amélioration des services se limitait à la collecte de renseignements sur les processus. (retour à la référence de note 57)

⁵⁸ Réponse de la direction à l'évaluation formative de FedNor, le 24 juin 2002. (retour à la référence de note 58)

⁵⁹ Recommandation 9, réponse de la direction aux conclusions et domaines de suivi recommandés (dans l'évaluation sommative de 2005). (retour à la référence de note 59)

⁶⁰ Recommandation 10, idem. (retour à la référence de note 60)

⁶¹ Question 3 a) à d) du guide d'entrevue des répondants GP/PPC/USS. (retour à la référence de note 61)

⁶² L'évaluation sommative de 2005 signalait un problème relativement au CMIS. Les répondants à l'évaluation de mi-mandat ont indiqué que l'évaluation antérieure avait peut-être accordé trop d'importance aux commentaires des répondants sur le CMIS. Au moment de l'évaluation, on travaillait à remplacer la base de données, et les utilisateurs étaient consultés à propos d'éventuels changements à la base de données. FedNor désirait s'assurer que le CMIS serait amélioré et révisé pour saisir les données dont FedNor avait besoin. Arrivé en février 2008, la mise à niveau a pris plusieurs années de retard (l'échéance prévue est maintenant l'hiver 2008), et FedNor a donc développé une nouvelle base de données à ses propres fins, la base de données des évaluations finales de projet. (retour à la référence de note 62)