Guide sur les indicateurs - Secrétariat du conseil du trésor

R EMERCIEMENTSEn 2000-2001, un groupe de travail, composé de représentantes et de représentants de ministères,d’organismes et de divers regroupements et associations issus du milieu gouvernemental, a mené uneréflexion visant à orienter la portée et le contenu d’un guide gouvernemental sur les indicateurs. Noustenons à remercier les personnes qui ont accepté de partager leur expertise, contribuant ainsi àenrichir le contenu du présent document. Le ministère ou l’organisme de provenance des personnesest celui où elles travaillaient au moment des travaux.MesdamesMishèle Bérubé Service des politiques budgétaires et financières,Secrétariat du Conseil du trésorJulie DésyService des orientations stratégiques, ministère des TransportsLouise Milhomme Sous-secrétariat à la modernisation de la gestion publique,Secrétariat du Conseil du trésorMarie-José Péan Secrétariat du Comité des priorités, ministère du Conseil exécutifLucie RoyComité des responsables de la vérification interne etSecrétariat du Conseil du trésorMarie-Renée Roy Direction de la recherche, de l’évaluation et de la statistique,ministère de l’Emploi et de la Solidarité socialeMessieursChristian Beaudet Service des politiques et de soutien à la gestion,Secrétariat du Conseil du trésorYvan Giroux Direction des mandats spéciaux, Bureau du Contrôleur des financesBun Luk Khuong Direction de la performance, Régie des rentes du QuébecMichel Lagueux Bureau du vice-président,Commission administrative des régimes de retraite et d’assurancesMarc Lecours Secrétariat du Comité des priorités, ministère du Conseil exécutifAlain Saucier Service du développement de l’information,ministère de la Santé et des Services sociauxJean Tremblay Direction des ressources financières, ministère de l’ÉducationMichel Turner Service des politiques budgétaires et financières,Secrétariat du Conseil du trésorAndré VielGroupe des responsables en analyse et en évaluation de programme,Direction de l’évaluation, ministère de la Recherche,de la Science et de la TechnologieRoland Villeneuve Groupe en planification stratégique et Direction de l’action stratégique,ministère de la Culture et des CommunicationsRÉALISATION DU GUIDESecrétariat du Conseil du trésor, Sous-secrétariat à la modernisation de la gestion publiqueDirection de la modernisation et des agencesConception Chantal d’Auteuil en collaboration avec Claude BonneauRédaction Chantal d’AuteuilPOUR TOUT RENSEIGNEMENT CONCERNANT CE GUIDE, VOUS POUVEZ VOUS ADRESSERAU SOUS-SECRÉTARIAT À LA MODERNISATION DE LA GESTION PUBLIQUE PAR TÉLÉPHONE,AU NUMÉRO (418) 643-0805, OU PAR COURRIEL [MODERNISATION@SCT.GOUV.QC.CA].Février 2003Dépôt légalBibliothèque nationale du QuébecBibliothèque nationale du CanadaISBN 2-550-40513-7

3.4 L’interprétation de l’indicateur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243.4.1 Les utilisations possibles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243.4.2 Les mises en garde . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243.4.3 Les indicateurs de comparaison . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243.5 L’évolution des indicateurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243.5.1 Facteurs internes au ministère ou à l’organisme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253.5.2 Facteurs externes au ministère ou à l’organisme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25PARTIE 4La gestion des indicateurs et les outils utiles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274.1 Le système d’information de gestion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274.1.1 Les composantes possibles d’un système d’information de gestion . . . . . . . . . . . . . . 284.1.2 À propos des tableaux de bord . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284.2 Les outils de gestion des indicateurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294.2.1 La fiche-indicateur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294.2.2 Le registre des indicateurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294.2.3 La catégorisation des indicateurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294.2.4 La fiabilité des données : le diagnostic et le plan d’amélioration . . . . . . . . . . . . . . . . 304.2.5 La démarche intégrée de contrôle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304.2.6 La vérification interne . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31Annexe 1 Loi sur l’administration publique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32Annexe 2 Lexique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33Annexe 3 Exemples de typologies des indicateurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34Annexe 4 Exemple des niveaux ou zones critiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35Annexe 5 Exemples de fiches-indicateurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36Références utiles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41SCHÉMASSchéma 1 Contribution des indicateurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8Schéma 2 Sélection et élaboration des indicateurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16Schéma 3 Gestion des indicateurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274 G u i d e s u r l e s i n d i c a t e u r s

I NTRODUCTIONLa notion d’indicateur n’est pas nouvelledans le domaine de l’administration publique.Depuis plus d’une dizaine d’années,la plupart des gouvernements des paysmembres de l’Organisation de coopérationet de développement économiques (OCDE)utilisent des indicateurs pour mesurerl’atteinte des objectifs et d’autres dimensionsde la gestion afin d’apprécier leurperformance. En effet, dans un cadre degestion axée sur les résultats, l’appréciationde la performance des organisations gouvernementaleset de leurs composantes sefait désormais en fonction des résultatsprojetés et ces résultats sont mesurés àl’aide d’indicateurs.Les indicateurs peuvent servir à différentspaliers de l’organisation et à diversesétapes du cycle de gestion et des processusde production à la fois pour mesurer l’impactdes services rendus sur la populationet apprécier les efforts requis pour parvenirà ces résultats.Le présent guide intéressera donc les gestionnairesde tous les niveaux de l’organisationgouvernementale ainsi que lesmembres du personnel associés au suivi età l’appréciation des résultats. Il a pourobjectifs principaux de :• faire partager une compréhension etun vocabulaire communs quant auxconcepts de base concernant les indicateursutilisés en milieu gouvernemental;• soutenir les ministères et organismesdans l’élaboration des indicateurs ;• favoriser l’appropriation et la responsabilisationdes gestionnaires parrapport à l’utilisation des indicateursà tous les niveaux de l’organisation– incluant les activités réalisées par lesunités de type conseil, les unités desoutien aux opérations et les unitésopérationnelles – et par rapport à lareddition de comptes, tant internequ’externe.Ce guide présente les principales étapes etoutils utiles à l’élaboration, à l’utilisation età la révision des indicateurs et ne prétendpas être exhaustif. Son contenu a été élaboréen tenant compte des autres guidespréparés pour l’implantation de la modernisationet pourra y faire référence aubesoin. Il vise à susciter l’émergence d’uneculture dans le domaine de la mesure desrésultats, domaine fort diversifié, dynamiqueet en constante évolution. Soncontenu, tout comme le sujet dont il traite,pourra évoluer et être mis à jour périodiquement.Bien qu’ils s’inspirent d’indicateurs réelsprovenant de divers ministères et organismesdu secteur public ou parapublic,il est important de signaler que les exemplesutilisés dans le guide sont fictifs, maisdemeurent néanmoins plausibles.G u i d e s u r l e s i n d i c a t e u r s5

PARTIE1L’INDICATEUR, UN OUTIL ESSENTIELÀ LA GESTION1.1 UNE DÉFINITION DE L’INDICATEURIl existe un grand nombre de définitions del’indicateur. La définition élaborée par legroupe de travail émane d’un consensusqui tient compte du nouveau cadre degestion axée sur les résultats. Cette définitionne contredit pas celles qu’on peuttrouver dans les autres guides publiés dansle contexte de l’implantation de la gestionaxée sur les résultats ; elle se veut seulementplus précise.INDICATEURToute mesure significative, relative ounon, utilisée pour apprécier les résultatsobtenus, l’utilisation des ressources,l’état d’avancement destravaux ou le contexte externe.Une mesure…Par la mesure, on établit une grandeur, unequantité, un indice, un état de situation ouun degré de réalisation par rapport à uneétape donnée.… significative…La mesure a un sens et elle est liée à unepréoccupation, à l’objectif à atteindre. Ellepermet de scruter un aspect, une dimensiond’un phénomène ou d’une activité etd’en comprendre la portée ou la finalité.… relative ou non…L’indicateur peut exprimer une mesuresimple (nombre) en présentant une seulevariable. Il peut aussi mettre en relationdeux ou plusieurs variables (pourcentage,ratio). L’indicateur peut être mis en relationavec une cible, avec un indicateurrattaché à d’autres objectifs ou un indicateursimilaire d’une autre organisation.… pour apprécier…La mesure permet d’évaluer, de juger, decomparer, de suivre la progression, de vérifier,de contrôler.… les résultats obtenus…Les résultats obtenus représentent d’abordles divers bénéfices obtenus par les clientèleslorsqu’elles se prévalent des produitset services offerts par le ministère ou l’organisme; ces bénéfices, aussi appelés effetsou impacts, peuvent être obtenus immédiatementou à plus long terme et sontde nature sociale, économique, environnementale,etc. Les résultats d’impactdécoulent généralement du plan stratégique,mais peuvent aussi se retrouver dansun plan d’action d’agence. Le résultat peutaussi présenter un caractère plus opérationnellorsqu’il représente les effortsrequis pour procurer des bénéfices auxclientèles. Le degré de satisfaction desclientèles sur des aspects particuliers de laprestation des services fait aussi partie desrésultats. Enfin, le résultat obtenu peutaussi s’appliquer à des produits plusintangibles générés par les unités chargéesd’orienter l’action des ministères et organismes(recherche, évaluation, conseil).… l’utilisation des ressources…Dans le contexte de la gestion axée sur lesrésultats, l’offre de service s’appuie surles attentes exprimées par les citoyens,mais aussi sur le respect des ressourcesdisponibles. Les indicateurs permettentainsi de suivre l’évolution des revenus etdes dépenses, de vérifier si les budgetsalloués sont respectés et si la gestion desressources est efficiente (par exemple, lecoût de revient d’un service ou d’uneactivité). Certains éléments qui composentle plan d’amélioration des services rattachésà la déclaration de services auxcitoyens peuvent aussi être considérés pourmesurer l’utilisation des ressources.… l’état d’avancement des travaux…Les résultats d’une organisation n’étant pastous quantifiables, la mesure peut aussi êtreune information ponctuelle, un rapportd’étape sur une mise en œuvre, le degréd’évolution ou de livraison d’un dossier,6 G u i d e s u r l e s i n d i c a t e u r s

d’une implantation, d’une recherche ou,encore, une date limite, une échéance.… le contexte (l’environnement)Les organisations gouvernementalesagissent et évoluent dans des domaines oùelles ne sont pas les seuls acteurs, que cesoit sur le plan social, économique oupolitique. Pour connaître les différentsfacteurs qui ont une influence sur leursactivités, elles doivent se doter d’un certainnombre d’indicateurs qui permettent demieux connaître le contexte externe danslequel ils évoluent et aussi de comparerleurs résultats à ceux d’autres gouvernementsou organisations. Ces données sontcollectées et compilées pour connaître lesclientèles et leurs attentes et elles s’avèrenttrès utiles lorsqu’il faut déterminer la cibleà atteindre pour chacun des indicateurs oucirconscrire sa « zone de contribution »(voir la section 3.1).1.2 LA CONTRIBUTION DES INDICATEURSÀ LA GESTIONAXÉE SUR LES RÉSULTATS 1Étant associés aux différentes phases de lagestion axée sur les résultats et du cycle degestion, les indicateurs peuvent êtreutilisés à des fins multiples. Les plus importantesdemeurent toutefois la mesure et lesuivi des résultats, ainsi que l’appréciationde la performance dans le contexte de lareddition de comptes.Le schéma 1 donne un aperçu des différentescontributions des indicateurs. Aucentre, dans l’encadré pointillé, sont nommésles principaux documents où l’ontrouve des indicateurs ; les documents prescritspar la Loi sur l’administration publique(L.R.Q., c. A-6.01) figurent dans les boîtesgrises. Les différentes contributions desindicateurs figurent autour de l’encadrépointillé et font aussi référence à certainesétapes du cycle de gestion.L’élaboration et la révision du planstratégique et des plans d’actionLes résultats obtenus (ou connus), mesurésà l’aide des indicateurs, et l’appréciation dela performance servent directement à laphase de planification, qu’elle soit stratégiqueou opérationnelle. L’indicateur estun outil privilégié pour déterminer, préciserou réviser les objectifs et les résultatsattendus.L’amélioration des services et desmodalités de prestation des servicesL’appréciation des résultats peut conduire àl’ajout, à la modification ou à la suppressionde programmes d’activités ou deservices et faire évoluer la façon dont onrend les services afin de mieux répondreaux attentes exprimées par les clientèles.L’évolution de l’organisationLes résultats obtenus et mesurés par lesindicateurs peuvent amener l’organisationà mieux circonscrire sa mission, ses mandatset sa zone de contribution ainsi qu’à ajustersa structure et ses capacités organisationnellesen conséquence.La répartition des ressourcesEn lien avec le plan stratégique, le planannuel de gestion des dépenses et les plansd’action, les résultats mesurés avec lesindicateurs peuvent influer sur les choixd’action et, par ricochet, sur la répartitiondes ressources humaines, financières, matérielleset informationnelles. Ils servent égalementà effectuer le suivi de l’utilisationdes ressources et peuvent éventuellementfournir des renseignements essentiels à lapréparation et à la négociation des ententesde gestion.1Pour connaître les fondements et la démarche de la gestion axée sur les résultats, consulter leGuide sur la gestion axée sur les résultats publié en juin 2002 par le Secrétariat du Conseil du trésor.G u i d e s u r l e s i n d i c a t e u r s7

Schéma 1 Contribution des indicateursÉlaboration ourévision des plansAmélioration desservices/modalitésde serviceÉvolution del’organisationRedditionde comptesinterne/externePlanstratégiqueDéclarationde servicesCPIEntentesde gestion➪ ➪Plan annuel de gestiondes dépensesPlan d’actionPland’améliorationdes servicesPlans d’actionagencesRapports annuelsde gestion ministères,organismes et agences➪RépartitiondesressourcesMesure etsuivi desrésultatsPrise dedécisionsAppréciationde laperformance8 G u i d e s u r l e s i n d i c a t e u r s

La mesure et le suivi des résultatsL’indicateur est le moyen privilégié pourexprimer concrètement, quantifier ou qualifierle résultat attendu et obtenu. Il esthabituellement relié à un objectif stratégiqueou opérationnel et la mesure se faità une fréquence régulière en comparant lerésultat obtenu au résultat attendu.La prise de décisionsLes indicateurs servent à connaître lasituation, à effectuer le suivi des activités età apprécier les résultats à différentes étapesdu cycle de gestion et des processus deproduction. Ils permettent ainsi de décelerles zones critiques et d’apporter les ajustementsrequis pour s’assurer de l’atteintedes résultats attendus.L’appréciation de la performanceet la reddition de comptesEn examinant l’ensemble des résultatsobtenus et en faisant les liens pertinentsentre les indicateurs, on peut apprécier laperformance globale de l’organisation etde ses diverses composantes. La performanceglobale permet de mesurer l’impactdes produits et des services rendus à lapopulation et les efforts requis pourfournir les produits et les services. Lesdifférentes composantes de l’organisationfont état de leur contribution à l’atteintedes objectifs stratégiques et opérationnelspar la reddition de comptes interne. Leministère ou l’organisme et les unités sousconvention de performance et d’imputabilité(CPI) font état de l’impact de leuraction sur la clientèle en fonction d’objectifspréétablis (les résultats attendus) parla reddition de comptes externe.G u i d e s u r l e s i n d i c a t e u r s9

2PARTIEL ES CONCEPTS DE BASE2.1 LA TRIADE OBJECTIF –INDICATEUR ¬– CIBLECes trois éléments sont à la base de lamesure des résultats. C’est par la combinaisonde l’objectif, de l’indicateur et de lacible qu’on exprime le résultat attendu.Il est à noter que la plupart des exemplesutilisés sont fictifs, mais demeurent néanmoinsplausibles.2.1.1 L’objectifL’objectif exprime l’intention, l’engagement,ce qu’on veut réaliser et produire,bref le but poursuivi par les services et lesprogrammes offerts. Habituellement, l’objectifvise un effet, un bénéfice pour laclientèle ou contribue à la concrétisationd’un tel bénéfice. Le libellé de l’objectif estparfois très précis, parfois plus général.Très précis, il comprend l’intention (augmenter,diminuer, maintenir, améliorer) etprécise les objets, les champs et les clientèlessur lesquels on veut agir ; l’indicateuret la cible sont aussi inclus dans le libellé.Réduire de 10 % le nombre de décèssur les routes impliquant des véhiculeslourds.Plus général, l’objectif exprime l’intentionet précise le champ et la clientèle, ou seulementun des deux, visés par le résultat,mais il ne comprend pas explicitementl’indicateur et la cible.Réduire le nombre de décès sur lesroutes.Il est toujours préférable de formuler unobjectif de façon plus générale lorsque lerésultat souhaité comporte plusieurs facetteset que celles-ci requièrent plusieursindicateurs, donc plusieurs cibles distinctes.C’est notamment le cas lorsqu’ondoit mesurer le résultat d’activités oud’interventions qui ne peuvent être fusionnéespour la mesure ou encore si plusieursministères et organismes interviennentdans un dossier et peuvent contribuer àl’atteinte d’un même objectif. L’indicateurse limite alors à la stricte contribution dechacun.Augmenter la participation des jeunesaux programmes favorisant leur autonomiesociale et économique.Cet indicateur pourrait mettre à contributionplusieurs ministères et organismesdont le ministère de l’Emploiet de la Solidarité sociale (MESS), leministère de la Santé et des Servicessociaux (MSSS) et le ministère desFinances, de l’Économie et de laRecherche (MFER) ainsi que des partenaires(ressources communautaires,employeurs, etc.).Il arrive également que l’objectif soit évaluéavec différents types de mesures, commedes résultats quantitatifs et des résultatsqualitatifs.Améliorer le degré de satisfaction desutilisateurs du service.L’atteinte de cet objectif pourrait êtremesurée par le nombre de plaintesreçues ou par l’intermédiaire degroupes de discussion composés d’utilisateursreprésentatifs.Sous un autre aspect, certains objectifs nesont pas énoncés de façon explicite, maissont plutôt compris dans les obligationsadministratives ou réglementaires duministère ou de l’organisme. Pensons, parexemple, au respect des enveloppes budgétairesannuelles, qui lui permet de témoignerd’une saine gestion des fonds publics.10 G u i d e s u r l e s i n d i c a t e u r s

Assurer l’équilibre budgétaire duministère ou de l’organisme.ceux d’autres organisations similaires.L’indicateur chiffré peut fournir tant unrésultat quantitatif…Il en est de même pour la mesure du volumedes activités ou la mesure de certainsfacteurs sur lesquels on n’a pas pleincontrôle. On pourra ainsi suivre le nombreréel de personnes ayant reçu un service oule total des sommes versées, ce qui permet,entre autres, de vérifier si les ressourcesallouées sont suffisantes ou non pourl’année en cours. Enfin, certains renseignementsutilisés pour les besoins de la gestionopérationnelle prennent la forme d’uneprévision ou d’une estimation d’achalandageou d’une demande estimée de servicesavec laquelle on compare la demande réelleafin d’ajuster les ressources ou de limiterles dépassements.2.1.2 L’indicateurL’indicateur est plus précis et souvent plusrestrictif que l’objectif, car il décrit le typede mesure (nombre, ratio, pourcentage,bien livrable) ainsi que les différentséléments qui seront considérés dans lecalcul ou le suivi (par exemple les activités,les groupes de clients, les coûts, etc.).Comme l’indicateur ne mesure qu’un seulaspect ou une seule dimension d’unphénomène, il peut y avoir plusieurs indicateurspour mesurer l’atteinte d’un mêmeobjectif. L’indicateur doit représenter lemeilleur choix possible pour mesurer lerésultat attendu ou un de ses aspects.Les indicateurs chiffrés s’expriment ennombre (la quantité, le coût, le temps), enpourcentage ou sous forme de ratio etdonnent une mesure du résultat considéréecomme plus objective. Le suivi desrésultats est plus simple, car l’évaluationdes écarts entre la situation de départ et lacible peut se faire de façon mathématique.L’utilisation d’indicateurs chiffrés faciliteaussi les comparaisons des résultats avecNombre d’infractions solutionnéespar région.Pourcentage d’infractions solutionnéespar rapport aux infractionsdéclarées par région.… qu’un résultat qualitatif.Taux des personnes interrogées qui sedéclarent très satisfaites ou satisfaitesdes explications reçues.Lorsque les données sont disponibles etque l’indicateur peut être élaboré adéquatementet mesuré périodiquement,il demeure préférable d’utiliser des indicateurschiffrés, car ils sont en général plusstables et plus durables.Les indicateurs non chiffrés sont utiliséslorsque les objectifs ne peuvent êtrequantifiés ou qu’il s’agit d’objets ou derésultats « intangibles » (par exemple, ledépôt d’une politique, la préparation d’unplan d’action, la réalisation d’une évaluationou d’une recherche, le plan de coordinationd’activités, l’implantation d’unnouveau programme, etc.).Date d’entrée en vigueur du nouveauprogramme.Dans ces cas, l’indicateur devrait décrire lanature et le contenu du bien livrable.Toutefois, le détail des éléments souhaitéspermet souvent d’exprimer une partie del’indicateur de façon chiffrée (par exemple,le nombre de biens livrables, le pourcentaged’organismes ayant adhéré à la politiqueou l’ayant implantée, le pourcentagedes éléments de concordance entre lesG u i d e s u r l e s i n d i c a t e u r s11

mesures adoptées et les recommandationsformulées). L’indicateur chiffré demeuretoujours un excellent outil de mesure.Nombre de formulaires adaptés auxnouvelles technologies et déposésdans le portail ministériel.2.1.3 La cibleLa cible exprime le niveau, la « hauteur »du résultat attendu par rapport à une unitéde mesure, l’« étalon » de l’indicateurchoisi. La mesure étalon correspond à unemesure de référence qui sert de base decomparaison pour le résultat obtenu. Cettemesure étalon peut être une valeur connueet agréée comme telle par les spécialistesd’un secteur donné…Indicateur : Taux de mortalité infantile.Mesure étalon : Taux moyen de mortalitéinfantile dans les pays de l’OCDEoccupant les 10 premiers rangs en2000 : 3,5 %.Situation de départ : 5,3 % en 1999.Cible : 4,5 % d’ici à 5 ans (cible fictive).… ou représenter une amélioration, unchangement ou une variation par rapport àune situation antérieure (voir la section 3.3 –Mesure de la situation de départ).Indicateur : Nombre de demandes derévision traitées en dehors des délaislégaux en 2001-2002.Cible : Diminuer de 10 % par rapportau nombre de ces demandes en2000-2001.La cible donne un sens à la variationdésirée et, s’il s’agit d’un indicateur chiffré,peut se présenter sous forme de pourcentage,de nombre, de ratio.Maintien à 0,9/1000 dossiers traités leratio des dossiers comportant deserreurs dans les montants versés.Dans le cas d’un indicateur non chiffré, onnommera le bien livrable (plan d’action,implantation, mise en œuvre), le délai delivraison ou l’échéance de l’action à poser.Nouvelle politique implantée au plustard le 31 décembre 2002.La mesure de l’indicateur permet d’illustrerle résultat obtenu à intervalles réguliers.La comparaison entre le résultat obtenu etle résultat attendu sert à apprécier le degréd’atteinte de la cible au cours d’une périodedonnée ou permet de juger de l’importancede l’écart (positif, nul ou négatif)entre les deux.2.2 LES CARACTÉRISTIQUESD’UN BON INDICATEURLa qualité de l’indicateur repose sur uncertain nombre de critères objectifs quidoivent, en principe, être respectés lorsqu’onl’élabore. Ces critères constituent en quelquesorte les exigences minimales auxquellesl’indicateur doit répondre pour pouvoirêtre conservé pendant un temps raisonnable(par exemple, la durée du plan stratégique),sans être constamment remis enquestion et sans subir de modificationsimportantes. Afin de simplifier la démarche,seulement six critères ont été retenus.2.2.1 La pertinenceL’indicateur correspond à une préoccupation,une attente, un engagement en lienavec l’objectif dont il contribue à mesurerl’atteinte ; il illustre concrètement, en toutou en partie, le résultat, le phénomène oul’objet qu’on veut mesurer ; il renseigne12 G u i d e s u r l e s i n d i c a t e u r s

ien sur les effets des activités et est utilepour apprécier les résultats obtenus.Objectif : Limiter le taux d’abandondes appels à 5 %.Indicateur : Taux d’abandon desappels mis en attente.2.2.2 La validitéL’indicateur mesure réellement ce qu’il doitmesurer en fonction de ce qui est visé ;il permet de faire état de la situation de lafaçon la plus juste possible. Pour vérifier sil’indicateur est valide, il suffit souvent dele comparer avec d’autres indicateurs possiblespour mesurer le même phénomène.Indicateur : Coût moyen d’une participationau programme.Cet indicateur pourrait ne pas êtrevalide si certains coûts étaient exclusdu calcul ou si certaines catégories departicipations n’étaient pas comptabilisées.2.2.3 La faisabilitéL’indicateur doit être relativement facile àobtenir et à produire. Les données sontaccessibles au moment opportun et lesopérations nécessaires pour les collecteret les traiter présentent un rapport coûtavantageraisonnable (voir aussi section3.2.3 – Les données disponibles).2.2.4 La convivialitéL’indicateur est simple, clair, facile àcomprendre et à présenter. Son interprétationest la même pour tous, communeet partagée. Il n’existe qu’une seule définitionet les limites de l’indicateur sontconnues (voir section 3.4 – Limites d’interprétationde l’indicateur).2.2.5 La fiabilitéLes résultats mesurés par l’indicateurdoivent être constants chaque fois qu’unemesure est prise dans des conditionsidentiques. Cela implique que le résultatest conforme à la réalité, ne comporte pasd’erreur et est intégral. La notion defiabilité comprend aussi les notions desensibilité et de robustesse de l’indicateur,c’est-à-dire qu’il doit faire ressortir lesvariations significatives tout en demeurantassez stable pour assurer une mesureconstante dans le temps. La fiabilitéglobale de l’indicateur est par ailleurslargement tributaire de la fiabilité desdonnées (voir section 4.2 – Fiabilité desdonnées : diagnostic et plan d’amélioration).2.2.6 La comparabilitéLorsque c’est possible, on choisira unindicateur standardisé, utilisé par plusieursorganisations et reconnu officiellement(variables, méthode de calcul et fréquencede mesure correspondant à des normes ouà des conventions). Cette caractéristiquen’est pas obligatoire, mais elle est trèssouhaitable, car elle améliore la crédibilitéde l’indicateur (voir section 3.4.3 – Lesindicateurs de comparaison).2.3 LA HIÉRARCHISATIONDES INDICATEURSEn principe, les différents paliers de l’organisationet les personnes qui y travaillentcontribuent, de façon directe ou indirecte,à l’atteinte des résultats, c’est-à-dire à laproduction de bénéfices (effets ou impacts)pour la clientèle du ministère ou de l’organisme.Chaque membre de l’organisation,peu importe son statut ou son niveauhiérarchique, est responsable de l’atteintede certains résultats qui découlent desactivités sous la responsabilité de son unitéadministrative ou de son groupe de travail.G u i d e s u r l e s i n d i c a t e u r s13

Cette unité administrative participe à laréalisation du plan d’action de la directionet ainsi de suite, jusqu’aux plus hautesautorités responsables de l’atteinte desrésultats annoncés dans le plan stratégiquedu ministère ou de l’organisme. Les différentspaliers de l’organisation peuventaussi être liés par des engagements particuliers,inscrits à la déclaration de servicesaux citoyens, dans la CPI ou dans l’ententede gestion.Par ailleurs, la contribution des unités centraleset des unités qui ne sont pas en servicedirect à la clientèle permet aussi desoutenir la mission, l’orientation de l’actionet les activités du ministère ou de l’organisme.Les résultats recherchés dans lagestion de ces activités sont parfoisimplicites (une saine gestion, l’équilibrebudgétaire) ou souvent encadrés par desdirectives, normes ou règlements (rémunérationdes employés, nombre d’emploisETC autorisé, pourcentage du budgetalloué à la formation, plan d’affaires ou degestion des technologies de l’information,etc.).Bien qu’il existe plusieurs catégoriesd’indicateurs, deux grands groupes d’indicateursse démarquent, soit les indicateursexternes, qui mesurent surtout les effets del’action du ministère ou de l’organisme sursa clientèle, et les indicateurs internes, quiservent plutôt pour l’orientation, l’évaluationet la gestion des activités, des processuset des ressources.2.3.1 Les indicateurs externesLes indicateurs externes correspondent engénéral aux indicateurs d’impact et sontdavantage rattachés aux objectifs stratégiqueset aux objectifs d’amélioration de laqualité des services aux citoyens. Ilspeuvent aussi se rapporter à certainsindicateurs opérationnels lorsque les acti-vités mesurées contribuent à l’atteinte desrésultats liés à la mission du ministère oude l’organisme et permettent de répondreaux attentes des clientèles. Par exemple,l’indicateur qui mesure le nombre departicipants concerne les opérations, mais aune valeur contributive sur le résultatd’impact car, s’il n’y a pas suffisammentde participants, l’objectif ne pourra êtreatteint. Les indicateurs qui permettent desuivre les éléments du contexte externe etl’évolution du profil de la clientèle fontaussi partie des indicateurs externes.En général, les indicateurs externes sontconsignés dans les plans stratégiques, leplan annuel de gestion des dépenses et leplan d’action des agences. Ils peuvent correspondreà certains éléments de l’ententede gestion ou aux engagements contenusdans la déclaration de services aux citoyens.Ce sont eux qui font l’objet de la redditionde comptes publique. Ils expriment habituellementla mesure de l’efficacité (l’impactsur la clientèle visée) et de l’efficience(par exemple, le nombre de personnesayant complété le programme par rapportau nombre total de personnes l’ayantentrepris).2.3.2 Les indicateurs internesLes indicateurs internes s’appliquent surtoutà la gestion des opérations, au suivi budgétaire,au contrôle des ressources (humaines,financières, matérielles et informationnelles)et à l’administration des processus.Ils englobent autant l’action des unitéscentrales et les activités de soutien auxopérations que les activités rattachées auxfonctions d’orientation, d’évaluation etd’élaboration des politique et des programmes.Ils s’expriment souvent par lamesure du volume d’activité (le nombre dedossiers traités) et de l’efficience ( le coûtmoyen d’un service).14 G u i d e s u r l e s i n d i c a t e u r s

Les indicateurs internes s’inscrivent defaçon formelle dans le plan d’action etparfois dans l’entente de gestion (parexemple, les conditions à respecter ou lesobjectifs à atteindre pour bénéficier d’assouplissementsadministratifs). Ils constituentla matière première de la redditionde comptes interne.G u i d e s u r l e s i n d i c a t e u r s15

3PARTIEL A SÉLECTION ET L’ ÉLABORATIONDES INDICATEURSTous les gestionnaires et, le cas échéant,plusieurs autres membres du personnel sontsusceptibles de collaborer à l’élaborationdes indicateurs ou des cibles. Ils pourrontaussi être appelés à suivre les résultats et àparticiper à la révision des indicateurs deleur unité administrative.La plupart des résultats d’une organisationsont liés, de près ou de loin, à sa mission.Or, le succès ou le degré de réalisation de lamission d’une organisation se mesure principalementpar une combinaison d’efficacitéet d’efficience, soit, d’une part, l’atteintedes objectifs et l’obtention de résultatsconformes aux attentes des clientèles, et,d’autre part, une utilisation rationnelle etcohérente des ressources allouées.Schéma 2 Sélection et élaboration des indicateursUnivers et zonede contributionSection 3.1Composantes durésultat attendu(objectif-indicateur)Section 3.2Établissementde la cibleSection 3.3Interprétationde l’indicateurSection 3.4• Mission et mandats du ministère ou de l’organisme• Contexte interne et externe• Clientèles (profil, caractéristiques, besoins, attentes)• Objectifs définis à d’autres niveaux du ministère oude l’organisme• Activités et processus couverts par l’unité administrative parrapport aux autres unités du ministère ou de l’organisme• Ressources disponibles (humaines, financières, matérielles,informationnelles)•Finalité/intention (objectif)• Définition/énoncé de l’indicateur• Données disponibles• Échéance/fréquence de mesure• Unité administrative responsable• Durée de vie de l’indicateur•Possibilités d’étalonnage (benchmarking)• Mesure de la situation de départ• Méthode d’établissement de la cible• Détermination du niveau de la cible• Détermination des écarts admissibles• Utilisations possibles• Mises en garde• Indicateurs de comparaisonParamètres du résultatLiens entre paramètresType de mesureÉvolution del’indicateurSection 3.5• Facteurs d’influence internes et externes16 G u i d e s u r l e s i n d i c a t e u r s

3.1 CONNAÎTRE SON UNIVERS ETSA ZONE DE CONTRIBUTION :LE POINT DE DÉPARTUnivers etzone decontribution• Mission et mandats du ministèreou de l’organisme• Contexte interne et externe• Clientèles (profil, caractéristiques,besoins, attentes)• Objectifs définis à d’autres niveauxdu ministère ou de l’organisme• Activités et processus couverts parl’unité administrative par rapportaux autres unités du ministère oude l’organisme• Ressources disponibles (humaines,financières, matérielles,informationnelles)Pour définir correctement les résultatsattendus de son unité ou de son groupe detravail, il faut connaître :• le ministère ou l’organisme : sa mission,ses mandats et le contexte externe ;• les clientèles et leurs attentes ;• les objectifs définis aux autres niveauxde l’organisation (plan stratégique,plan d’action ministériel ou plansd’agence inférieurs et latéraux, pland’amélioration des services, etc.) ;• les activités et les processus dont l’unitéest responsable (pour bien délimiter sazone de contribution) ;• les ressources disponibles (humaines,financières, matérielles, informationnelles).L’information relative au ministère ou àl’organisme, à ses clientèles et à soncontexte se trouve généralement dansplusieurs documents (la loi constitutive duministère ou de l’organisme et les autreslois administrées, les rapports annuelsantérieurs, le plan stratégique, le planannuel de gestion des dépenses, le pland’amélioration des services aux citoyens, lespolitiques et les programmes, les rapportsd’évaluation de programmes, etc.).La détermination des objectifs passe essentiellementpar la recension des activités etdes processus assumés par l’unité et qui setraduiront en deux catégories de produitset services, soit ceux qui sont destinés auxclientèles externes et ceux qui soutiennentle fonctionnement interne de l’organisation.La démarche de coût de revient estsouvent recommandée pour déterminer lesactivités et les produits et, par ricochet, lesrésultats visés. On peut également seréférer au Document de référence sur laplanification stratégique et au Guide sur laconvention de performance et d’imputabilité.Par la suite, il est plus facile pourl’unité concernée de bien circonscriresa zone de contribution à l’atteinte desobjectifs du ministère ou de l’organisme.L’exemple qui suit illustre bien les différentsniveaux de contribution selon lepalier de gestion où l’unité administrativese trouve.Objectif stratégique du ministère del’Éducation : Diminuer la proportionde décrocheurs parmi les sortants dusecondaire (actuellement 25 % ;atteindre 15 % d’ici à 5 ans).Commission scolaire : Élaborer unplan stratégique qui prévoit le soutiennécessaire aux écoles et éventuellementl’affectation des ressourceshumaines et financières.École secondaire : Fixer un objectif cibléà atteindre en fonction de l’objectifnational, de sa situation actuelle et descaractéristiques socio-économiques deses élèves (par exemple, repérer 15 décrocheurspotentiels par année et leuroffrir un soutien psychopédagogique).Lorsque le résultat attendu met à contributionplus d’une entité administrative oud’un groupe de travail, il n’est pas toujourssouhaitable de morceler la mesure del’indicateur, à moins que les objets àmesurer ne soient vraiment incompatibles.G u i d e s u r l e s i n d i c a t e u r s17

Les résultats qui concernent le fonctionnementinterne couvrent habituellement lesactivités des unités d’orientation, des unitésde soutien aux opérations et des unitésopérationnelles et portent sur la gestiondes ressources. Le lien avec la mission duministère ou de l’organisme n’est pastoujours évident. Certaines activités sontplus faciles à associer à un service à laclientèle (par exemple, les activités demessagerie liées à la correspondance avecla clientèle, la téléphonie). D’autres relèventdavantage d’obligations de saine gestiondes fonds publics (l’efficacité, l’efficience).Cette démarche est cependant importanteet rejoint une autre préoccupation, celle derelier l’utilisation des ressources et lesactivités aux objectifs de résultats (planannuel de gestion des dépenses).3.2 DÉFINIR LES COMPOSANTESDU RÉSULTAT ATTENDULorsque le résultat attendu est établi enfonction de la zone de contribution del’unité administrative, il est nécessaire d’endéfinir les différentes composantes pourdéterminer le profil de l’indicateur le plusapproprié. Les principales composantes durésultat sont les suivantes.Composantesdu résultatattendu(objectifindicateur)•Finalité/intention (objectif)• Définition/énoncé del’indicateur Paramètres du résultatLiens entre paramètresType de mesure• Données disponibles• Échéance/fréquence de mesure• Unité administrative responsable• Durée de vie de l’indicateur•Possibilités d’étalonnage(benchmarking)3.2.1 La finalité, l’intention (objectif)La finalité, ou l’intention, qui est à la basedu résultat attendu doit être claire : augmenter,diminuer, maintenir, améliorer,élaborer, mettre en application, etc. C’estcette finalité qui détermine le sens de lamesure, la nature de l’indicateur et le changementqu’on souhaite obtenir par l’action(diminuer, augmenter, maintenir, modifier,élaborer, développer…). Cette informationest habituellement inscrite dans l’énoncéde l’objectif. Il faut aussi se demander si lamesure apporte un élément utile à la prisede décision.Diminuer… la proportion de décrocheurs…3.2.2 La définition et l’énoncéde l’indicateurL’examen des paramètres du résultat, lapossibilité de choisir entre différents typesde mesures et l’établissement des liensentre les différents paramètres constituentles trois étapes principales qui vont menerà la formulation des indicateurs.Les paramètres du résultatIl s’agit ici de déterminer les différentséléments qui sont compris dans le résultatrecherché : une clientèle ou une partie decette clientèle, les caractéristiques particulièresde la clientèle touchée ; le produit oule service visés ; les ressources utilisées (humaines,financières, etc.) ; les délais, le tempsde traitement, la durée de l’intervention, lapériode de référence ; etc.Proportion en pourcentage de décrocheursparmi les sortants du secondaireen 2001-2002Parmi l’ensemble des sortants dusecondaire de 2001-2002, pourcentagede ceux qui sortent sans diplôme.Les sortants comprennent les sortantssans diplôme (décrocheurs) et lesélèves diplômés. Les sortants sansdiplôme sont les élèves qui n’ont pasobtenu un diplôme en 2001-2002et ceux qui ne sont pas inscrits nullepart au Québec, l’année suivante18 G u i d e s u r l e s i n d i c a t e u r s

(2002-2003), que ce soit en formationgénérale (jeunes ou adultes), en formationprofessionnelle ou aux étudescollégiales.Période de référence : année 2001-2002par rapport à l’année précédente.Pour l’année 2001-2002, refaire le calculavec les données applicables.Résultat de 2001-2002 MOINS résultat2000-2001 = écartComparer l’écart obtenu avec la cibleannuelle (- 2 points de pourcentage).Une fois ces paramètres déterminés, il fautaussi établir si on les contrôle, en totalitéou en partie, et quels facteurs limitent cecontrôle. Ces éléments seront précisés dansla définition de l’indicateur.La mesure souhaitée ou souhaitableOn vérifie d’abord s’il est possible d’obtenirun indicateur chiffré. Ensuite, si la mesuresouhaitée est relativement simple, on tentede limiter le nombre d’indicateurs. Enrevanche, si le phénomène est complexe(par exemple, la satisfaction de la clientèle),on peut en retenir plusieurs.Par ailleurs, il faut choisir une méthode decalcul qui sera stable et fiable tout au longde la période de référence. On pourrachoisir la méthode qui est utilisée pour desindicateurs standardisés ou respecter lesrègles de l’art propres au domaine del’indicateur (par exemple, les statistiques,les finances, la démographie).Diminuer, pour l’ensemble du Québec,de 2 points de pourcentage par annéependant 5 ans, la proportion de décrocheursparmi les sortants du secondaire.Mesure souhaitée : suivre l’évolutionde la proportion de décrocheurs en lacomparant d’une année à l’autre.Méthode de calcul :proportion (pourcentage).Pour l’année 2000-2001, nombre desortants du secondaire sans diplômedivisé par le nombre total des sortantsdu secondaire, multiplié par 100.Les liens à établir entre les différentsparamètres utiles à la mesurePour mesurer un effet, un impact sur laclientèle (ou la variation, dans le cas d’objectifsplus opérationnels), on peut effectuerune mesure simple, c’est-à-dire comprenantune seule variable que l’on suivrapériodiquement. La mesure peut aussiassocier deux variables ou plus. Dans cescas, on obtiendra un ratio ou un pourcentagequi met en relation des élémentsdistincts donnant ainsi une perspectivedifférente de la mesure simple.Proportion de décrocheurs parmi lessortants du secondaire en 2001-2002par rapport à 2000-2001.Lorsque la mesure compare des ressourcesutilisées avec les effets du programme, elleconcourt alors à l’efficience et sera utilepour apprécier le résultat en fonction de lagestion.Coût moyen d’une participation auxprogrammes offerts par le ministèreou l’organisme.On peut aussi mettre en relation deuxmesures composites, ce qui fournira de précieuxrenseignements pour l’améliorationde la prestation des services (par exemple,le pourcentage d’écart entre le coût moyend’une participation amorcée et le coûtmoyen d’une participation complétée).G u i d e s u r l e s i n d i c a t e u r s19

3.2.3 Les données disponiblesLe choix de l’indicateur dépend largementdes données disponibles ou encore de ceque le ministère ou l’organisme veut oupeut investir pour les produire. Ces donnéespeuvent provenir de sources internesou externes. La plupart du temps, elles seprésentent à l’état brut et il peut êtrenécessaire de procéder à plusieurs opérationsde traitement pour obtenir la mesuresouhaitée. Les résultats stratégiques seprésenteront dans un format très agrégéalors que les résultats opérationnels pourrontêtre comptabilisés pour des activitésséparées ou des unités administratives pluspetites (sectorielles, locales, régionales).Il importe aussi de savoir si ces donnéesexistent depuis longtemps (données historiques)et si elles peuvent être considéréescomme fiables pour permettre des comparaisonset faciliter l’établissement de la cible.Lorsqu’on pense adopter un nouvel indicateurpour lequel les données n’existentpas encore, il est important de déterminercombien il en coûtera pour les développer,en tenant compte de l’augmentation de lacharge de travail à la saisie des données etde la mise au point des systèmes de collecteet de traitement de ces données. Les renseignementsobtenus, mis en lien avec la duréede vie espérée de l’indicateur, permettentau responsable d’apprécier la valeur ajoutéedu nouvel indicateur en fonction de l’effortet des investissements requis pour le développer.Plusieurs ministères et organismesprofitent d’ailleurs de la refonte de leurssystèmes informatiques pour améliorer lesdonnées disponibles. Enfin, les efforts desimplification administrative auxquels ilssont astreints font en sorte qu’ils tendentde plus en plus à limiter la quantité dedonnées recueillies auprès de la clientèleaux données strictement utiles au traitementdes demandes, et à recourir àd’autres modes de collecte des donnéesrequises pour la mesure des résultats (parexemple, les sondages, les groupes dediscussion, etc.).3.2.4 L’échéance et la fréquencede la mesureEn général, tout indicateur considérécomme essentiel au suivi des résultats oudes activités, qu’il soit de nature institutionnelleou opérationnelle et, plus particulièrement,s’il figure dans un tableau debord, devrait être mesuré régulièrement,de préférence, plus d’une fois par année.En effet, l’organisation qui veut « être encontrôle » et le demeurer doit être informéede façon continue de l’état et de laprogression de ses résultats, surtout si cetteinformation sert à apporter des correctifsen cours d’année ou avant l’échéance fixéepour l’atteinte de la cible.Cependant, il arrive que des indicateurs nepuissent être mesurés qu’une fois ou deuxpar an (ou parfois plus) compte tenu dutype de collecte de données (compilationsmanuelles, sondages auprès du personnelou des clientèles).Par ailleurs, l’interprétation de l’évolutionde certains phénomènes fait parfois ensorte que les résultats à court terme nesont pas significatifs, car ils ne permettentpas de tenir compte de certaines situationsconjoncturelles ou de les neutraliser. Desmesures intermédiaires (assorties de ciblesintermédiaires) peuvent cependant êtreprises régulièrement afin d’assurer le suiviet le monitorage d’un programme ou d’unservice ou, à tout le moins, pour s’ajusterau cycle de production (souvent annuel ou,parfois, pluriannuel).La fréquence de la mesure dépend beaucoupde la « sensibilité » de l’indicateur, àdeux points de vue. La sensibilité de l’indicateurse rapporte d’abord à sa capacitéintrinsèque de varier, et de varier de façonsignificative. Ainsi, un nombre cumulatifprésente en général un potentiel de variationplus grand que certains indicateursexprimés en pourcentage ou en ratio. Lesecond aspect de la sensibilité touche la20 G u i d e s u r l e s i n d i c a t e u r s

nature même du phénomène mesuré parl’indicateur. Par exemple, l’entrée envigueur d’un nouveau programme peutjustifier que la mesure soit effectuée à desintervalles plus courts. En effet, elle permettrade repérer rapidement les écartsnon souhaités et d’apporter les correctifsau cours de la phase d’implantation.3.2.5 L’unité responsable (sectorielle,locale, régionale, centrale, externe)En principe, chaque indicateur est lapropriété d’au moins une unité administrativeclairement désignée. Il s’agit habituellementde l’unité qui est responsabledu résultat, c’est-à-dire de la production duproduit ou du service. Le propriétaire del’indicateur peut dans certains cas en êtreaussi le « producteur » (compilation desdonnées ou calculs), mais, la plupart dutemps, il s’en distingue. Il est important dene pas confondre ces deux fonctions, car leproducteur de l’indicateur n’intervienthabituellement que peu ou pas pourproduire le bien ou le service.Certains résultats du plan stratégique sontpar exemple sous la responsabilité d’unedirection générale, mais représentent lasomme de l’action produite par plusieursunités (par exemple, des unités régionalesou locales, des services, des équipes detravail). Le résultat peut aussi impliquer despartenaires externes. Lorsque c’est le cas,il importe de s’assurer que la mesure esteffectuée de la même façon partout afinde garantir la validité et la fiabilité desrésultats.Ainsi, la méthode de calcul, les paramètres,la fréquence de mesure et la période deréférence doivent être uniformes à tous lespaliers de l’organisation. Les comparaisonsentre les unités en seront d’autant plusfacilitées, de même que l’agrégation desrésultats d’un niveau à l’autre. À l’inverse,l’uniformité de la mesure permettra égalementde meilleures possibilités de forageà partir d’un résultat très agrégé, c’est-àdirede repérer les variations qui peuventsurvenir aux différents niveaux où lamesure est effectuée (secteur, produits).3.2.6 La durée de vie de l’indicateurLa durée de vie d’un indicateur est unenotion importante, car elle assure qu’onpourra effectuer la mesure sur une périodesuffisamment longue, de préférencequelques années, et suivre l’évolution duphénomène, en gardant la même base decomparaison. Un indicateur standardisédans le domaine ciblé et qui est reconnucomme tel à l’échelle nationale ouinternationale a de bonnes chances detenir la route plusieurs années. Dans tousles cas, on essaiera de choisir des indicateursqui demeureront viables à moyenterme, soit sur une période de 3 à 5 ans.Pour assurer une certaine longévité auxindicateurs, il est important (quand c’estpossible) de bien vérifier leur comportementavant de les mettre en vigueurcomme outils de mesure officiels.La durabilité de l’indicateur est aussi liéeau type d’objectif pour lequel il a été sélectionné.Les indicateurs non chiffrés liés àdes biens livrables, tels que les plansd’action, les politiques ou la mise en œuvred’un programme, ont souvent une duréede vie très réduite. Si l’objectif est de natureplus générale, certains programmes peuventdisparaître ou s’ajouter sans affecter l’indicateuren soi ; il suffit alors de préciserque certains changements ont été apportésen ce sens. Les changements apportés à lamission et aux responsabilités du ministèreou de l’organisme ainsi qu’au plan stratégiqueviennent aussi influencer la viabilitédes indicateurs.3.2.7 Les possibilités d’étalonnage(benchmarking)Le choix d’un indicateur devrait égalementêtre examiné par rapport aux possibilitésG u i d e s u r l e s i n d i c a t e u r s21

qu’il offre de comparer les résultats obtenusavec ceux d’autres organisations similairesou d’autres gouvernements. En effet,lorsque l’indicateur peut être comparé, lacrédibilité et la validité des résultats sontencore mieux perçues, tant par les autoritésministérielles que par les décideursgouvernementaux et les parlementaireschargés d’apprécier la performance d’unministère ou d’un organisme.EN SUPPLÉMENT…Le processus d’élaboration d’un indicateurn’est pas nécessairement linéaire et lesdifférentes étapes pour y parvenir peuventêtre entreprises une à la fois ou de façonsimultanée. Il est aussi possible de reveniren arrière pour valider à nouveau certainsparamètres ou remettre en questioncertains choix.Quand on décide de retenir tel indicateurau lieu de tel autre, cela veut aussi direqu’on peut vivre avec ses imperfections oufaire certains compromis. L’indicateur choisireprésente néanmoins la meilleure optionen tenant compte de l’objet ou du phénomèneà mesurer, des données disponibleset de l’effort requis pour l’obtenir.3.3 L’ÉTABLISSEMENT DE LA CIBLEUne fois que l’indicateur est élaboré, onpeut procéder à l’établissement de la cible.La cible permet d’anticiper la « hauteur »ou le niveau du résultat que l’on veutatteindre au terme de la période de référence.La détermination de la cible dépendde plusieurs facteurs tant objectifs que subjectifs.On distingue généralement quatreétapes utiles à l’établissement de la cible.Établissementde la cible• Mesure de la situation de départ• Méthode d’établissementde la cible• Détermination du niveaude la cible• Détermination des écartsadmissibles3.3.1 La mesure de la situationde départLa situation de départ constitue souvent lamesure « étalon » avec laquelle le résultatobtenu sera comparé tout au long de lapériode de référence. L’établissement dela situation de départ est relativementsimple quand les données existent déjà ouque l’indicateur est déjà utilisé. Habituellement,on mesure le résultat effectifenregistré à la fin d’une année budgétaireou d’une période de référence donnée. Lesrésultats comparables des années antérieuressont aussi utiles pour documenterle mieux possible le comportement del’indicateur.Il est très important de déterminer si lasituation actuelle est véritablement normaleet si elle a été exposée à des facteurssusceptibles de l’avoir faussée. Lorsquec’est le cas, il faut pondérer ce résultat(moyenne, médiane, etc.), car les mesuresultérieures pourraient montrer des écartsimportants.Pour un nouvel indicateur, on aura prissoin d’effectuer des tests pour en vérifier lavalidité et la fiabilité, au moins sur quelquesmois, sinon sur une année complète. Lorsde l’implantation d’un nouveau programme,on peut se servir d’estimations ou, encore,extrapoler à partir des résultats de programmessimilaires qui existent ou ontexisté.3.3.2 La méthode d’établissementde la cibleLorsque les données existent, la méthoded’établissement de la cible pourra davantageêtre fondée sur l’évolution historiqueet les variations enregistrées au cours desannées antérieures. De même, il est utilede connaître le comportement habituel oule profil de la clientèle cible ainsi que l’importancedes ressources consacrées auxprogrammes et aux services qui permettentd’atteindre l’objectif.22 G u i d e s u r l e s i n d i c a t e u r s

Quand il s’agit d’un nouvel indicateur etque les données ne sont disponibles quepour une courte période, l’exercice restethéorique et la projection plus aléatoire.Plusieurs organisations vont préférer seservir de l’indicateur pendant quelques moisou une première année complète et ainsidisposer de données réelles et validéesavant de déterminer la cible annuelle oupluriannuelle.Dans les deux cas, d’autres facteurs entrenten jeu pour le calcul de la cible. En effet, leniveau de la cible est aussi déterminé enfonction des objectifs du ministère ou del’organisme et de la priorité qui a étéaccordée à un objectif particulier. Il estimportant de rappeler que les ressourcesqu’on veut ou peut consentir pour la miseen œuvre des programmes et des servicesainsi que les éléments du contexte sontsusceptibles d’influer sur les résultats ou lesvariables. Ces facteurs servent à pondérerles données plus factuelles et à obtenir unecible qui soit la plus réaliste possible.3.3.3 La détermination du niveaude la cibleIl est très important que la cible qu’on sefixe demeure réaliste, c’est-à-dire qu’ellene doit être ni trop prudente ni trop ambitieuse.Elle sera fonction des objectifs duministère ou de l’organisme ou de certainesattentes que le gouvernement aurafixées. Plus on contrôle les intrants et lesprocessus, plus le comportement de l’indicateurest familier et plus la cible devientprécise et réaliste.La cible peut aussi être établie selon unevaleur normalisée (par exemple, le tauxmoyen ou la médiane dans l’ensemble despays de l’OCDE) lorsqu’il s’agit d’un indicateurstandardisé. Dans ce cas, il importede bien mesurer l’écart qui sépare la situationactuelle du ministère ou de l’orgnismede la cible normalisée. Il vaut parfois mieuxopter pour une cible intermédiaire et conser-ver la valeur normalisée comme base decomparaison ou mesure étalon.Pour un nouvel indicateur ou si on amorceun processus de gestion par résultats,la prudence est toujours de rigueur dansl’établissement du niveau de la cible.3.3.4 La détermination des écartsadmissiblesMême si la cible est réaliste et que lesmoyens mis en œuvre pour l’atteindre sontconsidérés comme adéquats, il est important,quand cela est possible, d’essayer deprévoir les comportements possibles del’indicateur afin de permettre à l’organisationde réagir en temps opportun. Les écartsadmissibles, établis à l’avance, permettrontainsi au ministère ou à l’organisme d’entreprendre,au bon moment, un questionnementou des actions de redressement.L’évolution normale ou anticipée desrésultats, incluant les variations cycliques,peut être définie en fonction de la fréquenceprédéterminée de la mesure. Il fautaussi déterminer les différentes variationsqui permettront de gérer en fonction durésultat obtenu. Certains ministères etorganismes auront recours à des écartsuniformes pour tous les indicateurs ; cesécarts sont exprimés en pourcentage parrapport à une progression dans le temps(par exemple, 25 % du résultat atteintaprès le premier trimestre et variation deplus ou moins 5 %). Ces niveaux ou zonescritiques sont clairement définis à l’avanceainsi que les actions à poser correspondantes.Un exemple des niveaux critiquesest fourni à l’annexe 4.Pour un nouveau programme, la gradationdes niveaux critiques peut être différenteet tenir compte, par exemple, d’une progressionplus lente au cours des premiersmois de son application.G u i d e s u r l e s i n d i c a t e u r s23

3.4 L’INTERPRÉTATION DE L’INDICATEURL’interprétation de l’indicateur est unélément primordial d’appréciation de laperformance et elle peut avoir un impactmajeur sur les décisions du ministère ou del’organisme. Le sens et la portée de l’indicateurcomportent des particularités. Il estdonc important que ces particularitéssoient précisées et connues de toutes lespersonnes qui auront à suivre ou à interpréterles résultats liés à cet indicateur.Outre les écarts admissibles convenus (voirsection 3.3.4) pour apprécier l’évolution durésultat obtenu par rapport à la cible, onpeut aussi préciser, pour chacun desindicateurs, les éléments qui suivent.Interprétationdel’indicateur• Utilisations possibles• Mises en garde• Indicateurs de comparaisonLes fiches-indicateurs de l’annexe 5 fournissentquelques exemples pratiques dessujets abordés dans la présente section.3.4.1 Les utilisations possiblesLa description des utilisations possiblespermet de s’assurer que l’indicateur serteffectivement les fins pour lesquelles il aété conçu. Elle permet de préciser ce quesignifie l’indicateur, ce qu’il permet demesurer, ce qu’on peut comprendre sur lephénomène étudié. De plus, il importe ded’indiquer ce que l’indicateur permet desavoir ou de conclure quand il est considéréseul et comment il peut être interprétés’il est mis en relation avec d’autres indicateurs.Ces indicateurs peuvent êtrerattachés au même objectif ou à d’autresobjectifs liés au même axe d’interventionou à la même grande orientation.La description permet également de déterminerles facteurs qui influent sur les résultatsmesurés par l’indicateur. Ces facteurs,dits de contingence, proviennent habituelle-ment du contexte externe et ils permettentde relativiser les écarts ou de mieux circonscrirel’apport véritable du ministère ou del’organisme au résultat obtenu.3.4.2 Les mises en gardeLa description des limites et des particularitésde l’indicateur et de ses paramètresassure une compréhension et une interprétationuniformes chez toutes les personnesqui ont à l’utiliser. On peut signaler, parexemple, que certaines données sontincomplètes, des particularités quant à ladurée d’application des programmes (étalementsur deux années financières), undélai de validation des données officielles,l’exclusion de certaines clientèles, la modificationde certains paramètres dans letemps, des inexactitudes possibles généréespar les activités de saisie ou de traitementdes données.3.4.3 Les indicateurs de comparaisonIl importe tout autant de préciser sil’indicateur peut être comparé avec desmesures étalons ou avec des indicateurssimilaires provenant d’autres organisations.Comme on l’a précisé auparavant, onrecourt de plus en plus à l’étalonnage desrésultats pour améliorer la crédibilité et lafiabilité de l’indicateur choisi. Les indicateursde comparaison permettent demieux situer les objectifs et les efforts duministère ou de l’organisme et de justifierles stratégies privilégiées pour atteindre lesrésultats. Des études réalisées par le ministèreou l’organisme ou encore des rapportsd’évaluation de programme peuvent aussiêtre utilisés pour valider ou corrélercertains résultats en regard de résultats deprogrammes similaires ou visant une mêmeclientèle.3.5 L’ÉVOLUTION DES INDICATEURSIl faut d’abord rappeler que les indicateursdemeurent en continuité et en concordanceavec les objectifs de toute nature24 G u i d e s u r l e s i n d i c a t e u r s

poursuivis par le ministère ou l’organismeet généralement inscrits dans le planstratégique, les différents plans d’action etautres documents de planification administrative.En conséquence, ils sont appelés àévoluer lorsque les plans sont modifiés.L’indicateur n’est donc pas statique et, touten visant une certaine stabilité, la gestiondes indicateurs devrait s’inscrire dans unprocessus d’amélioration continue. Lesindicateurs peuvent ainsi être améliorés,modifiés ou abandonnés. De nouveauxindicateurs seront élaborés pour mieuxmesurer l’objectif ou pour répondre à denouveaux besoins d’information. Voici unaperçu des événements ou circonstancesqui peuvent avoir un impact sur les indicateurs.Évolution del’indicateur• Facteurs d’influence internes etexternes3.5.1 Facteurs internes au ministèreou à l’organisme• Évolution de la mission, des mandats etdes responsabilités du ministère ou del’organisme• Modification des enjeux stratégiques,des orientations, des axes et des objectifsdu plan stratégique, des plansd’action ou d’autres documents comportantdes engagements envers lesclientèles• Évolution des programmes, des serviceset de l’activité du ministère ou del’organisme• Amélioration ou modification des processusde prestation des services(incluant le recours à la prestationélectronique des services)• Évolution des capacités organisationnellesdu ministère ou de l’organisme• Redistribution des ressources en fonctiondes priorités modifiées• Atteinte des objectifs et des cibles aucours de la période de référence• Amélioration du système d’informationde gestion• Problèmes liés à la collecte ou au traitementdes données internes (fiabilité)3.5.2 Facteurs externes au ministèreou à l’organisme• Évolution des orientations gouvernementales• Changements significatifs du profil desclientèles• Évolution du contexte externe, desattentes des clientèles• Meilleure disponibilité des données(GIRES)• Problèmes liés à la collecte ou au traitementdes données externes (fiabilité)• Importance des ressources allouées etdes marges de manœuvre (allégementsadministratifs et réglementaires)EN SUPPLÉMENT…– Quelques indicateurs choisis minutieusementsont suffisants pour assurer lesuivi et apprécier la performance avecjustesse. La qualité devrait toujoursl’emporter sur la quantité, surtout si ontient compte des coûts relatifs à laproduction des indicateurs et à lagestion des tableaux de bord.– Attention aux solutions de facilité : si ladisponibilité des données limite lechoix des indicateurs, on peut quandmême déterminer quels seraient lesmeilleurs indicateurs et voir, à moyenterme, comment on pourrait obtenirles données manquantes.– L’objectif et l’indicateur sont souventproches parents : on y retrouve lesmêmes mots, concepts ou descripteurs.Si on a de la difficulté à définir l’indicateur,le problème peut être lié àl’énoncé de l’objectif.– Aucun indicateur n’est parfait : l’indicateurchoisi constitue le meilleur choixou compromis parmi les indicateurs(nombreux ou rares) possibles, mais il ases limites propres.G u i d e s u r l e s i n d i c a t e u r s25

– Lorsque l’indicateur se raccroche directementà des activités connues dupersonnel qui aura à le suivre et à enrendre compte, l’appropriation se faitplus facilement. Si en plus on lui apermis de collaborer à l’établissementde la cible, la responsabilisation quantau résultat devrait suivre.– Avant d’adopter un indicateur, ildemeure préférable, quand c’est possible,d’avoir effectué des tests sur unepériode suffisante pour en vérifier lafiabilité et y détecter les anomalies lorsde la mesure.– Il demeure important d’évaluer la zonede confort des personnes qui auront àl’utiliser quant à la compréhension età l’interprétation, ainsi qu’à l’utilité del’indicateur dans la prise de décision.Un indicateur qui ne permet pas desavoir où et quand il faut agir et qui nefournit pas les signes voulus pourinciter à l’action est un indicateur quin’a pas sa raison d’être.26 G u i d e s u r l e s i n d i c a t e u r s

d’information de gestion actuels des ministèreset des organismes sont généralementmal adaptés à la sélection et au suivi desindicateurs et qu’il est long de mettre enplace ou de modifier ces systèmes pour lesbesoins de la reddition de comptes.Pour donner une idée de l’étendue de l’informationqui peut être utilisée, voici unaperçu des différentes composantes d’unsystème type d’information qui concourentà la gestion et à la gouverne d’un ministèreou d’un organisme.4.1.1 Les composantes possibles d’unsystème d’information de gestionSYSTÈMES INFORMATISÉS INTERNES– Dossiers clients et opérations (centraux,dédiés)– Soutien à la tâche– Budget et comptabilité (SYGBEC)– Gestion des ressources humaines (SAGIP)– Gestion des ressources matérielles– GIRES (en développement)TABLEAUX DE BORD ET INFORMATION DE GESTION SURLES OPÉRATIONS– Tableau de bord stratégique– Tableaux de bord sectoriels des unitésconventionnées (agences) ou autresunités opérationnelles– Systèmes et rapports d’information degestion– Opérations des ressources externes (s’ily a lieu)STATISTIQUES OFFICIELLES SUR LES CLIENTÈLES ET LESOPÉRATIONS– Profil des clientèles en lien avec lesprogrammes et les activitésENQUÊTES ET SONDAGES– Réalisés par le ministère ou l’organisme– Commandés à des firmes spécialiséessous la supervision du ministère ou del’organismeÉVALUATION DE PROGRAMMES– Impact des programmes, des services etdes activités– Analyse de processus (d’implantation,de fonctionnement, ou autre)ÉTUDES, ANALYSES ET RAPPORTS DE RECHERCHERÉALISÉS PAR LE MINISTÈRE OU L’ORGANISME– Clientèles et problématiques particulières– Processus internesVEILLE STRATÉGIQUE ET GOUVERNE– Statistiques provenant d’autres organisations– Études et recherches conduites pard’autres organisations– Pratiques administratives, pratiques degestion et gouverne4.1.2 À propos des tableaux de bordCompte tenu de l’ampleur du sujet, letableau de bord n’est pas abordé en détaildans le présent guide. Il importe néanmoinsde rappeler son importance et son utilité,notamment pour le suivi des résultats etl’appréciation de la performance duministère ou de l’organisme.Le tableau de bord permet de sélectionnerles indicateurs les plus significatifs d’uneorganisation et d’en suivre l’évolution parrapport aux différents engagements derésultats envers la clientèle et à la gestiondes ressources qui lui sont allouées. Letableau de bord stratégique du ministèreou de l’organisme regroupe habituellementl’ensemble des indicateurs inscrits auplan stratégique de même que certainsindicateurs essentiels à la bonne marche del’organisation (par exemple, évolution dubudget, de la demande de services, etc.).L’information qu’il contient et la fréquencede sa mise à jour servent à renseigner lesdécideurs quant à l’évolution de la situationet à leur permettre de réagir en tempsopportun. Le tableau de bord sert aussi à lareddition de comptes publique annuelle.28 G u i d e s u r l e s i n d i c a t e u r s

Certaines unités administratives peuventaussi se doter d’un tableau de bord. Il existeainsi des tableaux de bord liés aux activitésdes agences et d’autres qui permettent decontrôler certaines fonctions de l’administration(suivis budgétaires, suivis de laclientèle, suivis d’activités, etc.).La documentation sur les tableaux de bordest abondante et variée. Les personnesintéressées y trouveront l’information relativeaux différents types de tableaux debord, à leur calibrage et à leur utilité.4.2 LES OUTILS DE GESTIONDES INDICATEURSL’instauration d’un cadre de gestion axéesur les résultats exige également la mise enplace d’un certain nombre d’outils etd’instruments qui permettent d’assurer laqualité, la cohérence et la pérennité de sonportefeuille d’indicateurs. Ces outils serontd’autant plus importants que l’organisationest vaste et comporte plusieursniveaux de gestion. Il est en effet très facilede tomber dans l’excès sous prétexte qu’onpeut ou qu’on veut tout mesurer.4.2.1 La fiche-indicateurLa fiche-indicateur comprend habituellementune partie descriptive qui permet deconsigner tous les éléments d’informationpertinents en ce qui a trait aux différentsparamètres de l’indicateur : nom, documentde référence, définition, méthode de calcul,périodicité de production, source des données,propriétaire des données et producteurde l’indicateur, historique, cible, écartsadmissibles pour mesurer l’atteinte de lacible, utilisations possibles de l’indicateur,mises en garde et date d’élaboration ou demise à jour (voir à l’annexe 5 des exemplesde fiches-indicateurs).La fiche-indicateur peut aussi présenterune seconde partie qui sert à valider l’indicateurau regard de la fiabilité des données.Cette section passe en revue les activitéstouchant la collecte et la saisie des données,la création des dépôts informationnelset le traitement des données pour laproduction de l’indicateur. Elle permet deposer un diagnostic assez précis sur lafiabilité des données et de l’indicateur etde documenter les actions à poser pour lesaméliorer.4.2.2 Le registre des indicateursUne fois complétées, les fiches-indicateurspeuvent être rassemblées dans un registredes indicateurs. Le registre est un outil d’informationprécieux qui favorise la compréhensioncommune des indicateurs etpermet de conserver un historique desindicateurs et de leur évolution. La mise aupoint d’un tel registre est très utile, notamment,pour la standardisation de certainsindicateurs utilisés à différents niveaux del’organisation.On recommande que le registre officiel soitgéré et mis à jour au niveau central, avec lacollaboration des unités administrativesvisées. De plus, pour les besoins de la redditionexterne de comptes, le registre peutcomprendre uniquement les indicateursqui sont visés par des engagements publics(plan stratégique, plan d’action, déclarationde services aux citoyens, entente degestion, etc.). D’autres répertoires peuventêtre constitués pour les besoins sectoriels àdifférents paliers de l’organisation, chaqueentité administrative pouvant décider de lapertinence de recenser l’ensemble desindicateurs, de toute nature, en usage dansson secteur. Ces sous-répertoires serviront àla reddition de comptes interne.4.2.3 La catégorisation des indicateursComme il existe différentes catégoriesd’indicateurs, plusieurs ministères ou organismesestiment qu’il est nécessaire de lesclasser ou de les regrouper par catégorie.G u i d e s u r l e s i n d i c a t e u r s29

C ONCLUSIONL’indicateur doit devenir l’outil de base pourassurer le suivi des résultats et apprécierla performance en vue de rendre comptede l’atteinte des résultats. Ce faisant, ilconcourt également à l’amélioration desproduits et des services offerts aux clientèleset de la gestion des ressources. Le succèsde l’implantation d’un système de mesuredes résultats repose sur la compréhensionet l’appréciation des avantages d’un telsystème par les gestionnaires et le personnel.Lorsque tous comprennent que lesindicateurs servent véritablement à la prisede décision et qu’ils ont une utilité réellepuisqu’ils permettent d’apporter une meilleureréponse aux attentes des citoyens, ilest plus facile d’anticiper et de vaincre lesrésistances et d’atténuer l’aspect menaçantde la mesure des résultats.Il importe également d’impliquer le personnelet de lui donner systématiquementaccès à l’information utile, que ce soit aumoment du choix et de l’élaboration desindicateurs, de l’établissement des cibles,du suivi ou de l’appréciation des résultats.Le partage de l’information fait partie intégrantedu processus d’apprentissage continuet conduit à une gestion plus ouverte,plus transparente et plus responsabilisante.La mesure des résultats s’intègre ainsi auxautres préoccupations de gestion et devientun moteur pour la motivation et la mobilisationdu personnel et des gestionnaires.G u i d e s u r l e s i n d i c a t e u r s31

A NNEXE 2L EXIQUETermesActivitéCibleCoût de revientEfficacitéEfficienceIndicateurObjectifPerformanceRessourcesRésultatsDéfinitions retenuesProcédé ou opération qui concourt à la transformation de ressourcesen produits et en services.Énoncé de ce qu’une organisation prévoit atteindre dans unepériode donnée. Une cible est précise et normalement quantifiable.Elle est élaborée sur la base d’un indicateur retenu dans laformulation de l’objectif auquel elle se réfère.Ensemble des coûts pour concevoir, produire et mettre à la dispositiondu client un produit ou un service.Mesure du rapport entre les résultats obtenus et les cibles déterminées.Mesure du rapport entre les biens produits ou les services livrés et lesressources utilisées. Ce rapport est établi en fonction du niveau deservices requis (qualité des services).Toute mesure significative, relative ou non, utilisée pour apprécierles résultats obtenus, l’utilisation des ressources, l’état d’avancementdes travaux ou le contexte (environnement).Énoncé de ce qu’une organisation entend réaliser au cours d’unepériode définie avec quantification et ordre de priorité. Y sontaccolés un ou plusieurs indicateurs sur lesquels seront établies lescibles.Degré d’atteinte des cibles d’une organisation.Ensemble des moyens comprenant les personnes, le matériel, lebudget, l’information, le savoir-faire et autres, utilisés pour laproduction de biens et de services ou pour réaliser des interventions.Réalisations constatées* à la fin d’une période précise et comparéesà des cibles énoncées** au début de ladite période.* Les réalisations constatées équivalent aux résultats obtenus ;** les cibles énoncées équivalent aux résultats attendus.Note : Toutes les définitions, à l’exception de celles de l’indicateur et du coût de revient,proviennent du Guide sur la gestion axée sur les résultats (Secrétariat du Conseil dutrésor).La définition de l’indicateur a été élaborée par le groupe de travail sur les indicateursen 2000-2001.La définition du coût de revient est extraite du Sommaire de la démarche pour lecalcul du coût de revient pour les ministères et organismes, Contrôleur des finances,ministère des Finances du Québec, octobre 1999.G u i d e s u r l e s i n d i c a t e u r s33

A NNEXE 3E XEMPLES DE TYPOLOGIES DES INDICATEURSSecteursd’activitéNiveauorganisationnelComposantesorganisationnellesNiveaude détailSocialSociosanitaireÉconomiqueEnvironnementalAutreStratégiqueOpérationnelDe gestionDe résultatsDe qualitéD’influenceD’activitésProgrammesRessourcesFinances et budgetCoûtsEfficienceEfficacitéGénérique(universel)ParticulierSynthétiqueCompositeSynoptiquePrécurseurPortée dela mesureTypes dequantificationDiagnostic etdéveloppementAutrestypologiesInterneExterneQuantitatifQualitatifDescriptifContexteMise en œuvreSuiviOpinionPerceptionObservationCe tableau a été élaboré par le groupe de travail sur les indicateurs en 2000-2001 sur la basede multiples sources d’information dont la plupart sont citées à l’annexe 6.34 G u i d e s u r l e s i n d i c a t e u r s

A NNEXE 4E XEMPLE DES NIVEAUX OU ZONES CRITIQUESLE NIVEAU « CONFORT »La progression dépasse les prévisions etlaisse présager que la cible sera atteintesans problème. Attention : si le dépassementest véritablement important, il estpeut-être opportun de voir ce qui se passedans l’organisation ou le contexte externe.Il faut aussi se demander si la cible n’étaitpas trop prudente.LE NIVEAU SATISFAISANTLa progression suit le cours prévu ou nes’en éloigne pas trop. La cible intermédiaireest atteinte ou le résultat est légèrementinférieur.LE NIVEAU CRITIQUELe résultat est très nettement inférieur aurésultat attendu à l’étape mesurée et commandeun redressement énergique pourprogresser vers la cible ou en atteindre unepartie satisfaisante à la fin de la période deréférence. Une organisation vigilante auranormalement commencé à réagir au passagedu niveau « haute surveillance » afind’éviter que la situation se détériore, à moinsqu’il ne s’agisse d’un nouveau programmeou service dont la progression est difficile àprévoir.LE NIVEAU « HAUTE SURVEILLANCE »L’évolution du résultat est assez en dessousdu résultat attendu, mais certains facteursnon prévisibles permettent d’expliquer cetécart et d’autres permettent d’espérer unrattrapage. Les gestionnaires et le personneldoivent se poser des questions et chercherles causes de l’écart. Certaines actions deredressement peuvent aussi être entreprisespour éviter une détérioration plus grande.Il est important de vérifier si la cible n’étaitpas trop ambitieuse.G u i d e s u r l e s i n d i c a t e u r s35

A NNEXE 5E XEMPLES DE FICHES- INDICATEURSMinistère de l’Emploi et de la Solidarité sociale*Documents de référence (✓copier et coller le crochet à la hauteur du document visé ;on peut cocher plus d’un document)✓ Plan stratégique✓ CPIDéclaration de services aux citoyens Entente de gestion (nom de l’agence)Plan annuel de gestion des dépenses ✓ Plan d’action✓ Rapport annuel de gestion✓ Rapport annuel de gestionministérielAutres (spécifier)DéfinitionPourcentage des personnes en emploi après avoir bénéficié d’une interventiond’Emploi-Québec, sur le nombre d’individus ayant terminé une intervention.Méthode de calculNumérateur : Somme de tous les individus distincts* pour lesquels un retouren emploi a été enregistré au cours des 12 derniers mois.Dénominateur : Somme des individus distincts* qui ont terminé une interventiond’Emploi-Québec au cours des 12 derniers mois.*Un individu ayant plus d’un retour en emploi ou ayant participé à plus d’uneintervention est comptabilisé une seule fois.Périodicité de productionMensuelleSources des donnéesInterne : InfocentrePropriétaire des données : Direction générale des opérations /Direction des mesures d’emploi et des services aux individus (DMESI)Producteur de l’indicateur : Direction du développement et de la continuité – emploi(DDCE) / Direction de la planification et de l’information sur le marché du travail (DPIMT)Personne ressource pour information sur l’indicateur :Historique2000-2001 : L’indicateur a été implanté au cours de l’exercice financier 2000-2001.2001-2002 : Aucun changement.CibleAnalyse des résultats historiques, de la conjoncture et des orientations stratégiques.Écarts admissibles pour mesurer l’atteinte de la cibleNous analysons les résultats mensuellement et établissons des projections d’atteinte defin d’année à compter de septembre.Aucun seuil d’atteinte n’a été établi pour un indicateur seulement.Il s’agit davantage d’une performance globale.UtilisationsIndicateur d’efficacité des interventions complémentaire au nombre de personnesen emploi.Mises en gardeLes taux d’emploi sont des estimations.Date de la dernière révisionMars 2002* Ce modèle de fiche-indicateur a été développé par le ministère de l’Emploi et de la Solidaritésociale et comprend aux pages suivantes les éléments requis pour valider la fiabilitédes données.36 G u i d e s u r l e s i n d i c a t e u r s

E XEMPLES DE FICHES- INDICATEURSMinistère de l’Emploi et de la Solidarité sociale (suite)Grille diagnostique sur la fiabilité des donnéesIndicateurs (6, 7, 8, 9,10, 14, 16, 27, 30) :Nombre d’emplois et taux d’emploi totaux/PAE/FP/ autre que FP/monoparental,moins de 30 ans/Ressources externesÉtapes Moyens de contrôle✔ Détails DétailsÉtapes✔de la fiabilité(ou (ou ne ne s’applique s’applique pas pas – nsp) – nsp)Collecteet saisiedesdonnéesProtocoles etprocédures de saisiebien définis etdocumentésManuels de procédures ✔ Approche d’intervention pour cequi est de la relance effectuée parles agents. Les autres éléments sontautomatisés à partir de donnéesprimaires saisies dans divers dossiers.Descriptifs des ✔panoramas d’écranChamps obligatoires ✔et facultatifs précisésDirectives ✔ Au cours de l’année 2001-2002.NormesMéthode de saisie ✔ RégionaleDocumentation nspsur méthodologie desondage ou d’enquêteApplication de la nspméthodologie desondage ou d’enquêteExigences de saisie Les ententes peuvent prévoirprécisées pour que la ressource externe effectueressources externes la relance, mais l’informationest saisie par E-Q.AutresFormation du personnelÀ l’entrée en fonction ✔Lors de changementsFormation continueSensibilisationà l’importance dela qualité de la saisieAutres✔✔G u i d e s u r l e s i n d i c a t e u r s37

ÉtapesMoyens de contrôlede la fiabilité✔Détails(ou ne s’applique pas – nsp)Créationdes dépôtsinformationnelsN o fichierinterneà PEQ àpartir defichiersDGSR,DRHC etapproched’interventionDS531Contrôle et validationdes activités de saisieContrôle des ✔ Liste de relances en retardopérations de saisie(région)Mécanismesautomatisés devalidation des donnéesComparaison desdossier physiqueet informatiqueActivités de conformitéAutresIndicateurs non chiffrésnspCaractère officieldes sourcesProtocoles etprocédures de créationbien définis etdocumentésManuels de procédure ✔DirectivesResponsable desystème désignéFormation dupersonnelLors de l’entréeen fonctionLors de changementsFormation continueContrôle et validationdes activités de créationdes dépôts (Processusd’assurance qualité)Contrôlesde productionRègles de validationÉquations decontrôleSuivi des générationsde fichiersDurées d’exécution✔✔✔✔✔✔✔✔✔✔Fichier de travail constitué par laDDCE à partir des diverses sources(voir Diane Giroux)Voir également annexe INFOCENTRE38 G u i d e s u r l e s i n d i c a t e u r s

R ÉFÉRENCES UTILESGUIDESMinistère de l’Éducation (en coll. avec Marie-Hélène Jobin). La gestion par résultats – Documentde référence, mai 2001.Ministère des Relations avec les citoyens et de l’Immigration. Aide-mémoire pour l’élaborationdu plan d’amélioration des services aux citoyens, novembre 2002.Secrétariat du Comité des priorités et Secrétariat du Conseil du trésor. Planificationstratégique – Document de référence 2001, septembre 2000.Secrétariat du Conseil du trésor. Plan annuel de gestion des dépenses 2001-2002 – Documentde référence, décembre 2000.Secrétariat du Conseil du trésor. Guide sur la convention de performance et d’imputabilitéet sur l’entente de gestion, novembre 2000.Secrétariat du Conseil du trésor. Guide sur la déclaration de services aux citoyens, octobre 2000.Brunelle, Yvon, et Alain Saucier. Les indicateurs et le système de soins, ministèrede la Santé et des Services sociaux, coll. « Méthodologie et instrumentation », février 1999.Brunelle, Yvon, et Alain Saucier. Les indicateurs et la gestion par résultats, ministère de laSanté et des Services sociaux, coll. « Méthodologie et instrumentation », août 1995.Secrétariat du Conseil du trésor. L’évaluation de programme – Document destiné auxdirigeantes et dirigeants des ministères et des organismes, 2002.Gagnon, Jacques. Quels devraient être nos indicateurs ?, Bureau du sous-ministre associéaux mines, ministère des Ressources naturelles, Atelier de formation et d’échanges de laSQEP, 26 janvier 1996.OUVRAGES DE RÉFÉRENCEVoyer, Pierre. Tableaux de bord de gestion et indicateurs de performance, Québec, Pressesde l’Université du Québec, 2 e édition, 1999.CCAF-FCVI. Principes guidant la publication de l’information sur la performance – Documentde travail, Ottawa, CCAF-FCVI, juillet 1999.Morin, Estelle M., Michel Guindon et Émilio Boulianne. Les indicateurs de performance,Montréal, Ordre des comptables généraux licenciés du Québec, Guérin éditeur 1 tée , 1996.Institut canadien des comptables agréés. Indicateurs de l’état des finances des gouvernements,Rapport de recherche, 1997.Centre de formation et de consultation (C.F.C.). La direction participative par objectifs,2 e édition, Québec, Les Presses de l’Université Laval, 1979.G u i d e s u r l e s i n d i c a t e u r s41

Cérutti, Olivier, et Bruno Gattino. Indicateurs et tableaux de bord, 3 e tirage, Paris, AFNORgestion, 1997.Leclerc, Guy, et autres. Reddition de comptes, rapports sur la performance et vérificationintégrée, Ottawa, CCAF-FCVI, 1996.DOCUMENTATION DE FORMATIONVoyer, Pierre. Les indicateurs de résultats, Secrétariat du Comité des priorités, ENAP,7 décembre 1999.École nationale d’administration publique. Le plan stratégique, automne 2000.Voyer, Pierre. Les indicateurs : leur utilisation convergente pour l’évaluation, la planificationet la gestion, Société québécoise d’évaluation de programme, ENAP, 22 au 29 mars 2001.AUTRES GOUVERNEMENTSGovernment of Alberta. 1999/2000 Annual Report.Oregon Progress Board. Achieving the Oregon Shine Vision : The 1999 BenchmarkPerformance Report HIGHLIGHTS, Report to the Legislative Assembly, mars 1999.State of Louisiana. MANAGEWARE – A Practical Guide to Managing for Results, janvier 1996.Commission européenne. Indicateurs et repères de qualité relatifs à l’éducation scolaire,2 e rapport intérimaire, octobre 1999.Commission européenne. Rapport européen sur la qualité de l’éducation scolaire – Seizeindicateurs de qualité, mai 2000.SITES INTERNETENAPLiens TBG. Sites de fournisseurs de systèmes de TBG informatisés. Sites généraux sur lamesure de la performance. Liens par secteur d’activité : gouvernement et fonction publique,technologies de l’information. Sites français, américains.http://www.enap.uquebec.ca/tbord/liens.htmMINISTÈRE DE LA SANTÉ ET DES SERVICES SOCIAUXCollection « Planification stratégique et évaluation ».Bulletin n o 8: Les indicateurs et la gestion par résultats.Bulletin n o 13 : Les indicateurs et les systèmes de soins.http://www.msss.gouv.qc.ca/f/documentation/index.htm42 G u i d e s u r l e s i n d i c a t e u r s

SOUS-SECRÉTARIAT À LA MODERNISATION DE L’ADMINISTRATION PUBLIQUEDivers renseignements sur le nouveau cadre de gestion et le soutien offert par l’équipe dela modernisation.http://www.tresor.gouv.qc.ca/ministre/modernisation/index.htmASSEMBLÉE NATIONALE, COMMISSION DE L’ADMINISTRATION PUBLIQUERapports, document de réflexion et colloque – Rapports sur l’imputabilité des sous-ministreset des dirigeants d’organismes publics :Premier rapport – 3 juin 1997Deuxième rapport – 25 novembre 1997Troisième rapport – 2 juin 1998Quatrième rapport – 16 juin 1999Cinquième rapport – 17 décembre 1999Sixième rapport – 15 juin 2000Septième rapport – 15 décembre 2000http://www.assnat.qc.ca/fra/publications/index.html#rapportshttp://www.assnat.qc.ca/archives-35leg2se/fra/Publications/index.html#rapportsGOUVERNEMENT DE L’ONTARIO, MINISTÈRE DES AFFAIRES MUNICIPALES ET DU LOGEMENTLe Programme de mesure de la performance des services municipaux, 8 décembre 2000.Le Programme de mesure de la performance des services municipaux, 3 octobre 2000.http://www.mah.gov.on.ca/inthnews/releases/20001208-f.asphttp://www.mah.gov.on.ca/inthnews/backgrnd/20001003-2f.asphttp://www.ccr.gov.on.ca/mccr/francais/bienvenue.htmGOUVERNEMENT DE L’ALBERTAAccès à divers documents concernant la vérification des évaluations (measuring up).http://www.treas.gov.ab.ca/measuring/index.htmlhttp://www.treas.gov.ab.ca/index4.htmlINSTITUT CANADIEN D’INFORMATION SUR LA SANTÉIndicateurs de la santé : publication électronique.http://secure.cihi.ca/cihiweb/dispPage.jsp ?cw_page=indicators_fGOUVERNEMENT DU CANADADes résultats pour les Canadiens et les Canadiennes : Un cadre de gestion pour le gouvernementdu Canada.http://www.tbs-sct.gc.ca/res_can/siglist_f.htmlG u i d e s u r l e s i n d i c a t e u r s43

GOUVERNEMENT DU CANADA, BUREAU DU VÉRIFICATEUR GÉNÉRAL DU CANADAMise en œuvre de la gestion axée sur les résultats : leçons tirées de la documentation(mars 2000).http://www.oag-bvg.gc.ca/domino/autres.nsf/html/00rbm_f.htmlAutres publications.http://www.oag-bvg.gc.ca/domino/autres.nsf/html/99pubm_f.htmlhttp://www.oag-bvg.gc.ca/domino/autres.nsf/html/99menu5f.htmlLa Commission européenne, EUROPA, Union européenneINDICATEURS ET REPÈRES DE LA QUALITÉ RELATIFS À L’ÉDUCATION SCOLAIRE.Conférence des ministres de l’Éducation des États membres de l’Union européenne, des paysd’Europe centrale et orientale, de Malte, de Chypre et de la Turquie (Budapest, 24-26 juin 1999).http://europa.eu.int/comm/education/indic/rap1fr.htmlhttp://europa.eu.int/comm/index_fr.htmhttp://europa.eu.int/index-fr.htmORGANISATION MONDIALE DE LA SANTÉRapport sur la santé dans le monde 2000. Accès aux anciens rapports.http://www.who.int/whr/2000/fr/index-fr.htmlOCDEhttp://www.oecd.org/puma/index-fr.htmhttp://www.oecd.org/index-fr.htmhttp://www.observateurocde.org/http://www.oecd.org/publications/observer/217/f-toc.htmhttp://www.oecd.org/std/indksti.htmOREGON, USRapport annuel 2000. Exemples de gestion par résultats et de reddition de comptes,benchmark, performance, etc.http://www.econ.state.or.us/opb/44 G u i d e s u r l e s i n d i c a t e u r s

CCAF-FCVIProgramme de recherche axé sur la publication de l’information sur la performance, Principesguidant la publication de l’information sur la performance.http://www.ccaf-fcvi.com/french/principles_entry.htmlhttp://www.ccaf-fcvi.com/french/index.htmlCICA-ICCACA magazinehttp://www.camagazine.com/cica/camagazine.nsf/e2001-jan/Eyeswideshuthttp://www.camagazine.com/cica/camagazine.nsf/f2001-jan/LesyeuxgrandsfermesEyes wide shut. Must directors be the last to know when something is really going wrongin an organization ? By William A. Bradshaw.http://www.camagazine.com/cica/camagazine.nsf/public/Index_2000CA magazine – Index 2000.http://www.camagazine.com/cica/camagazine.nsf/fArchive ?openview&count=1000CA magazine français – archives.http://www.cica.ca/cica/cicawebsite.nsf/public/PageDAccueilINSTITUTE FOR IMPROVEMENT IN QUALITY AND PRODUCTIVITY (IIQP), UNIVERSITY OF WATERLOOhttp://www.math.uwaterloo.ca/IIQP/General.htmlhttp://www.iiqp.uwaterloo.ca/Reports/INDUSTRIES CANADA, GOUVERNEMENT FÉDÉRALhttp://strategis.ic.gc.ca/SSGF/pr00016f.htmlAPQC – AMERICAN PRODUCTIVITY AND QUALITY CENTERhttp://www.apqc.org/http://www.apqc.org/search/dispRelatedItems.cfm?ProductType=Publication&ProductID=1255Publications à vendre.G u i d e s u r l e s i n d i c a t e u r s45