Cómo crear sistemas de SyE que contribuyan a un buen gobierno ...

BANCO MUNDIALCómo crear sistemas de SyEque contribuyan a un buengobiernoKeith Mackay

Cómo crear sistemas de SyE que contribuyan a un buen gobiernoEl seguimiento y la evaluación (SyE) son parte central de los acuerdos para una buena gobernabilidady son necesarios para lograr la formulación de políticas basadas en la evidencia, latoma de decisiones presupuestarias, la administración y la rendición de cuentas.No existe un modelo “perfecto” de lo que debería ser un sistema de SyE. Éste dependemayormente de los diferentes usos potenciales de la información que proporciona;dichos usos constituyen las razones más importantes para desarrollar esta clase desistema.Es útil comenzar con un análisis de las funciones del SyE que ya existen: sus fortalezasy desafíos en términos de demanda (el uso real de la información) y de oferta (lacalidad técnica de la información del seguimiento y los informes de evaluación).Los análisis también pueden ayudar a crear conciencia y a establecer acuerdos en relacióncon la prioridad del SyE.El siguiente paso consiste en desarrollar un plan de acción –la orientación queregirá el sistema de SyE–, el cual debe involucrar a las partes interesadas clave de losministerios centrales y sectoriales, a los donantes, a las universidades, entre otros.Los elementos clave de un plan de acción son los promotores entusiastas einfluyentes; la generación de incentivos poderosos para conducir el SyE y utilizar lainformación; la capacitación en SyE y en el uso de la información que proporciona;los acuerdos estructurales para asegurar la objetividad y calidad del SyE, y ademásun compromiso de largo plazo para institucionalizarlo.Existen muchas enseñanzas de países que han desarrollado exitosos sistemas de SyEgubernamentales; sin embargo, hay muchos errores que se pueden evitar. El primerode ellos es la complejidad excesiva en un sistema de SyE que no sólo significa esfuerzoperdido sino que puede llegar a socavarlo.Otro error es creer que el SyE tiene un valor intrínseco; la información del SyE esvaliosa sólo si es ampliamente utilizada.Es una buena práctica supervisar y evaluar en forma periódica el desarrollo del sistemade SyE y su funcionamiento. Tal vez sea necesario realizar continuas correccionesdurante el camino.El criterio básico del éxito está en la medida en que la información del SyE se utilizapara mejorar la actuación del gobierno.

BANCO MUNDIAL GRUPO DE EVALUACIÓN INDEPENDIENTECómo crear sistemas de SyEque contribuyan a un buengobiernoKeith Mackayhttp://www.worldbank.org/ieghttp://www.worldbank.org/ieg/ecd2007Banco MundialWashington, D.C.

© 2007 Banco Internacional de Reconstrucción y Fomento/Banco Mundial1818 H Street NWWashington, DC 20433Teléfono: 202-473-1000Sitio web: www.bancomundial.orgCorreo electrónico: feedback@worldbank.orgTodos los derechos reservados1 2 3 4 10 09 08 07Los descubrimientos, interpretaciones y conclusiones aquí expresados pertenecen a los autores y no reflejannecesariamente los puntos de vista de la Junta de Directores Ejecutivos del Banco Internacional de Reconstrucción yFomento/Banco Mundial o de los gobiernos que representan.El Banco Mundial no garantiza la exactitud de los datos incluidos en este trabajo. Las fronteras, los colores, los nombresy otra información expuesta en cualquier mapa de este trabajo no denotan opinión alguna por parte del Banco Mundialrelacionada con la condición jurídica de ninguno de los territorios, ni aprobación o aceptación de tales fronteras.Derechos y permisosEl material de esta obra tiene derechos reservados. La copia y/o difusión de partes o de toda la obra sin autorización puedenconstituir una violación de la ley aplicable. El Banco Internacional de Reconstrucción y Fomento/Banco Mundial estimula ladivulgación de su obra y normalmente otorga permisos oportunamente.Para autorización de fotocopias o reimpresión de cualquier parte de este trabajo, solicítela con información completa aCopyright Clearance Center Inc., 222 Rosewood Drive, Danvers, MA 01923, USA, teléfono 978-750-8400; fax 978-750-4470;sitio web: www.copyright.com.Todas las preguntas sobre derechos y licencias, incluso derechos subsidiarios, se deben dirigir a la Oficina del Editor,Banco Mundial, 1818 H Street NW, Washington, DC 20433, USA; fax: 202-522-2422; e-mail: pubrights@worldbank.org.Fotografías de la portada:Superior izquierda, planificadores Egipcios, por Ray Witlin, Biblioteca de Foto del Banco Mundial;superior derecha, reparaciones de vías en Sur África, por Trevor Samson, Biblioteca de Foto del Banco Mundial; inferiorizquierda, imagen cortesía de Leica Geosystems; inferior derecha, trabajador egipcio de ferrocarril, por Ray Witlin, Bibliotecade Foto del Banco Mundial.ISBN: 978-0-8213-7191-6e-ISBN: 978-0-8213-7192-3DOI: 10.1596/978-0-8213-7191-6Se ha efectuado ha solicitud de inclusión en los datos del Catálogo de Publicaciones de la Biblioteca delCongreso.InfoShop del Banco MundialCorreo electrónico: pic@worldbank.orgTéléfono: 202-458-5454Facsímile: 202-522-1500Impreso en papel recicladoGrupo de Evaluación IndependienteGrupo de programas de gestión deconocimientos y fortalecimiento de la capacidadde evaluación (IEGKE)Correo electrónico: eline@worldbank.orgTeléfono: 202-458-4497Facsímile: 202-522-3125

ÍndicevviiixPrefacioReconocimientosSiglas y acrónimos1 1 Introducción5 PARTE I—¿Qué ofrece el seguimiento y la evaluación a los gobiernos?7 2 ¿Qué significa SyE? Principios fundamentales del SyE9 3 Contribución del SyE a un buen gobierno17 4 Tendencias clave que influyen en los países — ¿Por qué los países estáncreando sistemas de SyE?21 PARTE II—Experiencias de algunos países23 5 Países con buenas prácticas – ¿Cómo se percibe el “éxito”?25 6 Chile31 7 Colombia37 8 Australia45 9 El caso especial de África51 PARTE III— Enseñanzas53 10 Creación de sistemas de SyE gubernamentales — Enseñanzas de laexperiencia63 11 Incentivos para el SyE — Cómo crear demanda67 PARTE IV—Cómo fortalecer un sistema de SyE gubernamental69 12 La importancia de un diagnóstico de país75 13 Preparación de planes de acción

CÓMO CREAR SISTEMAS DE SyE QUE CONTRIBUYAN A UN BUEN GOBIERNO85 PARTE V—Temas pendientes87 14 Temas de relevancia y vanguardia93 15 Comentarios finales95 PARTE VI—PyR: Preguntas frecuentes109 Anexos111 A: Enseñanzas sobre cómo garantizar evaluaciones influyentes115 B: Diagnóstico de un país—El ejemplo de Colombia137 C: Términos de referencia para el diagnóstico exhaustivo del sistema de SyEde Colombia141 D: Evaluación del apoyo del GEI para la institucionalización de sistemas de SyE147 E: Glosario de términos claves en SyE155 Notas163 Bibliografíaiv

PrefacioDesde su creación en 1973, el Grupo de Evaluación Independiente delBanco Mundial (GEI) –antes conocido con el nombre de Departamentode Evaluación de Operaciones – ha apoyado los esfuerzos de los gobiernosde los países en desarrollo para fortalecer sus sistemas de seguimientoy evaluación (SyE) y sus capacidades. Durante este período, el GEI haacumulado gran experiencia en este tema dentro de un gran número de paísesy de ambientes del sector público.En 1998, el GEI inició una serie de documentosde trabajo y otras publicaciones sobre esta materiacon el fin de documentar y ayudar a difundir estasenseñanzas. Las publicaciones están disponiblesen el portal del GEI: http://www.worldbank.org/ieg/ecd/. El gran interés en este tema se vereflejado en el alto índice de lectura de estas publicaciones–sólo el portal atrae más de 110.000visitantes cada año, y representa una proporciónconsiderable del total de lectores del GEI.Las publicaciones del Grupo de Evaluación Independientemencionadas documentan sistemasde seguimiento y evaluación de países con buenasprácticas y otros con prácticas prometedoras.También incluyen guías de análisis, diagnósticosde países, ejemplos de evaluaciones muy influyentes,así como material didáctico sobre SyE y laevaluación del impacto, entre otros. En este contexto,el propósito de esta obra es sintetizar yprocesar todo ese acervo de conocimientos paraofrecerlo a los lectores.La Parte I de este libro empieza con la presentaciónde lo que el seguimiento y evaluación ofrecenexactamente a los gobiernos. Se intenta aclararlo esencial de la retórica subyacente. Se presentanlos principios fundamentales del SyE (Capítulo 2)junto con un análisis de las maneras específicas enque la información del seguimiento y los hallazgosde las evaluaciones pueden emplearse y se hanusado para mejorar el desempeño del gobierno,por ejemplo, al apoyar una toma de decisión presupuestaria(Capítulo 3). Se sostiene que la utilizaciónde la información del SyE es una condiciónnecesaria para el manejo eficaz del gasto públicodirigido hacia la reducción de la pobreza; en otraspalabras, se afirma que el SyE es necesario para realizarla formulación de políticas, la gestión y rendiciónde cuentas basadas en la evidencia. Por esola mayoría de los países miembros de la Organizaciónpara la Cooperación y el Desarrollo Económicos(OCDE) –los países más ricos del mundo–ponen mucho énfasis en tener y utilizar la informacióndel SyE para reforzar una buenav

CÓMO CREAR SISTEMAS DE SyE QUE CONTRIBUYAN A UN BUEN GOBIERNOgobernabilidad. También se analizan algunas de lastendencias clave que influyen para que los paísesotorguen una mayor prioridad al SyE (Capítulo 4).La Parte II se concentra en la experiencia de variospaíses que han tenido éxito en la creación deun sistema de SyE gubernamental. En el capítulo5 se examina lo que debe ser un sistema de SyE“exitoso”. Ejemplos de varios países –como Chile(Capítulo 6), Colombia (Capítulo 7) y Australia (Capítulo8)– ilustran tal sistema. Sin embargo, nóteseque un tema especial de esta obra, es que noexiste el “mejor” modelo de un sistema de SyE gubernamentalo sectorial. En países relativamentedébiles, puede ser apropiado tener un enfoquemás cuidadoso con los cambios progresivos siestos países tienen el potencial de demostrar queel SyE es eficaz en función del costo. África, porejemplo, donde existen muchas limitaciones, seanaliza dentro de este contexto (Capítulo 9).En la Parte III se presentan las enseñanzas derivadasde la creación de sistemas de SyE gubernamentalesen diferentes países, tanto desarrolladoscomo en desarrollo. Se pone énfasisen 13 enseñanzas clave (Capítulo 10); las cualestambién son consistentes con la experiencia internacionalen otras formas de fomentar la capacidaddel sector público. Las enseñanzascontemplan, por ejemplo, el requisito previo deuna fuerte demanda, por parte del gobierno, deinformación del seguimiento y de los hallazgos dela evaluación, y del papel central de los incentivos.Entre las enseñanzas, también se considerael valor que tiene realizar un diagnóstico del SyEen un país y contar con un promotor influyentedel SyE. Es común encontrar poca demanda deSyE por parte del gobierno, lo que con frecuenciase percibe como una barrera insuperable delos esfuerzos por crear un sistema de SyE. Sin embargo,éste no es el caso; existen muchas formaspara crear demanda de SyE, utilizando una mezclade diversos elementos: premios, castigos yconsejos (Capítulo 11).En la Parte IV se ofrecen algunas sugerencias parafortalecer un sistema de SyE gubernamental. Sepresta particular atención a los beneficios quebrinda llevar a cabo un diagnóstico de país (Capítulo12). Tal diagnóstico puede proporcionar unabuena comprensión de los actuales esfuerzos delSyE en un país, en el ámbito del servicio civil, yen las oportunidades para utilizar la informaciónde este sistema para funciones centrales del gobierno,tales como la toma de decisiones presupuestariasy la continua realización de programasy proyectos. Un diagnóstico conduce naturalmentehacia un plan de acción que identifica lasprincipales opciones para el fortalecimiento de unsistema de SyE gubernamental (Capítulo 13).En la Parte V se abordan temas donde la experienciainternacional con sistemas de SyE gubernamentalesno está bien entendida o biendocumentada. Esto incluye temas relevantes yde vanguardia como la eficacia en función de loscostos de los enfoques alternativos para fortalecerlos sistemas de SyE gubernamentales, y los modelosde buenas prácticas de SyE en los nivelessectoriales y subnacionales (Capítulo 14). Tambiénse ofrecen las respuestas de una serie de interrogantesque surgen frecuentemente acerca deltema de los sistemas de SyE gubernamentales(Capítulo 15). Se incluye una lista de los principalespeligros y errores que se deben evitarcuando se busca fortalecer el SyE en un país,como el error de creer que el SyE tiene un méritointrínseco, o adoptar un enfoque tecnocráticopara desarrollar capacidad.Por último, en la Parte VI se ofrece una serie depreguntas comunes sobre el SyE y sus respuestas.vi

ReconocimientosEsta obra fue escrita por Keith Mackay, quien comenzóla serie de documentos de trabajo del GEIy otras publicaciones sobre este tema en 1998. Elcontenido del libro ha recibido comentarios deotros colegas como Harry Hatry y David Shand.La edición de la versión en inglés la llevó a caboHeather Dittbrenner. Diana Chávez tradujo la versiónen español y Laura Valencia editó esta versión.No obstante, las opiniones expresadas en estaobra son las del autor y no reflejan necesariamentela opinión del Banco Mundial o del Grupode Evaluación Independiente.Se agradece el generoso apoyo financiero de laAgencia Noruega de Cooperación para el Desarrollo(Norad, por su acrónimo en inglés) para laelaboración de este trabajo.vii

Siglas y acrónimosAfrEAANAOBIDCADCOINFOCONPESCRCDANEDCEDdFDDTSDEPPDFIDDIFPDNPGAOGEIHMNICBFIDEASMdHMENNIMESOCDEODMOMBONGPARTPBBPEAPPEPPETSPRSPSEDESOLSENASIGOBSIIFSINERGIATdRAsociación Africana para la EvaluaciónOficina Nacional de Auditoría de AustraliaBanco Interamericano de DesarrolloComité de Asistencia para el Desarrollo (OCDE)Comisión Intersectorial de Políticas y de Gestión de Información para laAdministración Pública (Colombia)Consejo Nacional de Política Económica y Social (Colombia)Tarjeta de Informes CiudadanosDepartamento Administrativo Nacional de Estadística (Colombia)Desarrollo de la Capacidad de EvaluaciónDepartamento de Finanzas (Australia)Dirección de Desarrollo Territorial Sostenible (Colombia)Dirección de Evaluación de Políticas Públicas (Colombia)Departamento de Desarrollo Internacional (Reino Unido)Dirección de Inversiones y Finanzas Públicas (parte del DNP, Colombia)Departamento Nacional de Planeación (Colombia)Oficina General de Rendición de Cuentas (Estados Unidos de América)Grupo de Evaluación IndependienteRed de la Métrica en SaludInstituto Colombiano de Bienestar FamiliarAsociación Internacional de Evaluación del DesarrolloMinisterio de Hacienda (Chile)Ministerio de Educación (Colombia)Sistema Nacional Integrado de Seguimiento y Evaluación (Uganda)Organización para la Cooperación y el Desarrollo EconómicosObjetivos de Desarrollo del MilenioOficina de Administración y Presupuesto (Estados Unidos de América)Organización No GubernamentalInstrumentos de Clasificación de las Evaluaciones de Programas (EstadosUnidos de América)Presupuesto por resultadosPlan de acción para la erradicación de la pobreza (Uganda)Plan de Evaluación de Portafolio (Australia)Encuesta de seguimiento del gasto público (Uganda)Documento de estrategia para la reducción de la pobrezaSecretaría de Desarrollo Social (México)Servicio Nacional de Aprendizaje (Colombia)Sistema de Programación y Gestión por Objetivos y Resultados (Colombia)Sistema Integrado de Información Financiera (Colombia)Sistema Nacional de Evaluación de Resultados de la Gestión Pública (Colombia)Términos de referenciaix

1IntroducciónUn número cada vez mayor de gobiernos trabajan para mejorar su desempeñocreando sistemas que les ayudan a precisar y entender suejercicio. Estos sistemas de seguimiento y evaluación (SyE) son utilizadospara medir la cantidad, la calidad y los destinatarios de los bienes y servicios–los productos– que el Estado proporciona, y así cuantificar los efectosdirectos e impactos de estos productos. Tales sistemas también son un mediopara entender con mayor facilidad las causas de un buen o mal desempeño.Existen muchas razones para aumentar los esfuerzospor fortalecer los sistemas de SyE gubernamentales.Las presiones fiscales y las expectativascada vez mayores por parte de los ciudadanos transmitenun ímpetu continuo para que los gobiernosproporcionen más y mejores servicios. Estas presionestambién constituyen una razón suficientepara encontrar formas más rentables de operación,de manera que los gobiernos puedan hacer más conmenos. Los países en desarrollo generalmentemiran hacia los países más ricos –miembros de laOrganización para la Cooperación y el DesarrolloEconómicos (OCDE)– y adoptan los instrumentosadministrativos del sector público que esos paísesutilizan comúnmente, tales como el SyE y el presupuestopor resultados. La sociedad civil y loscongresos también están presionando en la rendiciónde cuentas de los gobiernos para que informeny expliquen públicamente su desempeño. Asimismo,los donantes internacionales son presionadospara que demuestren los resultados de lasgrandes cantidades de ayuda financiera que otorgany de las cuales son responsables; también estántrabajando de persuadir y apoyar a los países en desarrolloa fortalecer sus propios sistemas de SyE.En los últimos años, el apoyo de los donantes seconcentró particularmente en los países más pobres,es decir, en los que preparan estrategias deerradicación de la pobreza como parte de las iniciativasde reducción de la deuda. Estos países tratande alcanzar los Objetivos de Desarrollo delMilenio (ODM). Los donantes también comienzana apreciar que los sistemas de SyE de los paísespueden desempeñar una función importanteen los esfuerzos contra la corrupción; puedenayudar a identificar “fugas” en los fondos del gobierno,así como algunas posibles consecuenciasde la corrupción –como cuando el gasto del gobiernono se refleja en la calidad física de la infraestructurao en el volumen y la calidad de losservicios que proporciona.1

CÓMO CREAR SISTEMAS DE SyE QUE CONTRIBUYAN A UN BUEN GOBIERNOEl seguimiento y la evaluación y los sistemas deSyE son generalmente vistos de manera limitada,en términos tecnocráticos, muy similar al desarrollode una gestión financiera o de un sistemade adquisiciones. En realidad existen aspectostécnicos de SyE y sus sistemas que necesitan manejarsede manera muy cuidadosa. Pero un énfasistecnocrático sería altamente inadecuado siéste ignora los factores que determinan la medidaen la que la información del SyE se puede utilizar.Cuando un sistema de SyE no se utiliza enforma adecuada, no sólo se convierte en un desperdiciode recursos, sino que también puedesocavar seriamente la calidad de la informaciónque produce. También causa que se cuestione lasostenibilidad del sistema mismo.Con frecuencia, los especialistas en evaluaciónsostienen que el SyE y los sistemas de SyE son una“cosa buena” y que tienen mérito intrínseco; losexpertos en mejoras de gestión generalmenteparecen postular que la gestión basada en resultadosu otras maneras de utilizar la informacióndel SyE ofrecen algún tipo de panacea para mejorarel desempeño del gobierno. Sin embargo,los débiles argumentos de estas ideas no convencena los gobiernos escépticos o abrumadosde los países en desarrollo; pero existen ejemplosmuy convincentes de gobiernos que han dedicadolos esfuerzos necesarios para construir un sistemade SyE. Estos gobiernos utilizan ampliamentela información que generan dichos sistemaspara mejorar en forma significativa el desempeñode sus políticas, programas y proyectos.El propósito de este libro es ayudar a los gobiernosen sus esfuerzos por construir, fortalecer, einstitucionalizar sus sistemas de SyE, no comoun fin por sí mismo, sino como un apoyo al mejoramientode su desempeño; es decir, para unbuen gobierno. En este libro se reúne un caudalde la experiencia acumulada por el Grupo deEvaluación Independiente (GEI) del Banco Mundialen su programa de apoyo continuo a los gobiernosy al personal del Banco en sus esfuerzospor construir sistemas de SyE. Asimismo, hace usode referencias bibliográficas provenientes de otrasfuentes dentro de este mismo tema.En la actualidad existe un gran énfasis en los resultadosy en la capacidad de demostrar un buendesempeño. La Parte I se concentra en presentarlo que el SyE ofrece exactamente a los gobiernos;se busca aclarar lo esencial de la retórica subyacente.En el capítulo 2 se presentan los principios fundamentalesdel seguimiento y evaluación, y en elanexo E, donde se continúa con este análisis, se incluyeun glosario de los términos clave relacionadoscon la evaluación y la gestión basada enresultados que desarrolló el Comité de Asistenciapara el Desarrollo (CAD) de la OCDE. Para algunosaltos funcionarios y personal del grupo de donantes,el SyE puede parecer un tema altamentetécnico, con tecnología difícil de entender por losinexpertos. Por tanto, en este capítulo se intentadesmitificar el SyE proporcionando una visión ampliade diferentes tipos y métodos del SyE.En el capítulo 3 se continúa con el estudio de lasformas específicas en que el SyE puede ser o hasido utilizado para mejorar el desempeño de ungobierno. Aquí el enfoque está en la manera enque el gobierno ha utilizado el SyE, por ejemplo,para apoyar la toma de decisiones presupuestarias.Se proporcionan ejemplos de la utilizacióndel SyE por la sociedad civil para evaluar e inducira los gobiernos a mejorar su desempeño. Tambiénse incluyen ejemplos de evaluacionesinfluyentes, las cuales confirman que el SyE puedeser muy eficaz en función de los costos para losgobiernos. En el capítulo 4 se consideran brevementelas tendencias clave que están influenciandoen los países para crear sistemas de SyE.En la Parte II se presenta la experiencia de variospaíses que han tenido éxito en la creación de unsistema de SyE eficiente. En el capítulo 5 se danlos lineamientos generales de lo que debe ser unsistema de SyE gubernamental “exitoso” y se proponentres niveles de éxito. Una pregunta comúnes si realmente existen países que hayan conseguidocrear exitosamente un sistema nacional deSyE. La respuesta a esta pregunta es un rotundo“sí.” Muchos países desarrollados, y un númeropequeño pero cada vez mayor de países en desarrollohan tenido éxito en la creación de sistemasde SyE eficientes para todas las áreas del2

1: INTRODUCTIONgobierno. En los capítulos 6, 7 y 8 se presentanlos estudios de casos de tres de estos países:Chile, Colombia y Australia, respectivamente.El caso especial de África se comenta en el capítulo9. Claramente, África es considerada alta prioridadpara la comunidad internacional, y ha sidoel centro de una considerable cantidad de asistenciapara el desarrollo, incluida la creación decapacidad. Se han realizado esfuerzos para fortalecerel SyE dentro del contexto de preparaciónde estrategias de reducción de pobreza. En estecapítulo se consideran algunas de las dificultadesy oportunidades que enfrentan los países pobresdebido a estos esfuerzos.Muchos países desarrollados y en desarrollo hanacumulado experiencias considerables en la creaciónde sistemas de seguimiento y evaluación. Asícomo con cualquier forma de creación de capacidades,existe un número de lecciones aprendidascon esfuerzo sobre lo que funciona mejor y lo queno funciona, y esto es lo que se analiza en la ParteIII. La consistencia de estas experiencias en diferentespaíses y regiones no es sorprendente; estasenseñanzas están de acuerdo con la experiencia internacionalen relación con otros tipos de creaciónde capacidad en el área de gestión del sector público,por ejemplo, los sistemas de presupuesto ouna reforma en el servicio civil (Capítulo 10). Comose mencionó antes, el tema de la utilización de lainformación del SyE es básico para el desempeñoy sostenibilidad de un sistema de SyE. La utilizacióndepende de la naturaleza y fuerza de la demandade información –que, a su vez, depende de los incentivospara utilizar el SyE. Los países que tienenuna demanda muy baja o muy débil por SyE puedenpercibirse como países que enfrentan una barrerainsuperable para crear sistemas de SyE.Empero, esta perspectiva es demasiado pesimista.Existen maneras de incrementar la demanda fortaleciendolos incentivos, y éstas se tratan en el capítulo11, donde se consideran los premios, loscastigos y los consejos para garantizar la utilizaciónde la información del SyE.En la Parte IV se postulan diversas maneras defortalecer un sistema de SyE gubernamental. Unade las enseñanzas para la creación de un sistemade SyE es la importancia de realizar un diagnósticode país (Capítulo 12). Dicho diagnóstico proporcionaun sólido conocimiento de los esfuerzosactuales de SyE del ambiente del sector público,de las oportunidades para reforzar un sistema deSyE y el uso de su información. Ésta se puedeemplear en las funciones básicas del gobierno,como la toma de decisiones presupuestarias y lagestión de programas y proyectos en marcha. Talvez igualmente importante, un diagnóstico ayudaa que las partes clave interesadas dentro del gobiernoy en la comunidad de donantes se concentrenen las fortalezas y desafíos de los acuerdosde SyE vigentes; tal diagnóstico también puede asegurarque estas partes interesadas compartan unatoma de conciencia en común acerca de estosasuntos. Un diagnóstico conduce naturalmente aun plan de acción que identifica las principales opcionespara el fortalecimiento de un sistema de SyEgubernamental (Capítulo 13).En esta obra no se pretende abarcar todos lostemas que pueden surgir cuando se busca crearun sistema de SyE gubernamental, o fortalecer unoya existente. En la Parte V se señalan algunos deesos temas sobre los cuales la experiencia internacionalno se entiende o no está bien documentada.Estos temas novedosos y relevantesson importantes para la institucionalización delSyE donde el conocimiento actual es escaso (Capítulo14). Se habla de modelos de SyE recomendablesen los niveles subnacional y sectorial;de las formas en las que los gobiernos pueden trabajarde manera efectiva y fiable para apoyar a lasociedad civil en asuntos de SyE del desempeñogubernamental; y de la eficacia en función de loscostos de modelos alternativos del apoyo de losdonantes para la institucionalización del SyE.En el capítulo 15 se plantean algunas consideracionesfinales.En la Parte VI se responden muchas preguntas quegeneralmente surgen en las conferencias nacionalese internacionales sobre los temas que se tratanen este libro. La frecuencia con que surgenpreguntas similares nos ayuda a identificar los3

CÓMO CREAR SISTEMAS DE SyE QUE CONTRIBUYAN A UN BUEN GOBIERNOtemas clave que deben ser abordados cuando sebusca institucionalizar un sistema de SyE.Un reto que enfrentan tanto el gobierno como lasoficinas de evaluación de donantes es asegurar quelas evaluaciones que ellos producen sean utilizadasintensivamente. Ahora es claro que no es suficientecompletar un informe de evaluación, quese publique y que se crea que de alguna manerase utilizará. En lugar de eso, los evaluadores ysus oficinas de evaluación necesitan ser altamenteproactivos en la implementación de una estrategiadetallada para la difusión no sólo del informede evaluación sino también de los hallazgos –a finde fomentar la aceptación de las conclusionesde la evaluación y la implementación de sus recomendaciones.En el anexo A se presentan variasexperiencias y consejos prácticos para asegurarque las evaluaciones sean influyentes.El anexo B ofrece un ejemplo de diagnóstico de paíspara el caso de Colombia. En el anexo C se incluyentérminos de referencia (TdR) ilustrativos paraun diagnóstico más profundo del sistema de SyEde Colombia. Las conclusiones de una autoevaluacióndel grupo de apoyo del GEI para la institucionalizaciónde los sistemas de SyE se describenen el anexo D. Esta evaluación proporciona unposible modelo para donantes y gobiernos quebuscan evaluar sus propios esfuerzos para crear ofortalecer el sistema de SyE de un país. Finalmente,el anexo E es un glosario de términos claves de SyE.4

PARTE I¿Qué ofrece el seguimientoy la evaluación a losgobiernos?La Parte I se concentra en presentar lo que el SyE ofrece exactamentea los gobiernos; se busca aclarar lo esencial de la retórica subyacente.En el capítulo 2 se presentan los principios fundamentales y la definicióndel SyE. Además, se responde la interrogante acerca de lo que significael seguimiento y la evaluación y se analizan algunos de los principalesinstrumentos, métodos y enfoques que los gobiernos y los donantes internacionalesutilizan. En el capítulo 3 se exponen los métodos específicos queel SyE utiliza para mejorar el desempeño gubernamental. Luego, en el capítulo4, se consideran muy brevemente las tendencias clave que estimulan alos países a poner en práctica sistemas de SyE.

2¿Qué significa SyE?Principios fundamentalesdel SyEExisten varios términos y conceptos relacionados dentro del campo delSyE que pueden prestarse a confusiones. Es más, cada país o cadaagencia de desarrollo generalmente utiliza una definición diferentepara el mismo concepto. El CAD preparó un glosario de términos y conceptosclave con el fin de evitar confusiones y lograr una homogeneidad (CAD,2002), el cual forma parte del anexo E. En este capítulo se ofrece una exposiciónmás amplia de la perspectiva general.Los indicadores de desempeño son medidasde insumos, actividades, productos, efectos directose impactos de las actividades gubernamentales.Los indicadores pueden ser de muyalto nivel, en lo que se refiere a la medición deldesempeño del gobierno en relación con los Objetivosde Desarrollo del Milenio (ODM) o con elPlan de Desarrollo Nacional, o en términos de lasactividades y los resultados de ministerios y dependenciasdel sector público. Asimismo, sonútiles para determinar los objetivos de desempeño,para evaluar los progresos con miras a sulogro y para comparar el desempeño de diversasorganizaciones. Los indicadores son medios relativamenteeconómicos utilizados para medir eldesempeño de los gobiernos con regularidad.Si bien los indicadores de desempeño se puedenutilizar para identificar problemas y, por ende,permiten tomar acciones correctivas, su limitaciónes que no siempre revelan si las acciones del gobiernocondujeron a mejorar el desempeño. Sinembargo, se pueden utilizar para señalar la necesidadde un seguimiento o evaluación de untema específico. Un riesgo común de los sistemasde indicadores de desempeño es la complejidadexcesiva del sistema si se incluyen demasiados indicadoresque son subutilizados y que deterioranla calidad de la información.Los métodos de evaluación previa son rápidosy de bajo costo, sirven para recoger opiniones yretroalimentación de los beneficiarios y de otraspartes interesadas. Estas opiniones ofrecen informaciónrápida para la toma de decisiones en lasgestiones, especialmente en el nivel de actividadeso de programas. Éstos incluyen entrevistas, discusionesde grupos focales, observación directa ypequeñas encuestas. Puede ser difícil generalizarlos hallazgos de estos métodos cualitativos; además,son mucho menos válidos, confiables o verosímilesque las encuestas formales.7

I: ¿QUÉ OFRECE EL SEGUIMIENTO Y LA EVALUACIÓN A LOS GOBIERNOS?La evaluación rápida supone una revisión formalde una actividad o programa gubernamental.Por ejemplo, en Chile, las evaluaciones rápidas necesitanestudios documentados que revisen los objetivosde un programa y preparen un análisis demarco lógico (lo cual esquematiza la conexión causalentre las actividades del gobierno y los efectosdirectos e impactos deseados). Cualquierinformación disponible (como los indicadoresde desempeño) se analiza para evaluar la eficienciay eficacia de la actividad. El Banco Mundialutiliza este enfoque en muchas de susevaluaciones ex ante y ex post de proyectos. ElBanco también utiliza una gama de informaciónadicional en sus evaluaciones ex post, incluidoslos hallazgos de las misiones de supervisión, lasentrevistas de informantes clave y cualquier otrainformación primaria o secundaria que haya sidorecopilada.Las principales ventajas de las evaluaciones rápidasson su velocidad y su relativo bajo costo. Susprincipales desventajas, en comparación con enfoquesmás rigurosos, son su débil evidencia empíricay sus técnicas de análisis de datos, aúnmucho más débiles. Asimismo, tienen dificultadpara identificar posibles relaciones causales entrelas acciones del gobierno y las consiguientes mejorasen su desempeño.La evaluación de impactos se centra en los efectosdirectos e impactos de las actividades gubernamentales.Los métodos de evaluación rápida sepueden utilizar para estimar el impacto, pero métodosmás sofisticados pueden aportar resultadosmucho más confiables y persuasivos. Estos métodossuponen la comparación de los beneficiariosdel programa con grupos control o de comparación,en dos o más momentos dentro de unperíodo determinado. Se utilizan técnicas estadísticasavanzadas para identificar los impactos precisosdel programa sobre los beneficiarios. Estetipo de evaluación es sumamente exigente en relacióncon los datos y también puede resultarmuy costosa; sin embargo, existen formas de reducirel costo significativamente. Es necesarioque estas evaluaciones se planifiquen con muchaanticipación, calculando cuándo se van a necesitarlos hallazgos, ya que casi siempre es imposiblellevarlas a cabo con celeridad. A pesar de quelas evaluaciones sofisticadas generalmente soncostosas, pueden ser altamente eficaces en funcióndel costo cuando incluso conducen a mejorasmarginales en el desempeño del programa.Las revisiones exhaustivas de gastos conformanun tipo de evaluación de políticas. El Ministeriode Hacienda de Chile las utiliza pararevisar todos los programas dentro de un área funcionalen particular, por ejemplo, los colegios.Éstos suponen estudios documentales acerca dela ineficiencia y la duplicidad de los programas. Lasrevisiones bienales de gastos del Reino Unido investiganestos temas, así como los efectos directosdel programa y las prioridades del gobierno.Las ventajas y desventajas, costos, habilidades ytiempo necesarios para utilizar estos instrumentosdel SyE se analizan en Monitoring and Evaluation:Some Tools, Methods and Approaches(GEI, 2004b). Véanse también el glosario de evaluacióndel CAD (2002) y el anexo E.8

Contribución del SyE a unbuen gobierno3El SyE puede ofrecer información exclusiva acerca del desempeño de laspolíticas, programas y proyectos de un gobierno. Puede identificar loque funciona y lo que no funciona, y las razones para cada caso. Además,el SyE ofrece información acerca del desempeño de un gobierno, de unministerio o de alguna dependencia en especial, así como de gerentes y suequipo de trabajo. Por otro lado, también aporta información sobre el desempeñode los donantes que apoyan el trabajo de los gobiernos.Es tentador, y peligroso a la vez, considerar queel SyE tiene un valor intrínseco. Su valor no se basaúnicamente en llevar a cabo un seguimiento y evaluación,o en contar con la información que genera;más bien, su valor radica en el uso de lainformación para ayudar a mejorar el desempeñodel gobierno. Como se verá más adelante, existenmuchos gobiernos que utilizan en forma sistemáticala información del SyE para mejorar sudesempeño. Algunas formas en que la informacióndel SyE puede ser muy útil para los gobiernos ydemás entidades son las siguientes:• Apoyar en la formulación de políticas –especialmenteen la toma de decisionespresupuestarias– en el presupuesto porresultados y en la planeación nacional.Estos procesos se centran en las prioridadesque establece el gobierno a partir de las demandascompetitivas de los ciudadanos y delos grupos sociales. La información del SyEpuede apoyar las deliberaciones del gobiernoofreciendo evidencia de las diversas actividadeseficaces en función de sus costos, como losdiferentes programas de empleos, las intervencionesen salud o los pagos por transferenciamonetaria condicionada. Los términosque describen el uso de la información delSyE en esta forma particular incluyen la formulaciónde políticas basada en evidencia, lospresupuestos basados en resultados y los presupuestospor informe de desempeño (Recuadro3.1).• Ayudar a los ministerios en su desarrollo y análisisde políticas, así como en el desarrollo deprogramas.• Ayudar a los ministerios y a las dependenciasgubernamentales a administrar actividadesen el nivel de sectores, programas y proyectos.Esto incluye la prestación de servicios y el manejodel personal. El SyE identifica el uso máseficiente de los recursos disponibles; se puedeutilizar para identificar dificultades en la implementación,por citar un ejemplo. Los indi-9

I: ¿QUÉ OFRECE EL SEGUIMIENTO Y LA EVALUACIÓN A LOS GOBIERNOS?Recuadro 3.1 ¿Qué significa presupuesto por resultados?La mayoría de los países de la OCDE ejecutan algún tipo de presupuestopor resultados (Curristine, 2005). Algunos otros países,como Chile, han creado un sistema de SyE gubernamentalpara apoyar el presupuesto por resultados, y el número de paísesen desarrollo que lo están aplicando es cada vez mayor. ElSyE es considerado ampliamente como una herramienta muy útilpara asistir a los gobiernos con problemas fiscales a reducir susgastos totales identificando programas y actividades que tenganeficacia relativamente baja en función de los costos. Elpresupuesto por resultados también ayuda a los gobiernos a priorizarentre las propuestas competitivas de gastos. De esta manera,constituye una vía para obtener un mayor valor del dineroen sus gastos.El presupuesto por resultados implica utilizar la información delseguimiento y los hallazgos de la evaluación. Existen tres enfoquesprincipales para realizar el presupuesto por resultados. El primerose denomina presupuesto basado en resultados directos,donde hay una relación directa, generalmente basada en una fórmula,de manera que la asignación del presupuesto para un programaesté basada en su desempeño y en la medición de susresultados (es decir, sus productos o sus efectos directos). Un ejemplode ello es la asignación de fondos a una universidad según elnúmero de estudiantes que se gradúan en cada disciplina, ya seaen medicina o en letras.El segundo enfoque es el presupuesto basado en resultadosindirectos. Ésta es la forma más común de presupuestos por resultados.La información del SyE sobre los resultados del programaconstituye un insumo, y sólo uno, en las decisiones sobrela asignación del presupuesto para el programa. Otra información,así como las prioridades de las políticas del gobierno (como es eltema de las consideraciones de equidad), también influye en lasasignaciones.El tercer enfoque es el denominado presupuesto por presentaciónde resultados. El gobierno utiliza la información del SyE parahacer un informe sobre los resultados reales (pasados) o esperados(futuros) de los presupuestos que envía al Parlamento o Congreso.Esta información puede no tener influencia alguna en la tomade decisiones de presupuesto y se considera como la forma másvulnerable de los presupuestos por resultados.Un error muy común es que la evidencia de un bajo desempeñohaga que un programa no reciba su asignación completa o que seacancelado completamente. Aunque esto podría suceder con unaactividad gubernamental de baja prioridad, generalmente se necesitagastar más dinero para corregir el programa, por lo menosa corto plazo. Por ejemplo, una evaluación que determina que laeducación primaria o los gastos en hospitales públicos son muyineficientes no haría que estos programas sean eliminados, ya queellos son muy importantes. Por el contrario, será necesario identificarlas razones de un pobre desempeño –lo que sería reveladopor una evaluación– para finalmente dirigirlas.cadores de desempeño se pueden utilizar paracomparar costos y desempeño –normas de referenciade desempeño– entre las diferentesunidades, regiones y distritos administrativos.Las comparaciones pueden hacerse a lo largodel tiempo y así ayudar en la identificación deprácticas buenas, malas o prometedoras, detal manera que pueda motivar la búsqueda derazones para determinado desempeño. Las evaluacionesy las revisiones se utilizan para identificarestas razones (véase por ejemplo, Wholey,Hatry y Newcomer, 2004). Ésta es la función deaprendizaje del SyE y frecuentemente se le denominagestión basada en resultados o gestiónorientada hacia los resultados.• Incentivar la transparencia y apoyar lasrelaciones de rendición de cuentas revelandohasta qué punto el gobierno ha logradosus objetivos. El SyE proporciona la evidenciaesencial necesaria para sostener fuertes relacionesde rendición de cuentas, como las delgobierno con el Parlamento o Congreso, conla sociedad civil y con los donantes. El SyEtambién apoya las relaciones de rendición decuentas dentro del gobierno, tanto entre ministeriossectoriales y centrales, entre dependenciasy ministerios sectoriales, y entreministros, administradores y personal. A suvez, una sólida rendición de cuentas puedeofrecer los incentivos necesarios para mejorarel desempeño.Estos usos ubican el SyE en el centro de los planespara un mejor gobierno, como condición necesariapara una administración efectiva del gastopúblico en la reducción de la pobreza. De esta manera,el SyE es esencial para lograr la formulaciónde políticas, la gestión y la rendición de cuentas10

3: CONTRIBUCIÓN DEL SyE A UN BUEN GOBIERNObasadas en evidencias. Poner énfasis en el SyE esun medio para tener un sector público orientadoa los resultados y a la rendición de cuentas, de talmanera que se promueva una cultura de desempeñoen el servicio civil. Por tanto, el SyE no deberíatomarse como una actividad limitada otecnocrática.Dentro de las cuatro grandes categorías de utilizaciónde la información del SyE, existen muchasactividades específicas donde se puede aplicar. Asimismo,el SyE está estrechamente relacionadocon otros aspectos de la administración del sectorpúblico:• Sistemas de seguimiento presupuestales e informesfinancieros;• Relaciones fiscales intergubernamentales, queincluyan la descentralización gubernamental yel grado en que éstas abarcan un enfoque enel desempeño del gobierno; 1• Instituciones de rendición de cuentas, comooficinas nacionales de auditoría• Oferta de servicios públicos por parte del sectorde comercialización y privado (con y sinfines de lucro), por ejemplo, la subcontrataciónde funciones del gobierno. 2 El éxito de estasactividades depende de un pleno entendimientode los objetivos y del desempeño real;• Aclaración e información pública sobre lasmetas y objetivos del programa y las estrategiasnecesarias para lograrlos;• Establecimiento de normas específicas de servicioal cliente por medio de dependenciasque ofrezcan servicios, así como el seguimientoy la publicidad para los logros que se vanalcanzando;• Reforma del servicio civil que se concentre enel desempeño, la administración y la evaluacióndel personal, y que contemple la contratación,ascensos o despidos con base en méritos, teniendoen cuenta la relación entre el desempeñoindividual y el desempeño del proyectoo programa;• Calidad de la asesoría de políticas del serviciocivil y la medida en que esta asesoría se basaen la evidencia (con utilización del SyE);• Esfuerzos para combatir la corrupción. El SyEse utiliza para identificar la “fuga” de fondos delgobierno por medio de, por ejemplo, encuestasde seguimiento del gasto público (PETS). El seguimientocomunitario de proyectos de losdonantes (o del gobierno) también puede serun medio efectivo que ayude a poner freno ala corrupción en la implementación de losproyectos, y• Participación en la sociedad civil. El SyE brindaun medio para reforzar la participación de lasociedad civil y presionar al gobierno para quealcance niveles de desempeño más altos.Experiencias de paísesLa mayoría de los gobiernos de la OCDE ponemucho énfasis en las cuatro categorías de utilizaciónde la información de SyE con el fin de apoyarla formulación de políticas basada en evidencias(especialmente el presupuesto por resultados), eldesarrollo de políticas, la administración y la rendiciónde cuentas. Los gobiernos de la OCDE tienencolectivamente mucha experiencia en estetema: existe una idea general de que para que ungobierno mejore su propio desempeño, es necesarioque realice un gran esfuerzo para medirlo.El secretariado de la OCDE y otras agencias hanpublicado numerosos estudios y análisis acerca deltrabajo realizado por los países miembros parareforzar su orientación hacia el desempeño (porejemplo, OCDE, 1995, 1997a, 2005; Curristine,2005; Shand, 2006). Éstos incluyen una revisión exhaustivade las prácticas y las enseñanzas de evaluaciónde los gobiernos, tanto en la creación decapacidad como en el uso de la evaluación (OCDE,1997a), y una revisión de las prácticas y las enseñanzasdel presupuesto por resultados:La orientación del desempeño de la administraciónpública ha llegado para quedarse,es esencial para que un gobiernotenga éxito. Las sociedades actuales son demasiadocomplejas para ser sólo administradaspor reglas para insumos y procesosy una cultura de espíritu público. El movimientodel desempeño ha incrementado laplanificación formal, el informe y el controlen muchos gobiernos, lo cual ha llevado amejorar la información disponible paralos administradores y los responsables de laspolíticas (OCDE, 2005, p. 81).11

I: ¿QUÉ OFRECE EL SEGUIMIENTO Y LA EVALUACIÓN A LOS GOBIERNOS?Durante los últimos 15 años, la mayoríade los gobiernos de la OCDE ha tratado decambiar el énfasis del presupuesto y la administracióndejando de lado los insumosy centrándose en los resultados, medidosen la forma de productos y efectos directos.Así como el contenido, ritmo y métodode implementación de estas reformas varíasegún los países y a lo largo del tiempo,también comparten un renovado enfoqueen los resultados medibles... En la mayoríade los países de la OCDE, los esfuerzospara evaluar el desempeño de los programasy ministerios constituyen, en la actualidad,una parte normal y aceptada delgobierno. Los países siguen una serie demétodos diferentes para evaluar el desempeño,los que incluyen medidas de desempeño,evaluaciones y normas dereferencia (Curristine, 2005, pp. 88–89).Es sorprendente la diversidad de enfoques queexisten respecto al SyE según los países, y especialmentelas formas como se utiliza la informacióndel SyE. En el recuadro 3.2 sepresentan ejemplos de cinco países cuyosRecuadro 3.2 Gobiernos que utilizan intensivamente la información de SyEAustraliaA fines de la década de 1980, el gobierno creó un sistema de evaluaciónpara todo el ámbito público, dirigido por el Departamentode Finanzas (DdF). Se solicitó a todos los ministerios queevaluaran cada uno de sus programas cada tres o cinco años.También se les pidió preparar planes de evaluación de portafolioque detallaran las evaluaciones programadas durante los siguientestres años e indicaran los programas que seríanevaluados, los temas por cubrir en cada evaluación y los métodosde evaluación por utilizarse.Las evaluaciones se llevaron a cabo por los mismos ministerios,pero el DdF y otras dependencias centrales las supervisaron.Como resultado de ello, el número de evaluaciones realizadas seincrementó rápidamente y, hacia mediados de los años 1990, alrededorde 160 de estas evaluaciones estaban en progreso. Estasevaluaciones se usaron principalmente durante el proceso presupuestarioanual. Cada nueva propuesta de gasto presentada porun ministerio debería especificar sus objetivos y presentar cualquierhallazgo de evaluación del desempeño disponible, real o probable,de la actividad del gobierno. Del mismo modo, las opcionesde ahorro, propuestas para reducir el gasto del gobierno y preparadaspor el DdF o por otros ministerios, también debieron incluircualquier hallazgo de evaluación disponible.El DdF estimó que, para 1994, casi 80% de las nuevas propuestasde gastos se basaban en hallazgos de evaluación, generalmenteen un nivel bastante significativo. Cerca de dos tercios de las opcionesde ahorros también se basaron en hallazgos de evaluación.Funcionarios del departamento, quienes asistieron a las reunionesdel gabinete que analizaba estas propuestas sobre el presupuesto,concluyeron que esta información tuvo mucha influencia en la decisiónque el gabinete tomó acerca del presupuesto. La Oficina Nacionalde Auditoría de Australia encontró que ministerios sectorialestambién utilizaron mucho esta información, particularmente paraayudar a mejorar su propia eficiencia operacional (para mayor informaciónacerca Australia, véase el capítulo 8).ChileEl Ministerio de Hacienda (MdH), en 1994, desarrolló progresivamenteun sistema de SyE para el gobierno. Este sistema incluyecerca de 1.550 indicadores de desempeño, evaluaciones rápidas(se completan alrededor de 10 a 12 cada año), y evaluaciones deimpacto rigurosas (unas cuatro por año). El MdH encarga la realizaciónde las evaluaciones a académicos o empresas de consultoría,y utiliza términos de referencia y metodologíasestandarizadas para cada tipo de evaluación. Los funcionariosdel MdH utilizan mucho la información del seguimiento y los hallazgosde evaluación en sus análisis de presupuestos del desempeñode cada ministerio y dependencia como un insumopara la toma de decisiones acerca del presupuesto del gobierno.El ministerio también utiliza esta información para establecermetas de desempeño para cada dependencia y para imponer mejorasadministrativas, tanto en los ministerios como en las dependencias.El MdH supervisa cuidadosamente hasta qué puntocada ministerio implementa estas mejoras administrativas (véaseel capítulo 6 para mayor información acerca de Chile).ColombiaEl sistema de SyE gubernamental, SINERGIA, es administradopor el Departamento Nacional de Planeación (DNP). Uno de losprincipales componentes del sistema es la base de datos con in-12

3: CONTRIBUCIÓN DEL SyE A UN BUEN GOBIERNORecuadro 3.2 Gobiernos que utilizan intensivamente la información de SyE (continuación)formación sobre el desempeño, la cual contiene cerca de 500 indicadoresque rastrean el desempeño del gobierno en función delas 320 metas del Plan Nacional de Desarrollo.Para cada indicador de desempeño, la base de datos disponibleal público registra el objetivo, la estrategia para alcanzar el objetivo,el desempeño de base, las metas anuales y el monto gastado por elgobierno. Cuando las metas de desempeño no se cumplen, el administradorresponsable de que la meta se cumpla debe preparar uninforme dando las explicaciones del caso. El presidente utiliza estainformación en sus reuniones mensuales administrativas de controlcon cada ministro y en sus reuniones semanales en los diversos municipiosdel país (véase el capítulo 7 para mayor información acercade Colombia). Valdría la pena señalar que es un sistema que haceevaluaciones también, no solo seguimiento porque uno de los aspectoque configura un sistema es el balance entre estas funciones.Reino UnidoEn 1998, el gobierno creó un sistema de metas de desempeño, lascuales se señalan en los Acuerdos del Sector Público con el TesoroPúblico y cada uno de los 18 ministerios principales. LosAcuerdos del Sector Público establecen la meta general del ministerio,los objetivos prioritarios y las metas de desempeño clave.En la actualidad existen 110 metas del gobierno en su conjuntoy están enfocadas fuertemente en las áreas prioritarias de educación,salud, transporte y justicia penal. Las metas se expresanprincipalmente en términos de efectos directos (más que en productos)por ser alcanzados. Dos veces al año, los ministerios informanpúblicamente acerca del número de evaluaciones, comoun aporte para la toma de decisiones de presupuesto. Las prioridadesde gastos, topes de gastos y metas de desempeño afinesse establecen dentro de un sistema de informes de gastos de tresaños. La Oficina Nacional de Auditoría del Reino Unido informa quelos ministerios también utilizan la información de desempeño delos Acuerdos del Sector Público para su propia planeación y rendiciónde cuentas; sin embargo, esta información se utiliza enmenor grado para la administración en curso.Estados Unidos de AméricaEn el año 2002, el gobierno creó los Instrumentos de Clasificaciónde las Evaluaciones de Programas (PART) basándose en esfuerzosanteriores destinados a medir su desempeño. Los 1.000programas del gobierno son clasificados utilizando la metodologíaPART, que se basa en cuatro aspectos del programa de desempeño:1) la claridad de los objetivos y del diseño del programa;2) la calidad de la planeación estratégica y la extensión del enfoqueen las metas del programa; 3) la efectividad en la administracióndel programa; y 4) los resultados logrados en elprograma real. Este último criterio representa 50% de la clasificaciónPART para cada programa.Estos cuatro aspectos ponen mucho énfasis en la obtenciónde evidencia sólida acerca del desempeño del programa,basándose en la información de seguimiento y los hallazgos deevaluación. La clasificación se prepara conjuntamente con la Oficinade Administración y Presupuesto (OMB), la cual equivaldríaal ministerio de hacienda en Estados Unidos de América, y conotros ministerios y agencias; sin embargo, la OMB tiene la últimapalabra en el momento de tomar la decisión en lasclasificaciones.Durante el año fiscal 2005, 44% de los programas fueron clasificadoscomo efectivos o moderadamente efectivos; 24% clasificaroncomo resultados sin demostrar debido a la falta deinformación de SyE (esto representó una baja significativa a partirdel año fiscal 2002, cuando 50% de los programas clasificaroncomo resultados no demostrados).Los ministerios requieren el uso de clasificaciones PART parasolicitar anualmente sus fondos a la OMB. Las solicitudes debenresaltar las clasificaciones PART, las recomendaciones para lasmejoras en el desempeño del programa y las metas de desempeño.Por otro lado, la OMB también utiliza las clasificaciones PARTcomo un aporte cuando prepara las solicitudes de fondos de la administraciónante el Congreso. Además, la OMB utiliza las clasificacionesPART para aceptar o imponer mejoras en el desempeñode los ministerios.La Oficina General de Rendición de Cuentas (GAO) concluyóque el PART asistió a la OMB en el análisis de información del SyEsobre el desempeño de programas como parte de su labor de análisisde presupuesto. Además captó el interés de los ministeriosacerca de la información de los resultados del presupuesto. Sinembargo, la GAO concluye que el Congreso continua abordandolos debates presupuestales con un enfoque tradicional, el cualpone relativamente poco énfasis en la información del SyE.Fuentes: Australia—Mackay, 1998a, 2004; Chile—Rojas y otros, 2005; Guzmán, 2003, 2005, 2006; Colombia—Castro, 2006a, 2006b; May y otros, 2006; Reino Unido—United Kingdom Treasury (sin fecha); United Kingdom National Audit Office, 2006; Estados Unidos de América—OMB, 2003; GAO, 2004; Sandoli, 2005.13

I: ¿QUÉ OFRECE EL SEGUIMIENTO Y LA EVALUACIÓN A LOS GOBIERNOS?sistemas de SyE se han documentado y analizadoampliamente.Los ejemplos de estos cinco países contienen algunascaracterísticas comunes, como el enfoqueglobal del gobierno para medir su propio desempeño,el papel destacado de un ministerio centralpoderoso (como el ministerio de hacienda o de planeación)y el énfasis en el uso de información delSyE para apoyar el proceso presupuestario. Sinembargo, la diversidad de enfoques también esevidente. Algunos países dan mayor importanciaal proceso presupuestario, otros a la planeación;algunos más a la rendición de cuentas, mientras queotros dan importancia al aprendizaje para ayudaren la administración cotidiana. Finalmente, hayquienes dan mayor importancia al seguimiento yevaluación conjuntamente, mientras que otrossólo enfatizan el seguimiento o sólo la evaluación.Es tentador concluir que las diferencias entre lospaíses son mayores que las similitudes. Sin embargo,lo que resulta común entre un número crecientede países es el enfoque sistemático haciael SyE, que generalmente se refiere a un sistemapara todo el gobierno, aunque en algunos casos–como en México– sólo incluye una secretaríaen particular (la Secretaría de Desarrollo Social,SEDESOL), que viene a ser una “isla” de buenasprácticas. Una característica especial del sistemade México es que después del éxito del SyE en SE-DESOL, se está creando un sistema de SyE paratodo el gobierno, con el apoyo de la Secretaría deHacienda y Crédito Público, la Secretaría de la FunciónPública, y el recientemente creado, ConsejoNacional de Evaluación (Hernández, 2007).Muchos países en desarrollo buscan en los paísesde altos ingresos, miembros de la OCDE, los mejoresmodelos de buena gobernabilidad que incluyanel SyE; sin embargo, esto puede convertirseen un concepto un tanto engañoso y potencialmentepeligroso. El ambiente del sector públicode cada país es único, y los mismos países de laOCDE poseen gran variedad de enfoques para evaluarel desempeño del gobierno y utilizar esta información.Por tanto, a pesar de que existentendencias comunes que influyen en los gobiernospara crear sistemas de SyE, y que también haymuchos instrumentos comunes para el SyE dentrode los mismos países, existen también grandesdiferencias en el énfasis que se le da a cadainstrumento y a la manera en que se usan.Sociedad civilEn el momento de crear sistemas para dar seguimientoy evaluar el desempeño del gobierno,puede ser tentador concentrarse sólo en los actoresgubernamentales, como los ministerios centrales,ministerios sectoriales, niveles de gobiernosubnacionales y el Parlamento o Congreso. Sin embargo,esto podría dejar de lado el papel preponderanteque la sociedad civil puede tener enel seguimiento y evaluación del desempeño delgobierno. La sociedad civil –organizaciones no gubernamentales(ONG), universidades, institutosde investigación, grupos de expertos y medios decomunicación– pueden desempeñar diversas funcionesen el SyE, ya sea como usuarios o generadoresde la información del SyE. 3Uno de los ejemplos que mejor presenta ambasfunciones es la tarjeta de informe ciudadano queideó una ONG en Bangalore, India en 1994. Estemodelo ha sido copiado en muchas otras ciudadesde la India y en países como Bangladesh, Filipinas,Uganda, Ucrania y Vietnam. La ONG deBangalore ha utilizado estas tarjetas para destacarel buen y el mal desempeño de varios departamentosdel gobierno municipal y para presionarcon éxito al gobierno con el fin de mejorar su desempeño(Recuadro 3.3).Otro ejemplo similar proviene de Bogotá, Colombia,donde una iniciativa de la sociedad civilse desarrolló independientemente de los gobiernosnacional o municipal en 1997. Se le conocecomo Bogotá Cómo Vamos, y fue creadamediante una alianza entre una fundación privada,el principal diario de Bogotá, y la Cámara deComercio. En la actualidad aparece como una característicapermanente del panorama social. 4 BogotáCómo Vamos comprende el análisis expertoy la amplia publicación de datos sobre el desempeñodel gobierno distrital, además de la informaciónobtenida de encuestas de opinión públicasobre la calidad y disponibilidad de los servicios.La iniciativa exitosamente ha puesto presión sobre14

3: CONTRIBUCIÓN DEL SyE A UN BUEN GOBIERNORecuadro 3.3 Tarjetas de Informe Ciudadano – Una herramienta poderosa para la sociedad civilLa Tarjeta de Informe Ciudadano (CRC) de Bangalore fue la primeraen su género gracias a una ONG independiente, el Centrode Relaciones Públicas, en el año1994. Las tarjetas suponenuna serie de encuestas de hogares en Bangalore elegidos al azarpara evaluar los niveles de satisfacción en relación con variosaspectos de la calidad de los servicios otorgados por el gobiernomunicipal y otras dependencias de servicios públicos. Losaspectos que se estudian en estas encuestas de servicios prestadosincluyen el comportamiento del personal, la calidad del servicio,la información proporcionada por el personal y el gradode corrupción (dinero fácil). Los servicios que los entrevistadosdeben evaluar son agua, energía, otros servicios municipales,transporte, vivienda, teléfonos, bancos y hospitales.La primera tarjeta de informe descubrió diversos problemas:un bajo nivel de satisfacción público; las dependencias públicasno eran amables con los ciudadanos; faltaba orientación al consumidor;corrupción; y un alto costo por la ineficiencia del sectorpúblico. La segunda encuesta de la CRC de 1999 reveló mejorasen los niveles de satisfacción pero no hubo mejoras en la proporciónde hogares que pagaban sobornos. El Centro de Relaciones Públicasdifundió ampliamente los descubrimientos de la tarjeta deinforme con la ayuda de los medios de comunicación –así estosdescubrimientos se convirtieron en titulares de las noticias– reunionespúblicas y presentaciones a las dependencias públicas prestadorasde estos servicios.El Grupo de Evaluación Independiente (GEI) encargó un estudiode impacto de las dos primeras tarjetas de informe (1994 y 1999)basándose en entrevistas con una muestra de jefes de dependencias,funcionarios estatales de alto mando, grupos de acciónciudadana y los medios de comunicación en Bangalore. Los entrevistadosdeclararon que en general estaban de acuerdo con latarjeta de informe como herramienta para obtener una reacciónrespecto a los servicios. Gracias a los resultados de la CRC, muchasde las dependencias iniciaron medidas de reforma. Las tarjetasayudaron a incrementar la conciencia del público acerca dela calidad de los servicios y estimuló a los grupos de ciudadanosa demandar mejores servicios. Asimismo, hicieron que los funcionariosclave comprendieran las percepciones de los ciudadanoscomunes y el papel de la sociedad civil en la gobernabilidadde la ciudad. Bangalore ha sido testigo de una serie de mejoras,particularmente después de la segunda tarjeta de informe. El gobiernoestatal y las dependencias públicas municipales iniciaronuna serie de reformas para mejorar la infraestructura y los serviciosde la ciudad –incluyendo, mediante la reforma del impuestoa la propiedad, la creación del Bangalore Agenda Task Force, ehicieron más eficiente los sistemas y procedimientos internos delas dependencias. En la actualidad existe gran transparencia enlas operaciones de las dependencias del gobierno y mejor respuestaa las necesidades de los ciudadanos. Aunque otros factorescontribuyeron también a esta transformación de Bangalore,las tarjetas de informe sirvieron de catalizadores en el proceso.Los beneficios que se derivarán de las tarjetas parecen dependeren gran parte de una diversidad de factores. En primer lugarestá el uso que los medios de comunicación y la sociedad civil dana dicha información. Los medios de comunicación desempeñanuna función preponderante en publicitar un desempeño deficientede una dependencia, lo que a su vez puede provocar un estímuloen la sociedad civil, en las mismas dependencias y en otras partesinteresadas dentro del gobierno. Una sociedad civil activapuede cumplir un cometido importante para continuar presionandocon el fin de lograr las reformas necesarias para las dependenciasy dar seguimiento al grado en que las reformas sematerializan. De esta manera, las tarjetas de informe también realizanuna función política (Banco Mundial, 2003).Es muy importante la receptividad de las dependencias del gobierno,especialmente su liderazgo. Cuando los funcionarios demayor rango se preocupan por el desempeño de sus dependenciasy por servir a ciudadanos comunes lo mejor posible, es probableque se estén creando mejores condiciones para la acciónbasándose en los hallazgos de la tarjeta de informe ciudadano(CRC). Evidentemente, mientras que la cultura de servicio civil noesté orientada hacia el cliente o tenga como principio lograr altosniveles de desempeño, habrá importantes limitaciones en lo quese pueda lograr, aun cuando los funcionarios de mayor rangoestén comprometidos con la reforma. La experiencia de Bangaloreilustra lo que se puede alcanzar cuando una organización dinámica,el Centro de Relaciones Públicas, es capaz de (1) llevara cabo estudios rigurosos sobre el nivel de satisfacción de los ciudadanoscon el desempeño del gobierno, (2) asegurar un altonivel de cobertura periodística de los resultados, y (3) persuadira las dependencias del gobierno a mejorar su propio desempeñoy proporcionar algún tipo de apoyo para ayudarlas en este fin.Fuentes: Ravindra, 2004; Bamberger, Mackay y Ooi, 2004. Véase también http://www.pacindia.org/.15

I: ¿QUÉ OFRECE EL SEGUIMIENTO Y LA EVALUACIÓN A LOS GOBIERNOS?el gobierno distrital para que mejore su desempeño;además ha estimulado al gobierno a recopilary publicar una amplia gama de informaciónconfiable sobre su propio desempeño.Otro cometido de la sociedad civil es llevar a cabolas evaluaciones. Algunos gobiernos, como losde Chile y Colombia, contratan académicos o firmasconsultoras para que realicen las evaluacionescomo parte del sistema de SyE del gobierno. 5Una de las razones para encargar estas evaluaciones,en vez de que sean realizas por funcionariosdel gobierno, es tratar de alcanzar un nivelmás alto de independencia, objetividad y credibilidad–y evitar un conflicto de intereses potencialo real que podría originarse con unaautoevaluación. Otra de las razones puede ser lausual limitada disponibilidad de experiencia enevaluación dentro del mismo gobierno. Encargarlas evaluaciones a otros también puede ayudara aumentar el grupo de evaluadoresdisponibles en un país. Como la mayoría de lospaíses divulga las evaluaciones realizadas –tantoaquellas que se encargan a terceros como las quellevan a cabo internamente los mismos ministerioso dependencias– esto hace que la calidad deellas se someta a un minucioso análisis externo.A su vez, esto haría que se redujeran los incentivospara aquellos gobiernos que producen evaluacionessin criterio, interesadas o deshonestas.ConclusionesLa información de seguimiento y los hallazgosde evaluación pueden contribuir en diversas formasa una buena gobernabilidad: en la formulaciónde políticas con base en evidencias (incluidala toma de decisiones de presupuesto), en el desarrollode políticas, en la administración y en larendición de cuentas. Muchos gobiernos en elmundo se han dado cuenta de este potencial,como la mayoría de los países de la OCDE y unpequeño pero creciente número de países endesarrollo, lo cual se ilustra gracias a los cinco paísescuyo uso intensivo de la información del SyEse resume en este capítulo. Todos estos países handado pasos importantes para crear y progresivamenterefinar los sistemas de SyE para apoyar asílas funciones claves del gobierno. Varias tendenciasque influyen en los gobiernos y las enseñanzasde las experiencias internacionales en lacreación de sistemas de SyE del gobierno se discutiránen los capítulos 4 y 5 respectivamente.El papel potencialmente importante de la sociedadcivil debe ser subrayado tanto como productor,así como usuario de la información de SyEdel desempeño del gobierno. Uno de esos ejemploses la tarjeta de informe de Bangalore, quetuvo influencia en los gobiernos estatales y municipales.La propuesta de la tarjeta de informe hasido copiada en muchos otros países.16

Tendencias clave queinfluyen en los países —¿Por qué los países estáncreando sistemas de SyE?Los estudios de la OCDE parecen indicar que existen ciclos o tendenciasen los tipos de reformas del sector público que adoptan los países (porejemplo, OCDE, 1995, 1997a, 1997b, 1998b, 2004, 2005). Las reformasprioritarias que los países desarrollados enfatizaron en la década de 1990comprenden la privatización, las normas de servicio al cliente, la gestión basadaen resultados, la subcontratación, el pago por desempeño, la descentralizacióny el presupuesto por resultados.Tendencias similares influyen en los países en desarrollo,algunos de los cuales buscan conscientementeadoptar las mejores prácticas disponiblesen el mundo. Según se mencionó anteriormente,esto puede ser un concepto peligroso para los sistemasde SyE debido a la necesidad de adaptarlosde acuerdo con las circunstancias y prioridadesde cada país.La influencia de las tendencias de la OCDE en lospaíses en desarrollo parece operar con cierto retraso,y el gran beneficio de ello es que estos paísespueden aprender de los éxitos y fracasos dela implementación en otros lugares del mundo.Así por ejemplo, en América Latina es evidente quegran número de países (alrededor de 20) están trabajandoen la actualidad con el fin de reforzar sussistemas de SyE gubernamentales (May y otros,2006). Una segunda explicación de esta tendenciaes el efecto causado por la demostración de liderazgoque ofrecen países como Chile, Colombia,México y Brasil. En tercer lugar, una serie depresiones económicas y sociales que son quizásmás importantes en América Latina: continuas limitacionesmacroeconómicas y presupuestales; insatisfaccióndebida a que el aumento de gastos delgobierno en sectores sociales no es acorde con elaumento en la calidad o cantidad de los serviciosotorgados; constantes presiones para mejorar yampliar los servicios públicos y la transferencia deingresos; y crecientes presiones hacia la rendiciónde cuentas del gobierno y hacia el “controlsocial”; esto quiere decir una rendición de cuentasmás clara por parte de los gobiernos ante losciudadanos comunes y los congresos.En Europa Oriental se puede observar además otrainfluencia. Los países que se han unido a la UniónEuropea o son candidatos a la adhesión tienen quereforzar sus sistemas de SyE y esto está dandomayor impulso a esta tendencia (Boyle, 2005).417

I: ¿QUÉ OFRECE EL SEGUIMIENTO Y LA EVALUACIÓN A LOS GOBIERNOS?Las iniciativas de los donantes internacionales,como el Banco Mundial, están teniendo fuerte influenciasobre los países prestatarios, particularmenteen los que más dependen de la ayudainternacional. La iniciativa del Banco para el aliviode la deuda de los países pobres muy endeudadosexige –como una condición por partede los donantes– que los países preparen documentosde estrategia para la reducción de la pobreza(PRSP), que contengan indicadores deléxito alcanzado en los esfuerzos del país por reducirla pobreza (GEI, 2002). Se necesita un enfoquesimilar en el énfasis de los donantes en ellogro de los Objetivos de Desarrollo del Milenio.Los PRSP requieren un análisis del sistema deSyE de los países, en particular de la adecuaciónde los indicadores de desempeño disponibles.Sin embargo, muchos países pobres han experimentadodificultades para mejorar sus sistemas deseguimiento, tanto en términos de la producciónde datos como, muy en especial, en la utilizaciónde éstos (Banco Mundial y Fondo Monetario Internacional,2004; Bedi y otros, 2006).Existen, asimismo, grandes presiones sobre los donantesinternacionales para que rindan cuentas ydemuestren los resultados obtenidos con losmiles de millones de dólares que se destinan a asistenciacada año, y que pongan mayor énfasis enel SyE. Para el Banco Mundial estas presiones hanmodificado su agenda de resultados, lo cual implica,entre otras cosas, la necesidad de que las estrategiasde asistencia del Banco a los países seconcentren con firmeza hasta qué punto se hanalcanzado en realidad los resultados y en la contribucióndel Banco para alcanzarlos (Banco Mundial,2004a; GEI 2006a).Este movimiento está conduciendo hacia unagran atención en la disponibilidad de informacióndel SyE en relación con el desempeño de los proyectosdel Banco en los países, así como sobre lostemas más amplios vinculados con el desempeñode un país respecto a los objetivos de desarrollo.Por tanto, se crea mayor dependencia de los sistemasde seguimiento del gobierno y en la informaciónque éstos producen. 1 Las deficiencias deestos sistemas están impulsando al Banco a realizarmás esfuerzos por ofrecer apoyo para reforzarlosmediante préstamos, subsidios y asistenciatécnica.Al mismo tiempo, existe en cierto modo un cambioen la orientación de los préstamos que ofrecenel Banco y otros donantes, apartarse deproyectos estrictamente definidos y orientarsehacia préstamos programáticos, que suponenprovisiones para financiamiento global (de hecho,apoyo a un amplio presupuesto). La ausencia deactividades y productos de proyectos claramentedefinidos con estos tipos de préstamos tambiénrequiere un enfoque panorámico más amplio delos resultados de la asistencia para el desarrollo.Esto a su vez requiere depositar mayor confianzaen los sistemas de estadísticas nacionales y en lossistemas de seguimiento y evaluación de los programasgubernamentales.Presiones similares para la rendición de cuentassobre otros donantes han conseguido que ellosse involucren más en estos temas y ofrezcanmayor colaboración. Una vía que permite a los donantescompartir experiencias en este tema es laIniciativa de Gestión para Resultados de Desarrollo(MfDR, por sus siglas en inglés), que promueveuna mejor medición, seguimiento y gestiónpara resultados de donantes y gobiernos. Estainiciativa surgió de una reunión de bancos de desarrollomultilateral en Monterrey, México, en2002; y ha guiado un ambicioso programa de actividades,que incluye conferencias de alto nivelen Marrakech (2004), París (2005) y Hanoi (2007).La iniciativa también comprende la preparaciónde una creciente colección de material didácticoy estudios de caso de países en desarrollo, relacionadoscon la aplicación del SyE y la administracióndel desempeño, en los niveles nacional,sectorial, de programas y de proyectos. 2Estos factores se han combinado para incrementarel nivel de participación de los donantes en lacreación o fortalecimiento de sistemas de SyE depaíses en desarrollo. Parte de este esfuerzo seconcentra en los sistemas de estadísticas nacionalesque miden el progreso del país comparándolocon los ODM. Otra parte se concentra en los18

4: TENDENCIAS CLAVE QUE INFLUYEN EN LOS PAÍSESsistemas de SyE gubernamentales para el desempeñodel propio gobierno. (La importancia deesta distinción se explica en el capítulo 9).El GEI estimó que, para 2002, el Banco Mundialya estaba colaborando con más de 30 países eneste último tipo de desarrollo del sistema (GEI,2002); y el número se ha incrementado sustancialmentedesde entonces. El Banco Mundial tieneun programa regional que apoya la creación de sistemasde SyE en América Latina, y que incluye lacreación de una comunidad de práctica de altonivel para gerentes y otros funcionarios en sistemasde SyE. El Banco Asiático de Desarrollo tambiéncreó una comunidad de práctica similar, 3 yel Banco Africano de Desarrollo ha anunciadouna comunidad de este tipo para África. El BancoInteramericano de Desarrollo inició, en 2005, unprograma de ayuda a países de América Latina yel Caribe para la creación de sus sistemas de SyE.Cerca de 20 países recibieron donaciones pormedio de este programa. Otros donantes, comoel Departamento de Desarrollo Internacional delReino Unido (DFID), desempeñan un papel cadavez más activo en esta área. El DFID, por ejemplo,ha prestado particular atención a los sistemas deseguimiento de la pobreza y al uso de la informaciónde desempeño como apoyo en el procesopresupuestario (por ejemplo, Booth y Lucas,2001a, 2001b; Roberts, 2003).Una última tendencia que influye en el enfoquedel SyE es el crecimiento de las asociaciones nacionales,regionales y mundiales de evaluación, ydel número de sus miembros. En África, por ejemplo,existen en la actualidad 16 asociaciones nacionalesy algunas de ellas (como las de Nigeria,Ruanda, Kenia y Sudáfrica) han estado particularmenteactivas en los últimos años. Aunque unreto constante es mantener sus niveles de actividad,puesto que dependen en gran medida de lapresencia y energía de promotores locales.Existen también varias asociaciones regionales,como la Asociación Africana para la Evaluación(AfrEA), y en América Latina, Preval y la nueva asociaciónregional denominada Red de Seguimiento,Evaluación y Sistematización en América Latina yel Caribe (ReLAC). En el plano mundial se cuentacon la Asociación Internacional de Evaluación delDesarrollo (IDEAS) y la Organización Internacionalpara la Cooperación en Evaluación, la cualestá conformada por los jefes de las principalesasociaciones regionales y nacionales de evaluación.4 Los donantes multilaterales y bilaterales, coninclusión del Banco Mundial, han aportado fondosy otros tipos de ayuda a muchas de estas asociacionesde evaluación.Estas asociaciones reflejan, en parte, el crecienteinterés en el SyE, así como el número cada vezmayor de personas que trabajan en este campo.Dichas comunidades de práctica tienen el potencialde influir en la calidad del trabajo de SyEy, por ende, facilitar los esfuerzos del gobierno parafortalecer sus sistemas de SyE. Algunas asociacionesnacionales, como la Red de Monitoreo yEvaluación de Nigeria (ReNSE, por sus siglas enfrancés), han conseguido la colaboración de académicos,consultores, funcionarios públicos y representantesde los donantes. Las principalesconferencias de asociaciones regionales y mundialesde evaluación, como la AfrEA e IDEAS, tambiéntienen los mismos propósitos de agruparestas comunidades. Este crecimiento tiene el potencialde difundir la toma de conciencia y el conocimientodel SyE entre los funcionarios públicosy así incrementar su demanda.19

PARTE IIExperiencias dealgunos paísesEn la Parte II se presenta la experiencia de varios países que crearoncon éxito sistemas de SyE que funcionan bien y la experiencia de África.Una pregunta que siempre se hacen los ministros y funcionarios escépticosde los gobiernos es si en realidad existe algún país que haya creadoexitosamente un sistema nacional de SyE. La respuesta a esta pregunta es unrotundo “sí”. Muchos países desarrollados y un pequeño pero creciente númerode países en desarrollo han tenido éxito en crear sistemas de SyE gubernamentalescon un buen desempeño. En el Capítulo 5 se define lo que deberser un sistema de SyE gubernamental “exitoso”, se proponen tres dimensionesde éxito. En los capítulos 6, 7 y 8 se presentan las experiencias de tres depaíses: Chile, Colombia y Australia, respectivamente. El caso especial de SyEen África, donde existen un sinnúmero de severas limitaciones de capacidad,se expone en el capítulo 9.

Países con buenas prácticas– ¿Cómo se percibe el“éxito”?5Funcionarios de muchos países en desarrollo están interesados en las experienciasde los gobiernos que tienen sistemas SyE que funcionanbien. Dichos gobiernos han acumulado enseñanzas valiosas sobre cómoponer en marcha y administrar exitosamente un sistema de SyE, qué se debehacer, cómo se debe hacer y lo que se debe evitar. Dichos gobiernos tambiénexhiben la eficacia en función de los costos del SyE.Según se enunció en el capítulo 3, existen peligrosal intentar copiar sin criterio los modelos de otrospaíses. En América Latina, por ejemplo, muchospaíses ven el caso de Chile –que tiene un sistemade SyE muy sólido y disciplinado– y les gustaríaaplicarlo en sus propios países. Sin embargo,Chile posee una combinación de característicasrara y específica: un sistema de presupuesto altamentecentralizado, un Ministerio de Haciendamuy capaz y extremadamente poderoso, ministeriosy dependencias que se sujetan muy decerca a las reglas y procedimientos establecidospor el MdH, un servicio civil disciplinado y una comunidadacadémica sumamente hábil. Todoséstos constituyen factores de éxito para el sistemade SyE gubernamental de Chile. Pero Chilees único.Con esto no queremos decir que la experienciade Chile, o la de otros países con sistemas exitososde SyE, no tengan importancia alguna paraotros países, aun para aquellos con administracionespúblicas relativamente frágiles. El propioproceso de comparación de un país en particularcon otro que sí tiene un sistema de SyE exitosoes esclarecedor, ya que ayuda a revelar las razonesque originaron ese éxito y aclara qué tan fácilo difícil sería reproducirlo.El concepto de sistema exitoso de SyE también requierealguna revisión. La definición aplicada a lolargo del presente libro es la siguiente:La institucionalización exitosa del SyE suponela creación de un sistema de SyE sostenibley que funcione bien dentro de ungobierno, donde se utilice información delSyE de buena calidad y de manera intensiva.A continuación se presentan las tres dimensionesde éxito:1. Utilización de la información del SyE.Esta información es utilizada de una o másmaneras de las cuatro mencionadas en el capítulo3, es decir, para apoyar al gobierno enla formulación de políticas que considera la elaboracióndel presupuesto por resultados o la23

II: EXPERIENCIAS DE ALGUNOS PAÍSESplaneación nacional; para el desarrollo y análisisde políticas y el desarrollo de programas;para la gestión de programas y proyectos; opara fines de rendición de cuentas. Obviamente,la utilización de información del SyEpuede ir de nula o insignificante a sustancial ointensiva. La utilización intensiva puede servista como un reflejo de la corriente dominantede la función del SyE en el gobierno. Lamayoría de evaluadores y oficinas de evaluaciónde los gobiernos y organizaciones de donantessorprendentemente tienen poco conocimientode la medida en que los resultados desus evaluaciones son utilizados por otros.2. Información del SyE de buena calidad.Existe una gran diferencia entre lo que cada gobiernoconsidera que lleva a cabo bajo el término“SyE”. Algunos se refieren a ello como un sistemade indicadores de desempeño –centrado enmetas de desarrollo nacional, metas de ministerios,bajos niveles de producción ministerial,prestación de servicios y procesos. Otros se refierena la realización de diversos tipos de evaluacióncomo informes rápidos, evaluaciones deimpacto rigurosas u otros tipos y métodos deevaluación. Todos éstos son parámetros conlos que se puede comparar el SyE para determinarsi es de buena calidad o no. 1 La mayoríade las oficinas de evaluación tiene algún tipo demecanismo de control de calidad; sin embargo,al parecer, muchas de ellas no llevan a cabo ono encargan evaluaciones formales sobre la calidadde su trabajo del SyE.3. Sostenibilidad. Esto se refiere a la posibilidadde que el sistema de SyE sobreviva en un cambiode gobierno, de ministros en el gobiernoo de altos funcionarios. Siempre que la utilizaciónde la información de SyE esté firmementearraigada –es decir, que sea parte de lacorriente dominante– a los procesos principalesdel gobierno como el ciclo de presupuesto,se puede decir que está institucionalizaday, por ende, es probable que seasostenible en el tiempo. Por el contrario, si elSyE tiene solamente unos cuantos adherentes,o se utiliza poco, o si recibe gran parte de susfondos de los donantes más que del mismo gobierno,entonces su sostenibilidad será menosprobable.En los capítulos siguientes se presentarán tresestudios de casos de países que tienen buenasprácticas en sus sistemas de SyE gubernamentales:Chile, Colombia y Australia. Estarán a disposicióninformes completos de sus sistemas deSyE (Rojas y otros, 2005; Mackay y otros, 2007;Mackay, 2004). Ninguno de los tres debe ser consideradocomo un sistema de SyE “perfecto” teniendoen cuenta las tres dimensiones de éxitoantes expuestas. Cada caso tiene sus propias fortalezasy desafíos, como será evidente en las siguientesexposiciones.24

6ChileEl gobierno de Chile ha desarrollado progresivamente su sistema de SyEa lo largo de varios años, pero el mayor desarrollo se logró a partir delaño 1994. El sistema fue ampliamente diseñado, implementado y administradopor el poderoso Ministerio de Hacienda (MdH) con el objetivo principalde mejorar la calidad del gasto público.El desarrollo del sistema también fue influido porpresiones fiscales y la necesidad de restringir elgasto del gobierno en general. Otra influenciafue el cambio de panorama de las reformas del sectorpúblico. En este contexto, el sistema se ha desarrolladode manera apropiada y oportuna.Principales componentes del sistemade SyEEl sistema tiene seis componentes principales.El primero y más antiguo es el análisis de costobeneficio ex ante de todos los proyectos de inversión.Esto se introdujo por primera vez en1974. El trabajo lo desarrolla el Ministerio de Planificación.Todos los demás componentes del sistemade SyE gubernamental se basan en elMinisterio de Hacienda. Según se señaló en el capítulo5, Chile tiene un poderoso y capaz MdH quedesempeña un papel dominante en el procesopresupuestario anual y en el sistema de SyE, y essignificativamente más poderoso que los otros ministerioso dependencias.El segundo componente del sistema de SyE deChile se conforma con los indicadores de desempeño,los cuales fueron lanzados por primeravez en 1994 (véase el recuadro 6.1). El MdH actualmenterecopila alrededor de 1.550 indicadoresde desempeño para todos los sectores.El tercer componente se introdujo en 1996: losbalances de gestión integral. Éstos se preparananualmente por los ministerios y las dependenciase informan sobre sus objetivos, gastos y desempeño.El cuarto componente son las evaluaciones deprogramas del gobierno, iniciadas en 1996. Ellas siguenun formato normalizado y comprenden análisisrápidos que incluyen un análisis de marcológico de un programa, una revisión de datos secundariosy un análisis de datos existentes. Elquinto componente está conformado por las evaluacionesde impacto rigurosas. Éstas se introdujeronen el año 2001 y se encargan de la recopilaciónde datos primarios y sus análisis, basándose por logeneral en técnicas estadísticas sofisticadas.El sexto componente del SyE, y más recientementeintroducido, es el de la evaluación com-25

II: EXPERIENCIAS DE ALGUNOS PAÍSESRecuadro 6.1 Sistema de SyE gubernamental de ChileLos seis principales componentes del sistema de SyEson:Análisis de costo-beneficio ex ante es un requisito para todoslos proyectos del gobierno (desde 1974). Este componente es administradopor medio del ministerio de planificación y es del únicoque no se encarga el MdH.Indicadores de desempeño son recopilados para todos los programasdel gobierno. Fueron introducidos por primera vez en 1994en forma experimental. El número de indicadores de desempeñose ha incrementado rápidamente en estos últimos años, pasandode 275 en 2001, a cerca de 1.550 en la actualidad, de loscuales 25% se relacionan con el proceso, 57% con los productosdel gobierno (bienes y servicios producidos) y 18% con losefectos directos. Cada ministerio y dependencia proporciona informaciónal MdH y existen cerca de 11 indicadores por entidad,las que deben contar con sistemas de gestión de la informaciónpara producirla. El MdH realiza verificaciones de datos y auditorías,e incluye la información de desempeño en los proyectosde presupuesto que prepara anualmente.Balance de gestión integral (1996). Cada ministerio y dependenciaprepara uno de estos balances cada año, con base enlos lineamientos del MdH. Estos informes pretenden ser el principaldocumento de información para el público en generalsobre los gastos, la utilización de fondos y el resultado; por esolos balances dependen en gran medida de la información del desempeñoque las entidades deben producir y de las evaluacionesque encarga el MdH. Además, los informes describen elprogreso de la entidad en cumplir con sus compromisos institucionalesformales con el MdH, lo cual comprende acciones específicasque la entidad prometió implementar para mejorar sudesempeño (discutido en el texto principal). El MdH y el ministeriode la presidencia revisan los borradores de los informes ylas entidades hacen las correcciones necesarias. Las versionesfinales de los informes se envían al Congreso.Evaluación de programas gubernamentales (1996). Hasta ahora(es decir, hasta fines de 2006) se han realizado alrededor de 185informes rápidos. Estas evaluaciones comprenden la aclaracióny aprobación (entre el MdH y el ministerio o dependenciacuyo programa está en evaluación) de los objetivos detalladosdel programa. Se realiza un análisis del marco lógico y un estudiodocumental del desempeño del programa con base en lainformación del desempeño disponible. Su costo promedio es de$11.000 y generalmente toma de cuatro a seis meses completarla.Evaluación de impacto rigurosa (2001). Estas evaluaciones conllevanuna recopilación de datos primarios, un análisis de datosmás elaborado y, con frecuencia, el uso de grupos control.Hasta el momento se han completado 18, con un costo promediode $88.000, y toman aproximadamente 18 meses en completarse.Sin incluir los gastos en defensa y los pagos portransferencia de ingresos, más de 60% del gasto del gobiernoha sido evaluado hasta el momento.Evaluación comprehensiva del gasto (2002). Estos informes evalúantodos los programas dentro de un área funcional en particularo un ministerio. Examinan los temas de ineficiencia y duplicidadde programas. Hasta el momento se han realizado ocho de estosestudios documentales, con un costo promedio de $48.000.prehensiva del gasto (2002). Estos informes analizantodos los programas dentro de un área funcionalen particular y abordan temas como laineficiencia y duplicidad de programas.Una característica encomiable del sistema de Chilees su “enfoque progresivo” hacia el SyE. Recopilaregularmente información del desempeño paratodos los programas y actividades, la cual tambiénutiliza en sus propias evaluaciones. Las evaluacionesde los programas del gobierno se llevan acabo selectivamente, en especial para los programasmás nuevos. En la medida que avanza elprograma, se van realizando más evaluacionesde impacto exhaustivas, sobre todo cuando se desconoceel impacto o cuando el programa constituyeuna prioridad para el gobierno.Presupuesto por resultadosUna serie de características del sistema de SyE deChile son importantes para su operación, ellas determinancuánta información de SyE producidapor el sistema es realmente utilizada. Una característicaes la estrecha relación entre el sistema yel ciclo de presupuesto anual. El peligro con cualquiersistema de SyE, sea éste para todo el go-26

6: CHILEbierno o para un sector, es que sea gestionado poruna unidad autónoma o especialista que opere separadade las actividades principales del ministerioencargado. En Chile, los cinco componentesdel sistema de SyE que son responsabilidad delMdH son administrados por su propio departamentode control de gestión. Este departamentotrabaja conjuntamente con el director de presupuesto,a quien le reporta –y que además tiene categoríaministerial y es miembro del gabinete– ytambién trabaja con las secciones de presupuestoque tienen la responsabilidad de velar por las finanzasy el desempeño de todos los ministeriossectoriales y dependencias.Los indicios del bajo desempeño de un programaen Chile sirven como un activador para garantizaruna investigación más a fondo de las causas medianteuna evaluación formal, sea ésta una evaluaciónrápida o una evaluación de impacto máselaborada. La dirección de presupuesto del MdHdesempeña un papel importante en la identificaciónde los programas gubernamentales que debenser evaluados. Al preparar esta agenda de evaluación,el MdH se esfuerza para anticipar las necesidadesde información del próximo presupuesto.La agenda se discute además con los ministeriosde la presidencia y de planificación –de hecho,estos tres ministerios centrales conforman un comitéinterministerial que supervisa todas las evaluaciones–y con el Congreso, pero queda claroque el actor principal es el MdH. Los jefes de lasección de presupuesto del MdH también debenproporcionar comentarios detallados sobre los informesde evaluación relacionados con las entidadesque ellos supervisan, y entonces lasevaluaciones se discuten con el director de presupuestodel MdH. Las decisiones referentes a lasasignaciones de presupuesto se pueden tomar enesta etapa.Durante el proceso presupuestario, el director depresupuesto se reúne con el personal del departamentode control administrativo y de las áreas depresupuesto, con el fin de analizar las propuestaspresupuestales de cada entidad y su desempeñogeneral. En estas reuniones se discuten los balancesde gestión integral que cada entidad debe presentar1 –donde se incluyen los objetivos de la entidad,la información financiera y los resultados, loshallazgos de las evaluaciones, y el progreso comparadocon las metas de desempeño 2 que fueronestablecidas en los presupuestos anteriores.Esta información del SyE constituye un importanteaporte a la toma de decisiones sobre el presupuesto,pero es sólo un aporte entre muchosotros. Según se señaló en el capítulo 3, casi nuncaexiste una relación de fórmula directa entre elbuen o el mal desempeño de una entidad y la asignaciónde presupuestos. Por tanto, en algunoscasos, el mal desempeño de una entidad haráque los fondos del presupuesto sean reducidoso, peor aún, que se dé por concluido el programa.Sin embargo, en otros casos, el mal desempeñode un programa considerado como unaprioridad del gobierno podría necesitar un incrementoa corto plazo de los fondos de presupuestopara poder corregir los problemasidentificados.Mejora de la gestiónUna característica notable de Chile es la maneraen que el MdH utiliza la información del SyE paramejorar el desempeño de ministerios y dependencias,y lo hace de dos maneras. En primerlugar, los indicadores de desempeño proporcionanlas referencias del desempeño del programay el MdH aprueba las metas de desempeño presupuestalde cada organización para el siguienteaño. El MdH da seguimiento del punto en que sealcanzan las metas. En 2003, por ejemplo, se alcanzaroncerca de tres cuartos de esas metas. 3 Ensegundo lugar, cuando el MdH considera las recomendacionesde las evaluaciones que ha encargado,las discute con las organizacionesevaluadas y formalmente aprueba los cambiosen los programas. En efecto, el MdH impone a lasorganizaciones estos acuerdos, conocidos comocompromisos formales. Es algo exclusivo para elMdH imponer sistemáticamente dichos cambiosadministrativos en los ministerios o dependencias.El MdH de Chile puede hacerlo gracias a su poderosopapel dentro del gobierno.El cuadro 6.1 muestra cómo el MdH utiliza las evaluacionesencargadas. Estos usos incluyen27

II: EXPERIENCIAS DE ALGUNOS PAÍSESCuadro 6.1 Utilización de las evaluaciones del gobierno 2000 a 2005 aEfecto sobre elprogramaPequeño ajuste enel programa, porejemplo, procesos osistemas deinformaciónmejorados.Mayor ajuste en losprocesos de gestión,por ejemplo, cambio decriterios de objetivo onuevos sistemas deinformación.Rediseño sustancial delprograma o de laestructuraorganizacional.Reubicacióninstitucional delprograma.Terminacióndelprograma.Porcentaje deprogramasafectados24382558Fuente: Guzmán, 2007.a. Los porcentajes se refieren a los programas evaluados.pequeños cambios en la gestión de los programas(24% de los programas evaluados); cambios sustanciales(38%); rediseño sustancial del programao de la organización (25%); reubicación institucionaldel programa (5%) y terminación del programa(8%).Fortalezas y desafíos del sistema de SyEde ChileEl sistema de Chile se puede evaluar a partir delos tres criterios que determinan un sistema deSyE exitoso: alta utilización, SyE de buena calidady sostenibilidad. Según se explicó anteriormente,la información del SyE se utiliza intensivamenteen el análisis del presupuesto y en la toma de decisiones.También se emplea para imponer a losministerios y dependencias mejoras en sus programas.Por último, sirve para informar al Congresoy a la sociedad civil sobre el desempeño delgobierno.Sin embargo, lo que falta en esta lista es la utilizaciónde la información del SyE por los mismosministerios y dependencias (excepto por los cambiosen los programas que el MdH les impone).Una reciente evaluación del sistema de SyE deChile realizada por el Banco Mundial descubrióque había poca utilización de la información(Rojas y otros, 2005), 4 y la principal causa de elloes el bajo nivel de sentido de propiedad o aceptaciónde los hallazgos de las evaluaciones encargadaspor el MdH. Esta debilidad del sistemade SyE de Chile surge de su naturaleza centralizadaasimilada por la fuerza.Otra limitación del sistema centralizado de Chilees la aparente ausencia de incentivos que tienenlos ministerios y dependencias para realizar suspropias evaluaciones.La evidencia disponible acerca de la calidad de lainformación del seguimiento y de las evaluacionesrealizadas por los sistemas de SyE indica quela calidad es bastante adecuada y que la informacióndel SyE es también muy confiable, pero nomás que eso. Aunque se realice la verificación delos datos y algunas auditorías, no existe un enfoquesistemático para emprender auditorías delos datos de la información del desempeño.El MdH encarga la realización de evaluaciones aacadémicos y consultores para asegurar su independencia.Las evaluaciones utilizan TdR normalizadospara así lograr uniformidad en los temasevaluados y métodos utilizados; sin embargo, lafalta de información es algunas veces un obstáculopara la calidad de las evaluaciones y de los métodosde evaluación utilizados. Las evaluacionesse realizan dentro de plazos muy limitados, conel fin de que estén listas para usarlas en el análisisdel presupuesto y la toma de decisiones delMdH. Éste también se asegura de que el costo de28

6: CHILElas evaluaciones se mantenga tan bajo como seaposible. Por ejemplo, lo corto del plazo y los problemasde costos muchas veces hacen imposiblela recopilación de datos primarios necesarios paraconducir evaluaciones de impacto rigurosas. 5La sostenibilidad probable del sistema de SyE deChile es alta. Un grupo de directores de presupuestodel MdH ha trabajado para desarrollarprogresivamente el sistema de SyE como parte integraldel proceso presupuestario, y el SyE ahoraestá arraigado como una función principal delMdH. Dado el papel preeminente del MdH, no parecehaber tendencias o presiones que reduzcanla prioridad que le otorga al SyE. Una debilidad,ya mencionada, es el poco sentido de propiedadque tienen los ministerios sectoriales y las dependenciasacerca del SyE. Esto constituye, enparte, una pérdida de oportunidades para el gobiernode utilizar más intensivamente la informacióndel SyE; y para lograr una cultura deldesempeño más fuerte dentro de estas entidadesdel sector.La sostenibilidad de los sistemas de SyE se basaen el continuo esfuerzo y habilidad del MdH paraque el sistema sea manejado centralmente. Si elgobierno decide reducir el poder central del MdH,la fuerza y utilización de los sistemas de SyE delMdH serían cuestionadas.Una lista más detallada de las fortalezas y desafíosdel sistema de Chile se presenta en el cuadro 6.2.ConclusionesEl gobierno de Chile tuvo éxito al crear un sistemacuya información de seguimiento y hallazgos deevaluación se utilizan extensamente, en particulardurante el proceso presupuestario; además hallegado a realizar con éxito mejoras en ministeriossectoriales y dependencias. El sistema de SyE incluyelo que en la práctica sería una “fábrica de eva-Cuadro 6.2 Fortalezas y desafíos del sistema de SyE de ChileFortalezas• Enfoque “progresivo” del SyE.• Las evaluaciones se llevan a cabo en forma externadentro de un proceso totalmente transparente,además otros ministerios y el Congreso lasconsideran muy confiables.• Toda la información del SyE es de conocimientopúblico y se envía al Congreso.• El sistema de SyE está ligado a las necesidades deinformación del MdH, especialmente para efectosdel proceso presupuestario. El presupuesto utilizagran cantidad de información del SyE.• La información de desempeño se utiliza paraestablecer las metas de desempeño para ministeriosy dependencias, las cuales son ampliamentelogradas.• El MdH utiliza los hallazgos de la evaluación paraimponer cambios en la gestión de los ministerios ydependencias.• El MdH da seguimiento de cerca al uso que se le daa sus hallazgos de evaluación.Desafíos• Existe disparidad en la calidad de las evaluacionesrealizadas, tal vez debido al costo y las limitacionesde tiempo que establece el MdH.• Probablemente Chile no esté gastando suficientedinero en evaluaciones.• Los ministerios sectoriales utilizan muy poco loshallazgos de las evaluaciones debido al poco sentidode propiedad de éstos.• Ausencia aparente de incentivos en los ministerios ydependencias para que puedan llevar a cabo suspropias evaluaciones.29

II: EXPERIENCIAS DE ALGUNOS PAÍSESluaciones” para la planeación, la realización, laadministración, los informes y el uso de las evaluaciones.Este enfoque mantiene los costos delas evaluaciones en un nivel bajo y, por tanto,también el costo total del sistema de evaluación:el Ministerio de Hacienda gasta anualmente untotal de alrededor de $0,75 millones en sistemasde SyE, 6 lo cual representa una suma modestacomparada con el presupuesto total del gobiernoque asciende a $20 mil millones.Esta alta utilización de información del SyE es extraordinaria,y sólo esto hace que el sistema de SyEde Chile sea el más poderoso de América Latinay uno de los más poderosos del mundo. Chile hademostrado que un sistema de SyE para todo elgobierno puede desarrollarse y operarse a uncosto relativamente bajo. Muchos otros gobiernosde la región buscan emular al sistema de SyE deChile, aunque varios de los factores de éxito deChile parecen ser exclusivos –como el poderosopapel del MdH y la naturaleza obediente de los ministeriossectoriales y dependencias.El sistema de SyE de Chile parece ser muy eficazen función de los costos: el MdH utiliza ampliamentela información de SyE generada y lo hacea un costo relativamente bajo. Un tema que el gobiernodebe considerar es si está gastando suficientedinero en su sistema de SyE. Evaluacionesmuy elaboradas y de amplio alcance pueden costarmucho más de lo que Chile ha gastado en susevaluaciones en el pasado.En México, por ejemplo, una serie de evaluacionesde impacto rigurosas del programa de transferenciamonetaria condicionada, Progresa, costó variosmillones de dólares en la década de 1990 –comparadocon el gasto total del gobierno en el programaque fue de $780 millones en 1999. Por tanto,estas evaluaciones representaron sólo una pequeñafracción del gasto total del gobierno en elprograma. Estas evaluaciones han tenido una graninfluencia para persuadir a los gobiernos siguientesno sólo a conservar el programa, sino a extenderlosignificativamente. En 2005 el gobiernogastaba alrededor de $6 mil millones anuales en elprograma (con el nuevo nombre de Oportunidades),cubriendo 21 millones de beneficiarios ocerca de una quinta parte de la población mexicana.Una pregunta que el gobierno de Chile deberíaconsiderar es si alguna vez gastaría una gran sumade dinero en la evaluación de alguno de sus programas,aun si el programa fuese una de sus principalesprioridades. El hecho de no gastaradecuadamente en evaluaciones limitará la profundidady confiabilidad de los hallazgos de evaluación,y quizás ésta haya sido la causa de losproblemas en la calidad de algunas de las evaluacionesencargadas por el MdH.Finalmente, el bajo nivel de utilización de los hallazgosde los sistemas de evaluación por ministeriossectoriales y dependencias constituye unaoportunidad inexplorada para el gobierno. Unaforma para que el MdH logre un mayor compromisoy responsabilidad sobre los hallazgos de lasevaluaciones y fomentar el desarrollo de una culturadel desempeño en el servicio civil como untodo, sería buscar un enfoque menos centralizado,más colegiado, para planificar y supervisarlas evaluaciones realizadas. Una base más ampliade apoyo para el SyE dentro del gobierno tambiénincrementaría las posibilidades de sostenibilidaddel sistema de SyE de Chile.30

7ColombiaEn 1991, el Gobierno de Colombia decidió crear un sistema de SyE, elcual inicialmente se basaría en el enfoque de evaluación del BancoMundial. Posteriormente, en ese mismo año, se introdujo un requisitoconstitucional para evaluaciones, entonces el Banco y otros donantes rápidamentellegaron con una amplia gama de apoyo técnico y financiero. El gobiernopromulgó además una serie de leyes, decretos y regulaciones pararespaldar el sistema de SyE.Durante sus primeros años, el principal énfasis delsistema se puso en la información acerca del seguimientomás que en la evaluación. El sistema sufriómuchos altibajos y en el año 2000, Colombiaconsideró incluso la posibilidad de abolirlo –debidoa la percepción de dificultades con su gestióny también por las dudas acerca de surelevancia en la agenda de la reforma del sectorpúblico del gobierno.Un cambio sustancial de fortuna ocurrió con laelección de un presidente reformista en 2002. Elpresidente estuvo consternado al darse cuenta deque los grandes aumentos en el gasto público enáreas como educación y el cuidado de la salud noconcordaban con los correspondientes incrementosde los resultados (productos y efectos directos)de estas áreas. Al mismo tiempo, estabamuy comprometido con una nueva cultura deadministración pública basada en la rendición decuentas sociales –o control social. El presidentecomprometió al gobierno a rejuvenecer el sistemade SyE y a esto le siguió una nueva inyecciónde ayuda de los donantes. Estos pasos reforzaronrápidamente el sistema.Principales componentes del sistemade SyEExisten dos componentes principales del sistema–conocido como SINERGIA (Sistema Nacional deEvaluación de Resultados de la Gestión Pública)–y otros que han sido o están siendo probados enla actualidad. El componente más visible o más utilizadoes el subsistema para dar seguimiento delprogreso de las 320 metas presidenciales y las dedesarrollo del país (según se especifican en elplan nacional de desarrollo).El subsistema denominado Sistema de Programacióny Gestión por Objetivos y Resultados(SIGOB) registra las metas, sus estrategias, la referenciay metas de desempeño y los montos queel gobierno gastó en ellos. Los gerentes de metastambién deben proporcionar explicaciones de-31

II: EXPERIENCIAS DE ALGUNOS PAÍSEStalladas cuando las metas no se concretan. Todaesta información, incluidos los detalles de contactode cada gerente de meta, se encuentra disponibleal público en el portal del gobierno(http://www.sigob.gov.co/ini). El presidente utilizaampliamente la información del SIGOB para propósitosde control político y social. 1El segundo componente principal de SINERGIAconsta de una serie de evaluaciones (véase el recuadro7.1). A fines de 2006, se estaban realizandoo se habían completado recientemente 15evaluaciones; otras 22 estaban planeadas para loscinco años siguientes. El costo total de estas evaluacioneses de $11,1 millones. A diferencia deChile, no se realizan evaluaciones normalizadas.Chile ha normalizado sus TdR, el enfoque de evaluacióny límites de costo para cada tipo de evaluaciónque el MdH encarga. Los tres principalestipos de evaluación en Colombia son las de impactorigurosas, las “institucionales” y las de “gestión”–estas dos últimas se centran en temas degestión y proceso. La más costosa ($2 millones)es la evaluación de impacto rigurosa de un programade transferencia monetaria condicionada.Estas evaluaciones son ejercicios de colaboraciónque comprometen al departamento de planeación,al ministerio sectorial o la dependencia responsabledel programa que se evalúa y a losdonantes. La mayor parte de los fondos para estasevaluaciones proviene de los préstamos de donantes.La mayoría de los programas que se evalúanson administrados por el ministerio de laprotección social, el instituto de bienestar familiaro el ministerio de educación.Un cuarto tipo de evaluación está en prueba actualmente–las evaluaciones rápidas de aquellosprogramas gubernamentales que son de alta prioridado que se cree que tienen problemas de desempeño.Las pruebas están siendo realizadas porel ministerio de hacienda y el departamento de planeación.2 La intención es que las evaluaciones rápidasse incorporen eventualmente en el análisis del presupuestobásico y en la toma de decisiones de lasdos entidades. (En Colombia, el presupuesto estádividido: el ministerio de hacienda es responsablede los gastos recurrentes; y el director de planeaciónes responsable de las inversiones, incluidos los gastosen educación y las transferencias monetarias).Recuadro 7.1 Sistema de SyE gubernamental de ColombiaLos principales componentes del sistema de SyE son lossiguientes:Existen cerca de 500 indicadores de resultados relacionadoscon las 320 metas presidenciales, y por cada indicador, el SIGOBregistra el objetivo, las estrategias para lograrlo, los resultados dereferencia, las metas anuales, el desempeño real comparado conesas metas y cantidades de dinero que el gobierno gastó. Así elSIGOB incluye gran número de indicadores sobre el desempeñodel gobierno. La información se divide por regiones, incluidas lasciudades principales.Además, cuando una meta no se alcanza, el gerente de metasdebe preparar una explicación de por qué no se cumplió el objetivo.Estos informes de excepción se incluyen en la base de datosdel SIGOB, que a su vez se hace público en tiempo real. El portaltambién promueve la rendición de cuentas mediante la identificacióndel gerente de metas o su ministro, su cargo formal y sudirección de correo electrónico. Es responsabilidad de los ministeriosy de las dependencias el proporcionar la información delSIGOB al gerente del sistema –el Departamento Nacional de Planeación(DNP)– quien realiza la verificación de datos. Sin embargo,no hay un sistema formal de auditoría de los datos y algunas inquietudesse han presentado acerca de que los ministerios estuvierandistorsionando los datos que proporcionan.Alrededor de 15 evaluaciones de impacto rigurosas, institucionalesy de gestión están en proceso y otras 22 están planificadas.Su costo varía entre $15.000 y $2 millones, pero la mayoría cuestaentre $50.000 y $200.000.Estas evaluaciones se encargaron a académicos o consultores,con supervisión del departamento de planeación en colaboraciónestrecha con la dependencia evaluadora y los donantesque la financian. Las evaluaciones rápidas se están poniendo aprueba con el fin de incorporarlas en la labor de presupuesto yplaneación del ministerio de hacienda y del departamento deplaneación. Las metodologías de la evaluación rápida se basanen el enfoque de Chile y en el de clasificación del sistema PARTestadounidense (véanse los recuadros 6.1 y 3.2). Las pruebasque se llevan a cabo en la actualidad podrían costar entre $15.000y $25.000 cada una.32

7: COLOMBIAEl sistema de SyE tiene otros componentes, peroson más débiles y están mucho menos institucionalizados.Uno de ellos consiste en un esfuerzopara trabajar en forma conjunta con lasociedad civil –creando un consorcio entre diversasONG y los medios de comunicación– conel fin de analizar el desempeño del gobierno.Otro componente es el apoyo a dos municipiosque están realizando seguimiento del desempeñoy presupuesto por resultados.Un componente final es la preparación de los informesde presupuesto por resultados al Congreso.Éstos han sido preparados por eldepartamento de planeación como un anexo a losdocumentos convencionales de presupuesto. Ellospresentan el gasto del gobierno sobre una baseprogramática y divulgan la información del SyE disponiblesobre el desempeño de estos programas.Según se observa en el cuadro 3.1, tal informaciónde desempeño es una forma de presupuesto porresultados, aunque es la forma más vulnerable. EnColombia es particularmente vulnerable debido aque el Congreso desempeña un papel igualmentedébil en el proceso presupuestario, tiene poco soportetécnico para que los congresistas puedancomprender fácilmente la información de desempeñoy los hallazgos de evaluación, y la discusióndel Congreso sobre el presupuesto anualtiende a centrarse en temas políticos de naturalezamás limitada (véase el anexo B).Rendición de cuentas — Control políticoy socialUna característica única de Colombia ha sido elfuerte compromiso del Presidente Uribe de utilizarla información del SyE para mejorar el controlpolítico del poder Ejecutivo y para apoyar elcontrol social. La base de datos del SIGOB está instaladaen su computadora personal y él utilizaesta información en sus reuniones de control degestión mensuales con cada ministro y el DNP. Duranteestas reuniones, se evalúa el progreso decada meta presidencial, y los ministros deben darlas razones por las cuales no se alcanzan las metasde desempeño. También se llega a acuerdos sobrelos indicadores de desempeño y las acciones paralograr las metas. El presidente utiliza esta informacióndel SIGOB en sus reuniones semanalescon los diferentes municipios del país y tambiénen su mensaje a la nación anual por televisión, enel cual él y sus ministros analizan el desempeñodel gobierno y responden las preguntas de los ciudadanosacerca de estos temas.Este compromiso presidencial fuerte de utilizarla información del SyE para dar seguimiento ypresentar el desempeño del gobierno parecerser único en América Latina –y quizás en el mundo.Esto sirve para enviar señales poderosas a cada ministroy servidor público. Sin embargo, al parecerestas prácticas de SyE no se han llegado a adoptarcompletamente en los ministerios y los gobiernossubnacionales. Varios ministerios ydependencias del sector social, así como dos municipiosestán trabajando actualmente en reforzarsus sistemas de SyE con la ayuda del DNP ydonantes.Uso de las evaluaciones para apoyar latoma de decisiones del gobiernoA inicios de 2007 sólo se habían completado tresevaluaciones, por eso fue limitada la oportunidadde utilizar los resultados de las evaluaciones yapoyar la toma de decisiones del gobierno sobreel presupuesto nacional y la planeación nacional.Sin embargo, hay un ejemplo notable de unaevaluación influyente (véase el recuadro 7.2).Fortalezas y desafíos del sistema de SyEde ColombiaEl sistema de Colombia también puede evaluarsecon base en los tres criterios de un sistema de SyEexitoso: gran utilización, buena calidad de SyE ysostenibilidad. La base de la evidencia para talevaluación en Colombia no es tan robusta comolo es en Chile; sin embargo, se puede llegar a algunasconclusiones. El uso que le da el presidenteal componente de seguimiento (SIGOB) delsistema de SyE para el control social y político, esdecir, para rendición de cuentas, es bastanteconsiderable.La calidad de los datos de seguimiento es confusa,y algunos funcionarios públicos y algunos miembrosinfluyentes de la sociedad civil temen que lainformación no sea del todo confiable y que algunainformación proporcionada por los ministerios33

II: EXPERIENCIAS DE ALGUNOS PAÍSESRecuadro 7.2 Una evaluación influyente en ColombiaFamilias en Acción es un programa de transferencia monetariacondicionada que ofrece un ingreso a familias pobres, lascuales se comprometen a que sus hijos reciban cuidado de saludpreventivo, se matriculen en la escuela y asistan a clases. El programafue creado en 1999 en respuesta a la crisis económica.Se encargó a consultores externos realizar una evaluaciónde impacto rigurosa del programa, con la supervisión del departamentode planeación. Esta evaluación encontró que el programahabía alcanzado un impacto sorprendente en los niveles de nutrición,educación y salud. Estos hallazgos persuadieron al gobiernodel Presidente Uribe, quien fue elegido en 2002, no sólo a mantenerel programa del gobierno anterior sino a duplicar su coberturade 500.000 a 1 millón de familias pobres. A fines de 2006, el gobiernodecidió incrementar aún más la cobertura del programa a 1,5 millonesde familias.La evaluación de Familias en Acción ha costado $1,5 milloneshasta el momento. A pesar de ser un monto considerable, es relativamentepequeño si se le compara con el gasto total del gobiernoen este programa (alrededor de $100 millones al momentode la evaluación). Debido a su gran influencia en el gobierno, estaevaluación puede considerarse como altamente eficaz en funcióndel costo.Fuente: Mackay y otros, 2007.sectoriales y dependencias podría estar siendo manipuladapara beneficio propio. Sin embargo, lasostenibilidad de este componente del seguimientoparece tener buenas expectativas, aundespués de un cambio de gobierno y un nuevopresidente, debido a la utilidad de tales datospara el DNP y la oficina del presidente en su supervisióndel desempeño del gobierno.El otro componente principal del sistema de SyEde Colombia es el programa ambicioso de evaluacionesde impacto rigurosas, institucionales yde gestión. Sólo unas cuantas evaluaciones sehan completado, pero una de ellas –Familias enAcción, uno de los programas más importantesdel gobierno– ha tenido gran influencia y puedeconsiderarse que ha sido muy eficaz en funcióndel costo. Esto es significativo ya que incluso unasola evaluación de alto nivel que influye en las decisionesdel gobierno también puede influir en laaceptación más extensa del SyE al demostrar suvalor.La calidad de las evaluaciones de Colombia no hansido formalmente revisadas pero existe buenasensación en relación con su calidad y confiabilidad:Colombia ha contratado los servicios de académicoseminentes, incluidos evaluadores detalla internacional, además ha contado con elapoyo significativo de evaluadores del BancoMundial y otros donantes. Sin embargo, la sostenibilidaddel programa de evaluación no está totalmentegarantizada.En el corto plazo –es decir, en los próximos cincoaños– la agenda de evaluaciones será cubiertacon un nuevo préstamo del Banco Mundial; unacaracterística de esta agenda es la reducción delnivel de apoyo financiero de los donantes paraestas evaluaciones, con el claro propósito de queel gobierno pueda aprovechar al máximo el usode sus propios fondos de presupuesto para pagarpor las evaluaciones. 3 Esto podría suceder si el gobiernoconsidera que las evaluaciones realizadashan valido la pena; lo cual, a su vez, hace recaersobre el departamento de planeación la responsabilidadde garantizar que las evaluaciones seanampliamente utilizadas.Comparación con el sistema de SyE de ChileExisten otros temas que vale la pena mencionar,particularmente si el sistema de SyE de Colombiase compara con el de Chile. El sistema de Chilees administrado por la dirección de presupuestoasegurando gran interacción entre el SyE y la gestiónpresupuestaria. Pero en Colombia, el sistemade SyE ha sido básicamente administrado comouna actividad independiente que casi por coincidenciase encuentra ubicada dentro del departamentode planeación. Hasta el momento, elsistema de SyE no ha sido integrado ni a la laborde planeación ni a las responsabilidades de pre-34

7: COLOMBIAsupuesto del DNP; tampoco ha habido colaboracióncon la labor de presupuesto del ministeriode hacienda.Este escenario puede cambiar en cualquier momento.Las evaluaciones rápidas que están enprueba involucran a las direcciones de SyE y de presupuestoen el departamento de planeación, asícomo al área de presupuesto del ministerio de hacienda.Si estas pruebas resultan exitosas –es decirque resulten eficaces en función del costo parafines de elaboración del presupuesto por resultados–entonces hay grandes posibilidades para queel SyE sea parte esencial de las labores de presupuestode ambas entidades gubernamentales.Algunos observadores han argumentado que unagran limitación en el uso de la información del SyEpara influir en la toma de decisiones del presupuestoen Colombia surge de la falta de flexibilidaden el presupuesto nacional. Esto incluye ungran número de gastos destinados que no se puedenvariar fácilmente. En consecuencia, entre 90%o 95% de los gastos del presupuesto de Colombiano pueden modificarse en el corto plazo. Se puedenpresentar muchos argumentos contrarios(véase el anexo B), pero quizás la observaciónmás contundente es el alto nivel de influencia dela evaluación del programa Familias en Acción deColombia, sobre las prioridades del gobierno y laasignación del presupuesto (Recuadro 7.2).Un punto final de la comparación entre Colombiay Chile es el alto nivel de colaboración entrela dirección de SyE de Colombia en el departamentode planeación y los ministerios sectorialesy dependencias cuyos programas están en evaluación.El DNP ha compartido su amplia experienciapara realizar evaluaciones y tambiénfinanciamiento con sus socios del sector, y pareceque no ha surgido ninguna relación antagónicaque algunas veces puede existir en otros países,donde el ministerio de hacienda tiene una funciónactiva en la agenda de evaluación. Este enfoquede colaboración entre el ministerio central y lasentidades sectoriales podría cambiar si Colombiaadopta, o cuando adopte, una forma más activade presupuesto por resultados.Sin embargo, para que el presupuesto por resultadosfuncione bien, será necesario contarcon la estrecha colaboración entre la direcciónde SyE dentro del DNP, su dirección de presupuestoy la dirección de presupuesto del ministeriode hacienda. Una forma de procurar unaestrecha colaboración entre estos ministerioscentrales con entidades sectoriales sería incluirlosa todos en el comité de gobierno de alto nivelque tiene la responsabilidad formal de supervisaral SINERGIA. El gobierno planea moverseen esta dirección.Un resumen de las fortalezas y los desafíos del sistemaSyE de Colombia se presentan en el cuadro7.1. El diagnóstico del Banco Mundial acerca delsistema de Colombia se encuentra en el anexo B,más adelante.ConclusionesEl gobierno de Colombia ha tenido éxito en crearun subsistema de seguimiento del desempeño delgobierno relativo a las 320 metas presidencialesy a otras metas de desarrollo del país. Cabe resaltarque el presidente utiliza este subsistema con intensidaden su supervisión directa del desempeñoministerial y en sus informes a la sociedadcivil.El gobierno también se ha embarcado en unaagenda de evaluación ambiciosa; los hallazgos delas evaluaciones ya han tenido alguna influenciasignificativa en las decisiones del gobierno y enla asignación de presupuestos.Una debilidad en el sistema de Colombia es quela información del SyE todavía no es utilizada sistemáticamentepara la parte principal de la planeacióny el presupuesto de los dos ministeriosresponsables del presupuesto nacional. Existeuna gran posibilidad de que el SyE llegue a formarparte del análisis de presupuesto y la tomade decisiones, pero hasta que esto suceda van ahaber límites en la utilización de la informaciónde seguimiento y los hallazgos de evaluación.Dicha utilización podría incrementar considerablementelas probabilidades de sostenibilidad delsistema de SyE central.35

II: EXPERIENCIAS DE ALGUNOS PAÍSESCuadro 7.1 Fortalezas y desafíos del sistema de SyE de ColombiaFortalezas• Muy alto nivel de utilización del subsistema deseguimiento por el presidente y su despacho.• Información de desempeño utilizada para establecermetas de desempeño para los ministros, susministerios y dependencias. Informe público acercadel logro de las metas de desempeño, y cuando nose logran, los gerentes tienen que dar explicacionespúblicas de lo sucedido.• Las evaluaciones se llevan a cabo en forma externaen un proceso transparente, otros ministerios y elCongreso las consideran muy verosímiles.• Las evaluaciones se planean y se llevan a cabodentro de un enfoque de colaboración, en las queparticipan el departamento de planeación y losministerios y dependencias sectoriales.• Toda la información del SyE se hace pública y seremite al Congreso.Desafíos• Las direcciones de presupuesto y planeación delDepartamento Nacional de Planeación y elministerio de hacienda utilizan muy poco lainformación del SyE.• Preocupaciones acerca de la credibilidad de losdatos de seguimiento que ofrecen los ministeriossectoriales y las dependencias.• Excesiva dependencia sobre el financiamiento de losdonantes para la agenda de evaluación.Varios ministerios y dependencias han realizadoel SyE para sus propios fines, para apoyar su planeación,análisis y gestión de programas; sin embargo,estas entidades son la excepción. Con laayuda del Banco Mundial, el gobierno está ahoraexaminando opciones para exigir el uso de SyE enmayor escala en todos los ministerios, dependenciasy gobiernos subnacionales.Resulta justo concluir que el sistema de SyE deColombia es menos desarrollado y maduro queel de Chile. El sistema chileno se desarrolló progresivamentedurante más de una década; y apesar de que el sistema de Colombia existió dealguna manera desde inicios de los años 1990,sólo a partir de 2002 que comenzó a madurar. Elsistema de SyE de Colombia cuesta en la actualidadalrededor de $2 millones al año, o casi tresveces lo que cuesta el sistema de Chile ($0,75 millonesal año). 4 La fuente de esta diferencia decosto está en el énfasis particular que se da a lasevaluaciones de impacto principales en el sistemade Colombia. Los sistemas de ambos paísespueden mejorar, pero ambos –y especialmenteel de Chile– pueden ser considerados eficaces enfunción del costo.36

8AustraliaAustralia eligió un gobierno reformista en 1983. Este gobierno enfrentóuna situación macroeconómica muy difícil y como respuesta a ello, decidióreducir progresivamente el gasto total del gobierno, de 30% delPBI en 1984 a 23% en 1989, una reducción muy significativa según los parámetrosinternacionales.Al mismo tiempo, el gobierno concentró muchomás sus gastos en los grupos menos favorecidosde la sociedad. Tenía interés en obtener un mayorvalor por el dinero que gastaba, y teniendo encuenta esta meta, introdujo una serie de reformasinnovadoras en el sector público, especialmenteen áreas de gestión financiera y reforma presupuestal.Estas reformas ubicaron a Australia alfrente de los países de la OCDE en términos degestión del sector público. 1Las reformas ofrecían una mayor autonomía a losjefes de los departamentos sectoriales para administrarsus partidas presupuestales –con la filosofíade dejar que los administradoresadministren. Si bien al principio se esperaba quelas reformas incentivaran a los departamentos aadministrar y medir su desempeño, esta expectativano se cumplió. Con el apoyo de otros departamentoscentrales, el poderoso Departamentode Finanzas (DdF) desarrolló entre tanto una estrategiade evaluación para todo el gobierno. Estaestrategia recibió el total respaldo del gabinete pormedio de una decisión formal. La estrategia continuócon la filosofía de hacer que los administradoresadministren.Principales componentes del sistema deSyE 2El sistema de SyE de Australia comprendía ampliamenteuna estrategia formal de evaluacionesy se basó en una revisión de diagnóstico realizadaen 1988 sobre las prácticas de evaluación en losdepartamentos y en el nivel general de la actividadde evaluación del gobierno. La estrategia ensí fue desarrollada progresivamente durante variosaños (1987–1991) y tenía tres objetivos principales:incentivar a los administradores deprogramas a usar la evaluación para mejorar el desempeñode sus programas; asistir al gabineteen la toma de decisiones y prioridades, particularmenteen el proceso presupuestario anual,donde diversas propuestas son defendidas porcada uno de los ministerios; y fortalecer la rendiciónde cuentas en un ambiente deteriorado,proporcionando evidencia formal de la supervisiónde los administradores de programa y de laadministración de los recursos del programa. 337

II: EXPERIENCIAS DE ALGUNOS PAÍSESEl eje de la estrategia fue la planeación de la evaluación.Esto se realizó mediante el Plan de Evaluaciónde Portafolio formal (PEP), que debía serpresentado anualmente al ministro para su financiamiento(véase el recuadro 8.1). Los PEPtenían una cobertura de tres años e indicabanqué programas o subprogramas serían evaluados,qué aspectos se evaluarían y cuándo. Un requisitoformal fue que cada programa debía serevaluado cada 3 a 5 años. Las evaluaciones PEP fueronclasificadas como evaluaciones importantes.Los ministerios también debían iniciar otras evaluaciones,de menor envergadura, sólo para efectosde gestión interna. A mediados de la décadade 1990, cerca de 160 evaluaciones PEP se llevarona cabo simultáneamente.Los temas principales de los PEP fueron la elecciónde los programas que debían ser evaluados y lascuestiones específicas que cada evaluación debíaabarcar; por ello, los TdR para cada evaluaciónresultaron cruciales. Estos temas se decidieronpor medio de negociaciones entre los departamentossectoriales y las secciones de presupuestodel departamento de finanzas. Para los departamentosmenos poderosos prevalecerían las prioridadesfinancieras. Para los más poderosos, elequilibro de fuerzas fue más uniforme. Los conflictosno resueltos referentes a las prioridadesde evaluación eran remitidos a niveles ministerialeso de gabinete si no se podía llegar a un acuerdo.Los departamentos sectoriales fueron responsablesno sólo de la planeación de la evaluación, sinode la conducción de las evaluaciones de sus programas.Algunos de los departamentos más grandes,como el de trabajo, tuvieron una sección deevaluaciones con 20–25 personas responsables dela planeación de la evaluación, de brindar asesoríaen metodología de evaluación, de participar encomités directivos de evaluación y de realizar lasevaluaciones importantes.Otros departamentos tuvieron sólo unidades pequeñasde evaluación como parte de una secciónde planeación o coordinación, y delegaronla función de evaluación a las áreas del programasectorial. Ellos, a su vez, serían responsables dela alta gestión del departamento para la calidad yrigor de la evaluación (en especial para evaluacionesde menor envergadura, a las cuales frecuentementeles correspondían estudios rápidos).Varias evaluaciones se encargaron a consultoresindividuales o a firmas consultoras.Recuadro 8.1 Sistema de SyE gubernamental de AustraliaLos principales componentes del sistema de SyE sonlos siguientes:Planeación de evaluación formal mediante los PEP, queofrecían una lista de los programas del gobierno que elministerio debía evaluar y los temas que debían abordarseen cada evaluación. Estos PEP eran preparadosen forma anual, rotativamente durante un período de tresaños. Sólo se incluían evaluaciones importantes, esdecir, evaluaciones de programas considerados estratégicamenteimportantes para el gobierno: programascon presupuestos grandes; los que tenían una importanciapolítica particular, programas problemáticos; yprogramas experimentales. Las evaluaciones eran realizadaspor el ministerio sectorial, generalmente conalguna participación del ministerio de hacienda.Solicitud para que cada programa sea evaluado por lomenos una vez cada tres a cinco años. En la práctica,ello significó que algunos aspectos de cada programa(como los subprogramas particulares) fuesen evaluados;la mayoría de las evaluaciones no tenían por objetotratar completamente todos los aspectos deldesempeño del programa. Además, era necesario quetodas las evaluaciones realizadas se publicaran, conexcepción de las que fuesen confidenciales por cuestionesde seguridad nacional o relaciones industriales.Revisiones de los objetivos de cada programa ministeriale informe de desempeño. Estas revisiones se llevarona cabo conjuntamente por cada ministerio y eldepartamento de finanzas, durante un período de tresaños y en forma rotativa.38

8: AUSTRALIASiempre que fue posible, las propias secciones depresupuesto del DdF también se involucraronen la conducción de evaluaciones individuales. Generalmenteesto suponía la participación de loscomités directivos interdepartamentales para lasevaluaciones más importantes; estos comités incluiríantambién otros ministerios sectoriales yotros departamentos centrales poderosos comola tesorería, la oficina del primer ministro y el gabinete.Esta extensa participación permitiría a losfuncionarios de presupuesto: 1) tratar de influiren la conducta de las evaluaciones para asegurarque los problemas fuesen plenamente investigadosde manera imparcial, y 2) realizar comentariosacerca de los informes preliminares deevaluación.Una característica del sistema SyE de Australia esla utilización de una definición amplia de evaluación.Ésta fue definida como una forma de investigacióndisciplinada: incluyó evaluacionesrápidas, estudios de política formales, evaluacionesde impacto rigurosas y auditorías de desempeñoconducidas por la oficina nacional deauditoría. El costo de estas evaluaciones varióconsiderablemente: una muestra de evaluacionesanalizada por el departamento de finanzascostó en promedio de $43.000 a $430.000 (cifrasde 1993). 4La estrategia de evaluación se consolidó en 1991en respuesta a los resultados de la auditoría de desempeñoque arrojaron un nivel muy variado enel compromiso de los departamentos con las evaluaciones.El informe de la oficina de auditoría criticóa algunos departamentos por no elegir bienlos programas por evaluar y por no concentraselo suficiente en la efectividad de los programas delgobierno. En respuesta a ello, el DdF creó una unidadde evaluación especializada responsable porofrecer asesoría, apoyo, capacitación y estímuloa otros departamentos, así como a las áreas de presupuestodel DdF. Esta unidad también dio seguimientoa la planeación de las evaluaciones y alnúmero de evaluaciones realizadas; el jefe deldepartamento de finanzas utilizó esta informaciónpara presionar informalmente a los departamentossectoriales en la mejora de sus actividades deevaluación.El sistema de SyE de Australia esencialmente pusomayor énfasis en la evaluación, la cual se considerócomo proveedora de información necesariadetallada y confiable sobre la eficiencia y eficaciade los programas del gobierno. La información dedesempeño se consideró igualmente importante,pero como un tema que los departamentos sectorialesdebían administrar. Sin embargo, hacia mediadosde la década de 1990, el departamento definanzas se preocupó por la calidad de esta informacióny encargó revisiones de los informesanuales de los ministerios y de su documentaciónde presupuestos (lo cual se tabula en el Parlamento).En 1995, las deficiencias de estos informes llevaronal departamento de finanzas a encargar unaserie de estudios detallados de los objetivos delprograma de cada departamento, así como de lainformación de desempeño de ellos. Estos estudiosse realizaron en forma conjunta entre el DdFy el departamento sectorial, y se debieron implementarlas recomendaciones para las mejoras.Presupuesto por resultadosSi bien el sistema de SyE de Australia tenía tres objetivosestablecidos, desde la perspectiva del departamentode finanzas –el arquitecto primario ysupervisor del sistema de SyE– el objetivo al quele dedicó más atención fue al apoyo en la tomade decisiones del gabinete durante el procesopresupuestario. El DdF tuvo un papel altamenteinfluyente en el proceso de presupuesto de Australia.Preparó análisis de políticas de todas las nuevaspropuestas de gastos de los ministeriossectoriales, y estos análisis acompañaban las propuestasde gastos que se enviaban a los ministrosdel gabinete para su consideración colectiva altomar decisiones acerca del presupuesto. Así, elDdF ofrecía un análisis de política independienteque típicamente constituía una opinión contrariaa la del ministerio que realizaba el gasto. La laborde las secciones de presupuesto del DdF ademásincluyó la preparación de las “opciones deahorro”: propuestas de políticas para cortar oabolir programas existentes del gobierno. 5El proceso presupuestario supuso un “mercado deideas”. En esta situación intrínsecamente adversa,39

II: EXPERIENCIAS DE ALGUNOS PAÍSESel contar con hallazgos de evaluaciones acerca deldesempeño de los programas constituyó un medioimportante de asegurar una base de evidenciasconfiables para las decisiones del presupuesto. Lasevaluaciones tuvieron el potencial de ofrecer unaventaja competitiva para los que confiaron en ellas.Por ello fue importante para las secciones de presupuestodel DdF el continuar formando parte dela planeación de evaluación de los ministerios y dela conducción de las evaluaciones de mayor envergadura.Esto hizo que los funcionarios de presupuestodel DdF estuviesen familiarizados con lacalidad y con cualquier limitación de las evaluaciones,y completamente conscientes de los resultadosy recomendaciones de ellas, así comocapacitados para utilizarlas en su trabajo de análisisde política. El compromiso de estos funcionariosen las evaluaciones también incrementó susconocimientos de los objetivos del programa y delas realidades de su medio de operaciones –entendimientomuy importante para su trabajo.Vale la pena resaltar que los ministerios de haciendano siempre son partidarios de las reformasdiseñadas para consolidar la cantidad de informacióndisponible sobre el desempeño del gobierno.Antes de las reformas, el DdF de Australiatuvo mucha injerencia en el escrutinio detalladode las actividades de gastos de los departamentos.El peligro radica en que este enfoque tradicionalsobre el gasto puede significar que se prestamuy poca atención a los resultados de tal gasto;y los poderosos ministerios de hacienda puedenincluso actuar como controladores de la reforma.El DdF, al ser responsable de supervisar la evaluación,garantizó una influencia directa sobrelas unidades divisionales dentro del DdF que supervisabana los departamentos sectoriales.Sin embargo, el hecho de lograr el cambio culturalnecesario dentro del DdF fue un proceso lentoque tardó varios años y que requirió la participaciónde mucho personal. La gran atención que elDdF le dio a temas de la optimización de recursos(en lugar de concentrarse en los temas degasto), se reflejó en la naturaleza y calidad de laasesoría en política que el DdF dio al gabinete;dicha asesoría confió mucho más en los resultadosdisponibles.La característica más importante del sistema deSyE de Australia es el gran uso de los hallazgos delas evaluaciones para sustentar la toma de decisionesdel gabinete sobre el presupuesto. El DdFrealizó encuestas anuales a su personal de presupuestopara indagar la influencia de las evaluacionesen cada nueva propuesta política delos ministerios sectoriales y de las opciones deahorro propuestas por el DdF (u otro ministro sectorial,si es que querían financiar nuevas políticas). 6En 1994–1995, alrededor de $ 1.750 millones(77%) de las nuevas propuestas de política resultaronhaber tenido influencia de los hallazgosde una evaluación, y en la mayoría de los casos lainfluencia fue considerada como directa. La cifracorrespondiente a la opción de ahorro fue de$380 millones (65% del total).Los hallazgos de las evaluaciones influyeron no solamentelas propuestas de política al gabinete,sino también en las decisiones de éste. Los funcionariosde presupuesto del DdF también fueronencuestados acerca de qué tanto la evaluaciónhabía influido en las decisiones del gabinete respectode los presupuestos de 1993–1994 y1994–1995. La evidencia es variada, pero indicaque la evaluación tuvo un papel importante. En1994–1995, influyó en la decisión del gabineteen un 68% de los $2.846 millones de las propuestasconsideradas (nuevas propuestas de políticasy opciones de ahorro).Sin embargo, la proporción correspondiente parael presupuesto de 1993–1994 fue sólo de 19% delas propuestas. Un motivo importante para estadiferencia fue la revisión sustancial del mercadolaboral, industria, políticas regionales y aborígenesen el presupuesto de 1994–1995 –el principalestudio de política sobre el cual se basaron estasdecisiones estuvo influido mayormente por elnúmero de evaluaciones encargadas específicamentepara ayudar a guiar la revisión de la política.Sólo algunos programas se dieron por finalizadoscomo resultado de una evaluación; debido al énfasisen el proceso presupuestario por cartera(que se define como un departamento sectorialy una dependencia adscrita) con presupuestos eti-40

8: AUSTRALIAquetados; es decir, de su propia cartera; cualquierterminación de un programa daría como resultadouna reasignación de gastos dentro de lamisma cartera. Hubo otras instancias en las quelos programas se recortaron significativamentecomo parte de una priorización principal, porejemplo, en las áreas del mercado laboral y la seguridadsocial, estos recortes reflejaron el deseode maximizar la optimización de recursos debidoa las prioridades de políticas del gobierno (Recuadro8.2).Fortalezas y desafíos del sistema de SyEde AustraliaFortalezasAlgunos comentaristas observaron que la “evaluacióndel programa (en Australia) se aplicó másextensa y sistemáticamente que en cualquier otropaís” (Kim y otros, 2006). La característica sobresalientedel sistema de SyE de Australia fue lagran utilización de los hallazgos de la evaluaciónen el proceso presupuestario, como un aporteclave en la asesoría de una política de alta calidad(Uhr y Mackay, 1996) y para la toma de decisionessobre el presupuesto del gabinete (Cuadro8.1). Según se muestra en la discusión del capítulo5 sobre el presupuesto por resultados, la influenciade los hallazgos de la evaluación sobre lasdecisiones del gobierno fue típicamente indirecta–variando desde una influencia importante enun cierto número de casos a muy poca o ningunaen otros. Esto es básicamente lo más que sepuede esperar de un sistema de SyE gubernamentaltotal en términos de utilización potencialde la información del SyE que produce el sistema.El auditor general de Australia dijo: “En mi opinión,el éxito de la evaluación en el nivel del gobiernofederal... se debió en gran medida a su integracióncompleta a los procesos presupuestarios. Cuandohabía un compromiso de recursos, se necesitóRecuadro 8.2 Evaluaciones influyentes en AustraliaEn el presupuesto de 1996–1997, el nuevo gobierno decidió reduciry repriorizar sus gastos. Se dio especial énfasis al mercadolaboral y a sus programas, lo que representó un gastoanual de $2,9 mil millones. El ministro de trabajo determinó quela meta en general de la política del gobierno sería la de ofrecerasistencia a los desempleados por largo tiempo y a los queestuvieran en riesgo de convertirse en desempleados. Esta metase adoptó por objetivos de igualdad y eficiencia, por ejemplo, alcanzarun mejor balance entre la oferta y la demanda de trabajo.Al mismo tiempo, el ministro quiso obtener una optimización delos recursos con los programas del mercado laboral dentro delcontexto de un presupuesto muy limitado.Los hallazgos de las evaluaciones australianas e internacionalesse tomaron muy en cuenta para guiar las políticas por seguir. Elministro resaltó la relativa eficacia en función de los costos de losdiferentes programas del mercado laboral. Se estimó una medidaclave calculando el costo neto del gobierno para cada colocaciónde trabajo adicional de los diversos programas –medido por la probabilidadincrementada de una persona a quien se le ayuda aconseguir un trabajo después de seis meses de haber participadoen un programa de mercado laboral. (La base del estudio fueuna comparación con un grupo de individuos que no participaronen ningún programa).Los resultados de las evaluaciones mostraron que el programaJobStart, que ofrecía subsidios para los sueldos, tuvo un costo netode $3.700 por cada colocación adicional, mientras que el programaJobSkills, que era un programa de creación de empleos directos,tuvo un costo neto de $57.800. El ministro señaló que “Elgobierno estaría... concentrando sus esfuerzos en aquellos programasque hubieran demostrado ser más eficaces en función delcosto para asegurar un efecto directo en empleos reales”. Comoresultado de esto, el programa JobStart se mantuvo y el programaJobSkills fue sustancialmente reducido y dirigido más específicamentehacia un grupo de personas que buscaban empleo y seencontraban en condiciones de desventaja.Los ahorros totales del gobierno, gracias a la reducción y repriorizaciónde los programas del mercado laboral, alcanzaron$1,14 mil millones en un lapso de dos años. Asimismo, el gabineteencargó una serie de evaluaciones importantes de sus nuevosprogramas de mercado laboral y de los nuevos arreglos para unacompetencia total entre las agencias de empleo públicas yprivadas.Fuente: Mackay, 1998a.41

II: EXPERIENCIAS DE ALGUNOS PAÍSESCuadro 8.1 Fortalezas y desafíos del sistema de SyE de AustraliaFortalezas• Gran uso de los hallazgos de las evaluaciones parael análisis de presupuestos, asesoría de políticas ypara la toma de decisiones del gabinete en cuanto alpresupuesto.• Ministerios y dependencias sectoriales utilizanmucho los hallazgos de las evaluaciones.• Evaluaciones llevadas a cabo para colaborar con eldepartamento de finanzas, otros departamentoscentrales y sectoriales.Desafíos• Disparidad en la calidad de las evaluaciones.• Insuficiente disponibilidad de entrenamiento enevaluación avanzada.• Insuficiente atención a la información de desempeñoregular.• Carga administrativa para los departamentos.Fuente: Mackay, 1998a, 2004.alguna forma de evaluación para justificar casi todaslas propuestas de presupuesto” (Barrett, 2001).Otra fortaleza del sistema de SyE fue el alto nivelde uso que le dieron los ministerios sectoriales ylas dependencias a la información del SyE. Una auditoríade desempeño llevada a cabo por la OficinaNacional de Auditoría de Australia (ANAO) en1997 concluyó que los ministerios sectoriales estabanhaciendo un uso considerable de sus hallazgosde evaluación para ayudar a mejorar laeficiencia operacional. En menor grado, estabanusando también estos hallazgos para guiar suspropias decisiones de distribución recursos y enel diseño de mejoras en la calidad del servicio (AustralianNational Audit Office, 1997).Este alto nivel de utilización de los ministerios sectorialesreflejó otra fortaleza del sistema de SyEaustraliano: la evaluación fue esencialmente un esfuerzode colaboración que incluyó al DdF, otrosministerios centrales y ministerios sectoriales. Apesar de que la responsabilidad de la evaluaciónfue casi enteramente de los ministerios sectoriales,la participación de los ministerios centrales enla planeación y supervisión de las evaluaciones PEPmás importantes ayudó a alcanzar un vasto nivelde compromiso para con las evaluaciones mismasy sus hallazgos.Este enfoque, por ejemplo, es contrario al deChile donde los ministerios sectoriales generalmentetienen poco o casi nada de compromisoscon las evaluaciones que encarga el ministerio dehacienda. El enfoque australiano también garantizóque el conocimiento y entendimiento amplioque tienen los ministerios sectoriales acerca de lospropios programas fueron usados intensamenteen las evaluaciones; un peligro con un sistema deevaluación que se basa en evaluaciones conducidasexternamente y en forma independiente esque puede no llegar a confiar en la propia experienciade este programa.DesafíosLa desventaja del enfoque de mayor colaboraciónde Australia fue la disparidad en la calidad delas evaluaciones realizadas por los departamentossectoriales. La auditoría de desempeño de laANAO analizó una muestra de informes de evaluacióny concluyó que más de un tercio tuvodesafíos metodológicos de una u otra naturaleza.Una de las razones de ello fue que muchas de lasáreas de los programas de los departamentos sectoriales,responsables de conducir o encargar las evaluaciones,no tenían las habilidades suficientes paraasegurar una buena calidad de las evaluacionesque se realizaban. El DdF proporcionó entrenamientobásico en métodos de evaluación y puso adisposición manuales sobre evaluación de programasy análisis de costo-beneficio. Pero la ANAO informóque 20% de los departamentos sectorialesestuvieron preocupados por la falta de capacitacióndisponible en técnicas avanzadas de evaluación.En retrospectiva, una opción para atender el temade calidad de evaluaciones hubiese sido que el42

8: AUSTRALIADdF ordenara la creación de unidades de evaluacióncentrales y de proporciones considerablespara cada departamento. Otra opción hubiesesido centralizar toda la evaluación en el DdF, y paraello se hubiera necesitado crear una oficina de evaluaciónmuy grande, lo que a su vez hubiera sidocontraproducente para la naturaleza austera demuchas reformas del sector público.Vale la pena notar otros dos desafíos del sistemade SyE de Australia. En primer lugar, está el pocoénfasis que se dio a la recopilación y uso regularde la información de los resultados. El DdF explícitamentealertó a los ministerios acerca de laimportancia de desarrollar objetivos sólidos paralos programas, así como contar con buena informaciónde resultados –por lo menos para facilitarla conducción de las evaluaciones. No fuehasta 1993, seis años después del inicio de la estrategiade evaluación, que el DdF encargó la realizaciónde revisiones extensivas sobre la calidadde los informes anuales de los ministerios y la documentacióndel presupuesto.Después de estas revisiones, que fueron crucialespara la calidad de los objetivos del programa y lainformación de los resultados, el DdF ordenó unaserie de revisiones de los objetivos de programase información de resultados de todos los ministeriosy dependencias. Requirió asimismo que seimplementaran planes de acción para tratar los problemasidentificados. Una enseñanza de esta experienciaes que los sistemas de SyE necesitanrevisiones y ajustes continuos; es también necesarioel DdF y evaluar un sistema de SyE, así comocualquier otro tipo de reforma del sector público.Por último, otra debilidad del sistema de SyE queidentificaron algunas secretarías ministeriales fueque los requerimientos formales para la planeacióny el reporte de evaluaciones resultaban muyonerosos. Algunos departamentos crearon procesosinternos complejos para la planeación de laevaluación y terminaron preparando PEP de 120páginas, aun cuando los lineamientos del DdFno requerían tal complejidad y en lugar de ello recomendabanPEP de menor envergadura como sinónimode buena práctica.El sistema de evaluación — Epílogo 7La elección de un gobierno conservador en 1996determinó la reducción considerable del serviciocivil; la substancial debilitación de los procesos deasesoría de política y de la función del DdF, especialmenteen el ciclo de presupuesto y el desmantelamientode muchos de los controlescentrales y requisitos que quedaban. Al mismotiempo, se dio un mayor nivel de autonomía a losjefes de los departamentos sectoriales –el regresoa la filosofía de dejar que los administradoresadministren.Si bien los departamentos sectoriales todavíatienen que informar públicamente al Parlamentoacerca de su desempeño; en la actualidad, elDdF no aplica controles centrales ni parámetrosde calidad para el SyE. Como parte de estoscambios, la estrategia de evaluación formal dehace una década y, por ende, del sistema de SyEgubernamental se desmanteló. El auditor generalaustraliano calificó estas reformas como unaliberalización de la evaluación. Mientras todavíaexistan algunos departamentos sectorialesque se pueden considerar como “islas” de buenasprácticas del SyE, 8 en términos de su conducta,calidad y uso del SyE, parecen ser laexcepción en lugar de la regla. 9 Las auditorías dedesempeño de la ANAO han ilustrado la mala calidadde la información de desempeño que muchosde los ministerios ofrecen ahora alParlamento.A pesar de que el DdF todavía da asesoría relacionadacon los presupuestos de los departamentos,no cuenta con información sistemáticay confiable del seguimiento, y tampoco con hallazgosde las evaluaciones en los cuales apoyaresta asesoría. La OCDE manifestó lo siguiente:La desregulación del servicio público y laadopción de una postura alejada de las dependenciascentrales dio a Australia libertadde gestión pero en la actualidad seconsidera que ha privado al Departamentode Finanzas de la información necesariapara que asesore adecuadamenteal Ministro (OCDE, 2002).43

9El caso especial de ÁfricaLa experiencia de los países africanos es importante para los países pobresde otras regiones, especialmente para los que preparan estrategiasde reducción de pobreza. África ofrece enseñanzas acerca de cómo desarrollarlas capacidades del SyE progresivamente, sobre todo cuando existela posibilidad de una gran ayuda de donantes. Estas enseñanzas son importantestambién para los países de ingresos medios, aquellos que todavía nose han comprometido a mejorar integralmente sus sistemas de SyE. En dichospaíses, sería apropiado un enfoque más prudente en los cambios progresivos,sobre todo si existe la posibilidad de demostrar que el SyE es una actividaddel gobierno eficaz en función de los costos.Es ampliamente aceptado que la situación de extremapobreza por la que atraviesa la mayoría delos países africanos demuestra con claridad laprioridad para un apoyo intensivo para el desarrollo.Más de 30 países africanos han preparadoun Documento de Estrategia para la Reducción dela Pobreza (PRSP) que puede ser provisional o definitivoy que constituye un requisito para recibirayuda para disminuir la deuda según la iniciativade los países pobres altamente endeudados. 1 LosPRSP establecen metas de desarrollo y deben informaracerca de los resultados. En la práctica, estoha significado enfocarse en la medida en que unpaís ha logrado alcanzar los Objetivos de Desarrollodel Milenio (ODM).Esto otorga importancia para tener estadísticas nacionalesadecuadas, lo que a su vez lleva a que losdonantes ofrezcan mayor apoyo para el desarrollode la capacidad estadística en la forma de asistenciapara los censos de población y encuestasde hogares. En especial mediante sus oficinas deestadística nacionales, los países tienen mucho interésen aceptar este apoyo. Por lo general, losPRSP presentan sus sistemas de seguimiento nacional(es decir, estadístico) como un sinónimodel SyE, y la necesidad de dar prioridad al SyE seha convertido en un mantra que es ampliamenteaceptado tanto por gobiernos como donantes. Sinembargo, en muchos casos, los sistemas de seguimientonacional se diseñan principalmentepara cumplir con los requerimientos de informaciónde los donantes (GEI, 2004b).Por otra parte, los PRSP terminan enfocándose enel monto del presupuesto y en otros recursosgastados en prioridades nacionales y en progresosnacionales de acuerdo con los ODM. Estos dos45

II: EXPERIENCIAS DE ALGUNOS PAÍSEStemas son en realidad importantes, pero lo quefalta en este enfoque es lo que Booth y Lucas(2001a, 2001b) han definido como “nivel intermedioausente”: información de desempeñosobre los pasos dados en la cadena de resultados,que abarcan las actividades de los gobiernos, productosy servicios ofrecidos y sus efectos directos;así como una evidencia profunda de evaluaciónque relacione las acciones del gobierno con losresultados concretos.Las estadísticas sobre los montos gastados y sobrelos niveles de pobreza son muy importantes, perodesafortunadamente ninguno de ellos puedemedir el desempeño del gobierno en términos deresultados de sus gastos –productos, efectos directose impactos del propio gobierno. Los ODMy otras medidas de pobreza ofrecen un criterio básicode medida del desempeño del país, pero norevelan las contribuciones del gobierno en comparacióncon la de los donantes, el sector privadoy los grupos de la sociedad civil como las ONG.La mayoría de los países africanos es demasiadopobre para conducir evaluaciones y revisiones;pero se apoya en los donantes para esos efectos.Una dificultad es la gran carga que deben soportarlos países para poder cumplir con los requerimientosde los donantes, en términos de misionesde inspección, provisión de información de desempeño,disparidad en los criterios y métodos deevaluación de los donantes, entre otros (GEI,2003a). La falta de armonización entre los donantesha impuesto una gran carga en el suministro deinformación a los países que dependen de asistencia.Sin embargo, la cooperación y armonizaciónde los donantes se puede dar por medio de enfoquessectoriales. Por ejemplo, en Tanzania, existeun grupo de trabajo en el sector salud, formado porel gobierno y los donantes, que no solamente analizael desempeño y las políticas del sector sino quetambién revisa los sistemas de SyE e identifica lasprioridades del fomento de la capacidad del SyE.Este grupo de trabajo sectorial también se encargade realizar evaluaciones o investigaciones en determinadostemas (Scout, 2001).El movimiento hacia un mayor uso de préstamosprogramáticos a los países ofrece otra forma demitigar el problema de armonización, debido aque reduce el alcance del SyE para proyectos específicosy así también el alcance del SyE de donantesdivididos. Por ejemplo en Uganda, el BancoMundial y otros donantes ofrecieron al gobiernoasistencia programática en el presupuesto. Dichaasistencia se está volviendo muy popular en lospaíses africanos así como en otros países con aliviode deuda.Enseñanzas de Uganda 2Algunos gobiernos africanos, como el de Uganday Tanzania, comprenden perfectamente la importanciade contar con información de desempeñoconfiable e integral. Ellos utilizan intensivamenteesta información para preparar sus planesnacionales y para determinar sus prioridadesen el presupuesto (véanse, por ejemplo,Government of Tanzania, 2001; Ssentongo, 2004;Government of Uganda, 2004, 2006). Una característicanotable de ambos países es que sus planesnacionales –en Uganda se conoce como Plande Acción para la Erradicación de la Pobreza(PEAP)– preceden a la iniciativa PRSP. Esta experienciahizo más fácil para los dos países prepararsus PRSP; ciertamente, sólo tuvieron quepreparar las versiones resumidas de sus planes nacionalespara cumplir con el requerimiento delPRSP.Uganda ha tenido una serie de iniciativas y sistemasde SyE, por ejemplo, fue el primer país endonde se llevaron a cabo las encuestas de seguimientodel gasto público (PETS) (Recuadro 9.1).Sin embargo, diagnósticos sobre los planes del SyEde Uganda en 2001 (véase el cuadro 9.1) y en 2003revelaron un gran número de sistemas de seguimientodescoordinados y desorganizados en losniveles sectorial y subsectorial –por lo menos 16sistemas diferentes (Hauge, 2003). Además, unainvestigación detallada de tres sectores (salud,educación, agua y sanidad) reveló que existía unacarga considerable en la recopilación de datosen los niveles de distrito e instalaciones.Los sistemas de información de gestión para esostres sectores recopilaron datos de cerca de 1.000indicadores de desempeño, con casi 300.000 entradasde datos anuales por cada uno de los 11046

9: EL CASO ESPECIAL DE ÁFRICARecuadro 9.1 Una evaluación influyente en UgandaAprincipios de la década de 1990, Uganda, a diferencia de muchosotros países en desarrollo, estaba preocupado por elpobre desempeño de los servicios públicos como la educacióny la salud. Se creía que la causa principal de ello era la “fuga”de fondos que no llegaba a las dependencias de primera línea.Con el apoyo del Banco Mundial, se desarrolló y aplicó la metodologíaPETS en el sector de educación primaria en 1996. Supropósito era medir la proporción de fondos provistos por el gobiernocentral que llegaban a las escuelas primarias y la magnitudde las fugas, así como recomendar maneras de reducirlas.Las PETS analizaron la programación del flujo de presupuestoa lo largo de varios niveles del gobierno y compararon las asignacionesde presupuesto con el gasto real en las escuelas primarias.Debido a que no había cuentas públicas adecuadas enrelación con el gasto real, se llevaron a cabo estudios en 250 escuelasprimarias públicas en 19 distritos y se crearon datos bidimensionalesdel gasto y productos entre 1991 y 1995. El estudioreveló que, entre 1991 y 1995, sólo 13% de los fondos asignados(no salariales) llegaron a las escuelas. El 87% restante desaparecióo fue usado por funcionarios del distrito para otros fines. Cercade 20% de los fondos destinados a pagar los sueldos de los profesoresfue a parar a “trabajadores fantasmas” que simplementeno existían o que no trabajaban como profesores.Los resultados de los estudios atrajeron la atención de losmedios de comunicación y el gobierno decidió que la informaciónsobre los montos de los fondos asignados y recibidos en cada escueladebía ser ampliamente difundida a través de los diarios y estacionesradiales locales y públicamente exhibida en cada escuela.Esto ayudó a asegurar que los padres de familia tomaran concienciade la situación financiera que enfrentaba la escuela de sus hijos;y también a proporcionar la información que ellos necesitaban parahacer responsables a los profesores y directores de las escuelaspor la falta de profesores capacitados o del inadecuado abastecimientode libros. Estos pasos también demostraron a los gobiernoslocales que el gobierno central había reasumido su funciónde supervisión.Dos PETS de seguimiento demostraron que el flujo de fondosno salariales que llegaban a las escuelas primarias había mejoradode 13% en 1991–1995 a entre 80% y 90% en 1999–2000. Esteejemplo demuestra que los datos cuantitativos de los servicios públicosson una herramienta poderosa para hacer escuchar la“voz” de la sociedad civil. Si bien se puede hacer caso omiso alas quejas individuales, es difícil ignorar la retroalimentación delpúblico respaldada por datos comparativos sistemáticos la cualpuede encender la mecha para una acción pública.Las primeras PETS costaron $60.000 y se ha estimado quehan ayudado a incrementar el monto de los fondos que llegabana las escuelas primarias en más de $ 18,5 millones al año. Esto indicaque las PETS son instrumentos de evaluación altamente eficacesen función del costo. En la actualidad, el gobierno deUganda conduce PETS rutinariamente para cada sector de serviciosbásicos.Fuente: Bamberger, Mackay y Ooi, 2004, 2005.distritos de Uganda. Estos indicadores se centraronampliamente en los gastos, actividades y el estadofísico de las instalaciones, como escuelas yestablecimientos de salud.Sin embargo, las mediciones de la satisfacciónde clientes y de los efectos directos, como el estadode salud y los resultados del aprendizaje, nofueron consideradas. Lamentablemente, la calidadde los datos era muy dudosa y, por lo general, erapobre. Como resultado de ello, los ministerios ydependencias sectoriales dependían en alto gradode las visitas de inspección en vez de los indicadoresde desempeño autogenerados. Hauge yotros (2002) estimaron que sólo en el sector saludlas inspecciones en plaza costaron un equivalentea 1.400 años de trabajo del personal por año,y consumían frecuentemente el tiempo del personalmédico calificado.Los resultados del diagnóstico referidos a la multiplicidadde los sistemas de SyE y a los indicadoresde desempeño –y a la gran carga impuesta al personalde primera línea– causaron gran consternacióndentro el gobierno e hicieron que se crearaun Sistema Nacional Integrado de SyE (NIMES)con el auspicio de la Oficina del Primer Ministro.El objetivo del NIMES es crear un sistema de SyEque aglutine a los muchos que existen, los coordiney armonice, y se fortalezcan las capacidadesdel gobierno para conducir y utilizar SyE. (Govermentof Uganda, 2004, 2006).47

II: EXPERIENCIAS DE ALGUNOS PAÍSESCuadro 9.1 El SyE de Uganda — Resumen diagnóstico de los temas estratégicos, desafíos y acciones posiblesRealizar seguimiento y ofrecer retroalimentación sobre el progreso en el alivio de la pobrezaTemasestratégicosdel SyE1. Coordinación yarmonización2. Desarrollo deobjetivos, metas eindicadores dedesempeño3. Incentivos quecontribuyen aobtener losresultados4. Devolución de laautonomía degestión5. Función de lasociedad civil paraexigir transparencia yrendición de cuentas6. Principios de lasasociaciones queparticipan del PEAPElementospositivos enUganda• Borrador laestrategia para elseguimiento de lapobreza.• Grupos de trabajosectoriales comonexo de laplanificación ypresupuestación.• Esfuerzos paraarmonizar losinformes deprogreso de losproyectos.• Destinar 5% de losfondos de accióncontra la pobrezapara seguimiento yrendición decuentas.• PAEP/PRSP comomarco general delas prioridadespara laerradicación de lapobreza.• Capacitaciónprueba en gestiónorientada a losresultados.• ”Análisis deindicadores” comoparte del ciclopresupuestario.• Reconocimiento dela eficacia en laprestación deservicios comoimperativo de lagestión pública.• NSDS 2000.• Responsabilidaddescentralizadapara la prestaciónde servicios.• Introducción delpresupuestoorientado alproducto.• Planes de distritointegrales.• Desarrollo de lascapacidades delprograma dedesarrollo degobiernos locales.• Naturalezaconsultiva delproceso del PEAP.• Transparencia delprocesopresupuestario.• Práctica decomunicacionespúblicas.• Importantecapacidad de lasONG.• Diálogo entre elgobierno y lasociedad civil en elnivel central.• Borrador de losprincipios deasociación del CDF.• Tendencia al apoyopresupuestario.• Programación dereuniones delgrupo consultivocomo parte delciclopresupuestario.Desafíosencontrados• Formatos deplanificación einformesseparados paradiferentes fuentesde financiamiento.• Enfoque de políticas,presupuestos yplanes de trabajosectoriales odistritales comoejerciciosseparados.• Inconsistencia en laclaridad de lasmetas sectoriales.• Las metas delPEAP correspondena las actividadesministeriales másque a los efectosdirectos deerradicación de lapobreza.• Evaluación deldesempeño enfunción del gasto yla actividadburocrática.• Escasa relaciónentre la asignaciónde recursos y eldesempeño.• Recompensasaparejadas al buentrabajo burocrático.• En general,capacidades degestión débiles enel nivel local.• Las proporciones degasto establecidasen el régimen desubvencionescondicionadasconceden a losgerentes una escasaflexibilidad deadaptación a lasnecesidades locales.• Necesidad demejorar lasconsultas a laspartes interesadaspara establecer lasprioridades.• Un tercio de laasistencia oficialpara el desarrollocorresponde a laasistencia técnicafuera delpresupuesto delgobierno y de lasprácticas de SyE.• Un tercio de laasistencia oficialpara el desarrollocorresponde a laasistencia técnicafuera delpresupuesto delgobierno y del SyE.• Siguen activos casi300 proyectosindependientes.7. Capacitación enel SyE• Toma de concienciaacerca de laimportancia del SyE.• Disponibilidad deinvestigadoreslocales, ytradicionesacadémicas y decapacitaciónlocales.• Debilidad dehabilidades degestión en el nivelde gobiernoslocales.48

9: EL CASO ESPECIAL DE ÁFRICA• Alineamiento ycoordinación dediferentesiniciativas degestión deresultados.• Un tercio de laayuda oficial parael desarrollocorresponde aasistencia técnicafuera delpresupuesto delgobierno.• Pocas metas sedefinen con marcostemporales, puntosde referenciainicial y objetivosmensurables.• Poca vinculaciónentre las metassectoriales y lasdistritales.• Inconsistencia enla aplicación desanciones por maldesempeño.• Corrupción congran impunidad.• Cantidad yjerarquía de loscargosdeterminadasdesde laadministracióncentral.• Diálogo entre elGdU y las ONG enel nivel central nose refleja en losniveles locales.• Veinte revisionesanuales separadasde programas.• Los donanteslocales no puedenapartarse de lasdirectrices de SyEcorporativas.• Probableincremento en lademanda degestión yconducción de SyErelacionados con lainterrelación entrela prestación deservicios y losefectos directos dereducción de lapobreza.Accionesposiblesparaencarar losdesafíos• Identificación deministerios odependenciaspromotores de SyE.• Establecimiento dearreglos básicos deSyE (como unmarco formal deSyE), armonizaciónde terminología,formularios parapresentación deinformes yperiodicidad.• Coordinaciónmejorada entre losorganismos deinspección yauditoría.• Introducción de losobjetivos y metasdel PEAP medianteplanificación,presupuestación yplanificación deltrabajo en losniveles sectorial,de distrito y dedependencias.• Enfocar el marcode gastos a largoplazo en ladefinición de losobjetivos y metasdel PEAP amediano plazo.• Introducción delalcance y efectosdirectos comocriterio derecompensa deéxito y desempeño.• Uso de la NSDSpara medir lasmejoras en lasatisfacción delcliente.• Introducción delconcepto deeficacia en la leyfinanciera.• Introducción deestatutos deservicio al cliente.• Permite mayorautonomía localsobre elreclutamiento depersonal, salarios ygastos noremunerativos.• En compensación,garantizar unasupervisión localmás fuerte.• Introducción deprácticas de SyEparticipativas comofunción clave de lagestión.• Extender lapráctica de latransparenciadesde laasignación a laejecución.• Tarjetas de informedel cliente comocomplemento delas NSDS.• Hacer elegibles alas ONG para darseguimiento de losfondos de accióncontra la pobreza ylos fondos derendición decuentas.• Introducción deestatutos deservicio al cliente.• Aprovechar laayuda de losdonantes al MDI yal PEAP paraaumentar lasinergia entreplanificación,información yrevisión.• Uso de la matriz depolíticas en laoperación de apoyoen la reducción dela pobreza como unmecanismoconjunto deplanificaión yrevisión.• Fortalecimiento dela capacidad localpara brindarcapacitación enevaluación, porejemplo, paracapacitadores eninstitucionesnacionales.• Coordinar el uso delos fondosespecíficos para elSyE del fondo deacción contra lapobreza, delprograma dedesarrollo degobiernos locales ydel Programa deGestión Económicay Financiera II.• Establecer unaasociaciónnacional deevaluación.Fuente: Hauge 2001.Nota: CDF = Marco integral de desarrollo; GdU = Gobierno de Uganda; ONG = Organización no gubernamental; NSDS = Encuesta nacional sobre prestación de servicios; PEAP = Plan de acción para la erradicación de la pobreza; PRSP = Documentode estrategia para la reducción de la pobreza.49

II: EXPERIENCIAS DE ALGUNOS PAÍSESSe han creado varios grupos de trabajo que se encargandel NIMES y tratan los siguientes temas: elSyE en gobiernos locales, investigación de política,evaluación, datos estadísticos nacionales, sistemasde información de gestión sectorial y datos espaciales;organizaciones de la sociedad civil y elSyE e información financiera. Por lo menos cuatrodonantes brindan financiamiento al NIMES,contribuyendo con $ 7,4 millones durante un períodode tres años, además de los propios fondosdel gobierno.El NIMES está reduciendo el gran número de indicadoresde desempeño, especialmente los sectoriales,con un mayor enfoque en productos, efectosdirectos e impactos, así como en la definición demetas. El Banco Mundial y otros siete donantesestán preparando una estrategia conjunta para ofrecerapoyo a Uganda, 3 con base en los objetivos ymetas del plan nacional (PEAP), además ellos dependenen alto grado de la propia información deseguimiento del gobierno para evaluar su propio desempeño.Sin embargo, los donantes todavía realizansus propias evaluaciones por separado.Además del NIMES, el gobierno también se ha embarcadoen un proceso para mejorar su desempeñoy rendición de cuentas. Esto incluye eldesarrollo de la gestión orientada a los resultadosen las dependencias de servicio público y ello serelaciona con el proceso de presupuesto y con elde evaluación del desempeño del personal. Losesfuerzos del gobierno incluyen acciones destinadasa fortalecer tanto el compromiso políticode alto nivel como el del servicio civil, y la demandade una mejor orientación del desempeño. 4Algunas conclusionesUganda y otros países africanos ya cuentan con sistemasde SyE. Ellos también reciben el apoyo de donantespara la implementación de sus capacidadesestadísticas y tienen acceso a las evaluaciones de losdonantes. El reto que estos países enfrentan no esdesarrollar nuevos sistemas, sino racionalizar y mejorarlos que ya tienen. Existen problemas con la calidadde los datos y con la falta de armonización delos requerimientos de los donantes en relacióncon el SyE –una situación de demasiados datos,pero no suficiente información. Llevando estos problemasal lado de la oferta, lo cierto es que en la mayoríade los demás países hay muy poca demandadel gobierno por información del SyE.A pesar de que no sería realista esperar que la mayoríade los países africanos pudieran crear sistemasde SyE integrales y confiables, existe unaserie de elementos importantes que ellos podríanintegrar de forma factible. A continuaciónse presenta una lista que, países africanos y otrosque estén preparando un PSRP, podrían seleccionar,así tengan o no el apoyo de donantes. Lasventajas, costos y limitaciones de algunos de estosinstrumentos del SyE se analizan con mayor detalleen Monitoring and Evaluation: Some Tools,Methods and Approaches (GEI, 2004b):• Sistemas de gestión de información financierapara un mejor rastreo financiero del gasto delgobierno;• Encuestas de rastreo del gasto público paraidentificar “fugas” y detectar los efectos de lacorrupción;• Encuestas sobre prestación de servicios de lasatisfacción y percepción del cliente acerca dela calidad de los servicios del gobierno;• Evaluaciones rápidas —por ejemplo, de proyectoso programas “problema”;• Recopilación estadística nacional y sectorial—especialmente relacionada con las prioridadesnacionales como los ODM; y• Datos administrativos de los ministeriossectoriales.La única salvedad que tiene esta lista es que, en algunossentidos, menos es más. Un peligro que sedebe evitar es la tendencia a la complejidad excesivaen cualquier sistema de SyE que se esté creando.Por tanto, es importante dar seguimientodetallado de cuánto se usa cada tipo de informacióndel SyE. Cuando se utiliza poco, es necesarioidentificar las razones, por ejemplo, poca toma deconciencia de su existencia, bajo nivel de demanda,datos de baja calidad considerados como pococonfiables, o falta de personal que sea capaz de analizary actuar sobre la información. Esto ayuda aidentificar los pasos necesarios para mejorar laoferta o para incrementar la demanda de informacióndel SyE.50

PARTE IIIEnseñanzasMuchos países desarrollados y en desarrollo han acumulado experienciamuy importante en la creación de sistemas de SyE. Laconsistencia de estas enseñanzas en diversos países y regionesno es de sorprender; ellas también reflejan la experiencia internacional en otrostipos de creación de capacidad en el sector público (Capítulo 10). El tema deutilización de la información del SyE es básico para el desempeño y sostenibilidadde un sistema de seguimiento y evaluación. La utilización depende dela naturaleza y de la fuerza de la demanda de información del SyE –en otraspalabras, de los incentivos para el uso del SyE. Los países que tienen poca demandade SyE, o carecen de ella, pueden ser considerados como países queenfrentan una barrera insuperable ante sus esfuerzos para crear sistemas deSyE, pero esta perspectiva es demasiado pesimista. Existen formas de incrementarla demanda mediante el fortalecimiento de incentivos, lo cual será expuestoen el capítulo 11, que se enfoca en premios, castigos y sermones paraasegurar que la información del SyE sea utilizada.

Creación de sistemas deSyE gubernamentales —Enseñanzas de laexperiencia10La creciente cantidad de publicaciones disponible acerca de la experienciaen el fortalecimiento de los sistemas de SyE gubernamentales sugiereque existe un amplio consenso entre los expertos sobre una serie de enseñanzasclave (Recuadro 10.1) (Banco Africano de Desarrollo y Banco Mundial,1998, 2000; Banco de Desarrollo de Sudáfrica, 2004; Boyle, 2005; CAD, 2006;Compton, Baizerman y Stockdill, 2002; Mackay, 1998d, 2004; May y otros,2006; OCDE, 1997a, 1997b, 1998a, 2004; PNUD, 2000; Schiavo-Campo, 2005).La primera enseñanza, y la más importante, es queuna demanda intensiva de SyE por parte delgobierno es un prerrequisito para su institucionalizaciónexitosa. Es decir, un sistema deSyE debe producir información de seguimiento yhallazgos de evaluación que sean considerados valiosospor las partes clave interesadas, que sean utilizadospara mejorar el desempeño del gobierno,y que respondan a una demanda suficiente de lafunción del SyE para garantizar su financiamientoy sostenibilidad en un futuro previsible.Los esfuerzos para crear un sistema de SyE nodarán resultados a menos que exista una demandaverdadera, o que se pueda crear intencionalmente,asegurando sobre todo que estén presentes incentivospoderosos para conducir y utilizar el SyE.No es suficiente emitir un decreto que indique queel SyE es importante y que debe realizarse, tal vezeso sólo quedaría en el papel y no llegaría a producirinformación de seguimiento y evaluacionesde buena calidad. Tales esfuerzos, realizados dentrode un cumplimiento de arriba hacia abajo,pueden llevar fácilmente a un cumplimiento rutinarioo, más aún, a una activa oposición, a menosque sean acompañados de otras acciones.Lograr una demanda significativa de SyE no esfácil. Un obstáculo para lograr esta demanda esla falta de conocimiento de lo que el SyE realmenteabarca, en particular cuando se necesitacaptar la aceptación de las partes interesadas,como los ministros de gobierno o los ministeriosde hacienda, antes de realizar esfuerzos sustantivospara crear y financiar una función de SyE.Por eso muchas veces, se plantea el dilema delhuevo y la gallina: no hay demanda del SyE porparte del gobierno debido al poco conocimiento53

III:ENSEÑANZASRecuadro 10.1 Elementos para el éxitode un sistema de SyE de un país• Significativa demanda del gobierno.• Función importante para los incentivos.• Diagnóstico del SyE existente, como primerpaso.• Cometido fundamental de un promotorinfluyente.• Conducido en forma central por un ministeriocompetente.• Evitar la complejidad excesiva del sistema.• Sistemas de datos ministeriales confiables.• La medida del éxito es la utilización.• Capacitación en SyE y en la utilización del SyE.• Limitaciones por dependencia en las leyes, decretosy regulaciones gubernamentales.• Acuerdos estructurales que garanticen la objetividady calidad del SyE.• Esfuerzo a largo plazo que requiere tenacidad.• Desarrollo de manera no lineal y menospredecible.• Evaluación periódica del propio sistema de SyE.sobre el SyE y lo que éste puede ofrecer; falta conocimientodebido a la poca experiencia al respecto;y falta experiencia por la debilidad de lademanda.La respuesta a este acertijo es tratar de lograruna mayor toma de conciencia sobre el SyE –susdiversos instrumentos, métodos y técnicas– y susposibles usos. La demanda se puede aumentar unavez que las partes clave interesadas de un gobiernocomienzan a entender mejor el SyE,cuando conocen ejemplos de sistemas de seguimientoe informes de evaluación eficaces en funciónde los costos, y cuando saben que otrosgobiernos han establecido sistemas de SyE que valoranmuy positivamente. También puede resultarconvincente resaltar la acumulación deevidencia sobre la alta rentabilidad de las inversionesen SyE (Bamberger, Mackay y Ooi, 2004).Visualizar el lado de la oferta también es importante–ofrecer entrenamiento, manuales y procedimientos,e identificación de buenos consultoresde SyE, etcétera. Tener experiencia en SyEes ciertamente necesario si se llega a producir informaciónde SyE confiable. Aquellos que ven elSyE en términos tecnocráticos, como una actividadtécnica independiente, tienden a centrarsesólo en estos temas.Pero el lado de la oferta en la producción de informaciónde SyE es menos importante que el dela demanda. Si la demanda de SyE es intensiva, entoncesmejorar la oferta como respuesta a ellopuede ser relativamente directo, pero hacer locontrario no funciona. Es crucial que exista unademanda por parte de los gobiernos para la utilizaciónde la información del SyE y para el permanentefinanciamiento de las actividades deSyE. Por tanto, es necesario asegurarse de captara las partes clave interesadas, como ministros delgobierno o ministerios de hacienda, si se tiene quehacer un esfuerzo mayor para crear, fortalecer ofinanciar las funciones del SyE. Depender constantementedel financiamiento o actividades delSyE de los donantes no resulta sostenible.Los incentivos son una parte importante de lademanda. Se necesitan incentivos convincentespara que el SyE se aplique bien, y en particular paraque la información resultante del seguimiento y loshallazgos de las evaluaciones se utilicen en la práctica;en otras palabras, los incentivos convincentesson necesarios para la función de SyE se institucionaliceexitosamente (véase el recuadro 10.2 sobrela experiencia de Irlanda, como ejemplo). Esta observaciónconcuerda con las numerosas publicacionesacerca del logro de reformas institucionales,en particular en el contexto de la administración delsector público y la buena gobernabilidad (para unaextensa revisión bibliográfíca, véanse Banco Mundial,1997a; OCDE, 2004, 2005).El simple hecho de tener a disposición la informaciónresultante del SyE no garantiza que se utilicerealmente, ya sea por los administradores de programasen su trabajo cotidiano, por los funcionariosde presupuesto responsables de asesorar sobre lasopciones de gastos, o por el Congreso o Parlamentoresponsable de supervisar la rendición de cuentas.Esto resalta los peligros de una visión tecnocrática,la cual considera al SyE como un conjunto de instrumentoscon méritos intrínsecos; y la falacia de que54

10: CREACIÓN DE SISTEMAS DE SyE GUBERNAMENTALES — ENSEÑANZAS DE LA EXPERIENCIARecuadro 10.2 Enseñanzas de IrlandaIrlanda desarrolló su sistema de evaluación gubernamentalen respuesta a los requerimientos formales para ingresar ala Unión Europea. Desde su ingreso, el sistema de Irlanda hasido reforzado por razones internas relacionadas con el deseodel gobierno de aumentar el valor de su dinero en todas lasáreas del gasto público. Esto se ha visto reflejado en la Iniciativade revisión de gastos del gobierno (ERI, por sus siglasen inglés).Irlanda ofrece a los países en desarrollo gran cantidad de enseñanzasacerca de los factores de éxito así como de los impedimentospara desarrollar un sistema de SyE. Una enseñanza esque las fuertes presiones externas relacionadas con la disponibilidadde recursos importantes pueden ser un catalizador clavepara iniciar un sistema de SyE. (Una analogía para los países pobressería la necesidad de preparar estrategias de reducción depobreza con sistemas de SyE afines, en el contexto de alivio de ladeuda según la Iniciativa para los países pobres muy endeudados).Una vez creado, el sistema de SyE puede utilizarse para otros finesnacionales. De hecho, la demanda del país y los incentivos para utilizarla información del SyE son muy importantes para la institucionalizacióny sostenibilidad del sistema. El caso de Irlanda, unavez más, subraya la dificultad para asegurar una relación directaentre la información de SyE y la toma de decisiones presupuestariasy otros procesos de asignación de recursos. Sería necesariocontar con procedimientos y prácticas formales para establecerrelaciones directas.Otra enseñanza es el mérito que tienen las revisiones periódicasdel progreso del desarrollo del sistema y, por tanto, poder reorientarlo–algunas veces, de forma sustancial. Irlandacontinuamente está llevando a cabo pruebas a fin de mejorar susistema de evaluación.Irlanda cuenta con un pequeño grupo de evaluadores, y estoha sido una limitación para el sistema, pero ha servido para queel país llegue a descubrir rápidamente cuáles son los requerimientosdel sistema. El pequeño grupo de evaluadores subrayó laimportancia de utilizar este recurso con prudencia ya que tiene implicacionestanto en la demanda como en la oferta.Por el lado de la demanda, es importante que no se trate de desarrollarun sistema demasiado complejo o exigente. En lugar deello, es mejor concentrarse en las actividades del SyE más eficacesen función de los costos. Estas actividades se determinan deacuerdo con los posibles usos de la información del SyE producida.En relación con la oferta, sería ventajoso trabajar en la expansiónde las capacidades limitadas en forma planificada –porejemplo, mediante la capacitación con objetivos específicos, el desarrollodel currículo, el desarrollo de habilidades en el trabajo, comisiones,asistencia interconectada, revisión regular de la calidadde SyE, o contratos periódicos con empresas consultoras. Cuandohay confianza en los funcionarios públicos que realizan las evaluaciones,es muy importante garantizar que ellos tengan suficientecapacitación y que cuenten con parámetros adecuados y otro tipode apoyos para que lleven a cabo su labor con eficiencia.Fuente: Boyle, 2005.sólo por el hecho de poner a disposición la informacióndel SyE, su utilización queda garantizada.Ningún gobierno crea un sistema de SyE por susvalores intrínsecos, sino que lo hacen porque (1)estos sistemas apoyan directamente sus actividadesbásicas, como el proceso presupuestario; la planeaciónnacional; el formulación de políticas ydesarrollo de programas; y la gestión de los ministerios,organismos, programas y actividades;o, (2) ofrecen información que apoya las relacionesde rendición de cuentas. De esta manera, lossistemas de SyE están frecuentemente vinculadoscon las reformas del sector público como el presupuestopor resultados (PBB), la formulación depolíticas basada en evidencia, la gestión basada enlos resultados y otros; estas iniciativas compartenuna serie de elementos (Véase el capítulo 3).Cuando se crea o fortalece un sistema de SyE gubernamental,es de gran ayuda comenzar pordiagnosticar qué funciones del SyE ya existen,sus fortalezas y desafíos –desde la perspectiva de lademanda como la de la oferta. El grado de utilizaciónreal (a diferencia del esperado) de la informacióndel SyE debe ser claro, así como las formasespecíficas en las que se usa. Dichos diagnósticosson de por sí una forma de evaluación, y son útilesno sólo por la información y visión que ofrecen, sinoporque pueden convertirse en un medio para quelas partes interesadas en el gobierno, la sociedad civily la comunidad de donantes tomen conciencia dela importancia del SyE y de la necesidad de crearun nuevo sistema o de fortalecer los ya existentes.Otra dimensión de la demanda, y otro factor deéxito, es contar con un promotor influyente –un55

III:ENSEÑANZASministro o funcionario de alta posición, con autoridadsuficiente para promover la institucionalizacióndel SyE, convencer a sus colegas acercade su prioridad, y destinar recursos considerablespara la creación de un sistema de SyE para todoel gobierno. Un promotor necesita tener un buenconocimiento del SyE, en términos de instrumentosy métodos, y valorizar su utilidad potencialpara el gobierno –de uno o más de los cuatrousos principales de la información de SyE (detalladosen el capítulo 3).Los promotores gubernamentales han desempeñadouna función importante en la creación dealgunos de los sistemas de SyE gubernamentalesmás exitosos, por ejemplo, los de Chile, Colombiay Australia (para el análisis respectivo de cadauno de ellos, véase May y otros, 2006; GEI, 2003b[Capítulo 11]; Mackay, 2004). No obstante, aunquelos promotores influyentes constituyen unfactor de éxito; ellos, por sí solos, no garantizanel éxito. Existen ejemplos, como el caso de Egipto,donde el apoyo que un grupo de ministros clavedio al SyE fue en gran parte frustrado por el escepticismode funcionarios de cargos intermedios(GEI, 2004a; Schiavo-Campo, 2005).La creación de un sistema de SyE para la administraciónpública –ya sea que esté enfocado únicamenteen un sistema de indicadores de desempeñocomo si abarca varios tipos de evaluación y revisión–requiere un gran esfuerzo. Esto implica reclutar ycapacitar personal para conducir o administrar elSyE y utilizar sus resultados; crear la infraestructuraburocrática para decidir qué programas gubernamentalesdeben evaluarse y qué temas deben incluirseen cada evaluación; crear sistemas de datosy procedimientos para recopilar, compartir y dara conocer la información del SyE.También se requiere una supervisión activa delsistema de SyE por parte de funcionarios dealto nivel –quienes generalmente son personasmuy ocupadas. Igual que otros sistemas, enáreas de gestión financiera o adquisiciones, implicaun esfuerzo sostenido de largo tiempopara conseguir que un sistema de SyE funcioneeficientemente. La OCDE llegó a la siguienteconclusión:Se necesita tiempo para desarrollar unsistema de medición del desempeño e integrarloal sistema de administración. Ningúnpaís miembro de la OCDE consideraque sea tarea fácil desarrollar un sistemade medición de resultados. Por el contrario,se considera un esfuerzo agotador,que necesita seguimiento y control constantes(OCDE, 1997a, p. 19).Por tanto, otra característica de los sistemas de SyEgubernamentales exitosos es la administracióndel proceso a cargo de un ministerio competenteque pueda diseñar, desarrollar y gestionarel sistema de SyE. En muchos paísesdesarrollados y de ingresos medios o altos (porejemplo Australia, Canadá, Chile y Estados Unidosde América) ha sido el ministerio de hacienda.Ciertamente, es de gran ayuda que la dirección institucionaldel sistema de SyE esté cercana al gobiernocentral (por ejemplo, la oficina delpresidente) o al proceso presupuestario (Bedi yotros, 2006). La necesidad de tener claro las funcionesy responsabilidades de las partes clave interesadastambién se aprecia en la experiencia deAmérica Latina (Recuadro 10.3).En algunos países, los ministerios sectoriales competenteshan establecido sistemas sólidos de SyE.Quizás el ejemplo más notable sea el de México,donde la Secretaría de Desarrollo Social (SEDE-SOL), un ministerio respetado y competente, administraun sistema de SyE que hace hincapié enlas evaluaciones de calidad como en las de impacto.El ministerio también está trabajando parafortalecer su sistema de indicadores de desempeñopara un mejor apoyo de las evaluaciones queconduce (Hernández, 2006).El origen del esfuerzo de este ministerio sectorialfue una ley promulgada por el Congreso que ordenabala evaluación de los programas sociales. ElCongreso tenía la preocupación de que el poder Ejecutivopudiera utilizar los programas sociales a cambiode comprar votos, por lo que solicitó evidenciasólida del desempeño de los programas antes deaceptar financiarlos. Esta ley estuvo influida, por lomenos parcialmente, por una serie de rigurosasevaluaciones de impacto del programa Progresa.56

10: CREACIÓN DE SISTEMAS DE SyE GUBERNAMENTALES — ENSEÑANZAS DE LA EXPERIENCIARecuadro 10.3 Experiencias de América Latina con sistemas de SyEUna conferencia regional del Banco Mundial y el Banco Interamericanode Desarrollo (BID), que se llevó a cabo enjunio de 2005, estuvo centrada en la experiencia de cinco paíseslatinoamericanos líderes o prometedores: Brasil, Chile, Colombia,México y Perú. Varios de estos países han logrado éxitosconsiderables en la creación de sistemas de SyE y su institucionalización.Las experiencias de los países demuestran que no existe un“destino” único para un país, en términos de lo que debería serun sistema de SyE con buen desempeño. Algunos países otorganmás importancia a un sistema de indicadores de desempeño y otrosse centran en llevar a cabo evaluaciones (revisiones de programaso rigurosas evaluaciones del impacto). A pesar de que lamayoría de los países ha creado un enfoque global para todo elgobierno conducido por los ministerios de hacienda o de planeación,algunos de ellos están más enfocados en los sistemas de SyEsectoriales. Una característica clave de la mayoría de los sistemasde la región es que reflejan los esfuerzos para institucionalizarel SyE realizados por el país más que por los donantes.La experiencia compartida de estos países ha dado como resultadouna sabiduría colectiva acerca del desarrollo de sistemasde SyE sólidos:• Existe la necesidad de definir claramente las funciones y responsabilidadesde los principales actores involucrados –losministerios de planeación y de hacienda, la oficina del presidente,los ministerios sectoriales y el Congreso. Asimismo,es fundamental crear los estímulos correctos para incentivara las partes interesadas a asumir una mayor actuaciónen el SyE.• Fortalecer los sistemas de SyE no es el único ni el principaltema relacionado con la oferta que requiera un “ajuste técnico”.Para que un sistema de SyE sea exitoso y sostenible,la información y los resultados del SyE tienen que ser utilizadosintensivamente por las partes interesadas, como losministerios sectoriales y, dependiendo de cómo el sistemahaya sido concebido, por la sociedad civil.• Los ministerios y los funcionarios más conservadores puedenresistirse ante los esfuerzos por implementar los sistemasde SyE y utilizar el SyE como un instrumento de gestióny presupuesto. Es esencial contar con un alto nivel de compromisoy apoyo constante por parte de los promotores influyentesy de los funcionarios de alto nivel en todos losniveles ministeriales.• Existe un debate implícito acerca de cómo priorizar las evaluaciones–enfocarse en los programas-problema, proyectospiloto,programas de grandes gastos o de gran visibilidad, oen investigación sistemática para responder a los asuntos deefectividad del programa.Fuente: May y otros, 2006.A pesar de que éstas son algunas de las evaluacionesde impacto más caras que se hayan realizado,con un costo de millones de dólares, sucalidad ha sido también ampliamente reconocida,así como su enorme impacto en el gobierno.Se les consideró instrumentos para persuadir algobierno a conservar el programa Progresa y a expandirlosignificativamente convirtiéndolo en elprograma Oportunidades –en 2005. El gobiernoha gastado cerca de 6 mil millones de dólares eneste programa, que tiene unos 21 millones debeneficiarios o cerca de un quinto de la poblaciónmexicana.Estas evaluaciones, a pesar de que son caras, sepueden considerar muy rentables. Los gobiernosde otros países encuentran que los ejemplos deevaluaciones altamente influyentes han sido muypersuasivos en relación con la utilidad potencialde la evaluación y con los méritos de instalar unbuen sistema de SyE.Según se observó en el capítulo 3, el éxito del SyEen SEDESOL ayudó a persuadir al poderoso ministeriode hacienda y a la contraloría a unirse alConsejo Nacional de Evaluación para crear unsistema de SyE para todo el gobierno. Esto indicael poderoso efecto de demostración que una dependenciasectorial exitosa puede tener.Un punto por tomar en cuenta: es muy poco probableque un ministerio que decida crear un sistemade SyE fuerte tenga que comenzar de cero.Aun en los países más pobres de África, por lo general,existe una gama de indicadores de desempeñodisponibles, y siempre habrá una serie deevaluaciones realizadas por donantes. El problemaradica en la mala calidad o la cobertura par-57

III:ENSEÑANZAScial de la información de desempeño y su considerablesubutilización.Un error común es la complejidad excesivade un sistema de SyE. Esto se hace másrápidamente evidente con la cantidad de los indicadoresde desempeño –por ejemplo, el sistemade SyE de Colombia, SINERGIA, hasta el año2002 había acumulado 940 indicadores de desempeño;cifra que era muy difícil de manejar ensu rendición de cuentas de la información, porlo que redujo este número a unos 500 (Castro,2006a, 2006b; Mackay y otros, 2007; anexo B deeste libro). En comparación, el sistema de SyE deChile incluye 1.550 indicadores de desempeño.Éste es un número muy grande, pero el muyhábil ministerio de hacienda es capaz de usar lainformación de forma efectiva. Sería lo mejorconsiderar el caso de Chile como una excepciónque comprueba la regla general, de que menoses mejor.El número adecuado de indicadores de desempeñotambién depende del número de programasy servicios gubernamentales y del tipo de indicadorde desempeño. Los indicadores se puedencentrar en varias partes de la “cadena de resultados”de un programa (definidas en el anexo E):insumos, actividades, productos, efectos directose impactos. Los funcionarios de alto nivel tiendena utilizar indicadores estratégicos de alto nivelcomo productos y efectos directos. Por el contrario,los administradores de línea y su personaltienden a centrarse en un mayor número de indicadoresoperacionales dirigidos a procesos yservicios.La producción regular de este tipo de informaciónde desempeño detallada es sólo el primer paso.Los funcionarios de alto nivel y los administradores,por lo general, no tienen tiempo para examinarminuciosamente los datos en bruto, por loque sería de gran ayuda en su trabajo que analistascompetentes pudieran revisar los datos y ofrecerlesresúmenes y análisis.Frecuentemente –o quizás típicamente– los sistemasde datos de un ministerio son descoordinados,por eso un solo ministerio puede tenervarios sistemas, cada uno con sus propias definicionesde datos, fuentes, periodicidad de recopilacióny mecanismos de garantía de calidad (sies que tiene alguno). La SEDESOL de México,por ejemplo, en 2004 tenía ocho sistemas independientesde información de gestión (BancoMundial, 2004). En Uganda, un problema es el númerode sistemas de SyE descoordinados –cercade unos 16 sistemas sectoriales y subsectorialesindependientes– que ahora el gobierno está tratandode coordinar mediante una nueva estrategianacional integrada de SyE (Hauge, 2003;Government of Uganda, 2006).Un problema de los países africanos, y quizás tambiénen algunas otras regiones, es que a pesar deque los ministerios sectoriales recopilan gran diversidadde información de desempeño, la calidadde los datos generalmente no es buena. En parte,esto se debe a que la responsabilidad de la recopilaciónde datos recae sobre funcionarios que tienendemasiada carga de trabajo en sus oficinas,quienes deben proporcionar la información a otrosfuncionarios de oficinas distritales y de la capital,pero que rara vez, si no es que nunca, reciben algunaretroalimentación sobre la manera en que losdatos se utilizan en realidad, si es que se utilizan.Esto conlleva a otro dilema del tipo “el huevo o lagallina”: los datos no son de buena calidad debido,en parte, a que no se utilizan, y éstos no seutilizan, en parte, porque no son de buena calidad.En dichos países hay demasiados datos pero no suficienteinformación. Por tanto, otra enseñanzapara la institucionalización de los sistemas de SyEgubernamentales es la necesidad de crear sistemasde datos ministeriales confiables –paraayudar a proveer datos en bruto en los que el sistemade SyE pueda confiar. 1 Puede resultar útil enesta situación, una auditoría de los sistemas de informacióny un diagnóstico de la capacidad de información,lo cual brindaría el punto de inicio parauna necesaria racionalización en la recopilaciónde datos o mejoras en su calidad. Además, daría alos datos la credibilidad necesaria para utilizarlos.La verificación y credibilidad de los datos es, enparte, un tema técnico de precisión, procedimientosy control de calidad. Relacionado con58

10: CREACIÓN DE SISTEMAS DE SyE GUBERNAMENTALES — ENSEÑANZAS DE LA EXPERIENCIAeste tema de calidad técnica está la necesidad deque los datos sean potencialmente útiles –paraque la información esté disponible en el momentooportuno, sea fácil de entender, consistenteen el tiempo, etcétera. También se debeconsiderar el tema de honestidad y objetividad;a medida que la información de desempeño setorna importante –especialmente cuando se usapara fines de rendición de cuentas– surgirán incentivospara falsificar los datos. 2 Esto es claramenteuna preocupación y requiere medidasespecíficas para verificar los datos por medio deuna auditoría independiente, por ejemplo. Laverificación también puede implicar la acreditaciónde los procesos de verificación de datos deuna de- pendencia. Desde luego, los esfuerzospara falsificar datos también pueden interpretarsecomo una señal de éxito de que el sistemade SyE está comenzando a tener impacto –queestá teniendo un tremendo efecto.Los datos financieros sobre los gastos del programacomprenden un tipo fundamental de información;su calidad y disponibilidad deben estargarantizadas. Esta información es proporcionadapor los sistemas de información de gestión financiera.Buenos presupuestos por resultados,gestión de programas y rendiciones de cuentas delgobierno requieren que la información sobre costosy resultados de los programas gubernamentalesestén relacionados. Irónicamente, muchasevaluaciones no llegan a analizar los costos de losprogramas evaluados, por lo que se hace muchomás difícil medir la eficacia en función de los costosdel programa.El objetivo de los sistemas de SyE gubernamentalesno es, simplemente, producir una gran cantidadde información sobre el desempeño ni ungran número de evaluaciones de alta calidad; estoreflejaría la existencia de un enfoque del sistemade SyE basado en la oferta. En lugar de ello, el objetivoes lograr la utilización intensiva de cualquierinformación del SyE disponible paragarantizar que el sistema de SyE sea eficaz enfunción de los costos –utilización en apoyo de lasfunciones gubernamentales básicas, como se manifestóanteriormente. La utilización es el criteriode éxito de un sistema de SyE; yviceversa, sería difícil convencer a un ministeriode hacienda escéptico de que continúe financiandoun sistema de SyE cuyos productos no seutilizan. Dichos sistemas merecerían ser consideradoscomo inútiles.Para que un sistema de SyE funcione bien, es necesariocontar con funcionarios o consultoresbien capacitados y que tengan mucha experienciaen SyE. Debido a ello, la mayoría de los planesde creación de capacidad ponen gran énfasisen ofrecer capacitación acerca de los instrumentos,métodos, alcances y conceptosde SyE. Aquellos gobiernos que encargan a otrosla realización de sus evaluaciones necesitan asegurarsede que sus funcionarios posean las habilidadesy la experiencia necesarias para supervisary administrar las evaluaciones –ello requiere unconjunto de capacidades mucho más amplias queel simple hecho de contar con la habilidad dellevar a cabo una evaluación. Asimismo, necesitancomprender las fortalezas y las limitaciones –la relativaeficacia en función de los costos– de los diversostipos de SyE.Una capacitación preliminar en SyE tambiénpuede crear conciencia sobre la información delSyE y, por consiguiente, de su demanda. La capacitacióntambién debería extenderse hacia la utilizaciónde la información del SyE. Los analistasde presupuesto y los administradores de programasdeben ser capaces de interpretar los datosdel seguimiento y comprender las tendencias,definiciones de datos, interrupciones en las seriesde datos en el tiempo, etcétera. Asimismo, tambiénnecesitan ser consumidores de evaluacionesexigentes, es decir, deben ser capaces de reconocercuándo una metodología de evaluacióntiene imperfecciones y cuándo sus resultados noson confiables. Finalmente, los parlamentarios ysus colaboradores deben ser capaces de entenderla información del SyE.Otra enseñanza tiene que ver con las limitacionesque surgen cuando un país depende deuna ley, decreto o decisión del gabinete, u otropronunciamiento de alto nivel que sirva para crearun sistema de SyE. En América Latina y en los paísesfrancófonos –aquellos con sistemas jurídicos59

III:ENSEÑANZASnapoleónicos– existe la tradición de depender dedichos instrumentos jurídicos para crear y legitimarsistemas de SyE. 3 Por eso, países como Colombiatienen una serie de leyes y decretos que ordenanla evaluación, los cuales fueron incluso consagradosen la Constitución de 1991. Aun así, con el transcurrirde los años, la fortuna del sistema deevaluación gubernamental sufrió muchos altibajos,y sólo después de un cambio de gobierno, en2002, el sistema comenzó a desempeñarse confuerza (Castro, 2006a, 2006b; Mackay y otros, 2007).No se trata de mencionar aquí que una ley o decretoque regulen el SyE sean irrelevantes; por elcontrario, éstos pueden ser un vehículo útil parala legitimización del SyE, en particular en aquellospaíses donde la presencia de estos instrumentoslegales es necesaria para que cualquier reforma delgobierno sea valorizada y tomada en serio. 4 Perouna ley o decreto, por sí solos, no garantizan quese realicen los grandes esfuerzos que son requeridospara establecer un sistema de SyE.Los mecanismos estructurales de un sistemade SyE son importantes desde variasperspectivas. Una de ellas es la necesidad de garantizarla objetividad, credibilidad y rigor de la informacióndel SyE que el sistema produce. Por ellado de los datos, algunos gobiernos (Chile, porejemplo) dependen de comités de auditoría externapara llevar a cabo esta función; en tanto queotros dependen de las oficinas nacionales de auditoría(por ejemplo, Canadá) (Mayne y Wilkins,2005), y otros dependen principalmente de las dependenciasde auditoría interna de los ministerios(por ejemplo, Australia). Algunos gobiernos dependende un ministerio central que verifiquelos datos provenientes de los ministerios sectoriales(por ejemplo, Colombia) y otros que no tienenuna estrategia de auditoría (por ejemplo,Argentina) (Zaltsman, 2996a).Por el lado de la evaluación, los temas de objetividady credibilidad son especialmente importantes.Según se señala en el recuadro 3.1, Chile(y la mayoría de países de América Latina) seocupa de esto contratando organismos externos,como instituciones académicas y firmas consultoras,para que realicen las evaluaciones; además,las evaluaciones son encargadas y administradaspor el Ministerio de Hacienda, más que por los ministeriossectoriales, y el proceso de oferta de licitacionesy contrataciones para llevar a cabo lasevaluaciones es completamente transparente. 5El inconveniente de este enfoque es que los ministeriossectoriales utilizan poco estas evaluaciones;las encargadas por el Ministerio de Haciendano llegan a identificarse con sus hallazgos. No obstante,eso puede no representar un problemagrande en Chile, donde el poderoso Ministerio deHacienda es capaz de utilizar los resultados de lasevaluaciones no sólo para apoyar la toma de decisionespresupuestarias, sino también para imponera los ministerios sectoriales cambios en la administracióny en los programas (Rojas y otros, 2005).Este sistema centralizado es único.La mayoría de los gobiernos de la OCDE dependede los ministerios sectoriales para que ellos mismoslleven a cabo sus propias evaluaciones (Curristine,2005), a pesar de que se cuestiona laconfiabilidad de las autoevaluaciones. En EstadosUnidos de América, la OMB (ministerio de hacienda)califica el desempeño de los programasgubernamentales como programas sin informacióndel SyE acerca de su desempeño o como programascon información del SyE no confiable(véase el recuadro 3.1).Los países que han establecido un sistema gubernamentalde SyE se han dado cuenta de querepresenta un esfuerzo a largo plazo y requierepaciencia y tenacidad (OCDE, 1997a;Mackay, 1998b; Lahey, 2005; May y otros, 2006).Toma tiempo crear o fortalecer los sistemas dedatos; capacitar o contratar personal calificado; planificar,organizar y realizar evaluaciones; crearsistemas de intercambio de información de SyEentre los ministerios relevantes; y capacitar alpersonal para que pueda utilizar la informacióndel SyE en su trabajo diario, ya sea en operacionesprogramáticas o análisis de políticas y la asesoría.Australia y Chile fueron capaces de crearsistemas de evaluación eficientes (en términos decalidad, número y uso de las evaluaciones) encuatro o cinco años; en el caso de Colombia, seha necesitado más de una década.60

10: CREACIÓN DE SISTEMAS DE SyE GUBERNAMENTALES — ENSEÑANZAS DE LA EXPERIENCIASin embargo, no se pretende afirmar que un enfoquelento y mesurado sea el más apropiadopara crear un sistema de SyE. Los promotores gubernamentaleseventualmente partirán, y la ventanade oportunidades –de hecho, la prioridadque un gobierno otorga a cualquier tipo de reformadel sector público– se puede cerrar tan fácilmentecomo se abrió. Esto sugiere que seanecesario un enfoque de trabajo centrado, decididoe intenso para crear varios componentesdel sistema de SyE, y que los gobiernos los institucionalicentan pronto como sea posible.Al parecer, la mayoría de los países con sistemasde SyE eficientes no los han desarrolladode manera lineal –es decir, comenzarcon una idea clara de lo que será el sistema cuandohaya madurado totalmente, y luego avanzandoprogresivamente para convertir en realidad estavisión. Por el contrario, cuando se examina la experienciade países como Australia (Mackay, 2004),Canadá (Lahey, 2005), Chile (Zaltsman, 2006a;véase también el capítulo 7), Colombia (Mackayy otros, 2007), Irlanda (Boyle, 2005) y Estados Unidosde América (Joyce, 2004; Lahey, 2005), es evidenteque los sistemas de SyE de estos países sehan desarrollado paso a paso, de manera creciente,con algunos intentos fallidos y callejonessin salida a lo largo del proceso.Al parece, esto sería causado, en parte, por losdiferentes plazos necesarios para crear funcionesdel SyE específicas –un sistema de indicadoresde desempeño relativo a la conducción derevisiones del programa o de rigurosas evaluacionesdel impacto. Podría deberse también auna serie de correcciones que se hacen a mitaddel camino a medida que se evidenciae el progreso,o la falta de éste, en determinadas iniciativasde SyE. También debe considerarse lagran influencia de factores externos, como uncambio de gobierno, que pueden, no solamentealterar la dirección de un sistema de SyE sinoconvertirlo en uno significativamente fuerte–como lo llegó a ser en Colombia después de2002 y en Estados Unidos de América despuésde 2000. Un cambio de gobierno también puededar lugar a una reducción sustancial o incluso,al abandono de un sistema de SyE –como sucedióen Australia después de 1997 (Capítulo 8)y en Estados Unidos de América después de1980 (GAO, 1987).Al parecer, existe una asimetría preocupante conlos sistemas de SyE gubernamentales: son lentospara establecerse, pero pueden caer muy rápidamente.Para aquellos gobiernos que han abandonadoen gran parte sus sistemas de SyE, estoparecería reflejar una preferencia ideológica porun “gobierno pequeño”, en lugar de una decisiónconsiderada sobre la eficacia en función de los costosdel sistema de SyE; de esta manera, los efectosnegativos en el sistema de SyE parecen sersimplemente daños colaterales.La frecuencia de las correcciones a mitad del camino,mientras se están creando sistemas de SyE,indica otra enseñanza de la experiencia: la importanciade evaluar en forma regular un sistemade SyE, con el objetivo de detectar lo quefunciona o no funciona, y el porqué. Es valiosoidentificar la naturaleza de los problemas encontradose indicar los posibles cambios de dirección.Dichas evaluaciones brindan la oportunidad de revisarambos miembros de la ecuación, los aspectosde la demanda como de la oferta y aclarar lautilización real a diferencia de la prevista en la informacióndel SyE, así como las formas particularesen que se está usando.La prudente administración por parte del Ministeriode Hacienda de Chile de su propio sistemade SyE se ejemplifica en la revisión que encargóal Banco Mundial de los dos principales componentesde evaluación del sistema (Rojas y otros,2005). Encargó esta revisión, en parte, para darapoyo a la administración en curso y mejorar elsistema de SyE, así como también para aplicarsea sí mismo los parámetros de rendición de cuentasdel desempeño, que aplica en los ministeriossectoriales y en los programas que administra–como parte del proceso, el Ministerio de Haciendaha informado sobre los resultados de lasevaluaciones del Banco Mundial al Congreso deChile. Existe un gran número de guías de diagnósticodisponibles para apoyar dichas evaluacionesde los sistemas de SyE gubernamentales(véase el capítulo 12). 661

Incentivos para el SyE —Cómo crear demanda11Los esfuerzos para fortalecer sistemas de SyE gubernamentales son generalmentevistos como arreglos técnicos –que implican mejores sistemasde datos, la conducción de evaluaciones de buena calidad, etcétera.Estos temas de oferta son importantes de hecho pero no son suficientes parafortalecer los sistemas.En el capítulo 10 se expuso que para lograr unainstitucionalización exitosa de un sistema de SyE–es decir, la creación de un sistema de SyE quefuncione bien y que sea sostenible dentro de ungobierno, y donde la información de buena calidadque genere se utilice intensivamente– considerarel aspecto de la demanda es sumamenteimportante. La demanda se concentra en la prioridadde utilizar la información de seguimientoy los hallazgos de las evaluaciones para apoyar lasactividades básicas del gobierno. Algunos de losusos implica asistir en las decisiones de asignaciónde recursos dentro del proceso presupuestario;ayudar a los ministerios en su formulación depolíticas y labor analítica; ayudar a la administraciónen curso y en la prestación de servicios porparte del gobierno; y respaldar relaciones de rendiciónde cuentas.Sin embargo, alcanzar una demanda grande dentrode un país es otro asunto. Contar con ejemplosde otros países –como Chile, Colombia yvarios miembros de la OCDE– que han hecho elesfuerzo necesario para crear un sistema de SyEque funcione bien puede influir grandemente encrear interés en el SyE e incrementar su demanda.Además, mostrar la eficacia en función de los costosde las evaluaciones individuales realizadas enotros países también puede persuadir a los quetoman las decisiones, acerca de los méritos delSyE.Algunos países, como Egipto, han logrado que losministros clave del gobierno tengan un buen conocimientode los beneficios potenciales del SyE.Sin embargo, los esfuerzos para institucionalizarel SyE en este país se han visto bastante frustradosdebido a funcionarios de nivel medio, quienesno creyeron en esta visión de un sistema deSyE.Esto ilustra un punto clave que es la necesidad degarantizar que haya incentivos suficientemente poderososdentro de un gobierno para llevar a caboel SyE, y a un buen nivel de calidad, y que se utilicela información del SyE de manera intensiva.En otras palabras, se necesitan grandes incentivospara que la función del SyE se institucionaliceexitosamente. Esto también resalta la importanciade entender los incentivos que tienen los mi-63

III:ENSEÑANZASnisterios y los empleados públicos para conducir,o no, el SyE.Un ambiente en el sector público donde es difícilque los funcionarios se desempeñen con parámetrosaltos y de manera consistente resultaadverso para el SyE. Los funcionarios no hacenmás que concentrarse en tareas cotidianas de administracióndefinidas en forma muy limitada y noestán dispuestos a que se les impute la responsabilidadde su desempeño si no tienen alguna garantíade los recursos con los que cuentan, o sino tienen un control sustancial sobre los productosde sus actividades. En estas circunstancias,es comprensible que los administradores percibanel SyE como algo irrelevante, como algo potencialmente(y probablemente) injusto paraellos, y como una amenaza en vez de una ayuda.La naturaleza de los incentivos para el SyE dependede cómo un país prevé la utilización de lainformación del SyE. Si se pretende que el usoprincipal del SyE sea asistir a los funcionarios entodos los ministerios sectoriales y dependencias–la función de aprendizaje del SyE– entonces resultaimportante que exista una amplia cultura delservicio público. Pero si el SyE se conduce principalmentecon fines de rendición de cuentas,entonces las partes interesadas clave, cuya demandade SyE sería primordial, serían unos cuantos:la oficina del presidente o primer ministro,el Congreso o Parlamento, los ministerios de hacienday de planeación y la auditoría general.Si lo que se busca es que el SyE sea un instrumentopara el presupuesto por resultados, entonces elministerio de hacienda y tal vez algunos otros ministerioscentrales serían las partes clave interesadas.Los ministerios sectoriales también seríanpartes interesadas en un sistema de presupuesto porresultados de amplia base (como en el caso deAustralia, véase el capítulo 8) pero tendrían una funciónmucho menos importante dentro de un sistemade presupuesto más centralizado (como enel caso de Chile, véase el capítulo 6). Por último, sise pretende que el SyE sea un instrumento para apoyarla formulación y análisis de políticas basados enla evidencia, entonces es mucho más factible queinvolucre la participación de todos los ministerios.En forma clara se observa que cada una de estaspretensiones de uso del SyE involucra en ciertamanera a diferentes grupos de partes interesadasy, en consecuencia, de incentivos para llevar adelanteel sistema. Según se señaló anteriormente,existe la tendencia de concebir los sistemas de SyEgubernamental de una manera ambiciosa, queenglobe todos los usos posibles de la informacióndel SyE (véase por ejemplo, el caso de Colombiaen el anexo B). Este enfoque involucraría a todaslas partes interesadas y por tanto a un grupo deincentivos más complejos que podrían resultarpoco realistas.Como se verá en el capítulo 12, es importante queel tema de los incentivos sea investigado cuandose conduzca un diagnóstico del sistema de SyE nacionalo ministerial; éste es también un temaclave cuando se prepara un plan de acción parafortalecer un sistema de SyE. Como ya se ha señalado,la importancia de entender los incentivoses resaltada en las publicaciones acerca de cómolograr otros tipos de reformas de gobernabilidad(Banco Mundial, 1997b, capítulo 9).El cuadro 11.1 presenta tres tipos de incentivos:premios, castigos y consejos. 1 Muchos de estos incentivosse han utilizado para ayudar a institucionalizarel SyE en gobiernos de paísesdesarrollados y en desarrollo. Los premios ofrecenun aliento positivo y recompensas por llevara cabo el SyE y utilizar sus resultados. Éstos puedenser, por ejemplo, el reconocimiento públicoo incentivos financieros a los ministerios que llevana cabo el SyE.Los castigos comprenden reprimendas o penalidadesa los ministerios o a los empleados públicosque no se comprometan con el desempeñoy el SyE –por ejemplo, penalidades financieras alos ministerios que no cumplan con implementarlas recomendaciones de evaluación previamenteacordadas. Por último, los consejosincluyen declaraciones de alto nivel de aprobacióny apoyo en relación con la importancia del SyE.También implican los esfuerzos dirigidos paradespertar el interés en el SyE y la explicación delo que los funcionarios del gobierno pueden encontrarde provecho.64

11: INCENTIVOS PARA EL SyE — CÓMO CREAR DEMANDACuadro 11.1 Incentivos para el SyE. Premios, castigos y consejosPremios Castigos Consejos• Diplomas o premios –reconocimientos de alto nivel por lasbuenas o las mejores prácticas de evaluación o de la gestiónpor resultados.• Enfoque colegiado de SyE entre los ministerios clave –ayudaa evitar una situación en la que un ministerio rival controle lainformación del SyE.• Incentivos de presupuesto para programas de alto desempeño–por ejemplo, el fondo para las licitaciones de Chile (Advertencia:la relación deseable entre el desempeño y el financiamiento amenudo no es clara. Por ejemplo, algunas veces es necesariodestinar fondos adicionales a un programa que no funcionabien para arreglarlo –véase en la Parte VI, la pregunta 15).• La provisión de incentivos relacionados con el presupuesto delos ministerios o dependencias para mejorar el desempeño(premiar la información del SyE para demostrar desempeño) –porejemplo, el ministerio de hacienda estipula mayor seguridadde financiamiento, envía estimados por medio de un marco degastos a mediano plazo, acuerdos de recursos, presupuesto decartera, presupuesto de programa.• Mayor autonomía de gestión para los programas que se desempeñenbien.• Resultados basados en productos o en efectos directos haceque el Banco Mundial (y otros donantes) otorguen préstamosa los gobiernos –por ejemplo, el préstamo del Banco en apoyoal programa Bolsa Familia de Brasil.• Recompensas por el cumplimiento de los requisitos del SyE formales(y para los SyE de alta calidad).• Financiamiento adicional a los ministerios para llevar a cabo SyE.• Manejo prudente de los hallazgos de evaluación –por ejemplo,proporcionando resúmenes ejecutivos de fácil interpretación,dirigidos a audiencias clave puede reducir la dificultad de accesoy asimilación de los resultados.• Organización frecuente de reuniones de equipo (administradoresy personal) del tipo “¿Cómo nos va?” para aclarar los objetivos, revisarel desempeño del equipo e identificar las formas de mejorarlo.• Promulgar leyes, decretos o reglamentos que impongan el SyE.• Tener requisitos formales para la planeación, conducción e informedel SyE –crear un impulso organizacional si los ministeriosestán obligados a crear comités y otras estructurasformales para SyE.• Retener parte de los fondos de los ministerios o dependenciassi no llevan a cabo el SyE.• Alcanzar gran transparencia acerca del desempeño del gobiernoy de los administradores publicando regularmente informaciónsobre los objetivos, productos y calidad de serviciosde todos los programas. Comparaciones de desempeño entrelas jurisdicciones (estados, provincias, distritos, municipalidades)son efectivas en particular, para resaltar el buen o mal desempeño,destacar a los buenos actores y poner en evidenciaa los malos.• Resaltar la información del SyE desfavorable en los informesal Parlamento o Congreso y difundirla ampliamente. Esto puedeser política y sumamente delicado para el gobierno.• Establecer metas de desempeño desafiantes pero realistas(por ejemplo, cada trimestre o cada año) que cada ministerio,dependencia y administrador de programa pueda cumplir.• Incluir indicadores de desempeño relevantes (productos, efectosdirectos) en las evaluaciones anuales de desempeño de losadministradores.• Solicitar informes de excepción de desempeño cuando lasmetas no se alcanzan –requiere que áreas del programa expliquenel mal desempeño (Colombia).• Resaltar planeación de evaluación de mala calidad, sistemasde información, indicadores de desempeño, técnicas del SyE,informes del SyE –poner en evidencia desempeños deficientes(podrían hacerlo mediante una institución de auditoría suprema,un ministerio central como el de hacienda o la oficinadel presidente, y tal vez, auditoría interna).• Penalizar el incumplimiento de las recomendaciones de evaluaciónacordadas (Chile).• Declaraciones de alto nivel dadas por el presidente,ministros, directores de ministerios,diputados, etcétera.• Declaraciones de la visión del gobierno acercade las reformas del sector público, la buenagobernabilidad o los planes nacionales, quedestacan los méritos del SyE.• Repetición frecuente de mensajes de apoyoen las reuniones de ministros de alto nivel,jefes de departamento, y personal en general.• Seminarios o talleres de toma de concienciacon el fin de desmitificar el SyE, ofrecer confianzaacerca de su posibilidad de realizacióny explicar su contenido a los participantes.• Uso de ejemplos reales del SyE influyentespara demostrar su utilidad y su eficacia en funciónde los costos.• Explicar a los administradores y al personalcómo el SyE puede ayudarlos a ofrecer mejoresservicios a sus clientes, los ciudadanos.• Dirigir algunas evaluaciones rápidas y evaluacionesde impacto con el fin de demostrarsu utilidad.• Conferencias y seminarios sobre sistemas deSyE con práctica recomendada en algunosministerios en particular, en otros países, etcétera–demuestran lo que los sistemas deSyE pueden producir.• Red de funcionarios que trabajan en SyE–ayuda a mostrar ejemplos de buena prácticadel SyE en ministerios, demuestra su viabilidady ayuda a incentivar los parámetros decalidad.(Continúa en la siguiente página)65

III:ENSEÑANZASCuadro 11.1 Incentivos para el SyE. Premios, castigos y consejos (continuación)Carrots Sticks Sermons• Contratos por desempeño o pagos por resultados a los empleadospúblicos –es decir, recompensa directa por desempeño.Por ejemplo, los nuevos empleados públicos de alto nivel enCeará (Brasil) reciben hasta 40% de su remuneración en formade bono por desempeño, que se basa en el logro de las metasde los indicadores de desempeño.• Incentivos para el personal –uso de experiencia en SyE comoun criterio para la contratación, promoción y certificación.• Asistencia al programa de conducción del SyE –por medio dela oficina de asesoría, manuales y otros materiales, capacitacióngratuita, comentarios acerca de los TdR, informes preliminaresde evaluación, entre otros. Esto hace que sea más fácil(reduce los costos) llevar a cabo el SyE, y la utilización de losresultados.• Garantizar que los proveedores de datos –por ejemplo, en lasdependencias– comprendan cómo se usan los datos y la importanciade ofrecer datos precisos y oportunos.• Capacitación para administradores y personal del programa, paraanalistas de presupuesto, con el fin de explicarles qué es el SyEy cómo usarlo para mejorar su trabajo.• Identificación y realce de ejemplos de prácticas recomendablesde planeación de la evaluación, de técnicas del SyE, de informesde evaluación –ofrecer modelos que otros pueden copiarfácilmente (pueden desempeñar este cometido, una instituciónsuprema de auditoría, un ministerio central como el de haciendao la oficina del presidente, y quizás, auditoría interna).• Retroalimentación sistemática de los ministros sobre la calidadde la asesoría de políticas para cada informe enviado a losministros. Brindar elogios y destaca la asesoría de buena calidad–por ejemplo, el ministerio de trabajo de Australia.• Una red gubernamental de funcionarios que trabajan en SyE ayudaríaa dar identidad y apoyo a los evaluadores (quienes usualmentese sienten aislados dentro de cada ministerio o entidad)–por ejemplo, Australia, Canadá y Nigeria.• Apoyo financiero y asistencia técnica para el SyE gubernamentalpor parte de donantes multilaterales y bilaterales.• Llevar a cabo reuniones de municipalidades con el presidentey los ciudadanos para exhibir el buen o mal desempeño del gobierno(Colombia).• Involucrar a la sociedad civil en el SyE del desempeño gubernamental–da como resultado presiones para un mejor desempeñoy rendición de cuentas (Bangalore y Bogotá).• Utilizar mecanismos de rendición de cuentas como las tarjetasde informe ciudadano –publicitar el bajo desempeño de las dependenciasgubernamentales.• Proporcionar retroalimentación ministerial sobre la calidad delasesoramiento en políticas –ofrece críticas a la asesoría de bajacalidad (por ejemplo, una asesoría que no tiene una buena basede evidencias).• Instituir contratos por desempeño o pagos por resultados –penalidadesdirectas por resultados pobres.• Apoyo al SyE gubernamental mediante préstamosque los donantes multilaterales y bilateralesofrecen a los gobiernos –resalta ypromociona el SyE.66

PARTE IVCómo fortalecer un sistemade SyE gubernamentalUna de las enseñanzas que se debe considerar en la creación de unsistema de SyE es la importancia de llevar a cabo un diagnóstico depaís (Capítulo 12). Esto ofrece un entendimiento sólido de los esfuerzosactuales del SyE, del ambiente de la administración pública y de lasoportunidades para fortalecer el SyE y utilizar su información en las funcionescentrales del gobierno. Quizás igualmente importante es mencionar queun diagnóstico ayuda a que las partes clave interesadas dentro del gobiernoy en la comunidad de donantes se enfoquen en las fortalezas y los desafíosde los acuerdos vigentes del SyE gubernamental. Dicho diagnóstico tambiénpuede garantizar que las partes interesadas compartan una conciencia sobreestos temas. Un diagnóstico conduce de forma natural hacia un plan de acciónque identifica las principales opciones para el fortalecimiento de un sistemade SyE gubernamental (Capítulo 13).

12La importancia de undiagnóstico de paísEs evidente que cada país enfoca de manera diferente el SyE. Algunos países,como Brasil, por ejemplo, se concentran en todo el gobierno paraestablecer los objetivos de un programa y crear un sistema de indicadoresde desempeño. Otros países, como Colombia, combinan esto con unaagenda de evaluaciones de impacto rigurosas.Pero otros países, como Australia, Estados Unidosde América y el Reino Unido, ponen más énfasisen los instrumentos y métodos del SyE: indicadoresde desempeño, revisiones rápidas, evaluacionesde impacto y auditorías de desempeño.Algunos países han tenido éxito al crear un sistemade SyE para todo el gobierno. Otros, comoUganda, utilizan una colección en gran parte disparejay descoordinada, de 16 sistemas diferentesde seguimiento sectorial. La mayoría de lospaíses más pobres –a los cuales los donantes multilateraleshan solicitado que preparen estrategiasde reducción de la pobreza– se concentranen la recopilación regular de indicadores de desempeñopara medir el progreso en función delos ODM.¿Por qué hacer un diagnóstico?Esta variedad de enfoques refleja que no sólo lospuntos de partida que enfrenta cada país son diferentes,sino que también lo son las metas deseadas.No existe un único enfoque que sea elmejor para un sistema de SyE nacional o sectorial. 1En lugar de ello, el enfoque que utilice cada paísdependerá de los usos reales o potenciales de lainformación que dicho sistema producirá. Segúnse señaló en el capítulo 3, esos usos comprendendesde la asesoría en las decisiones de asignaciónde recursos en el proceso presupuestario, elapoyo en la preparación del plan nacional y sectorial,la ayuda en la administración en curso yprestación de servicios del gobierno, hasta el respaldode las relaciones de rendición de cuentas.Para crear o fortalecer sistemas de SyE gubernamentales,es sumamente importante adaptar esfuerzosde acuerdo con las necesidades yprioridades de cada país. Es recomendable realizardiagnósticos de las actividades de SyE, ya quepueden servir como una guía en la identificaciónde oportunidades para la institucionalización delSyE. Un diagnóstico formal ayuda a identificar lasfortalezas y los desafíos actuales del país en términosde conducción, calidad y uso del SyE; además,un diagnóstico es invaluable cuando se tratade proporcionar una base para preparar un plande acción. Éste debe diseñarse de acuerdo con lautilización que se espera dar a la información delseguimiento y a los hallazgos de la evaluación. Undiagnóstico preliminar puede ayudar a obtener69

IV:CÓMO FORTALECER UN SISTEMA DE SyE GUBERNAMENTALuna opinión sobre las probabilidades de éxito dedichos planes.El diagnóstico puede ser realizado –o encargado–por el gobierno o los donantes, o mejor aún, enforma conjunta. El proceso para conducir un diagnósticoda la oportunidad de hacer que las partesinteresadas del gobierno –particularmentefuncionarios de alto nivel en ministerios clave– seconcentren en el tema de la institucionalizaciónde un sistema de SyE. Para la mayoría de paísesen desarrollo, o quizás para todos, ya podría existiruna serie de actividades y sistemas de SyE,pero la falta de coordinación y armonización entreellos es un reto común, lo que puede generar unaduplicación de esfuerzos representativa. Un diagnósticoque revele dichos problemas puede convertirseen un estímulo para que el gobierno tratede resolverlos, y el hecho de que todos comprendanla naturaleza de los problemas puedetambién fomentar un consenso sobre la forma desolucionarlos.Dicho consenso es particularmente importantepara el SyE, ya que es una actividad que abarca yafecta a todos los ministerios y dependencias.Cualquier reforma integral del gobierno, como lacreación de un sistema de SyE nacional, requiereun gran esfuerzo y un alto nivel de coordinacióncentral, así como la activa cooperación de los ministeriosy las dependencias. Lograr una coordinaciónefectiva entre todos estos actores no escosa fácil, por eso, cualquier proceso, como la preparaciónde un diagnóstico del SyE, ofrece unaoportunidad para que las partes interesadas dialoguenentre ellas sobre el SyE y alcancen unacuerdo sobre lo que deben hacer para mejorarel enfoque del gobierno.Esto se ilustra con las experiencias de Uganda, Méxicoy Australia. El hecho de que hubieran 16subsistemas de SyE en Uganda causó gran preocupación–incluso indignación– entre los funcionariosde alto nivel. Esa respuesta fue decisivae indujo a tomar la decisión de crear el NIMES paraenfrentar los problemas de armonización y demandasexcesivas por parte de aquellos que proporcionabaninformación del seguimiento en losministerios y dependencias sectoriales y en las instalaciones(véase el capítulo 9). También, el resultadode un diagnóstico rápido de las actividadesde SyE de la Secretaría de Desarrollo Socialde México (SEDESOL) reveló la existencia deocho sistemas de seguimiento descoordinadosdentro de una sola dependencia, lo que indujo aque la administración de alto nivel de esta secretaríahiciera lo necesario para armonizar esos sistemas(Banco Mundial, 2004c).El proceso de conducción de un diagnóstico enAustralia, en 1987, sentó las bases para una estrategiade evaluación del gobierno. A pesar de queeste proceso no condujo a un consenso entrelos ministerios sectoriales, los cuales, en granparte, se oponían a la introducción de una seriede requisitos obligatorios para llevar a cabo las evaluaciones,proporcionó no solamente una base objetivay sólida para la estrategia de evaluación,sino que también concientizó a las partes interesadasacerca de la importancia del tema hasta lograrsu aceptación de la estrategia, aunque sinmucha voluntad.Un diagnóstico también proporciona un punto departida para medir el progreso del país en eltiempo. Crear y sostener la demanda y la ofertadel SyE representa un esfuerzo a largo plazo.Según se señaló en el capítulo 10, la mayoría depaíses no ha desarrollado su sistema de SyE enforma lineal o predecible, sino en forma oportunista,dependiendo de las oportunidades y contratiemposque surgían, y según como ibandescubriendo qué iniciativas funcionaban bien ono funcionaban.En este contexto, es importante dar seguimientoy evaluar en forma periódica el sistema de SyE ensí –tal como se evaluaría con regularidad cualquierotra área de reforma del sector público.Efectivamente, realizar esfuerzos constantes parafortalecer un sistema de SyE es una manera de quequienes se encargan de dichos esfuerzos den elejemplo. Algunos aspectos de un sistema de SyEvan de acuerdo con un seguimiento regular, comoel número de evaluaciones realizadas o la medidaen que sus recomendaciones son implementadas.Otros aspectos pueden requerir unaevaluación más profunda de vez en cuando, por70

12: LA IMPORTANCIA DE UN DIAGNÓSTICO DE PAÍSejemplo saber hasta qué punto se utiliza la informacióndel SyE en la toma de decisiones del presupuestoo en la calidad de los datos delseguimiento.Por tanto, un diagnóstico es un tipo de evaluaciónque puede identificar el grado de progreso alcanzadoy así poder realizar cualquier correcciónnecesaria a mitad del camino. Es importante notarque las oficinas nacionales de auditoría han tenidouna función importante en la revisión de los resultadosde los sistemas de SyE, por medio de auditoríasde desempeño (Australian National AuditOffice, 1997; Mackay, 2004; Office of the Auditor-General of Canada, 2003; GAO, 2004), y en el impulsoa sus ministerios para realizar las mejorasnecesarias –por ejemplo, en Australia, Canadá yEstados Unidos de América.¿Qué temas debe abordar undiagnóstico?En el sentido más simple, un diagnóstico debe determinarlo que funciona y lo que no funciona –lasfortalezas y desafíos del sistema de SyE– y las razonesde ello.Un diagnóstico de SyE debería determinar unaserie de temas clave (Recuadro 12.1). Estos temasson relevantes, ya sea en un enfoque del diagnósticonacional o de un ministerio o dependenciasectorial en particular, aunque con distintosmatices. Los temas incluyen lo siguiente:• El origen del sistema de SyE existente (se suponeque ya existe algún tipo de sistema, o sistemas);• La administración del sistema y las funcionesy responsabilidades de las partes claveinteresadas;• El ambiente del sector público y la posibilidadde que haya incentivos para tomar con seriedadel SyE;• Las principales formas actuales de utilizar la informacióndel SyE, especialmente la funciónque tiene en el proceso presupuestario y su utilizaciónpor ministerios y dependenciassectoriales;• Los tipos de SyE que se utilizan con mayorfrecuencia;• Responsabilidades para recopilar informaciónde desempeño y conducir las evaluaciones;• Alcance del apoyo de los donantes para el SyE,y• Fortalezas y desafíos en general del sistema osistemas de SyE.El propósito de un diagnóstico es mucho másque hacer un mero inventario. Se requiere uncriterio muy cuidadoso en relación con la presenciao ausencia de factores de éxito para la creaciónde un sistema de SyE, según se señaló enel capítulo 10. Por eso, es importante entender lafuerza de la demanda del gobierno por informacióndel SyE y saber si existe un promotor influyentedel gobierno a favor del SyE.Por otro lado, es importante saber si existen barreraspara crear sistemas de SyE, como podría serla falta de demanda real y propiedad; la falta deuna cultura moderna de toma de decisiones basadaen evidencias y rendición de cuentas (en algunospaíses, esto se debe a cuestiones éticas ode corrupción); la falta de evaluación, contabilidado habilidades de auditoría; o la mala calidady credibilidad de información financiera o de resultados.Este conocimiento conlleva naturalmentea la preparación de un plan de acción parafortalecer los sistemas de SyE existentes o para desarrollaruno completamente nuevo (se analiza enel capítulo 13).Aun cuando los temas precedentes son, en granparte, genéricos para todos los países, es necesarioadaptar el enfoque según la naturaleza del país.De esta manera, los países de ingreso medio o deingreso medio alto podrían tener una comunidadde evaluación fuerte, ubicada en universidades einstitutos de investigación. Sin embargo, la ofertade experiencia en evaluaciones sería muy limitadaen muchos de los países más pobres –por ejemplo,los que preparan estrategias para reducciónde la pobreza (véase el capítulo 9). Además, lospaíses pobres son más propensos a enfocarse ensistemas de seguimiento de la pobreza en particulary es probable que tengan muchas más dificultadespara hacer frente a los múltiples ydesarmonizados requerimientos del SyE por partede los donantes. Generalmente, la presión que71

IV:CÓMO FORTALECER UN SISTEMA DE SyE GUBERNAMENTALRecuadro 12.1 Temas clave para el diagnóstico de un sistema de SyE gubernamental1. Origen del sistema de SyE existente –función de los defensoreso promotores del SyE; situaciones clave que dieron prioridada la información del SyE (por ejemplo, elección de ungobierno con ideas reformistas, crisis fiscal).2. El ministerio o dependencia responsable de la administracióndel sistema de SyE y de las evaluaciones de planeación–Funciones y responsabilidades de los actores principalesdel sistema de SyE, por ejemplo, el ministerio de hacienda,el ministerio de planeación, la oficina del presidente, los ministeriossectoriales, el Parlamento o Congreso; posible existenciade varios sistemas descoordinados de sistemas de SyEen los niveles nacional y sectorial; importancia de los temasfederales, estatales y locales para el sistema de SyE.3. El ámbito del sector público, ya sea que éste facilite o dificultea los administradores desempeñarse en niveles altosy ser responsables por su desempeño –incentivos para quelas partes interesadas tomen en serio el SyE y fortalezcan lademanda de información del SyE. ¿Pueden las reformas delsector público en marcha beneficiarse de un mayor énfasisen la medición del desempeño del gobierno? Reformas talescomo una estrategia para la reducción de la pobreza, presupuestopor resultados, fortalecimiento de las habilidadespara el análisis de políticas, creación de una cultura de desempeñoentre los empleados públicos, mejoras en la prestaciónde servicios como normas de atención al cliente,descentralización gubernamental, mayor participación dela sociedad civil o una estrategia contra la corrupción.4. Los principales aspectos de la administración del sector públicoque el sistema de SyE apoya por completo son: (i) tomade decisiones presupuestarias; (ii) planeación nacional osectorial; (iii) administración del programa, y (iv) relacionesde rendición de cuentas (al ministerio de hacienda, a la oficinadel presidente, al Parlamento, a los ministerios sectoriales,a la sociedad civil).• La verdadera función de la información del SyE en las diferentesetapas del proceso presupuestario: como la asesoríay la planeación de políticas, la toma de decisionesdel presupuesto, revisión e informe del desempeño; posibledesconexión entre el trabajo del SyE de los ministeriossectoriales y la utilización de dicha información enel proceso presupuestario; la existencia de alguna desconexiónentre el proceso presupuestario y la planeaciónnacional; oportunidades para fortalecer la función delSyE en el presupuesto.• El grado en que la información del SyE que encargan laspartes clave interesadas (por ejemplo el ministerio dehacienda) es utilizada por otros, como los ministeriossectoriales; si no es utilizada, las barreras para su empleo;cualquier evidencia sólida que se refiera al grado de utilizaciónque le dan las diversas partes interesadas (porejemplo, una revisión o estudio de diagnóstico); ejemplosde evaluaciones significativas que hayan sido altamenteinfluyentes en el gobierno.5. Tipos de instrumentos de SyE enfocados en el sistema de SyE:indicadores de desempeño comunes, revisiones o evaluacionesrápidas, auditorías de desempeño, evaluaciones deimpacto rigurosas y profundas; tamaño y costo de cada unode estos tipos de SyE; forma en que se establecen las prioridadesde evaluación –enfocadas en los programas problema,programas experimentales, programas de grandesgastos o de alta visibilidad, o sobre una agenda de investigaciónsistemática para responder preguntas acerca de laeficacia del programa.6. Quién es responsable de recopilar la información de desempeñoy conducir las evaluaciones (por ejemplo, los propiosministerios, los académicos o las firmas consultoras);cualquier problema con la calidad o confiabilidad de losdatos o con la calidad de las evaluaciones hechas; fortalezasy desafíos de la oferta local de SyE; limitaciones clavede la capacidad y las prioridades de fortalecimiento de la capacidaddel gobierno.7. Grado de apoyo de los donantes para el SyE en los últimosaños; proyectos de los donantes que financian el SyE entodos los niveles del gobierno, de sector o de dependencia–suministro de asistencia técnica, fortalecimiento de la capacidady fondos para llevar a cabo evaluaciones importantes,como las evaluaciones de impacto rigurosas.8. Conclusiones: fortalezas y desafíos del sistema de SyE en general;su sostenibilidad, en términos de vulnerabilidad a cambiosen el gobierno, por ejemplo, qué tanto depende de losfondos del donante u otro tipo de apoyo; planes actuales paraun futuro fortalecimiento del sistema de SyE.72

12: LA IMPORTANCIA DE UN DIAGNÓSTICO DE PAÍSejercen los donantes es el principal motor de losesfuerzos del gobierno para fortalecer los sistemasde SyE; puede ser que el sentido de pertenenciade los esfuerzos que realizan los países no sea suficiente.Un análisis más a profundo sobre temasde diagnóstico lo presenta Mackay en 1998b. 2Profundidad del diagnósticoUna pregunta que surge con frecuencia es cuántotiempo demoraría llevar a cabo un diagnóstico deSyE. Esta pregunta no tiene una respuesta simple,todo depende de los fines para los que se haceel diagnóstico, la variedad de temas en investigacióny el tiempo y presupuesto disponibles.En algunos casos, una misión de una semana enun país es suficiente como punto de partida paratener un amplio conocimiento de los temas claveque enfrenta un gobierno interesado en fortalecersus funciones del SyE. Al otro extremo del espectrose encuentra una evaluación mucho másformal, detallada y profunda de un sistema deevaluación de un gobierno, como la que el gobiernode Chile encargó al Banco Mundial (Rojasy otros, 2005). La evaluación de Chile tuvo unequipo de siete personas que trabajaron durantevarios meses. Se enviaron varias misiones a Chiley se entrevistó a gran número de funcionarios delgobierno, de ministerios centrales y sectoriales;además, se realizaron revisiones muy detalladasde la calidad y la utilización de la evaluación. Dichosdiagnósticos a profundidad pueden llegar acostar varios cientos de miles de dólares.Otros temas deben ser investigados a profundidad,como la calidad y credibilidad de la informaciónde seguimiento y de los sistemas de informaciónsectoriales que proporcionan esta información. 3Otro posible tema sería la capacidad de las universidadesy otras organizaciones que ofrecen capacitaciónen SyE; dicho entrenamiento es unelemento común de los planes de acción paraayudar en la institucionalización del SyE. Una guíade diagnóstico para evaluar organizaciones de entrenamientola proporciona Adrien (2003); undiagnóstico real para Ghana también se encuentradisponible en esta guía (Adrien, 2001).Los diagnósticos del Banco conducidos para Colombiay Uganda se encuentran en un puntomedio entre los dos extremos, el de la misión deuna semana y el de una evaluación a fondo. Losdiagnósticos de esos países comprendieron variasmisiones para discutir con funcionarios de altonivel y representantes de la sociedad civil, revisardocumentos (por ejemplo, declaraciones sobre lapolítica del gobierno, documentos relacionadoscon proyectos importantes de donantes y cualquierdiagnóstico previo del país –del SyE, de reformasdel sector público o de temas deadministración del gasto público), y dar conferenciaso seminarios formales sobre sistemas deSyE gubernamentales.El diagnóstico de Colombia involucró a variosempleados del Banco que trabajaron muy decerca con sus contrapartes del gobierno durantela visita de varias misiones al país (Mackay y otros,2007); este diagnóstico se incluye en el anexo B.El anexo C presenta una serie de términos de referenciailustrativos para un posible diagnósticoa profundidad futuro del sistema de SyE deColombia.Los diagnósticos de Uganda –en 2001, con un seguimientoen 2003– los realizó un consultor delBanco durante el curso de varias misiones, con laestrecha colaboración y apoyo de las contrapartesdel gobierno (Hauge, 2001, 2003). El diagnósticode Uganda de 2001 se resume en el cuadro 9.1.El alcance del diagnóstico de un sector sería máslimitado que el enfocado en el gobierno en conjunto,aunque muchos o la mayoría de los temascentrales serían los mismos. Un diagnóstico de unsector necesitaría centrarse, entre otras cosas, enla función de las actividades de SyE del sector quecontribuyen con los sistemas de SyE de todo elgobierno. De hecho, sería posible llevar a cabo undiagnóstico del sector como parte de un diagnósticonacional; ello ayudaría a entender lostemas de institucionalización del SyE en el nivelsectorial, o si el gobierno está considerando experimentarnuevas iniciativas de SyE en ministeriossectoriales seleccionados.Dependiendo de los temas que deben tratarse enun diagnóstico, también sería necesario armarun equipo de expertos con una amplia variedad73

IV:CÓMO FORTALECER UN SISTEMA DE SyE GUBERNAMENTALde conocimientos. Un equipo podría estar conformadopor personas con experiencia en algunoso todos los siguientes aspectos: administraciónde sistemas de SyE gubernamentales,indicadores y sistemas de desempeño, sistemasestadísticos, evaluación, reformas en la administracióndel sector público y presupuesto porresultados.Si también está previsto el proyecto de un donantepara apoyar el desarrollo de un sistema de SyE,entonces sería importante incluir en el equipo dediagnóstico algunos miembros de parte del donantecon experiencia relevante. Sin lugar a dudas,es importante la participación de altos funcionariosdel gobierno en el diagnóstico –para aprovecharsus conocimientos y opiniones acerca delsistema vigente de SyE y de la manera en quepuede fortalecerse, y para garantizar la aceptaciónde sus hallazgos en el diagnóstico, así como susrecomendaciones.ConclusionesUn diagnóstico de los sistemas de SyE de un paíspuede ofrecer una comprensión sólida de susfortalezas y desafíos. Esto es muy importante parapoder desarrollar un plan de acción que sea adaptadoapropiadamente según la visión que se tengadel futuro del sistema de SyE, especialmente entérminos del uso que se desea dar a la informacióndel seguimiento y a los hallazgos de la evaluación,los cuales son específicos para cada país.Tal diagnóstico también podría ofrecer una líneade partida con la cual se puede evaluar el progresofuturo, y se podrían realizar modificaciones al sistemasegún surgieran nuevas oportunidades oaparecieran contratiempos y barreras.El proceso de conducir un diagnóstico ofrece unmedio para que los funcionarios de alto nivel enlos ministerios clave, centrales o sectoriales, participenjunto con los donantes en establecer losfines, usos y diseño del sistema o sistemas deSyE del gobierno. Los diagnósticos pueden brindarsorprendentes resultados acerca de la multiplicidadde sistemas descoordinados o duplicados.Tales resultados pueden ayudar a promover unconsenso sobre un plan de acción para fortalecerel sistema.Sin embargo, no es fácil llegar a un consensosobre las funciones y responsabilidades dentro deun sistema de SyE para todo el gobierno. Los ministeriosy dependencias sectoriales pueden preferirno estar sujetos a requerimientos formalesdel SyE, definidos de manera centralizada, o lospropios ministerios centrales pueden disputarseel control de un nuevo o rejuvenecido sistema deSyE. 4 Un enfoque de mayor colaboración y demenor confrontación puede ayudar a reducirestas diferencias.Un diagnóstico debe incluir un balance objetivoy opiniones prudentes sobre la presencia o ausenciade varios factores de éxito para crear un sistemade SyE, como un promotor influyente ycomprometido con el SyE. Un diagnóstico rápidopuede ofrecer una perspectiva general sobre unaserie de temas clave, pero no se puede esperar quesea completo ni equilibrado. Un diagnóstico detalladoy a fondo incluiría estudios más completosen áreas específicas que se consideranimportantes para el país, como la calidad de lossistemas de información o una investigación detalladadel alcance real del uso de la informacióndel SyE.La mayoría de los diagnósticos no son muy rápidosni demoran mucho en realizarse, ni tampocoson muy profundos; generalmente se ubican entreestos dos extremos. No obstante, un diagnósticosólido requiere mucho cuidado; es sumamente importantecontar con la experiencia y buen criteriode aquellos que preparan el diagnóstico.74

13Preparación de planesde acciónUn tema central de este libro es que no existe un modelo consideradocomo el “mejor” para un sistema de SyE gubernamental o sectorial.Todos los países difieren considerablemente en el énfasis que cada unootorga a los propósitos de un sistema de SyE –por ejemplo, apoyar la tomade decisiones sobre el presupuesto o la administración de las actividades encurso o la rendición de cuentas.Cada país es único en términos de sus actividades,funciones y sistemas de SyE, y en términos de sucultura y del ambiente de su sector público. Portanto, un plan para crear o fortalecer un sistemade SyE gubernamental debe adaptarse a las circunstanciaspropias del país. Por ello resulta importantellevar a cabo un diagnóstico de lasfortalezas y desafíos del SyE de un país, como basepara desarrollar un plan de acción (Capítulo 12).Visión del sistema a futuroLo ideal es que un diagnóstico conduzca a unaclara definición de lo que debería ser el sistemade SyE en el futuro. Las dimensiones del sistema–su diseño– deberían incluir especialmente los siguienteselementos:1. Cuál de los cuatro usos posibles de la informacióndel SyE será el objetivo del sistema, reconociendolas compensaciones entre ellos:apoyar la toma de decisiones presupuestariaso la planeación nacional; ayudar a los ministeriosen la formulación y análisis de políticasy en el desarrollo de programas; apoyar a losministerios y dependencias en el manejo de susactividades; y fortalecer las relaciones de rendiciónde cuentas (Capítulo 3).2. Las funciones y responsabilidades formales delas partes clave interesadas del sistema de SyE–aquellos que deben generar la información delseguimiento y la evaluación y hacer uso deella. Es importante ubicar la responsabilidad dela administración o supervisión en un ministeriopoderoso, comité u otra entidad.3. Determinar si se desarrollará un sistema paratodo el gobierno, que abarque a todos los ministerioscentrales, sectoriales y dependencias,o si el sistema se va a enfocar de forma máslimitada hacia sectores o dependencias individuales.Algunos gobiernos desarrollan unsistema de SyE sólo para operaciones financiadaspor donantes en sus países. 14. Los niveles del gobierno en los que el sistemade SyE será desarrollado: central, estatal, provincialo local.75

IV:CÓMO FORTALECER UN SISTEMA DE SyE GUBERNAMENTAL5. La variedad de instrumentos del SyE en que elsistema se concentrará: indicadores de desempeño,evaluaciones rápidas, evaluacionesde impacto rigurosas, etcétera. Es posible crearun sistema de seguimiento de desempeñoconfiable sin conducir ninguna evaluación; sinembargo, la conducción de evaluaciones requiereinformación de desempeño útil, ya seade un sistema de seguimiento o de estudios especialeso de ambos.Temas de implementaciónUna vez que ha sido formulada la visión del sistemade SyE en operación, es posible desarrollarun plan de acción para lograrlo. Este plan debeconsiderar las enseñanzas internacionales sobrela creación de sistemas de SyE para un país (Capítulo10). De hecho, no tendría sentido desarrollarun plan de acción a menos que exista unademanda significativa de SyE dentro del gobierno.Un plan de acción también puede diseñarse parareforzar la demanda, por ejemplo, garantizandoque todas las partes clave interesadas tengan unafunción importante en la planeación o administracióndel sistema de SyE, como puede ser mediantesu participación en un comité desupervisión o de planeación. Puede existir la necesidadde crear incentivos específicos para elfortalecimiento de la demanda adicional; estos incentivospodrían incluir una combinación de premios,castigos y consejos (Capítulo 11). En otraspalabras, sería un error crear un plan de acciónenfocado solamente en temas tecnocráticos o deoferta.El fortalecimiento de un sistema de SyE existenteo el crear uno completamente nuevo puede tenerdiferentes enfoques. Los temas de implementaciónque se deben abordar en un plan de acciónson los siguientes:• Hasta qué punto el enfoque se dirige al fortalecimientodel existente: mejorar los sistemasde información de gestión financiera (rastrearasignaciones presupuestarias y gastos reales)o mejorar los sistemas de seguimiento de losministerios, especialmente datos administrativossobre las actividades del gobierno, beneficiariosy productos (cabe notar que, engeneral, estos datos son recopilados en lasmismas dependencias).• Si los nuevos enfoques se van a sondear, conla idea de su posterior implementación si alcanzanel éxito, lo cual podría incluir, por ejemplo,la implementación de nuevos requisitosformales para el SyE en ministerios o dependenciasprueba con un fuerte compromisopara llevar a cabo y utilizar el SyE, y donde yase cuenta con registros de éxito. Estas pruebasexperimentales pueden desarrollarse en otrosniveles, por ejemplo, en algunos estados omunicipalidades en particular. Pruebas experimentalespara evaluaciones rápidas o evaluacionesde impacto rigurosas se puedenprever para instrumentos de evaluación específicos,si la experiencia del país con ellos esmuy poca o nula.• Cuándo y qué tan rápido debe establecerse. Porejemplo, en Chile, ciertos instrumentos de SyEse establecieron de manera secuencial: los indicadoresde desempeño en 1994; las revisionesrápidas en 1996; las evaluaciones de impactorigurosas en 2001; y las revisiones exhaustivasdel gasto en 2002 (Capítulo 6). México estáplaneando establecer su nuevo sistema de SyEpara todo el gobierno en un período de tresaños (2007–2009) (Hernández, 2007).La rapidez de implementación de un plan de acciónes claramente muy importante. Éste es untema de “asimilación” –cuánto cambio o reformadeL SyE pueden absorber los ministerios y dependencias,y cuán rápido. Hemos aprendido,de países que han tenido éxito en crear sistemasde SyE, que se trata de un largo y tedioso proceso,que requiere mucha paciencia y tenacidad (Capítulo10); los promotores deL SyE en el gobierno,por el contrario, tienden a ser impacientescuando realizan reformas en sus sistemas de SyE.Otra enseñanza es institucionalizar un sistemade SyE tan rápido como sea posible, antes deque los promotores se retiren.Según se subrayó en el capítulo 10, es muy útil darseguimiento y evaluar de manera regular el sistemade SyE en sí, para identificar con qué éxito seestán implementando sus diversos componen-76

13: PREPARACIÓN DE PLANES DE ACCIÓNtes. Esto ofrece una base sólida para cualquier cambionecesario en la naturaleza, tamaño y tiempode implementación del plan de acción, y obviamentees importante si se ha adoptado un enfoqueexperimental.Los planes de acción pueden enfocarse en algunaso todas las siguientes partes interesadas: ministeriosy funcionarios del gobierno, tales comoministerios y dependencias sectoriales; gobiernossubnacionales, en los estados, provincias o distritos;el Parlamento o Congreso, incluidos losrepresentantes elegidos, comités y sus colaboradores;y grupos de la sociedad civil como universidades,institutos de investigación y ONG.Las acciones adoptadas más comúnmente puedenincluir, por ejemplo, ofrecimiento de capacitaciónen el SyE, promulgación de leyes, decretosy regulaciones que sean necesarios; preparaciónde lineamientos y parámetros del SyE, fortalecimientoy armonización de los sistemas de seguimiento,y conducción de diversos tipos deevaluaciones, como revisiones rápidas y evaluacionesde impacto rigurosas.CompensacionesCuando se desarrolla un plan de acción, se debetener en cuenta una serie de temas, entre ellos elde las compensaciones. Uno de ellos es que unsistema de SyE para todo el gobierno, que es administradopor el ministerio de hacienda confines de elaboración de presupuesto por resultados,debería garantizar cobertura amplia de todoslos programas. Una forma de lograr la total amplitudde la cobertura es confiar en los indicadoresde desempeño; pero su desventaja es quegeneralmente proporcionan muy poca informaciónsobre las razones por las que se lograron losresultados o no –en otras palabras, las causas deun buen o mal desempeño.Las revisiones rápidas pueden ofrecer algunas reflexionessobre las causas, y como éstas resultanmenos costosas que otros métodos de evaluación,también pueden ofrecer una cobertura másamplia de los programas del gobierno. Los hallazgosde evaluación más confiables son los queprovienen de una evaluación de impacto rigurosa,aunque estas evaluaciones pueden ser muycostosas, por eso es difícil que un ministerio dehacienda las use para evaluar una amplia gama deprogramas (Capítulo 2). Por lo general, hay unasuerte de compensación al tener que escogerentre los instrumentos de SyE y los usos que sepretende dar a la información del SyE.Otra compensación ocurre entre el que encargalas evaluaciones y el que debe utilizarlas. El Ministeriode Hacienda de Chile encarga una seriede evaluaciones y las utiliza de manera efectivapara sus propios fines; pero los ministerios sectorialesy las dependencias ponen mucha resistenciapara utilizarlas para sus propios finesinternos –las entidades no son “dueñas” de los resultadosde las evaluaciones (Capítulo 6). Seríamuy difícil que un sistema de SyE impuesto porun ministerio central fuera aceptado por los ministeriossectoriales.El Departamento de Finanzas de Australia trató deabordar este tema dejando a los ministerios sectorialesla principal responsabilidad de planificary conducir las evaluaciones –esto aseguró queellos tuvieran un alto sentido de “propiedad”sobre los hallazgos de las evaluaciones (Capítulo8). Sin embargo, esta propiedad tuvo su precio:prácticamente un tercio de las evaluaciones sufrieronalgún tipo de debilidad metodológica. 2Ello pone en evidencia otro tipo de compensación:las evaluaciones conducidas internamente puedentener una alta propiedad, pero aquellas que seconducen externamente tal vez sean más rigurosasy objetivas.En la figura 13.1 se presenta una cadena de resultadossimple para crear un sistema de SyE.Este cuadro ofrece una representación simplificadade cómo un plan de acción puede desencadenarvarios tipos de productos, como elnúmero de funcionarios capacitados en el SyE, elnúmero de evaluaciones conducidas, etcétera.Se espera que estos productos, a su vez, conduzcana efectos directos intermedios, como la demandafortalecida del SyE del gobierno, y a efectosdirectos finales, incluida la utilización de la informacióndel seguimiento y de los hallazgos deevaluación por parte del gobierno y otras entidades.Se espera que estos efectos directos77

IV:CÓMO FORTALECER UN SISTEMA DE SyE GUBERNAMENTALFigura 13.1 Cadena de resultados para la creación de un sistema de SyE gubernamentalMejoras en la prestación de servicios, crecimiento económico y reducción de la pobrezaMejoras en la efectividad del desarrolloMejoras en el desempeño del gobiernoImpacto➩El SyE se usa para la toma de decisiones del gobierno en temas de política, planes y asignación de los recursos delpresupuesto; implementación y administración de las actividades del gobierno; seguimiento de actividades,contabilidad de gastos, evaluación de programas y proyectos; análisis de gobierno y revisión de políticas;rendición de cuentas del gobierno.La información del SyE apoyadirectamente la toma dedecisiones del presupuesto,planeación nacional yformulación de políticas.➔Gobierno Congreso Sociedad civilLa información del SyE apoyadirectamente la gestión delas actividades en cursodel gobierno.El Parlamento evalúay debate eldesempeño delgobierno.La sociedad civil evalúa eldesempeño del gobiernoy libremente hace aportesa los debates políticos.Efectosdirectosfinales➔➩➩El marco o sistema formal del SyE lo establece el gobierno guiándolo hacia la planeación, conducción e informaciónsistemáticos y la utilización de la información del seguimiento y de los hallazgos de la evaluación.Refuerzo de lademanda delSyE en elgobierno.Refuerzo de laoferta del SyE ysus técnicas enel gobierno.➔Refuerzo desistemas de SyEgubernamentales.Refuerzo de la demandadel SyE en el Congreso;refuerzo de las aptitudesde SyE de loscongresistas.Refuerzo de la demandadel SyE en la sociedadcivil; refuerzo de la ofertadel SyE y sus técnicas enla sociedad civil.EfectosdirectosintermediosEl plan de acción lleva a la generación de una gama de productos, como el número de funcionarios capacitados enel SyE, sistema de datos armonizados, mejoras en la calidad y enfoque de los indicadores de seguimiento disponibles,mejoras en la calidad y tipos de evaluaciones completadas, refuerzo de los incentivos para los ministerios a finde que realicen y usen el SyE.Productos➔➔El gobierno y los donantes llevan a cabo un paquete de actividades para fortalecer las funciones del SyE de los países,como seminarios nacionales en sistemas de SyE; diagnósticos de las funciones del SyE nacionales y sectoriales;auditorías de los sistemas de datos; suministro de entrenamiento en el SyE –incluida la capacitación paraentrenadores– o becas para funcionarios, ONG, universidades e institutos de investigación, de congresistas; variostipos de evaluaciones experimentales o demostrativas se llevan a cabo.Actividades78

13: PREPARACIÓN DE PLANES DE ACCIÓNayuden a alcanzar los impactos finales, como el desempeñomejorado del gobierno, mejor desarrollode la eficacia, prestación de serviciosmejorada y reducción de la pobreza.Lista de acciones para mejorar el SyEEl cuadro 13.1 presenta una lista de posibles accionespara mejorar la oferta y la demanda del SyE.Ésta no es una lista minuciosa, por el contrario,ilustra la amplitud y naturaleza de las acciones quepueden utilizarse para crear o fortalecer sistemasde seguimiento y evaluación. En el recuadro 9.2,se puede apreciar un ejemplo de plan de acción,que proviene directamente de un diagnóstico deSyE en un país: Uganda.Otro ejemplo es el proyecto del Banco Mundial desarrolladopara ayudar al gobierno de Colombia afortalecer su sistema nacional de SyE, SINERGIA(Capítulo 7 y anexo B). Este proyecto de 14 millonesde dólares tiene cuatro funciones: 1) apoyarun mejor seguimiento del gasto del gobiernoen los niveles regional y local; 2) consolidar la institucionalizaciónde SINERGIA dentro del gobierno;3) apoyar el desarrollo de sistemas de SyEregionales y locales, en parte mediante un enfoqueexperimental; y 4) establecer mecanismospara mejorar la calidad, la importancia y la eficaciaen función de los costos de la información pública.Este proyecto se basa en el diagnóstico deSINERGIA realizado por el Banco (Anexo B). Esteproyecto también incluye numerosos diagnósticosplaneados de temas más detallados y específicos:• Una revisión de los acuerdos institucionalesexistentes, en especial, determinar hasta quépunto la información del SyE de SINERGIA seha utilizado para apoyar la planeación nacionaly la toma de decisiones del presupuesto. Estarevisión recomendó incrementar el nivel de usode la información del SyE por parte delgobierno.• Una revisión de estructuras del SyE, acuerdosinstitucionales y competencias en dos ministerioscentrales. Esto ayudará a establecer losparámetros de calidad del SyE que todos los ministeriosy dependencias requerirán.• Una evaluación de las capacidades del SyE dela unidad del DNP que administra a SINERGIAy proporciona asistencia técnica a otros ministeriosy dependencias.• Una revisión de las leyes, decretos y regulacionesexistentes relacionadas con el SyE.• Una revisión del costo, calidad y eficacia en funciónde los costos de los diversos instrumentosy técnicas de evaluación que se usan en laactualidad en el sistema SINERGIA.• Un diagnóstico de las competencias necesariaspara establecer un presupuesto por resultados.• Un diagnóstico de la calidad y utilización de lainformación de desempeño y de los sistemasde información en dos municipios prueba.• Una evaluación de los mecanismos de rendiciónde cuentas locales en algunos municipiosque han demostrado buenas prácticas.• Una evaluación de la metodología que el DNPutiliza en la actualidad para evaluar el desempeñode 1.100 municipios de Colombia.• Una revisión de la calidad de los datos y del alcancede la armonización de los datos entre losprincipales sistemas de seguimiento del gobiernocentral de Colombia.• Una evaluación de la calidad, importancia yutilización del sistema principal del DNP paradar seguimiento al desempeño del gobierno.ConclusionesUna estrategia útil para crear un sistema de SyE gubernamentales comenzar por un diagnóstico de lasactividades del SyE en curso dentro del gobierno.Al mismo tiempo, se debe desarrollar una visión decómo debería ser un sistema de SyE que funcionebien. Estas pautas básicas conducen naturalmenteal desarrollo de un plan de acción que incluye unenfoque progresivo hacia su implementación.En este momento debería estar bastante claroque no tendría sentido aplicar un enfoque normalizadoo un enfoque “de molde” para desarrollarun sistema de SyE gubernamental. El plande acción para crearlo necesita ser cuidadosamenteadaptado a las circunstancias individualesde cada país y a la visión particular del gobiernosobre el futuro sistema. Esta visión puede abarcarlos usos específicos que se pretende dar a lainformación de seguimiento y a los hallazgos de—texto continúa en página 83—79

IV:CÓMO FORTALECER UN SISTEMA DE SyE GUBERNAMENTALCuadro 13.1 Acciones posibles para fortalecer los sistemas de SyE en los niveles nacional y sectorialReforzar la demanda del SyE delgobiernoReforzar la oferta y desarrollarcapacidades del SyE en elgobierno Reforzar los sistemas de SyEReforzar la demanda del SyE de lasociedad civil y del CongresoOfrecer premios, castigos y consejospara reforzar la demanda (Cuadro11.1).Los donantes recomiendan el SyE yse concentran en los resultados.Difunden ejemplos de evaluacionesinfluyentes.Los donantes recomiendan el SyE yse concentran en los resultados. Difundenejemplos de evaluacionesinfluyentes.Los donantes conservan y difunden laexperiencia de otros países consistemas de SyE.Los donantes conservan y difundenla experiencia de otros países consistemas de SyE.Los donantes conservan y difundenla experiencia de otros países consistemas de SyE.Organizar seminarios nacionales deconceptualización sobre las opcionesde los sistemas de SyEgubernamentales.Coordinar y armonizar el SyE de lospaíses donantes.Organizar seminarios nacionales deconceptualización sobre las opcionesde los sistemas de SyE gubernamentales.Organizar seminarios sobre loshallazgos de evaluación de donantes(por ejemplo, del Banco Mundial) quesean importantes para el país–demostrar la utilidad de laevaluación.Organizar seminarios sobre los hallazgosde evaluación de donantes(por ejemplo, del Banco Mundial)que sean importantes para el país–demostrar la utilidad de la evaluación.Organizar seminarios regionalessobre los sistemas de SyEgubernamentales.Fomentar redes regionales de administradoresy practicantes del SyE–una comunidad de usuarios.Incentivar la estrecha coordinacióncon la labor de otros donantes parafortalecer los sistemas de SyE centralesy sectoriales del gobierno.Efectuar diagnósticos nacional ysectorial de las funciones del SyE–resaltar problemas y oportunidades.Llevar a cabo auditorías de informaciónnacional y sectorial. Realizardiagnósticos de organizaciones queofrecen capacitación en el SyE.Efectuar diagnósticos nacional ysectorial de las funciones del SyE–demanda, oferta, sistemas y opcionespara los planes de acción.Efectuar diagnósticos nacional ysectorial de las funciones del SyE–resaltar problemas y oportunidades.Reforzar la oferta y el desarrollode competencias del SyE en lasociedad civil y en los congresistasRealizar diagnósticos de organizacionesque ofrecen capacitación en elSyE.80

13: PREPARACIÓN DE PLANES DE ACCIÓNIncorporar el SyE como componentede la administración del sectorpúblico y del gasto público deldonante y del gobierno.Identificar y apoyar a los promotoresdel SyE. Promover la colaboraciónentre las partes clave interesadas delgobierno en el sistema de SyE–especialmente en la planeación ysupervisión del sistema.Esforzarse por exigir el SyE mediantedecisiones, decretos, reglamentos yleyes del gobierno.Incorporar el SyE como componentede la administración del sector públicoy del gasto público relacionados,por ejemplo, en presupuestopor resultados; gestión basada enresultados y planeación estratégica;enfoques sectoriales; programas dereformas sectoriales; prestación deservicios; gestión financiera y rendiciónde cuentas, que incluyan sistemasde información de gestiónfinanciera; creación de capacidaddel sistema estadístico (oficinas deestadística, sistemas de informaciónde gestión de ministerios, producciónde estadísticas, comoestudios sobre prestación de servicios);creación de capacidad de laoficina nacional de auditoría; descentralizacióndel gobierno.Comunicar parámetros y métodosde evaluación.Ofrecer capacitación a funcionariosnacionales, estatales y municipalesen los instrumentos, métodos y técnicasdel SyE.Los donantes otorgan préstamospara apoyar a los sistemas de SyE.Aunar esfuerzos para fortalecer lossistemas de SyE con otras reformasdel gobierno relacionadas con eldesempeño.Fomentar una mayor coordinacióninterna del SyE gubernamental, incluidala relación entre el SyE, presupuesto,planeación y ministerio, ysistemas de información de gestión.Esforzarse por exigir el SyE mediantedecisiones, decretos, reglamentosy leyes del gobierno.Desarrollar directrices y manualesdel SyE.Realizar estudios de prestación deservicios acerca de la satisfaccióndel cliente y percepciones de la calidadde los estudios del gobierno,y publicitar los resultados ampliamente(por ejemplo, la CRC).Esforzarse por exigir el SyE mediantedecisiones, decretos, reglamentosy leyes del gobierno.Promulgar leyes sobre libertad deinformación.Alentar a los medios de comunicacióna informar sobre el desempeñodel gobierno.Comunicar parámetros y métodos deevaluación. Apoyar a institutos de investigación,universidades, ONG paraevaluar y revisar el desempeño delgobierno –por ejemplo, las CRC, losanálisis de presupuesto.Capacitar a los parlamentarios y a supersonal en el análisis del desempeñodel gobierno.Ofrecer capacitación a catedráticosuniversitarios, funcionarios de ONG,entre otros, en los instrumentos, métodosy técnicas del SyE.(Continúa en la siguiente página)81

IV:CÓMO FORTALECER UN SISTEMA DE SyE GUBERNAMENTALCuadro 13.1 Acciones posibles para fortalecer los sistemas de SyE en los niveles nacional y sectorial (continuación)Reforzar la demanda del SyE delgobiernoReforzar la oferta y desarrollarcapacidades del SyE en elgobierno Reforzar los sistemas de SyEReforzar la demanda del SyE de lasociedad civil y del CongresoReforzar la oferta y el desarrollode competencias del SyE en lasociedad civil y en los congresistasOfrecer entrenamiento en el SyE acapacitadores y dar apoyo a universidadesque forman a profesionalesdel sector público, por ejemplo, medianteacuerdos con las contrapartesde países desarrollados.Ofrecer entrenamiento en el SyE acapacitadores y dar apoyo a universidadese institutos de investigación,por ejemplo, mediante acuerdosentre contrapartes.Revisar los indicadores de desempeñode los ministerios. Reforzarlos sistemas de información de gestiónde los ministerios. Apoyar lasencuestas sobre prestación de servicios.Crear un fondo para evaluaciones.Crear unidades de personal del SyE,de estadísticas y de análisis de política.Crear un fondo para evaluaciones–permitir el acceso de la sociedadcivil.Crear un fondo para evaluaciones–permitir el acceso de la sociedadcivil.Promover que los donantes financienimportantes revisiones yevaluaciones de impacto –parademostrar su factibilidad y utilidad.Los donantes financian evaluacionesy revisiones importantes –sobreel fundamento de un bien público.Apoyar la intervención de la comunidaden las evaluaciones participativasde la pobreza, etcétera.Los donantes subcontratan a universidadeso institutos de investigaciónpara realizar evaluaciones y revisiones.Permitir que el donante dependa dela experiencia nacional en el SyEcuando realizan evaluaciones.Permitir que el donante dependadel gobierno para emprender el SyEde proyectos y programas financiadospor los donantes.Alentar a la sociedad civil y al congresoa examinar los informes delgobierno.Apoyar el desarrollo de redes deevaluación de los gobiernos y asociacionesnacionales de evaluación.Apoyar el desarrollo de asociacionesnacionales de evaluación.Buscar apoyo del donante pararealizar evaluaciones conjuntas conlos gobiernos y dirigidas por lospaíses.Los donantes respaldan evaluacionesconjuntas con los gobiernos ylas dirigidas por los países.Nota: Se puede determinar si las acciones en estas cinco columnas son similares o se relacionan entre sí observando cada una de las filas. CRC = Tarjeta de Informes Ciudadanos; ONG = Organización No Gubernamental.82

13: PREPARACIÓN DE PLANES DE ACCIÓNevaluación, ya sea en un sistema para todo el gobiernoo en un ministerio o dependencia deforma individual; los niveles de gobierno en quese aplicará; la diversidad de instrumentos del SyEque serán adoptados, etcétera.Existen varias dimensiones posibles para un sistemade SyE y también varias compensaciones quedeberían considerarse con mucha atención. Unplan de acción para crear un sistema de SyE notiene que ser muy complejo, aunque siempreexiste el peligro de que el sistema deseado sea demasiadosofisticado y, por consiguiente, muchomás difícil de lograr, y es aquí donde se aplica perfectamentela idea de que “menos es mejor”.Otro peligro es que se estime que un sistemapueda crearse a una velocidad mucho mayor dela que realmente pueda ser.Un plan de acción concreto proporciona un enfoquesobre las partes clave interesadas del gobiernoy los donantes. Asimismo, ofrece un patrónde base con el cual se puede comparar y evaluarel progreso real hacia el sistema de SyE previsto–mediante un SyE regular tanto del sistema comodel plan de acción. Esto no solamente facilitará laidentificación de nuevas oportunidades, sino quehará posible la oportuna identificación de cualquierdificultad en implementación y su solución.La aparición de contratiempos y oportunidadesexplica la experiencia de muchos países: debidoa estos retos, los sistemas de SyE gubernamentalesgeneralmente no se desarrollan en forma lineal,ni de una manera predecible (Capítulo 10).La comunidad internacional todavía continúa acumulandoexperiencia acerca de las mejores formasde fortalecer los sistemas de SyE gubernamentales–qué enfoques y qué sistemas son más efectivosen determinados países, es decir, en paísescon ingreso medio o en países pobres con muypocas capacidades. Esto subraya la importancia decontinuar creando un cúmulo de evidencias en relacióncon la mejor manera de institucionalizar unsistema de SyE. Éstos y otros temas relevantes sonconsiderados en la Parte V.83

PARTE VTemas pendientesEn la Parte V se abordan algunos temas pendientes. Son otros temassobre los cuales la experiencia internacional no resulta bien comprendidao no está bien documentada. Éstos son temas relevantes yde vanguardia –que resultan importantes para la institucionalización del SyE,pero que en la actualidad no se tiene mucho conocimiento al respecto (Capítulo14). Estos temas se refieren, entre otras cosas, a la eficacia en funciónde los costos de los enfoques alternativos para reforzar los sistemas de SyEgubernamentales; hasta dónde conviene extender el proceso de evaluación;modelos de las prácticas recomendadas del SyE en los niveles sectorial y subnacional;y maneras de fomentar la participación de la sociedad civil en el seguimientoy la evaluación del desempeño del gobierno. Mucho de estostemas mencionados, si es que realmente no todos, ameritan un estudio másdetallado.

14Temas de relevancia yvanguardiaEl conocimiento de la creación de sistemas de seguimiento y evaluacióngubernamentales está en marcha. Se ha acumulado y analizado muchaexperiencia en los países miembros de la OCDE (Capítulo 3), y la literaturasobre la experiencia de los países en desarrollo ha comenzado a crecerparticularmente durante los últimos 10 años.Sin embargo, existen muchos temas que no hansido bien entendidos o que no están bien documentados(Recuadro 14.1). De éstos, aquí se tratannueve. La mayoría, por no decir todos,requiere investigación adicional, más profunda,mediante un programa de investigación a largoplazo.Enfoques de eficacia en función de loscostosSegún se señaló en el capítulo 13, un tema importantees identificar qué enfoques son másefectivos para el fortalecimiento de los sistemasde SyE gubernamentales, y en quétipo de países. Se ha presentado una larga listade diversos tipos de acciones en esta obra, perola eficacia relativa en función de los costos decada uno de ellos aún se desconoce. Un parámetrolo proporciona el criterio de evaluación que puedeaplicarse a cualquier tipo de esfuerzo para crearcapacidad, por ejemplo, su eficiencia, eficacia,sostenibilidad, etcétera. 1Los donantes se están volviendo cada vez más activosayudando a los gobiernos a fortalecer sus sistemasde SyE, y se espera que, en los próximosaños, muchos de ellos realicen un número considerablede evaluaciones de los proyectos decreación de capacidad. Hasta el momento, lamayor parte del apoyo de los donantes otorgadomediante préstamos ha formado parte de un granesfuerzo de reforma; por eso cuando los proyectosse evalúan, se presta muy poca atención atemas como la eficacia en función de los costosde las acciones individuales –como las que se encuentranen el cuadro 13.1.El GEI, que ha tenido un programa de creación decapacidad del SyE durante más de 20 años, llevóa cabo una autoevaluación de su labor (GEI, 2004a)la cual se presenta en el anexo D. Se necesitan másevaluaciones de los esfuerzos del gobierno y de losdonantes para crear sistemas de SyE a fin de profundizarnuestra comprensión de lo que realmentefunciona en determinada situación. ElBanco Mundial actualmente está preparando suprimer proyecto dedicado únicamente a fortalecerun sistema de SyE gubernamental, el de Colombia.El seguimiento y evaluación futuros de estepréstamo deberá ofrecer enseñanzas invaluables.87

V: TEMAS PENDIENTESRecuadro 14.1 Fortalecimiento desistemas de SyE gubernamentales —Algunos temas relevantes y de vanguardia• Eficacia en función de los costos de enfoques alternativospara crear o fortalecer sistemas deSyE gubernamentales.• Ejemplos de países que han tratado de fortalecersus sistemas de SyE, pero no lo han logrado.• Eficacia en función de los costos de diversostipos de sistemas de SyE.• ¿Cuánta evaluación será conveniente?• Sistemas sectoriales de SyE.• Sistemas subnacionales de SyE.• Armonización entre donantes y alineamiento delpaís.• Participación de la sociedad civil en el seguimientoy evaluación del desempeño del gobierno.• Parámetros formales de prácticas recomendablesde sistemas de SyE.Las abundantes publicaciones sobre sistemas deSyE se centran, en su mayoría, en países con buenasprácticas o prácticas prometedoras (Capítulo5). Esto es comprensible por lo menos por dosrazones. Primero, los donantes que trabajan eneste tema y los gobiernos interesados en fortalecersus sistemas de SyE desean reproducir eléxito; por tanto, quieren comprender las accionesclave de creación de capacidad y resaltar los factoresde éxito. Segundo, los donantes que preconizanlos sistemas de SyE como un mediodeseable para conseguir una buena gobernabilidaddeben identificar ejemplos verosímiles desistemas de SyE que funcionan bien.Lo que hace falta en este enfoque son ejemplosde países que trataron de fortalecer sus sistemasde SyE pero no lo lograron. Como evaluadoressabemos que se aprende del fracaso tantocomo del éxito, pero existen muy pocos ejemplosdocumentados. 2 Una vez que se realicen más evaluacionesde la labor de los donantes en la creaciónde capacidad en esta área será importante concentrarseespecíficamente en los “fracasos”.Otra interrogante interesante es acerca de quétipos de sistemas de SyE son los más eficacesen función de los costos –cada uno con suobjetivo específico, ya sea para el presupuesto porresultados o para una mejor gestión del programa.El parámetro lo da el grado de utilizaciónde la información del SyE de diversas maneras yel valor de dicho uso –un argumento que se hamanejado de manera consistente en este libro, esque la utilización de la información es parámetrode la medida del éxito alcanzado por un sistemade SyE. Un buen ejemplo es el de Chile: su sistemade SyE le cuesta al gobierno cerca de $0,75 millonesanuales y el Ministerio de Hacienda utilizaintensivamente la información que este sistemagenera para tomar decisiones presupuestaria ypara imponer mejoras en la gestión de ministeriossectoriales y otras dependencias gubernamentales(Capítulo 6).El valor de la información de SyE es una incógnitainteresante, pero quizá no sea posible ofreceruna respuesta clara; mucho depende de las circunstanciasy del nivel de la demanda (o compromiso)de cada gobierno. Es probable quealgunos tipos de sistemas de SyE –por ejemplo,los que dependen de una agenda de evaluacionesdel impacto rigurosas– puedan ser demasiadoexigentes y costosas para los gobiernos más pobres.Sin embargo, en una situación así, sería factibledepender de donantes que financien yadministren dichas evaluaciones.En relación con este tema, podemos preguntamoscuánta evaluación es conveniente. ¿Cuántoestarían dispuestos a gastar anualmente los gobiernosen sus sistemas de SyE, una vez creados?Las publicaciones sobre evaluación mencionanmuy de vez en cuando este tema, pero en algúnmomento se sugirió que sería apropiado gastaren evaluación alrededor de 1% del gasto total dela entidad. Sin embargo, este cálculo no tiene ningunabase lógica ni empírica, pero a pesar de ello,el tema sigue siendo importante. El presupuestoanual del gobierno de Chile es de aproximadamente$20 mil millones y el Ministerio de Haciendagasta solamente $ 0,75 millones al año en el sistemade SyE. ¿Es esto suficiente o es demasiado?El MdH de Chile financia menos de 20 evaluacionesal año. En comparación, Australia, a me-88

14: TEMAS DE RELEVANCIA Y VANGUARDIAdiados de la década de 1990, en determinadomomento, estaba realizando unas 160 grandesevaluaciones (Capítulo 8). Así como en Chile, lasevaluaciones de Australia se usaron intensivamenteen el proceso presupuestario. Entonces,¿qué país produjo un número óptimo de evaluaciones?Ésta no es una pregunta fácil de responder.El enfoque mesurado del Ministerio deHacienda de Chile parecería dar a entender quenunca financiaría una serie de evaluaciones de impactocostosas similares a las evaluaciones delprograma Progresa de México (vistas en el capítulo6). Aun así, el gobierno de Chile utiliza intensamentela información del SyE y considera quesu sistema es altamente eficaz en función de loscostos; los rendimientos que ha obtenido de suinversión en el SyE son altamente positivos. Portanto, ¿debería gastar más –y hasta podría decirseque mucho más– en su sistema de SyE?Si se acepta que la utilización de la informacióndel SyE representa la base del éxito de un sistema,entonces esto sugiere una simple regla de decisiónde cuánto gastar en el SyE: continuar gastandoen el sistema de SyE si los beneficios deutilizar la información del SyE se consideran altos;y si los beneficios potenciales de un incrementopropuesto en el gasto en el SyE también se consideranaltos, entonces se puede gastar ese montoadicional –ya sea utilizando los fondos del presupuestodel gobierno o los préstamos de losdonantes. Esto hace que recaiga sobre los que administranel sistema de SyE la responsabilidad dedemostrar fehacientemente que la información delSyE es de hecho muy utilizada y que el sistema eseficaz en función de su costo.De nuevo, se resalta aquí el valor de realizar el SyEdel propio sistema en forma regular. En las situacionesen que la información del SyE no se usamucho, resulta obvia la necesidad de analizar lasrazones. Si se perciben problemas con la confiabilidadde la información del SyE, entonces seránecesario gastar más dinero para mejorarla. Si elproblema radica en la baja demanda del gobierno,aun cuando la información sea confiable, se debentomar algunas medidas para reforzar la demanda.Si estas medidas no funcionan y no se logra incrementarla demanda, entonces se puede decirque el sistema de SyE necesita ser recortado o inclusohasta ser suprimido.La mayor parte del análisis presentado en este librose centra en sistemas nacionales de SyE para todoel gobierno. Esto normalmente pertenece al ámbitode los ministerios de hacienda o de planeacióno a la oficina del presidente. Por el lado deldonante, el personal que trabaja en estos asuntosgeneralmente está conformado por expertos enadministración del sector público o en administracióndel gasto público cuya labor se relacionaen gran parte con los temas sistémicos de buenagobernabilidad; este equipo de personal tambiéntiende, por lo regular, a enfocarse en los ministerioscentrales de un gobierno.Sistemas sectorialesOtro tema de relevancia se refiere a los sistemassectoriales de SyE, como ocurre a menudoen los ministerios de salud y de educación. Generalmente,el personal del donante que trabajaen estos proyectos está conformado por especialistassectoriales. Los sistemas nacionales y sectorialesestán claramente relacionados; de hecho,un sistema nacional casi siempre depende de sistemassectoriales para conseguir mucha de la informacióndel seguimiento que necesita. Estainformación puede provenir de los registros administrativoso quizás de evaluaciones especialeso de censos realizados por las entidades del sectoro por las oficinas nacionales de estadística.Los sistemas sectoriales de SyE son de por sí muyimportantes, pero también lo son debido a lafunción que cumplen en el entorno nacional.Con todo, la bibliografía sobre los sistemas deSyE gubernamentales y la que comprende temasrelacionados con los sistemas estadísticos de losgobiernos, 3 parecen concentrarse ampliamente enlos sistemas nacionales. Este vacío necesita llenarse.Hay algunos ministerios sectoriales y organismosen los países en desarrollo que al parecertienen sistemas de SyE de buen desempeño, especialmenteen los sectores de salud, de educacióny de bienestar social. Sin embargo, no seconoce mucho acerca de estas posibles islas debuenas prácticas, los factores que las hicieronposible o de su sostenibilidad.89

V: TEMAS PENDIENTESPor fortuna, existen por lo menos algunos ejemplosdocumentados de trabajos de alta calidad enlos sistemas sectoriales de SyE que, de por sí,merecen mucha atención. Un ejemplo es la Redde la Métrica en Salud (HMN), una asociaciónmundial que cuenta con el apoyo de la OrganizaciónMundial de la Salud, y que promueve el desarrollode los sistemas de información del sectorsalud. 4 La Red ha preparado un instrumento dediagnóstico detallado para evaluar el desempeñode los sistemas de información en salud, paraidentificar sus desafíos más importantes y dar seguimientoa los esfuerzos por mitigar esas debilidades.Este instrumento se puede utilizar paraclasificar un gran número de aspectos de un sistemade información en salud, y estas clasificacionesse asignan a cinco categorías dedesempeño, desde “altamente adecuado” hasta“no funciona”. 5En esta obra se adopta el enfoque de que las enseñanzasde la institucionalización de los sistemasde SyE nacionales –vistas en el capítulo 10– sonválidas también para aplicarlas a los sistemas deSyE sectoriales. Existe evidencia que apoya estaidea, como el trabajo analítico llevado a cabo enrelación con la Secretaría de Desarrollo Social deMéxico, SEDESOL (Banco Mundial, 2004c, Hernández,2006), pero es necesario garantizar másestudios sobre esta propuesta, de que los temasdel SyE sectoriales son esencialmente un microcosmosde los temas que enfrenta el sistema deSyE nacional. Por lo menos, es posible que hayaalgunas diferencias significativas en cuanto al énfasis;y, de manera conjunta, debemos determinarcuáles son.Sistemas subnacionales de SyEUn tema que se puede comparar con los sistemasde SyE sectoriales es el de los sistemas subnacionalesde SyE, especialmente donde no existeun sistema unitario de gobierno. Muchos gobiernostienen un sistema federal con varios niveles,que varían en el grado de transferencias ydescentralización de funciones.Las relaciones entre estos niveles de gobiernopueden ser muy complejas, incluidas las relacionesde rendición de cuentas y los requisitos formalespara la obtención de información. Se hanpreparado pocos estudios de caso en el SyE subnacional,pero es claramente importante debidoa la complejidad de las relaciones.Otra razón relevante de su importancia es elhecho de que normalmente la mayor parte de lainformación del SyE se recopila en las propiasinstalaciones –de esta forma, la naturaleza de larelación entre las instalaciones individuales y losministerios o dependencias sectoriales por unlado, y las entidades subnacionales por el otro,pueden ayudar a determinar la calidad de la informaciónproporcionada, así como el grado deutilización de esa información por las mismasinstancias. Como se mencionó, en el caso deUganda (Capítulo 9), la información recopilada enlos niveles locales y distritales puede resultar costosa,con implicaciones negativas bastante altaspara la calidad de la información.Armonización del donanteUn tema siempre presente en la comunidad deevaluación de donantes es la armonización dedonantes o la carencia de ésta. Esto ha multiplicadola carga de trabajo impuesta a los paísesdonantes debido a la necesidad imperiosa decumplir con las diversas solicitudes del SyE a losdonantes. En la Declaración de París de 2005, losdonantes se comprometieron a tratar de armonizarestos requerimientos y a alinearse lo más posiblecon los sistemas del país y los enfoques de“marcos de resultados y seguimiento” –es decir,alineamiento al país (High Level Forum onHarmonisation, Alignment, Results, 2005).Los donantes y los países receptores también sehan comprometido a trabajar de manera conjuntapara fortalecer las capacidades del país y lademanda por una gestión basada en resultados.Será interesante conocer en qué medida, si es quehay alguna, se han cumplido estos objetivos; variasevaluaciones de los resultados de la Declaraciónde París se están llevando a cabo y serándadas a conocer entre 2008 y 2010. 6El lado positivo lo conforma la evidencia de un crecientenúmero de evaluaciones de impacto de donantesy gobiernos. El Banco Mundial, por90

14: TEMAS DE RELEVANCIA Y VANGUARDIAejemplo, actualmente está planeando o conduciendocerca de 30 evaluaciones de impacto rigurosasen forma conjunta con algunos gobiernosen América Latina, como parte de los proyectosnormales del Banco con los gobiernos; al parecerse están llevando a cabo con gran colaboración deambas partes. Es de esperarse que resulten algunasenseñanzas para aplicarlas con otros tipos deevaluaciones y para realizar evaluaciones conjuntasde donante y gobierno en otras regionesdel mundo.Los ejemplos de la participación de la sociedadcivil en el seguimiento y evaluación deldesempeño gubernamental se presentan en elcapítulo 3 –la iniciativa de la Tarjeta de InformeCiudadano, que se llevó a cabo por primera vezen Bangalore y el enfoque similar Bogotá CómoVamos. Estas iniciativas han presionado con éxitoa los gobiernos municipales para que mejoren sudesempeño. La CRC se ha reproducido en muchasotras ciudades de India, así como en otros países.El reto para la comunidad de donantes es cómohacer para fomentar que este tipo de compromisosde la sociedad civil se reproduzca en otrospaíses. Ello dependerá en parte de las circunstanciasde cada país y del espacio que haya ganadola sociedad civil en cada uno de ellos.El Banco Mundial y algunos otros donantes enfrentanotras dificultades, ya que su interacciónprincipal es con los gobiernos. A pesar de ello, esposible que el Banco utilice su poder de convencimientopara asegurar que la voz de la sociedadcivil sea escuchada. El Banco puedemostrar, y ha mostrado, a grupos de la sociedadcivil en varios países, una serie de ejemplos delcompromiso de la sociedad civil en el seguimientoy evaluación del desempeño de los gobiernos. Seespera que esto estimule el interés y la demandade la sociedad civil para comprometerse con estetema (véase, por ejemplo, Mackay y Gariba, 2000).Es importante que la comunidad de donantes yla propia sociedad civil identifiquen otras manerasde promover este tipo de compromiso.Parámetros formalesUn último tema de relevancia y vanguardia que sepropone es el de determinar si existe la necesidadde establecer parámetros formales para labuena práctica de sistemas de SyE. La comunidadinternacional –en especial los donantes–aplica parámetros similares para sistemas nacionalesy para algunos sistemas estadísticos sectoriales,así como para los sistemas de gestiónfinanciera del gobierno. 7 Sería posible desarrollarparámetros para sistemas de SyE gubernamentalesbasados en el criterio de la lista de verificacióndesarrollada como parte de las diversas guías dediagnóstico existentes (Capítulo 12; Mackay,1998b).Un argumento que favorece el desarrollo de dichosparámetros formales es que podrían ofreceruna guía clara a los gobiernos sobre las normas alas que podrían aspirar, o quizás a los que deberíanaspirar. Un segundo argumento a favor es quepodrían facilitar un seguimiento y evaluación periódicosde los propios sistemas de SyE; según seanalizó en los capítulos 12 y 13, es importante quelos esfuerzos por fortalecer un sistema de SyE gubernamentalsean objeto de seguimiento y evaluación,y la evaluación de un sistema de SyE conbase en criterios explícitos haría más fácil la tarea.Sin embargo, un argumento contra el establecimientode una lista de parámetros es que noexiste ni un solo modelo –o por lo menos unospocos– de buenas prácticas para sistemas de SyEgubernamentales al cual los gobiernos puedan aspirar;en lugar de ello, existe una amplia variedadde modelos posibles.91

15Comentarios finalesEl enfoque central de esta obra se dirige a los sistemas de seguimientoy evaluación de los gobiernos, y en la manera en que pueden ayudarlosa lograr una mejor administración. La mayoría de los países miembrosde la OCDE y un número pequeño pero creciente de países en desarrolloponen mucho énfasis en asegurar que la información del seguimiento y losresultados de las evaluaciones estén disponibles.Estos gobiernos utilizan la información del SyE decuatro formas posibles: para apoyar la formulaciónde políticas, especialmente la toma de decisionespresupuestarias; para ayudar a sus ministerios enel desarrollo de políticas y la labor de análisis; paraapoyar a los ministerios y dependencias en lagestión de sus actividades; y para reforzar las relacionesde rendición de cuentas.Se señala que estos cuatro usos de SyE lo ubicanen el centro de una buena gestión de gobierno–como condición necesaria para el manejo efectivode los gastos públicos para el desarrollo económicoy la reducción de la pobreza. Los ejemplosque se presentan de evaluaciones altamente influyentesrealizadas en países en desarrollo indicanlos rendimientos potencialmente altos quepodrían obtener los gobiernos de sus inversionesen el SyE.El objetivo de esta obra es brindar información queayude a los gobiernos en sus esfuerzos por crear,fortalecer e institucionalizar completamente sussistemas de SyE, no como un fin por sí mismo, sinopara lograr un mejor desempeño del gobierno. Sepresentan estudios de caso de países con sistemasde SyE que se desempeñan bien, así como un grannúmero de enseñanzas provenientes de estos paísesy otros acerca de cómo crear dichos sistemasy de los errores que deben evitarse.Un tema consistente a lo largo del libro es que lamedida esencial del “éxito” de un sistema de SyEes el uso intensivo de la información que produce;no resulta suficiente crear un sistema que produzcatécnicamente buenos indicadores y evaluacionesde desempeño. El uso depende de lanaturaleza y el grado de demanda de la informacióndel SyE, y ello a su vez depende de los incentivosque existan para utilizar el SyE. Algunosgobiernos de los países en desarrollo tienen unagran demanda del SyE; en otros, la demanda esdébil o baja. Para estos países, existen formas demejorar la demanda fortaleciendo los incentivos.93

V: TEMAS PENDIENTESUna de las enseñanzas clave para comprometerse enla creación de un sistema de SyE es la importanciade conducir un diagnóstico de SyE de país. Estopuede ofrecer un sólido conocimiento de las actividadesde SyE en el gobierno, el ámbito del sector públicoy las oportunidades para utilizar la informacióndel SyE en el apoyo de las funciones básicas del gobierno.Tal diagnóstico conforma los cimientos parala preparación del plan de acción. Un diagnósticopuede también ser un vehículo para garantizar queel gobierno y las partes clave interesadas de los donantescompartan el mismo conocimiento de lostemas y de la importancia de reforzar el SyE.Existe un considerable y creciente conjunto de conocimientosacerca de la experiencia de los paísesen la creación de sistemas de SyE, y las enseñanzasclave que se derivan se presentan en estelibro. Además, se ofrecen respuestas de las preguntasfrecuentemente planteadas por funcionariosy otras personas que trabajan para fortalecerlos sistemas de SyE gubernamentales. Sin embargo,también existe un número de temas sobrelos que se conoce muy poco, por ejemplo los modelosde buenas prácticas de SyE en los niveles subnacionalo sectorial, o las maneras de fomentar laparticipación de la sociedad civil en el SyE. Éstosson temas relevantes y de vanguardia, muy recientes,y en este libro se aboga por un programade investigación a largo plazo para estudiarlos.94

PARTE VIPyR: Preguntas frecuentesEn la Parte VI, se ofrecen respuestas de preguntas que surgen comúnmenteen conferencias nacionales e internacionales sobre el tema deSyE gubernamental. La frecuencia con que surgen interrogantes similaresayuda a identificar los temas clave que deben ser abordados cuandose busca institucionalizar un sistema de SyE.

PyR: Preguntas frecuentesGeneralmente, funcionarios, académicos, consultores, donantes ydemás personas interesadas en el fortalecimiento de los sistemas deSyE gubernamentales se cuestionan de manera similar cómo llegar alograrlo y cómo vencer los retos que surgen. Por tanto, se presentan las respuestasde las 21 preguntas que surgen con más frecuencia. Estos temas ayudana destacar las variadas dimensiones que existen en torno al sistema de SyEgubernamental, y a aclarar la naturaleza de las compensaciones que, tal vez,se necesiten considerar.1. ¿Cómo se puede introducirprogresivamente un sistema de seguimientoy evaluación para todo el gobierno? Es unpaso demasiado grande para mi paísintroducir un sistema global al mismotiempo.Un buen primer paso sería realizar un diagnósticode las funciones y sistemas de SyE gubernamentalesque ya existen (Capítulo 12); esto posibilitaría unacomprensión sólida de las fortalezas y desafíos delo que se tiene en la actualidad. Además, esto ayudaríaa dejar claro quién necesita qué tipo de informacióndel SyE, para qué y cuándo, lo cual, a suvez, ayudaría a que se identifique una lista de lasposibles acciones destinadas a fortalecer los sistemasexistentes de SyE o a crear un sistema totalmentenuevo (Capítulo 13). Evidentemente, untema de inicio es aclarar los principales usos quese espera dar a la información del SyE en el futuro.Un posible enfoque sería implementar para todoel gobierno, en forma progresiva, una serie de instrumentosy métodos de SyE. Chile lo hizo al implementarun sistema de información dedesempeño en 1994, seguido de informes globalesde gestión en 1996, revisiones rápidas en 1996,evaluaciones de impacto rigurosas en 2001 e informesglobales de gastos en 2002 (Capítulo 6).Sin embargo, puede ser que muchos de los gobiernosno tengan la paciencia para seguir un enfoquetan lento.Existen algunas acciones de SyE que, si bien sonimportantes, puede tomar mucho tiempo realizarlas–por ejemplo, grandes mejoras en los sistemasde seguimiento del desempeño o unaevaluación de impacto rigurosa– si es que no sedispone de buena información. Puede ser que lospromotores del sistema de SyE estén dispuestosa esperar, o talvez no, a que estas acciones se97

VI: PyR: PREGUNTAS FRECUENTESlleven a cabo, y aun si fueran pacientes, los promotoreseventualmente partirán, y quizás lo hagansin previo aviso.Éste es un argumento para tratar de incluir algunostriunfos rápidos en el plan de acción de SyE,que podría incluir diversas actividades experimentales,como la conducción de algunas evaluacionesrápidas para que se introduzcan en elproceso presupuestario (revelando el desempeñode los programas individuales); la conducción deestudios de seguimiento del gasto público para revelarel grado de “fuga” de los fondos del gobierno;o la conducción de evaluaciones deimpacto rigurosas donde ya exista buena informacióno donde sea fácil recopilarla (Capítulo 2).Esta clase de actividades de demostración puedenresaltar el valor de la información del SyE y, porende, ayudar a crear conciencia y demanda de ella.Aunque siempre es una buena idea contar con unplan de acción bien preparado, incluido un númerode etapas para el desarrollo del sistema deSyE, una enseñanza valiosa de la experiencia es laimportancia de ser capaz de responder de maneraflexible cuando surgen nuevas oportunidades deSyE (Capítulo 10).2. Existe poca demanda de información deseguimiento y de resultados de evaluaciónpor parte de mi gobierno. ¿Qué puedo hacerpara revertir esta falta de interés si quierocrear un sistema de SyE gubernamental?La escasa demanda representa un obstáculo seriopara la creación de un sistema de SyE gubernamental;sin embargo, existe una serie de pasos quese pueden dar para incrementar la demanda (véanselos capítulos 10 y 11). En primer lugar, es útilque los funcionarios de alto nivel tengan concienciadel SyE: explicar lo que significa SyE y lasmuchas maneras en que puede ser valioso para ungobierno –por ejemplo, para tomar decisionessobre el presupuesto nacional contando con mayorinformación, o para mejorar la gestión en curso detodas las actividades del gobierno. A menudo, sepuede persuadir a los funcionarios de alto nivel conejemplos de evaluaciones influyentes y sistemas deSyE que funcionan bien en otros países (Capítulo3). También es importante encontrar promotoresy aliados poderosos que, a su vez, puedanpreconizar y respaldar el SyE más ampliamente.Cada gobierno ya está realizando algún trabajo deSyE, aunque éste sólo comprenda sistemas de registrosadministrativos de ministerios, o datos sectorialesde oficinas nacionales de estadística, oinformación que los gobiernos proporcionan alos donantes. Puede ser revelador realizar un diagnósticorápido de las actividades de SyE actualesy descubrir el grado de duplicidad e ineficienciasque hay en los sistemas de seguimiento existentes.Esto puede dar un impulso a dichos sistemaspara que sean más eficientes y garanticen quepueden proveer de información muy útil al gobierno,como sucedió en Uganda (Capítulo 12).3. ¿Cómo se puede crear una cultura dedesempeño en la administración pública demi gobierno?Esto es difícil de lograr, especialmente cuando losfuncionarios del Estado han pasado la mayorparte de sus carreras siguiendo reglas y procedimientosestrictos. Resulta fácil para los empleadospúblicos y sus administradores centrarse únicamenteen actividades o procesos, como es el casodel número de hospitales construidos o el númerode cheques de beneficencia emitidos. Sin embargo,sería ideal si ellos se concentraran en lasmetas y objetivos de estas actividades y específicamenteen sus resultados –los productos, efectosdirectos e impactos de sus esfuerzos.No hay una respuesta sencilla para este tema,pero sí hay una serie de pasos que pueden ayudara cambiar la manera de pensar de los servidorespúblicos. Uno de ellos es presentarpromotores comprometidos y orientados hacia lareforma que ocupan puestos de mucho poderdentro del gobierno. Otro paso es utilizar incentivospoderosos para estimular una mayor concentraciónen los resultados, así como en laorientación al cliente –una cultura de servicio98

PyR: PREGUNTAS FRECUENTES(véase el capítulo 11, como ejemplo). Llevar acabo reuniones de equipo del tipo “¿Cómo nosva?” para administradores y su personal podría ayudara aclarar los objetivos, el desempeño actual delequipo y las formas de mejorarlo.Dar amplia autonomía y flexibilidad a los administradoresque logren alcanzar altos niveles dedesempeño –es decir, resultados– puede ofrecerfuertes incentivos que a su vez podrían llegar a losdemás empleados (Banco Mundial, 1998). Dichaautonomía puede incluir un mayor acceso al financiamientoy más poder para contratar y despedirempleados con base en su desempeño.Resulta difícil lograr este tipo de reformas con basetan extensa en todo el aparato público, peropuede ser factible poner a prueba dichas reformasen algunas dependencias seleccionadas.4. Mi gobierno ya está bajo mucha presión yestrés por la carga de trabajo que tiene. ¿Porqué deberíamos hacer más esfuerzos paracrear un sistema de SyE ahora?Véase la respuesta de la pregunta 2. Su gobiernoya está dedicando mucho esfuerzo al SyE, especialmentepara dar seguimiento a los esfuerzos desus ministerios y al cumplimiento de los requisitosde evaluación del donante. Por ejemplo, undiagnóstico en Uganda descubrió 16 subsistemasde seguimiento; otro diagnóstico de la Secretaríade Desarrollo Social de México descubrió ocho sistemasde seguimiento descoordinados dentro deesta secretaría.Es muy posible que exista el potencial para reducirlas ineficiencias y duplicidad en sus sistemas existentesy producir únicamente la información básicaque necesita y que puede utilizar. Existe uncreciente número de países en el mundo que yaestán poniendo mucho esfuerzo en el SyE –inclusola mayoría de países miembros de la OCDE, algunospaíses de recursos medianos (como Chiley Colombia), y aun algunos países más pobrescomo Uganda y Tanzania. Ellos están haciendoesto porque saben que una inversión en el SyEpuede producir muy buenos rendimientos.5. Mi gobierno está muy interesado enfortalecer nuestra labor de SyE, peronuestras instituciones son débiles. ¿Cómodebemos proceder?La respuesta concisa sería continuar edificandosobre la base de lo que ya tienen. Simplifique yracionalice sus sistemas de seguimiento. Busqueapoyo y experiencia de los donantes, tanto paralos sistemas de SyE como para acceder al financiamientodel donante para algunas evaluacionescon fines de demostración. Priorice lasevaluaciones en las áreas (como salud y educación)donde el gobierno tendrá que tomar decisionesimportantes en el futuro. Es mejorcomenzar modestamente, tratando de poner enevidencia los beneficios del SyE e ir avanzando gradualmentesobre estos esfuerzos. Lo mejor esevitar el error común de elaborar un sistema deSyE con complejidad excesiva (Capítulo 10).6. ¿Cuánto debe gastar mi gobierno enevaluaciones? ¿Cuánto sería suficiente?Hay un mito que dice que se debe dedicar 1% delos gastos del programa a las evaluaciones. A pesarde que no hay una base lógica o empírica para estacifra, es un indicativo de la escala de esfuerzo y recursosque se deben dedicar para la evaluación decualquier actividad. Si el programa se evalúa cadatres o cinco años, el costo de 1% equivale a sóloun tercio o un quinto de 1% sobre una base anual.Por tanto, la evaluación deberá dar como resultadouna mejora muy modesta en la efectividad o eficienciadel programa para que dicha evaluación seconsidere eficaz en función del costo. Algunas delas evaluaciones que se resaltan en este libro hansido mucho más eficaces en función del costoque eso (véase también GEI, 2004b, 2006).El costo de una evaluación será sustancialmentemás bajo si ya existen buenos datos de seguimiento,en especial sobre beneficiarios o efectosdirectos del programa. Éste es un argumentopara establecer sistemas de datos administrativossólidos y para invertir en sistemas estadísticosnacionales.99

VI: PyR: PREGUNTAS FRECUENTESDe hecho, nunca deben hacerse evaluacionespor el simple hecho de hacerlas; la medida básicadel éxito para cualquier evaluación es que lleguea ser ampliamente utilizada. En el anexo A seofrecen enseñanzas acerca de cómo garantizarque las evaluaciones tengan influencia.7. ¿Cómo podemos dar prioridad a nuestrasevaluaciones si nuestros fondos sonlimitados y no podemos evaluar todo lo quequeremos?Dar prioridad a las evaluaciones es un tema comúnque enfrentan los administradores de un sistemade SyE establecido. El criterio estándar utilizadopara facilitar la enseñanza de programas por ser evaluadosincluye lo siguiente: programas de gastoselevados; programas con importancia política particular;programas que probablemente han tenidograves problemas en su desempeño; y programasexperimentales que el gobierno esté considerandoampliar. Otros criterios adicionales para priorizarlas evaluaciones incluyen la factibilidad para realizaruna evaluación, si la evaluación brindará informaciónoportuna (por ejemplo, si los resultados delas evaluaciones estarán disponibles a tiempo parainfluir en las decisiones del gobierno), y si existensuficientes recursos (fondos, personal, etcétera)para llevar a cabo la evaluación.Como siempre, a la hora de decidir qué programasevaluar, es bueno considerar quién necesitaqué tipo de información de evaluación, para quéy cuándo.En el caso de sistemas de SyE que todavía noestán establecidos, el desafío está en hacer quecada evaluación sea útil –garantizar que estarána disposición de los funcionarios de alto nivelque toman las decisiones, y que serán de muchainfluencia. En este contexto es útil tratar de anticiparcuestiones decisivas e importantes, porejemplo, una revisión importante planeada delgasto social, un gobierno entrante o la preparaciónde un nuevo plan nacional. Si se puede anticiparestas cuestiones con bastante antelación,debería ser posible garantizar que los resultadosde las evaluaciones estén disponibles a tiempopara considerarlos en la toma de decisiones delgobierno.El tiempo requerido para la evaluación dependerádel tipo de evaluación, la existencia de datos adecuados,etcétera. Para las evaluaciones de “demostración”sería prudente tratar de minimizar elriesgo de que los hallazgos de las evaluacionessean considerados irrelevantes debido a la malacalidad, al momento inoportuno o a la sensibilidadpolítica. 18. ¿Quién debería pagar por lasevaluaciones? Las evaluaciones resultan sercaras y no sería razonable que los paísespobres paguen por ellas.Es cierto que muy pocas evaluaciones son encargadasy pagadas por los mismos países africanos,por dar un ejemplo. A pesar de que lasevaluaciones no tienen que ser costosas –comose definió en el capítulo 2, las revisiones rápidasy otros tipos de evaluación similares se puedenrealizar con pocos fondos, gastando sólo unospocos miles de dólares– muchas evaluacionesllegan a costar mucho más. Parece existir un argumentode bien público en el sentido de que lasevaluaciones en países pobres sean financiadas pordonantes internacionales, por una parte, debidoa la pobreza de dichos países y, por otra, porquelos resultados de las evaluaciones pueden ofrecerbeneficios a otros países de la región. 2Además del financiamiento, los donantes puedenaportar su experiencia técnica en la evaluación.Sin embargo, el lado negativo podría ser que el gobiernotenga un nivel de responsabilidad muchomenor sobre los resultados de las evaluaciones sies que los funcionarios de alto nivel no desempeñaronun papel en la elección del programa por evaluarseo en la gestión de la evaluación o en sufinanciamiento. Esto ofrece un sólido argumentopara un enfoque académico de la evaluación quecontempla una asociación gobierno-donante.9. ¿No son las evaluaciones de impactorigurosas el patrón de oro para las100

PyR: PREGUNTAS FRECUENTESevaluaciones, especialmente las queinvolucran pruebas de control aleatorias?¿No hay otro tipo de evaluación que searelativamente deficiente y que quizás novalga la pena realizar?Éste es un tema muy controvertido. 3 Algunos delos que proponen las evaluaciones de impacto rigurosasparecen argumentar esto. Ciertamente,si una prueba de control aleatoria se realiza enforma adecuada, puede ser una evidencia sustantivade los impactos de un programa; éste esel método experimental estándar para medir losefectos de nuevos medicamentos, por ejemplo.Sin embargo, una limitación seria de dichos métodosde evaluaciones de impacto rigurosas es queusualmente no se pueden aplicar en intervencionesen los niveles sectorial o nacional. Estos métodosde evaluación también son normalmentecostosos, lo que hace más difícil que los gobiernospuedan financiarlos. Chile, por ejemplo, realizaun número limitado de evaluaciones deimpacto cada año, pero al mismo tiempo efectúaun mayor número de evaluaciones económicas enlas oficinas (Capítulo 6).10. ¿Las evaluaciones no deberían sersiempre realizadas en forma externa, esdecir, fuera de la entidad cuyo trabajo seestá evaluando?En los países de América Latina es común que lasevaluaciones sean encargadas por las dependenciasgubernamentales pero realizadas externamente.La ventaja de este enfoque es que evita unpotencial conflicto de intereses. Ayuda a garantizarque las evaluaciones sean más objetivas e “independientes”que si se hubiesen realizado dentrodel gobierno. Esto incrementa su credibilidad yconfiabilidad.El sistema de SyE de Chile ha experimentado el inconvenientede que este enfoque puede presentar–los ministerios cuyos programas sonevaluados, por lo general, no asumen “responsabilidad”sobre los resultados de evaluación y porende no hacen mucho uso de ellos. Colombia hacombinado las ventajas de las evaluaciones externascon las ventajas de la responsabilidad de losministerios sectoriales; ellos son socios completosal encargar y administrar las evaluaciones externas(Capítulo 7).En los países miembros de la OCDE, es máscomún que las evaluaciones se realicen internamente;esto ayuda a garantizar que las evaluacionesse basen en la experiencia del personal dela dependencia en el programa. Además, impulsaa las dependencias a utilizar las evaluaciones (Curristine,2005). En Australia, los ministerios sectorialesevaluaron sus propios programas, pero losministerios centrales generalmente realizabanuna labor en la supervisión de esas evaluacionesy en la revisión de los informes generados por ellas(Capítulo 8).11. ¿Cuántos indicadores de desempeñodebe recolectar mi gobierno, ministerio,dependencia o programa?No hay una respuesta sencilla para esta pregunta.Depende de quién, dentro del gobierno, necesitelos indicadores de desempeño para su trabajo,cuántos indicadores serían necesarios y su costo.El Ministerio de Hacienda de Chile recolecta 1.550indicadores de desempeño, que para las normasinternacionales representan un número bastanteelevado; este ministerio hubiera deseado teneraún más información, pero es consciente de queeste número es el límite máximo que los analistasde presupuesto pueden usar de manera significativa.Por el contrario, el sistema de Colombiapara dar seguimiento a 320 metas presidencialesabarca unos 600 indicadores; esta informaciónse encuentra disponible al público en un sitioweb (Anexo B).Quizás tenga más sentido visualizar un sistema deindicadores de desempeño como si fuera una pirámide–con un número pequeño de indicadoresestratégicos de alto nivel en la parte superior,que se concentren en productos y efectos directos,y que serán usados por funcionarios de altonivel. Para los funcionarios de nivel medio, seríaapropiado ofrecerles un mayor número de indicadoresoperacionales, que se concentren en los101

VI: PyR: PREGUNTAS FRECUENTESinsumos, procesos y productos. Finalmente, enla base de la pirámide, sería apropiado ofrecer unnúmero mucho mayor de indicadores operacionalesque se concentren en procesos y servicios,para que los usen los administradores de línea ysu personal en las dependencias o centros. Cualquieradministrador de línea individual estaría interesadosólo en un pequeño subconjunto deestos últimos indicadores, es decir, los que tienenimportancia directa para esa unidad de trabajo.Un error común de los sistemas de seguimientodel desempeño es recopilar demasiados indicadores–lo cual conlleva a una situación de demasiadosdatos pero insuficiente información(Capítulo 10). Los datos no utilizados puedenocasionar una falta de incentivo en los proveedoresde datos para que garanticen que éstossean de alta calidad, lo que podría convertirseen un círculo vicioso: poca utilización de datos ydatos de mala calidad.12. ¿No sería mejor que un sistema de SyEpara todo el gobierno sea diseñado yadministrado por el ministerio de hacienda?No necesariamente. Es cierto que algunos paíseshan encargado sus sistemas de SyE para todo elgobierno al ministerio de hacienda –por ejemploAustralia, Canadá, Chile y Estados Unidos deAmérica. Sin embargo, existen ventajas y desventajasrespecto a este enfoque. Los ministeriosde hacienda generalmente tienen bastante poder,en especial en asuntos relativos al financiamientodel presupuesto. Estos ministerios pueden ser capacesde crear incentivos para que los ministeriossectoriales apoyen activamente al sistemade SyE. En algunos países también desempeñanuna función importante como creadores o supervisoresde las reformas del sector público.Su posición poderosa les permite iniciar accionesdestinadas a fortalecer el SyE en el gobierno,particularmente para lograr un presupuesto porresultados.Por otro lado, los ministerios de hacienda puedenser bastiones del conservadurismo y de resistenciaal cambio, tanto en el alto nivel como en el delas divisiones de presupuesto que supervisa cadaministerio y dependencia sectorial. En Australia,la Dirección del Departamento de Finanzas estabacomprometida en hacer reformas, incluso en eldesarrollo de un sistema de SyE para todo el gobierno.Esta dirección quiso reorientar la labor delas divisiones de presupuesto para que no se concentraratanto en los detalles de gastos cada línea,sino que se concentrara en temas más generales,con relevancia política, en la eficiencia y efectividaddel gasto del gobierno. Por eso la direccióndel DdF se embarcó en un proceso de cambio culturaldentro del ministerio, tratando de influir enlos jefes de división, jefes de sección y sus empleados.Esta tarea consistió en realizar contrataciones,promociones, capacitación en el trabajo,renovación proactiva del personal y en el reconocimientode buenas prácticas de uso de la informacióndel SyE en la asesoría de política deldirector (Capítulo 8; Mackay, 1998a).En algunos países, los ministerios de hacienda hansido un obstáculo para reformas como el fortalecimientode los sistemas nacionales de SyE. Poresta razón, es importante contar con la colaboracióndel ministerio de hacienda en esta tarea o,por lo menos, evitar cualquier oposición de suparte. También se puede esperar que el apoyo deotros ministerios centrales, como la oficina del presidentey la administración pública, sean un factorde éxito –especialmente si los ministerioscentrales actúan de forma colegiada en apoyodel sistema nacional de SyE. Un diagnóstico puedeidentificar el grado de aceptación u oposición decada uno de los ministerios centrales poderosospara reforzar el sistema de SyE; esto tambiénpuede convertirse en un medio para lograr un entendimientocompartido de los beneficios de SyEy ayudar a fomentar un consenso sobre un plande acción para fortalecer el sistema.13. ¿Acaso a los ministerios sectoriales noles incomoda que se les impongarequerimientos formales del SyE, diseñadospor uno de los ministerios centrales?A nadie le gusta que le digan lo que debe hacer,particularmente si esa persona no tiene ni voz ni102

PyR: PREGUNTAS FRECUENTESvoto para tomar decisiones sobre la creación derequerimientos formales y si no parece obtenerbeneficio alguno de la información del SyE producida.Éste ha sido el caso de Chile, donde el poderosoMdH ha impuesto efectivamente una seriede requisitos de SyE a los ministerios y dependenciassectoriales; las entidades sectoriales utilizanmuy poco los resultados de las evaluacionesque el sistema produce.Puede ser difícil llegar a un consenso acerca de losméritos de las reformas del SyE, pero muy bienvale la pena hacer el esfuerzo. La falta de acuerdopuede hacer que los ministerios y dependenciassectoriales no cumplan con los requerimientos delSyE impuestos por las entidades centrales, o quelos acepten verbalmente pero acaben no cumpliéndolos.Son estas entidades las que generalmentetienen la responsabilidad principal deproporcionar los datos de seguimiento que elsistema de SyE requiere. Si estas entidades consideranque no tienen incentivos para garantizaruna buena calidad de la información, entoncestodo el sistema sufrirá las consecuencias (incluidala calidad de las evaluaciones, ya que ellas sebasan en los datos que ofrecen los ministerios).Esto representa una de las enseñanzas clave quesurge del trabajo de diagnóstico realizado paraUganda (Capítulo 9).Otra enseñanza es evitar los peligros de contar conmúltiples sistemas de seguimiento descoordinadosen los niveles central y sectorial, lo cual representauna carga considerable sobre losproveedores de datos, especialmente en los nivelesde los ministerios, dependencias y centros.Los incentivos negativos –”castigos” impuestos porlos ministerios centrales– no suelen ser del agradode los ministerios sectoriales, aunque todavíapueden ser necesarios. Los incentivos positivos–premios, por ejemplo, la seguridad de contar congrandes financiamientos para los ministerios quepuedan demostrar su desempeño– suelen ganarsea las personas (Capítulo 11).14. ¿Hay alguna forma de garantizar que lainformación del seguimiento y los resultadosde evaluación serán utilizados en el procesopresupuestario?No hay forma de garantizar el uso de la informacióndel SyE en el proceso presupuestario, perohay formas de incrementar las posibilidades deque ello suceda. Es claramente importante que laspartes interesadas clave en el proceso presupuestarioy en la toma de decisiones del presupuesto–incluido el presidente o al primerministro, el ministro de hacienda, otros ministrosclave y el ministerio de hacienda, entre otros–hayan solicitado la información del SyE, de modoque puedan desarrollar mejores formulaciones depolíticas y tomar mejores decisiones. Si esa demandaes débil o nula, entonces se pueden darpasos para incrementar la toma de concienciadel SyE, en términos de lo que abarca y de loque puede ofrecer.Debe haber opciones para que las partes interesadasofrezcan incentivos –premios, castigos oconsejos– a fin de fomentar el uso de la informacióndel SyE en el presupuesto (Capítulo 11).Estos incentivos pueden incluir, por ejemplo, decididasdeclaraciones de apoyo al SyE por partede promotores influyentes en el gobierno; retroalimentaciónconstante por parte de los ministrosa los analistas de política sobre la calidadde la asesoría política proporcionada (incluso sidicha asesoría hace buen uso de la informacióndel SyE disponible); inclusión de clasificacionesde desempeño del programa en documentos depresupuesto publicados; y disposición de apoyoal ministerio de hacienda para dirigir algunas evaluacionesrápidas con el objeto de demostrar suutilidad.15. ¿El presupuesto por resultados no implicaque se debe gastar menos dinero en losprogramas con desempeño deficiente?No necesariamente. La consideración primordialserá si el programa representa una prioridad parael gobierno. Algunos programas –como el deeducación primaria– son demasiado importantespara ser eliminados o incluso para recortar sufinanciamiento. En estos casos, el desafío estará103

VI: PyR: PREGUNTAS FRECUENTESen solucionar los problemas de desempeño quela información del seguimiento y los resultadosde las evaluaciones hayan identificado, por ejemplo,la ineficiencia en la prestación del servicio ouna mala identificación de los posibles beneficiarios.Por tanto, sería necesario gastar más dineroen el programa, por lo menos en el cortoplazo, para corregir estos problemas.Los ministerios de hacienda de países como Australiahan recurrido a acuerdos sobre los recursoscon las dependencias en tales situaciones para proporcionarun aumento en el financiamiento acorto plazo para los programas prioritarios, acambio de una reducción promedio de medianoa largo plazo en el financiamiento. Ellos solicitaronque se tomen acciones específicas para mejorarel desempeño (OCDE, 1997a).Sin embargo, para los programas de prioridadbaja, la evidencia de un mal desempeño casi siemprelleva a la decisión del gobierno de recortar elprograma o incluso de terminarlo por completo.Chile es un país que podría abolir un programasi encuentra evidencia de mal desempeño, peroes la excepción; los ministerios de hacienda de lamayoría de países miembros de la OCDE no sueleneliminar programas cuando la informacióndel SyE revela un desempeño deficiente (Curristine,2005).16. ¿Es posible introducir el presupuesto porresultados (PBB) de manera experimental, odebe ser introducido para todo elpresupuesto al mismo tiempo?Sí se puede introducir un PBB en forma experimental.Existen tres tipos de PBB (véase el recuadro3.1, p. 10). El primer tipo supone unarelación directa entre el financiamiento del presupuestopara un programa y sus resultados. Esteenfoque se usa sólo en algunos pocos casos definidosen forma muy precisa como los financiamientosbasados en una fórmula para hospitaleso para la educación universitaria. Por tanto, es posibleintroducir el presupuesto por resultados directosde manera experimental para programasespecíficos.El segundo tipo de PBB es el presupuesto por resultadosindirectos, donde la información del SyEofrece un aporte para la toma de decisiones deasignación de fondos del presupuesto. Puede serque parezca extraño considerar el uso de la informacióndel SyE como un aporte para la tomade decisiones en la asignación del presupuestosólo para unos cuantos programas experimentales.Los gobiernos deben tener una informacióndel desempeño que sea razonablemente buena ydisponible para todos los programas en todoslos sectores. Por tanto, es necesario utilizar cualquierinformación que esté disponible, sin importarqué tan irregular o imperfecta sea. En otraspalabras, las decisiones sobre el presupuestodeben tomarse independientemente de si existebuena información del SyE disponible sobre el desempeñodel programa o poca información engeneral.Entonces, la respuesta es sí, también es posibleponer a prueba el uso de la información del SyEpara ayudar en la asignación del presupuesto sólopara algunos programas. Ya sea que el PBB se introduzcaen forma experimental o para todo elpresupuesto, resulta inevitable que haya desigualdadesen la cantidad de información del SyEdisponible para diferentes programas. Esto a suvez otorga prioridad en una planeación de la evaluaciónsólida, para garantizar que los resultadosde la evaluación estén disponibles a la hora detomar decisiones del presupuesto para los programasclave del gobierno. Cuando se pone aprueba este tipo de PBB, una estrategia utilizadaes encargar evaluaciones estratégicas de temas“candentes” de política para tratar de asegurar lautilización de los resultados de la evaluación enel presupuesto –a fin de lograr un efecto de demostración.El último tipo de PBB corresponde al presupuestopor presentación de resultados, por medio delcual el gobierno informa al público su desempeñopasado o su desempeño esperado para cadaprograma. Una vez más, el nivel de informacióndel SyE disponible para diversos programas probablementevaríe mucho, 4 por tanto, es posibleponer a prueba este tipo de PBB. En Colombia,por ejemplo, este tipo de PBB ha sido puesto a104

PyR: PREGUNTAS FRECUENTESprueba para el presupuesto de inversión perono para el presupuesto recurrente (Anexo B). Elgobierno de Guatemala en la actualidad está poniendoa prueba asignaciones de presupuestopor resultados para los ministerios de educacióny de salud.17. ¿El presupuesto de programa puedeayudar a crear un sistema de SyE?Sí. El presupuesto de programa típicamenteagrupa a todas las actividades con el mismo objetivo–como lograr una mejora específica en la nutricióninfantil– dentro de un solo programa. 5Esto hace mucho más fácil estimar el monto totalque el gobierno gasta para lograr este objetivo.También facilita obtener una medida del volumentotal de los productos de estas actividadesrelacionadas (es decir, medidas de base) y delestablecimiento de las metas de desempeño.Esta claridad contrasta fuertemente con el tradicionalpresupuesto para cada línea de gasto, queidentifica el monto total gastado por una dependenciaen todas las actividades, con informaciónsólo sobre los tipos de gastos, es decir, salarios,alquiler de oficinas, teléfono, viajes, etcétera.Saber cuánto se gasta para tratar de alcanzar cadaobjetivo del gobierno es muy útil para los funcionariosde alto nivel y los analistas de presupuesto,ya que los ayuda a evaluar si la cantidadque se gasta está en proporción con el nivel deimportancia del objetivo; esto es esencialmenteuna perspectiva de gestión basada en resultados.Además, los ayuda a evaluar si los resultados dedicho gasto podrían justificar el gasto, así comoa comparar opciones alternativas de gasto para alcanzarel mismo objetivo.Pero antes de que se puedan realizar estas evaluaciones,es necesario que la información delSyE relativa a la efectividad de los gastos esté disponible(es decir, productos, efectos directos e impactoslogrados con ese gasto). Una ventaja finaldel presupuesto de programa es que incentiva atener un enfoque a largo plazo en las metas y objetivos,así como en los pasos intermedios necesariospara lograrlos. 6El alineamiento del presupuesto del programacon el SyE requiere la alineación de los sistemasde información. Por tanto, se debería armonizarun sistema de información de la gestión financieray un sistema de seguimiento del desempeño, locual requeriría un esfuerzo significativo.Chile ha sido capaz de construir un sistema de SyEsólido sin contar con un presupuesto de programa(aunque ahora está trabajando en la elaboraciónde una estructura programática). Perola desventaja de la falta de una estructura ha sidoque los evaluadores de los programas de Chile tienenque tratar de decidir qué actividades del gobiernodeberían ser consideradas como parte delprograma a ser evaluado. Éste es un enfoque muyparticular y lleva demasiado tiempo. La mayoríade los países miembros de la OCDE han implementadopresupuestos de programa.18. ¿Cuál es la función que deberíadesempeñar la oficina nacional de auditoríay el Congreso o Parlamento en el SyE?En principio, tanto la oficina nacional de auditoríacomo el poder Legislativo del gobierno –el Congresoo Parlamento– deben desempeñar un papelpreponderante en el SyE. Las oficinas nacionalesde auditoría son los organismos fiduciarios decontrol de la asamblea legislativa. Tradicionalmenterealizan auditorías del cumplimiento de lasprácticas de gestión financiera de los ministeriosy dependencias. Un creciente número de oficinasnacionales de auditoría también realizan auditoríasde desempeño, un tipo de evaluación que seenfoca en la eficiencia y efectividad del gasto delgobierno. En algunos países se ha revisado el desempeñodel sistema de SyE gubernamental yeso ha inducido a que el gobierno realice las mejorasnecesarias en el sistema (Capítulo 12).El poder Legislativo del gobierno también está, enprincipio, preocupado con el desempeño delpoder Ejecutivo. La asamblea legislativa es la quegeneralmente tiene el poder legal de aprobar ono las solicitudes de financiamiento del gobierno;a menudo tiene el poder de modificar estas solicitudessegún considere pertinente. Al conside-105

VI: PyR: PREGUNTAS FRECUENTESrar las solicitudes de financiamiento, tambiéntiene la oportunidad de revisar el desempeño anteriordel gobierno –su administración de los fondospúblicos. Sin embargo, dicho esto, pareceque las asambleas legislativas generalmente noestán bien equipadas para realizar tareas de revisióndel desempeño del gobierno; por lo general,no tienen la capacidad, los recursos ni eltiempo para desempeñar esta función.19. ¿El SyE de los documentos de estrategiapara la reducción de la pobreza (DERP) noviene a ser más que otro tipo decondicionalidad del donante?En muchas formas lo es. Una razón importante porla que los DERP enfatizan el SyE es para asegurarque el gobierno y los donantes se enfoquen en losresultados del país, así como en los montos gastadospara alcanzar esos resultados. Esto se havuelto incluso más importante desde que el BancoMundial introdujo la iniciativa de alivio de la deudade los países pobres muy endeudados (Capítulo4). Un defecto común en la mayoría de los DERPes que se concentran en el desempeño del país yprestan muy poca atención a la contribución específicaque el gobierno –o sectores individualesdel gobierno o gobiernos subnacionales– o los donantes(o el sector privado) dan esos resultados(Capítulo 9). Las razones de esta deficiencia incluyenla debilidad tanto de los sistemas de SyE gubernamentalescomo del apoyo de los donantesa estos sistemas. Sin embargo, en algunos países,como Uganda y Tanzania, la preocupación del gobiernoen relación con el SyE antecede a los DERP;en otras palabras, estos gobiernos se dieron cuentadel valor de invertir tiempo y esfuerzo para crearun sistema de SyE gubernamental que apoye unmejor plan nacional y una mejor asignación de losrecursos de presupuesto.20. ¿No son los donantes los que hacen queel SyE sea más difícil –y no más fácil–paralos países en desarrollo?Ciertamente, el caso es que los donantes no hanpodido armonizar los requerimientos del SyE queellos esperan que los países cumplan. Esta situaciónha creado una carga significativa en algunospaíses. Un asunto problemático es que cuanto másdébiles sean las capacidades y sistemas del gobierno,más donantes aplicarán sus propios sistemasy condiciones, lo cual podría debilitar losesfuerzos del gobierno para fortalecer sus propiossistemas. Sin embargo, los donantes pueden ofrecerdiversos tipos de apoyo al fomento de la capacidadde los gobiernos a fin de reforzar lossistemas de SyE existentes. Además, las oficinasde evaluación de donantes han realizado un grannúmero de evaluaciones a lo largo de muchosaños, y éstas representan en conjunto una fuentede información valiosa –una biblioteca de resultadosde evaluación– que los gobiernos podríanusar para su beneficio.21. ¿Cuáles son los principales peligros ydificultades que se deben evitar cuando sebusca fortalecer el SyE en un país?Son varios, y en este libro se abordan seis retosprincipales:• La creencia de que el SyE tiene un méritointrínseco –un “mantra de SyE”. Este argumentoes particularmente poco convincentepara los funcionarios del gobierno escépticosy con sobrecarga de trabajo. En lugar de ello,la forma de persuadirlos es señalando evaluacionesparticulares que hayan sido altamente influyentestambién con otros gobiernos similares,gobiernos que hayan hecho un esfuerzo considerablepara crear un sistema de SyE y convertirseen fuertes defensores del SyE. Estaperspectiva enfatiza que el SyE vale la penasólo si realmente se utiliza para mejorar el desempeñodel gobierno (Capítulo 3 y Parte II).• Un enfoque tecnocrático para la creaciónde capacidad que se concentre únicamenteen crear sistemas de seguimiento, llevar a caboevaluaciones y ofrecer capacitación en SyE.Estas actividades, vistas desde el lado de laoferta, son necesarias pero están lejos de sersuficientes para que los sistemas de SyE lleguena tener éxito. Los temas desde el lado de la106

PyR: PREGUNTAS FRECUENTESdemanda son cruciales, particularmente sobrela naturaleza y fuerza de los incentivos para conduciry utilizar la información del SyE (capítulos10 y 11). La capacitación que crea concienciaacerca de los usos y el valor del SyE –sus fortalezasy limitaciones– puede ayudar a fortalecerla demanda de SyE.• Estricta adhesión a un plan de acciónpredeterminado para crear un sistema deSyE. Siempre vale la pena comenzar con unavisión sólida acerca del sistema de SyE, cómooperará y la utilización que se le dará a la informaciónque el sistema produzca una vezque se haya establecido completamente. Sinembargo, la experiencia nos recuerda que lossistemas de SyE más exitosos se han desarrolladoen una forma oportunista e indirecta, yaque se van encontrando obstáculos en el caminoy van surgiendo nuevas oportunidades(Capítulo 10). Estos acontecimientos inesperadospueden reflejar, por ejemplo, la partidade los promotores clave, cambios en el gobiernoo crisis fiscales que incrementan la importanciaque posee tener la información delSyE disponible. Por tanto, desarrollar un sistemade SyE puede ser visto como un procesoevolutivo, que necesita ser ajustado yadministrado cuidadosamente. El permanenteSyE del progreso en el desarrollo de un sistemaofrecerá la comprensión necesaria para realizarlos ajustes adecuados (Capítulo 12).• La limitación de depender de leyes, decretosy regulaciones como el principalmedio para institucionalizar el SyE dentro delgobierno. Una base legal sólida puede ofrecerasistencia parcial para institucionalizar un sistemade SyE, pero se necesita mucho más queeso (Capítulos 10 y 11).• El peligro de tener un sistema de SyE excesivamentecomplejo, en particular mediantemúltiples sistemas de seguimiento condemasiados indicadores de desempeño (Capítulos9 y 10).• La búsqueda de un sistema ideal de SyEgubernamental que provenga de otros países.Algunos funcionarios buscan sistemasejemplares, como el de Chile, con la intenciónde reproducirlos en sus propios países.Esto es un error, no sólo porque los puntos departida que cada país tuvo que enfrentar sonúnicos, sino porque los destinos o puntos dellegada también los son, dependiendo del usoreal o futuro de la información que sus sistemasde SyE producirán (Capítulo 12).107

ANEXOS

ANEXO A:ENSEÑANZAS SOBRE CÓMO GARANTIZAREVALUACIONES INFLUYENTESUn tema consistente en esta obra es que la utilizaciónde la información del seguimiento y evaluación(SyE) es necesaria para que el sistemasea considerado “exitoso”. En parte, se trata deque el gobierno obtenga el máximo beneficio desus esfuerzos de SyE –que reflejen la eficacia enfunción de los costos del sistema de SyE.Sin embargo, la poca utilización no sólo representauna pérdida de oportunidad, también puede significaruna amenaza para la sostenibilidad del sistema.Generalmente, los funcionarios delgobierno no consideran que las evaluaciones tenganun valor intrínseco, por lo que, tal vez, muestranpoco entusiasmo en continuar invirtiendograndes cantidades de dinero en evaluacionesque van a ser ignoradas.La utilización de la información es particularmenteimportante en los primeros años de un sistemade SyE, antes de haber sido totalmenteestablecido y aceptado como parte normal delos asuntos del gobierno. En este período inicial,es importante que las evaluaciones tengan unefecto poderoso de demostración –demostrar suutilidad– logrando persuadir a funcionarios escépticoso poco convencidos de que el SyE valela pena y tiene un valor real para el gobierno(véase el capítulo 3, para un análisis de las diferentesmaneras en que las evaluaciones puedenser utilizadas por los gobiernos). En otras palabras,durante la fase inicial de un sistema de SyE es importanteque cada evaluación sea considerada.Esto hace recaer la responsabilidad sobre los administradoresde un sistema de SyE para que planifiquenmeticulosamente sus evaluaciones.La misma definición de éxito de un sistema de SyEse puede aplicar a una evaluación individual, y estonaturalmente conduce a una pregunta: ¿Qué senecesita para que una evaluación sea utilizada intensivamente,para que sea influyente? La siguienteexposición se basa en un análisis profundode ocho evaluaciones que se determinaron comoaltamente influyentes; este estudio presenta unaserie de enseñanzas detalladas sobre cómo diseñaruna evaluación influyente (Bamberger, Mackayy Ooi, 2004, 2005). Estas enseñanzas tambiénson consistentes con la literatura académica sobreutilización de la evaluación (por ejemplo, Patton,1997), y con los hallazgos del Grupo de EvaluaciónIndependiente (GEI) del Banco en relacióncon la utilización de sus propias evaluaciones(GEI, 2006a). En esta sección se resumen cincode las lecciones principales:1. La importancia de una política propiciao un ambiente de gestión. Es mucho más probableque se utilicen los hallazgos de una evaluacióny las recomendaciones si abordan asuntosde política importantes que el gobierno está considerandoen ese momento. Por ejemplo, un gobiernorecientemente elegido podría haberdecidido expandir de manera considerable elnivel de ayuda a los desempleados pero podríaestar inseguro del medio más eficaz en función delcosto. Evaluaciones de intervenciones alternativasdel gobierno, como la generación de empleo,subsidios salariales o programas de capacitaciónpara los desempleados, serían muy útiles paralas decisiones del gobierno (véase el recuadro8.2, para el ejemplo de Australia).Un ambiente propicio también incluiría el compromisode la administración de una dependenciapara implementar los hallazgos de unaevaluación –quizás porque la dependencia tieneuna fuerte orientación al servicio, y los adminis-111

CÓMO CREAR SISTEMAS DE SyE QUE CONTRIBUYAN A UN BUEN GOBIERNOtradores y el personal tienen mucho interés enproporcionar la mejor calidad de servicio posiblea sus clientes. En esta situación, se podría decirque la dependencia posee una sólida cultura deservicio o desempeño.2. El momento oportuno de la evaluación.La probabilidad de que los resultados y recomendacionesde una evaluación sean utilizados aumentacuando están disponibles de maneraoportuna y pueden servir como insumo para lasdecisiones de política o de gestión. Así, el MdHde Chile planifica cuidadosamente sus evaluaciones,teniendo muy en cuenta las fechas límitesdel presupuesto, para garantizar que estaráncompletas a tiempo para que sus resultados seanutilizados por los analistas de políticas y los quetoman las decisiones en cada ciclo del presupuesto(Capítulo 6).Esto da una prioridad especial a la planeación yadministración de la oportunidad de cada evaluación.Pero puede ser difícil prever las oportunidadespara influir en la agenda de política delgobierno, la cual puede ser influida por circunstanciasno previstas, por ejemplo, un cambio enel gobierno o una crisis macroeconómica.Un ejemplo de una evaluación que fue completadademasiado tarde para influir en una decisiónpolítica del gobierno se encuentra en el anexo B,recuadro B2. Un gobierno recientemente elegidoen Colombia decidió terminar un programa parageneración de empleo antes de que los resultadosde la evaluación estuvieran disponibles.Resultó que esos hallazgos eran sumamente importantespara los resultados del programa enrelación con sus objetivos. Se llevó a cabo una evaluaciónde impacto rigurosa. Estas evaluacionespueden proporcionar los resultados más minuciososy confiables, pero generalmente sólo sepueden llevar a cabo después de que el programaesté funcionando un tiempo suficiente como paraque sus efectos directos e impactos puedan sustentarsea sí mismos. Y este tipo de evaluación tambiénpuede requerir mucho tiempo para realizarse,especialmente si se necesita recopilar gran cantidadde datos.Este ejemplo de Colombia resalta las compensacionesque los gestores de un sistema de SyEdeben considerar cuando deciden qué programasevaluar, qué tipo de metodología de evaluaciónutilizar, y cuándo habría una buena oportunidadpara influir en un debate de la política delgobierno.3. Comprensión de la función potencial dela evaluación. Los evaluadores necesitan evitarel error de pensar que sus hallazgos y recomendacionesserán –y deberían ser– la influencia másimportante sobre quienes formulan las políticasdel gobierno o los administradores. En lugar deeso, deberían pensar que una evaluación es generalmentesólo una de muchas fuentes de informacióne influencia en el gobierno, sólo unapieza del rompecabezas. Lo ideal sería que unaevaluación proporcione nuevos conocimientosy una buena comprensión.Algunas veces, los gobiernos utilizan los resultadosde evaluación para justificar decisiones quetomaron en algún caso, especialmente si esas decisionesno fueron populares; o una evaluaciónpodría proporcionar la decisión final de terminarcon un programa que no funciona. Las recomendacionesde las evaluaciones que se centranen asuntos de implementación detallada, típicamenteserían menos controvertidas que las relacionadascon el valor total del programa, con sucontinuación o abolición. Una función particularmenteútil para un evaluador es la de brindaruna nueva perspectiva externa.4. Quién debe realizar la evaluación. Para queuna evaluación sea influyente, se requiere que elevaluador sea reconocido como confiable, objetivoy competente. En muchas situaciones, tambiénserá necesario que el evaluador sea vistocomo alguien independiente del programa –y algunasveces también de la dependencia– evaluado.En los países de América Latina, es usualque las evaluaciones se realicen externamente;esto va en contraste con los países de la Organizaciónpara la Cooperación y Desarrollo Económicos(OCDE), donde es más común que serealicen internamente (Parte VI). Por tanto, puedehaber una compensación entre la objetividad, in-112

ANEXO A: ENSEÑANZAS SOBRE CÓMO GARANTIZAR EVALUACIONES INFLUYENTESdependencia y confiabilidad de las evaluacionesy el conocimiento del programa por parte delevaluador y la responsabilidad de los hallazgos delas evaluaciones por parte del administrador ypersonal del programa.La experiencia de los evaluadores internos o externoses otro tema que se debe considerar. Unamanera de combinar los beneficios de ambos enfoques–evaluaciones internas y externas– es garantizarque tanto las partes interesadas externase internas tengan una función de supervisión enla evaluación, sin considerar si las evaluaciones sehacen interna o externamente.5. Crear una relación con el cliente, comunicary hacer marketing de los hallazgos deevaluación y recomendaciones. Otra falacia,aparentemente sostenida por muchos evaluadoresy administradores de oficinas de evaluación,es que el trabajo del evaluador es simplementeproducir informes de evaluación competentes. Dela misma forma, la difusión de los resultados y recomendacionesde una evaluación pueden (inocentemente)ser vistos como el envío de losinformes a una larga lista de nombres ydirecciones.Cuando se conduce una evaluación, es importantepara el evaluador mantener buenas relacionescon las partes interesadas, incluido enespecial el cliente principal que encargó la evaluación.Debe mantenérsele bien informado sobreel progreso de ésta, y se debe informar a las partesclave interesadas, antes de que la evaluacióntermine, sobre los probables hallazgos, especialmentesi éstos pueden dar lugar a controversia.En otras palabras, no debería haber sorpresas.La comunicación y el manejo del conocimientoson particularmente importantes para las oficinasde evaluación. Por eso, otra función importantetanto para los evaluadores como para las oficinasde evaluación es extraer los hallazgos clave quepuedan ser más relevantes y útiles para las partesclave interesadas. Entre éstas se incluye a quienesformulan las políticas y los administradores de programas.Los funcionarios de alto nivel generalmenteno tienen tiempo para leer informes deevaluación extensos, por eso es útil proporcionarresúmenes ejecutivos cortos y fáciles de leer, y preparardocumentos precisos que identifiquen lomás relevante, los hallazgos más importantes y lasrecomendaciones.Algunos enfoques más sofisticados sobre el manejodel conocimiento incluyen, por ejemplo, eluso de sitios web de evaluación (tanto para las evaluacionesindividuales como para la biblioteca deresultados de evaluación de la oficina de evaluación);lanzamientos formales de informes de evaluación,como seminarios y conferencias; y elmantenimiento de una lista de difusión de laspartes clave interesadas que han expresado interésen recibir resúmenes de evaluación. El GEI,que existe desde 1973, utiliza ahora su extensivabiblioteca de hallazgos de evaluación para abordarlas necesidades inmediatas de resultados evaluativosy enseñanzas de experiencia (GEI, 2006b,Capitulo 3).Esto se hace mediante productos de “tiempo rápidode respuesta”, como son notas y presentaciones;documentos informativos para administradoresde alto nivel del Banco, administradoresde línea y personal en general. Un ejemplode esto es el material preparado con poco tiempoen relación con las enseñanzas acerca de cómo enfrentardesastres naturales que se preparó tras unfuerte terremoto en Pakistán en 2005.La importancia de medir la utilizaciónEn relación con este tema, se destaca la importanciade que una oficina de evaluación conozcaen qué medida sus evaluaciones están siendo realmenteutilizadas, y con qué propósitos específicos.Esto es particularmente importante parauna oficina de evaluación recientemente instalada,cuya sostenibilidad podría no estar garantizada.Donde la utilización no es alta, será necesariotomar ciertas medidas para incrementarla.El GEI realmente es un modelo de buenas prácticas;prepara un informe anual de las actividadesde evaluación de las áreas operacionales del BancoMundial. Este informe también incluye una autoevaluaciónde las propias actividades de evaluacióndel GEI, que contiene las percepciones de las113

CÓMO CREAR SISTEMAS DE SyE QUE CONTRIBUYAN A UN BUEN GOBIERNOpartes interesadas en relación con el valor del trabajode evaluación del GEI. Entre estas partes interesadasse consideran al Directorio y personaldel Banco, entre ellos a los directores de países,administradores de sectores, y líderes de equiposde trabajo (quienes manejan los proyectos depréstamos del Banco). Se llevan a cabo grupos deenfoque y entrevistas estructuradas con muestrasde individuos de cada uno de estos grupos. Lostemas principales que abordan estos grupos y entrevistasse relacionan con el uso y la utilidad delos resultados de evaluación del GEI, productos,información y retos, incentivos, y obstáculos parael uso de la información del SyE en su trabajo.Como parte de esas mismas autoevaluaciones,el GEI realiza encuestas internas a gran númerode personas del Banco Mundial, a miembros deldirectorio y a sus asesores. También conduce encuestasexternas de clientes externos, incluidosgobiernos, organizaciones donantes, organizacionesno gubernamentales, académicos y públicoen general. Estas encuestas se centran eninformes de evaluación específicos del GEI. Enellas, las preguntas son respecto a:• Lectores y grado de conocimiento de estosinformes;• Percepción de su calidad (relevancia, facilidadde comprensión, concisión de la presentación,pertinencia, utilidad de las recomendaciones,análisis objetivo e imparcial, transparencia y claridadde la metodología, fuerza de la relaciónentre las conclusiones y la evidencia, profundidaddel análisis, y si toda la información disponiblefue incorporada);• Grado de influencia de la evaluación, por ejemplo,en la comprensión del entrevistado delárea de estudio;• Utilización de la evaluación (para el personaldel Banco, se está investigando varias categoríasposibles de uso en su trabajo, como en elcaso de ofrecer asesoría, su trabajo de diseñarnuevas estrategias, y modificación de proyectosy estrategias existentes del Banco); y• Cómo mejorar la calidad de las recomendacionesde las evaluaciones del GEI.Los resultados de dichos grupos de enfoque, entrevistasy encuestas, pueden ser bastante reveladoraspara una oficina de evaluación y para losevaluadores también. Dichos enfoques aplicanel mismo rigor a una oficina de evaluación comola oficina lo aplicaría a los programas que evalúa.Esto, a su vez, puede ayudar a resaltar la confiabilidade influencia de la oficina de evaluación.114

ANEXO B:DIAGNÓSTICO DE UN PAÍS—EL EJEMPLO DECOLOMBIAEste anexo fue publicado por separado (Mackayy otros 2007). La preparación de este rápido diagnósticofue un esfuerzo conjunto que involucróa una serie de profesionales de la Región de AméricaLatina y el Caribe del Banco Mundial, asícomo al coordinador del GEI para el desarrollo dela capacidad de evaluación.1. IntroducciónEl Banco Mundial está preparando un préstamoprogramático para apoyar al Gobierno de Colombiaen su continuo esfuerzo por fortalecer susistema nacional de SyE – SINERGIA. 1 El propósitode este diagnóstico rápido es auxiliar al equipodel Banco Mundial y al Gobierno en el entendimientoen conjunto de los aspectos más importantesde este sistema de SyE, que incluye:• su origen;• marco legal;• objetivos, roles y responsabilidades de los participantesclaves;• principales componentes de SyE de SINER-GIA: SIGOB y las evaluaciones de impacto;• grado de utilización de la información de SyEproducida por SINERGIA;• SINERGIA: fortalezas, desafíos y direccionesfuturas; y• conclusiones.La base de la información que alimenta este diagnósticorápido consiste en un número de informesdel gobierno y declaraciones de política, documentaciónsobre un amplio rango de proyectos depréstamos o donantes auspiciados por el BancoMundial que ya han apoyado SINERGIA (o han apoyadoactividades específicas bajo el amplio auspiciode SINERGIA), presentaciones de conferenciasformales realizadas por altos funcionarios del gobierno,información recogida por el personal delBanco Mundial que han participado en muchosproyectos de preparación y misiones de supervisión,y en la retroalimentación del diagnósticopor parte de los funcionarios del gobierno en elDepartamento Nacional de Planeación (DNP). LasMisiones del Banco incluyen reuniones con funcionariosde los ministerios centrales y sectoriales,la oficina del Contralor General de la República,los gobiernos municipales y grupos de la sociedadcivil, para tratar aspectos del SyE que incluyen lasfortalezas y debilidades de SINERGIA. Estas reunioneshan sido una valiosa fuente de información.Sin embargo, para presentar el panorama de maneramás exhaustiva, sería necesario un enfoquemás estructurado que capte las opiniones de losfuncionarios relevantes.El presente documento buscar plasmar lo quesabemos y lo que no sabemos respecto a SINER-GIA. Debe ser visto sobre todo como un trabajoen ejecución – como una vía en busca de mayorinformación, comentarios y juicios sobre las muchasfacetas específicas de SINERGIA y sus posiblesdirecciones futuras. Un desafío que enfrentanlos observadores externos es el poder identificarclaramente cuál o cuáles de los diferentes componentesde SINERGIA y de otros sistemas de presupuesto/planeaciónestán trabajando razonablementebien, y cuáles sólo existen en el papel.Será necesario realizar un diagnóstico más exhaustivopara resolver una serie de temas muy importantessobre el cual la actual evidencia parecedébil o no concluyente. Adjunto en el anexo se encontraráun bosquejo de los términos de referenciapara dicho diagnóstico, el cual, sin duda,constituiría una evaluación formal de SINERGIA.115

CÓMO CREAR SISTEMAS DE SyE QUE CONTRIBUYAN A UN BUEN GOBIERNO2. Origen y desarrollo de SINERGIALa creación del sistema fue decisión del Ministrode Hacienda con el fin de reproducir en Colombiael enfoque del Banco Mundial respecto a la evaluación.El gobierno identificó la estructura básicapara un sistema de SyE con la asistencia técnica delBanco Mundial. La primera fase de la evolución delsistema se realizó entre 1990 y 1996, la cual incluyóun requisito formal para evaluaciones en la Constituciónrevisada de 1991. SINERGIA, el Sistema Nacionalde Evaluación de Resultados de la GestiónPública – fue formalmente creado en 1994. ElBanco Mundial proporcionó apoyo continuo a SI-NERGIA durante este período, principalmente através de un nuevo Proyecto de Modernización dela Administración Financiera Pública I (de 1994 a2001). La segunda fase de la evolución de SINER-GIA, de 1996 a 2002, marcó un período en el que,supuestamente, el prestigio de SINERGIA dentrodel gobierno disminuyó, en parte debido a la percepcióndificultad de su administración. En esteperíodo, comenzó a surgir la opción de abolirlo yaque habían dudas sobre su importancia en relacióna la agenda de reforma del sector público. Sinembargo, el requisito constitucional de evaluaciónimpidió esta opción. Hacia finales de esteperíodo, en el 2001, el Banco Mundial intensificósu apoyo a SINERGIA, no sólo a través de unnuevo Proyecto de Modernización de la AdministraciónFinanciera Pública (MAFP II) sino tambiéncopatrocinando, con el Banco Interamericano deDesarrollo, una serie de evaluaciones de impactode dos grandes programas del gobierno: Empleoen Acción (un programa para la creación de nuevospuestos de trabajo) y Familias en Acción (unprograma de transferencias monetarias condicionadas).2La tercera fase, de 2002 al presente, se inició conla elección del Presidente reformista Álvaro Uribe.El nuevo gobierno quedó consternado al notar quelos grandes incrementos en el gasto del gobierno,en áreas como educación y salud, no habían resultadoen aumentos en el desempeño del gobierno(productos y efectos directos) en dichasáreas. 3 Al mismo tiempo, el Presidente Uribe declarósu sólido deseo de una nueva cultura de administraciónpública, ampliamente basada en larendición de cuentas social – control social. Así,él introdujo un sistema para monitorear e informarsobre el progreso teniendo en cuenta lasmetas presidenciales y las metas de desarrollo delpaís (SIGOB), 4 él ha buscado activamente implementarel mandato constitucional de evaluar, y haemitido una directiva presidencial 5 y una declaraciónde política de la gestión basada en resultados. 6Él integró el SIGOB en SINERGIA y fortaleció SI-NERGIA. Esto condujo al nombramiento de unnuevo jefe de la unidad de evaluación que manejaSINERGIA, localizado en el Departamento Nacionalde Planeación, y al reclutamiento de personaly consultores para esta unidad.Durante este período, el Banco Mundial aumentósustancialmente el rango y nivel de apoyo quebrindaba al SyE del gobierno, a través de dospréstamos de ajuste estructural y uno para asistenciatécnica, un préstamo de redes de seguridadsocial, trabajo sectorial y un segundo proyectode modernización de la administración financierapública. Otros donantes también han participadoactivamente apoyando a SINERGIA durante esteperíodo de rejuvenecimiento como se muestra enel Cuadro B.1. Desde el año 2002, se han gastado10.8 millones de dólares en SINERGIA, de loscuales casi la mitad corresponde al financiamientootorgado por el BID, el 32% por el Banco Mundial,y el 8% por el USAID y el PNUD. Durante esteperíodo cuando había limitaciones fiscales macroeconómicasseveras, el propio gobierno habíafinanciado sólo el 12% de costos de SINERGIA. Evidentemente,este bajo nivel de apoyo financierono es sostenible a largo plazo.3. Marco legaleEl siguiente tema de discusión está basado en uninventario rápido y en el análisis de los instrumentoslegales en Colombia. El Banco Mundial seencuentra actualmente preparando un análisismás detallado para identificar los puntos que sesobreponen y las brechas, y qué tipos de instrumentoslegales se necesitarán para llenar estas brechas– decretos, leyes o declaraciones de políticas.Desde los años de la creación del mandato constitucionalde 1991, se ha creado un marco legaldetallado para dar apoyo a SINERGIA. En estemandato se estipulaba el enfoque del sistema de116

ANEXO B: DIAGNÓSTICO DE UN PAÍS—EL EJEMPLO DE COLOMBIACuadro B.1 Apoyo financiero para SINERGIA: de 2002 a 2006 ($ ‘000)TotalFuente de los fondos 2002 2003 2004 2005 2006 2002–2006Banco Mundial MAFP II 350 300 305 288 300 1,543Banco Mundial Préstamos delSector Social 1,500 — 450 — — 1,950BID 2,666 — 2,509 — — 5,175USAID — — 50 200 200 450PNUD — — 400 — — 400Gobierno 250 250 256.7 270 270 1,297Total 4,766 550 3,970.7 758 770 10,814Fuente: Departamento de Planeación Nacional.evaluación de la siguiente manera “evaluar lagestión y los resultados del sector público”. Lasleyes de 1993 regularon la función de control fiscal(ejercido por la Contraloría) para incluir “sistemasde control de resultados”, y tambiénregularon la función del control interno dentro delas agencias del sector público para incluir sistemasde control y evaluación de la gestión. Una leyde 1994 le dio al DNP la responsabilidad de crearSINERGIA y de informar anualmente los resultadosdel sistema de evaluación ante el ConsejoNacional de Política Economía y Social (CON-PES), un comité de políticas de alto nivel dirigidopor el Presidente. El propio SINERGIA fuecreado a través de una resolución del DNP, en1994, que operacionalazo el mandato constitucionaly legal, y que también asignó a todas lasagencias del Poder Ejecutivo del Gobierno la responsabilidadde autoevaluarse. Además, el DNPse asignó a sí mismo la responsabilidad de desarrollarmetodologías que guíen las actividades deevaluación del sistema. Recientemente, una ley delaño 2003 estipuló que el presupuesto nacional incluyadetalles sobre los objetivos, resultados esperadose indicadores de gestión para todas lasactividades del gobierno. 7 Otras leyes duranteeste período han añadido mayor complejidad almarco legal. Considerando esto, en Colombia escomúnmente aceptado que se requiera una baselegal y normativa detallada para proporcionar direccióny legitimidad a una reforma en cualquierárea del gobierno, tal como el SyE. Indudablemente,si bien se considera necesario contar contal marco, esto no es suficiente para asegurar quedicha función trabaje bien. Otros factores que sediscuten más adelante, tales como la fuerza del liderazgoen la reforma, los recursos proporcionadospara apoyarla, el establecimiento de reglasy procedimientos de rutina y los incentivos parala utilización de la información de SyE, son tambiénpuntos claves para el éxito del sistema.El mismo gobierno ha reconocido que la multiplicidadde las leyes y decretos han conducido ala profusión de conceptos, metodologías, e instrumentosde SyE, y que se necesita aún más claridadahora que SINERGIA está entrando a unaetapa de mayor desarrollo. Esto condujo a la emisiónde un documento de política del CONPES(#3294) en el año 2004: Renovación de la AdministraciónPública: Gestión por Resultados yReforma del Sistema Nacional de Evaluación.4. Objetivos, roles y responsabilidades4.1 ObjetivosLa última declaración de política del gobiernosobre SINERGIA – el CONPES 3294 – señala que losobjetivos del sistema de SyE son los siguientes:1. mejorar la eficacia y el impacto de las políticas yprogramas del gobierno e instituciones públicas;2. ayudar a incrementar la eficiencia y transparenciaen la planificación y asignación de recursospúblicos; y117

CÓMO CREAR SISTEMAS DE SyE QUE CONTRIBUYAN A UN BUEN GOBIERNO3. alentar la transparencia en la gestión pública,en especial estimulando el control por parte dela ciudadanía – es decir, el control social.Estos objetivos de amplio alcance pueden ser desagregadosen seis diferentes tipos de utilizacióndeseada de la información del SyE que produceSINERGIA: (1) apoyar la asignación de los recursosy la toma de decisiones dentro del presupuestonacional, proporcionando informaciónsobre el desempeño real y probable de las prioridadesde gasto alternativas; (2) apoyar la tomade decisiones de la planificación nacional tantocuando se desarrollan los planes nacionales acuatro años, como cuando se identifican las prioridadesanuales en el plan nacional; (3) asegurarla cohesión de la acción del gobierno en relacióna aquellas prioridades de desarrollo; (4) ayudar alos ministerios sectoriales en el desarrollo de suspolíticas y la planificación de su trabajo; (5) apoyarla actual gestión de las actividades del gobiernorealizadas por los ministerios y susagencias; y (6) asegurar la transparencia del desempeñodel gobierno logrando que la informacióndel SyE se encuentre disponible para elCongreso y la sociedad civil, es decir, propiciar larendición de cuentas a través del control social.Como se puede ver a continuación, de todosestos objetivos, SINERGIA de Colombia ha enfatizadoexitosamente el control social, especialmentepor lo menos desde el año 2002.4.2 Roles y responsabilidades de las partesinteresadas clavesLa Dirección de Evaluación de Políticas Públicas(DEPP) del DNP es la base de SINERGIA. Estaunidad coordina el sistema, proporciona asesoríasobre las metodologías y tipos de evaluación y administraalgunas evaluaciones. También proporcionaasesoría técnica y apoyo financiero paraalgunas de las sofisticadas evaluaciones de impactoy otros tipos de evaluaciones conducidas porministerios y agencias sectoriales. Esta Direcciónorienta a los sistemas de SyE piloto de gobiernosterritoriales y a otras entidades como el Ministeriode Protección Social (MPS) que está estableciendoun sistema de seguimiento y evaluación.La DEPP maneja el sistema de información que realizaun seguimiento del progreso comparadocon las Metas Presidenciales, SIGOB, y es co-responsable,junto con la Presidencia, en la elaboraciónde los informes anuales y del final degobierno, respecto al desempeño del Gobiernoconsiderando los compromisos asumidos bajo elplan de desarrollo nacional. Estos informes sonun insumo clave para el informe anual del propioPresidente ante el Congreso (Gráfico B.1). LaDEPP cuenta con 31 personas dentro de su personal,de los cuales cerca del 70 por ciento estánactualmente empleados como consultores. 8La DEPP coordina los informes de los ministeriosy agencias sectoriales, y de los gobiernos territoriales,que proporcionan la información de seguimientonecesaria para el SIGOB (se discutirámás adelante). Estas entidades y gobiernos territorialesson formalmente responsables de la gestiónpor resultados. La DEPP también actúa comola secretaría del Comité Intersectorial de Evaluacióny Gestión por Resultados. Este comité, creadomediante un decreto de Diciembre de 2002,viene a ser el principal responsable de la coordinaciónde las acciones de SyE entre las unidadesdel gobierno que deciden la agenda de evaluacióncuatrianual – correspondiente al período de gobiernodel Presidente – y a la correspondienteagenda anual de evaluaciones que tienen que serrealizadas. Este comité también decide los estándarestécnicos y determina la metodología de evaluaciónpara las evaluaciones individuales. Otrosmiembros de este comité son otras direcciones delDNP, la Presidencia, el Ministerio de Hacienda y ministeriosy agencias sectoriales invitados a participarcuando se evalúan sus programas. El comité se hareunido seis veces desde su creación a inicios del2004, y tiene que reportar ante el CONPES. En2004, el CONPES emitió una declaración de políticasobre gestión por resultados y sobre reformasnecesarias en SINERGIA.5. Principales componentes del SyE deSINERGIAEl seguimiento y evaluación del gobierno generalmentecomprende una amplia gama de herramientas,métodos y enfoques. Estos puedenparecer confusos para el común de las personas,pero es importante entender su amplitud, y es-118

ANEXO B: DIAGNÓSTICO DE UN PAÍS—EL EJEMPLO DE COLOMBIAGráfico B.1 SINERGIA: Roles y ResponsabilidadesCongresoCONPESPresidente /GobiernoSociedadCivilComité Intersectorial deEvaluación y Gestión porResultadosPresidenciaDNPM. de HaciendaMinisterios / agencias invitadasDepartamento Nacionalde PlaneaciónDirección de Evaluaciónde Políticas PúblicasPresidenciaMinisterios /agenciassectorialesMinisterios /agenciassectorialesMinisterios /agenciassectorialesGobiernosTerritorialespecialmente sus usos, ventajas y limitaciones,además de los costos, habilidades y tiempo requeridopor cada uno de ellos. Es importante entenderque estos diferentes tipos de SyE soncomplementarios, cada uno tienes sus fortalezasy limitaciones, y el desafío consiste en decidircómo combinarlos de la mejor manera en un sistemanacional de SyE.Los dos componentes principales de SINERGIAson el SIGOB, un sistema de indicadores de desempeñoque hace un seguimiento al progreso enlas Metas Presidenciales, y su agenda de evaluacionesde impacto.5.1 SIGOBExisten alrededor de 500 indicadores de desempeñorelacionados con 320 Metas Presidenciales,9 y para cada indicador el SIGOB registra elobjetivo, el desempeño base, las metas anuales,el desempeño real comparado con dichas metasy las sumas invertidas por el gobierno. De esa manera,SIGOB incluye un gran número de indicadoresdel desempeño del gobierno que incluyemedidas de insumos, procesos, productos y efectosdirectos (resultados). La información está desagregadapor regiones, incluyendo por lasciudades más grandes. Además, donde no se halogrado conseguir una meta, hay una solicitud paraque el administrador de dicha meta prepare unaexplicación sobre las razones por las que no se alcanzaronlas metas. Estos informes de excepciónse incluyen en la base de datos del SIGOB, quese encuentra disponible al público en general atiempo real. 10 El sitio web también promueve larendición de cuentas identificando al administradorde dicha meta, su ministerio y su cargo, ademásde sus direcciones electrónicas.Una versión inicial del SIGOB fue desarrollada enel año 2002 con apoyo del PNUD, y fue inicialmenteubicado dentro de la Presidencia. Luego,en el 2005, se transfirió la responsabilidad al DNP,bajo el auspicio de SINERGIA, donde un nuevo paquetede software con mejor funcionalidad fue desarrollado.El DNP negocia las metas anuales con119

CÓMO CREAR SISTEMAS DE SyE QUE CONTRIBUYAN A UN BUEN GOBIERNOcada ministerio y agencia. La DEPP también apoyael trabajo piloto para reproducir el SIGOB en elmunicipio de Pasto.Los datos que el SIGOB maneja son proporcionadospor los ministerios y agencias. Además decualquier control de datos aplicado por las entidadesque proporcionan información al SIGOB,la DEPP misma se esfuerza por identificar cualquierproblema o inconsistencia con los datos, y tieneun equipo responsable del monitoreo de la calidadde la información del SIGOB y del seguimientode posibles problemas con la informaciónde las entidades que los brindan. Sin embargo,ante la ausencia de un sistema de auditoria dedatos, detallado y permanente, la confiabilidad dela información es desconocida y ciertamente noha sido demostrada. Una excepción, en parte, esel Ministerio de Educación (MEN) que, con elapoyo del Banco Mundial, estaría llevando a caboauditorias limitadas de la información proporcionadapor los departamentos y municipios. 11Como las asignaciones de los fondos para los estadosestán basados en la información de inscripciónescolar, esto se convierte en un incentivopara que algunos estados sobre-estimen el númerode inscripciones escolares.La declaración de política del gobierno sobreSINERGIA (CONPES 3294), cuyo proyecto fue elaboradopor la DEPP/DNP, ha llamado la atenciónsobre la necesidad de abordar los problemasrespecto a la confiabilidad de la información delSIGOB, inclusive su calidad y consistencia (especialmentedonde los problemas han surgidoa partir de múltiples fuentes de información nocoordinadas), su regularidad y verificación. Estadeclaración de política también presenta unaexplícita preocupación de que los ministeriosmanipulen la información que presentan aSIGOB.5.2 Evaluaciones 12Constituyen el segundo componente principalde SINERGIA. Actualmente se han completado ose están llevando a cabo cerca de 16 evaluacionesy hay otras 17 que van a ser realizadas en el transcursode los próximos cinco años (Cuadro B.2).La mayoría de estas evaluaciones son evaluacionesde impacto y comprenden un sofisticado análisisestadístico de los beneficiarios del programay de los grupos control o comparación. Tambiénincluyen generalmente un foco en eficacia operacionaly otros temas de gerencia. Una pequeñacantidad de otros tipos de evaluación están realizados,y éstos tienden a ser enfocados estrictamenteen temas de gerencia e institucionales.Desde el año 2002, por lo menos dos tercios deltotal gastado en SINERGIA, proveniente de todaslas fuentes – principalmente del BID, del BancoMundial y del Gobierno – han sido gastados enevaluaciones. Su costo varía desde US$15,000hasta US$2 millones para las evaluaciones de impactorigurosas del componente rural de Familiasen Acción. Para aquellas evaluaciones que hanrecibido apoyo financiero del Banco Mundial, elvehículo principal para este apoyo ha sido lospréstamos sectoriales específicos, particularmenteen los sectores sociales. No se conoce el nivel deapoyo financiero suplementario de los ministeriossectoriales y agencias. CONPES ha endosado laevaluación de impacto como instrumento de la políticasocial (CONPES 3188).El Cuadro B.2 muestra que los costos de muchasde estas evaluaciones son altos. Esto se debe a quepara realizar estas evaluaciones, es necesaria unarecolección de datos muy detallada, debido a lafalta de información administrativa, de hogares yotra información que sea adecuada. Este tema, yla potencialmente alta costo-efectividad de estetipo de evaluación, se discuten en mayor detallemás adelante.La DEPP ha utilizado un proceso de licitacióncompetitivo para contratar estas evaluaciones,entre el ámbito académico o empresas consultorasnacionales o internacionales. La contrataciónde estas evaluaciones se realiza para asegurar laobjetividad, confiabilidad y credibilidad de lasevaluaciones, y también debido a que existe unafalta de experiencia por parte del gobierno en loque se refiere a evaluaciones de impacto. Otro objetivoes ayudar a construir las capacidades localespara evaluación. Generalmente, la DEPP y losministerios sectoriales trabajan juntos en la administraciónde estas evaluaciones de impacto.120

ANEXO B: DIAGNÓSTICO DE UN PAÍS—EL EJEMPLO DE COLOMBIACuadro B.2 Agenda de las Evaluaciones de Impacto y Otras Evaluaciones(El costo de cada evaluación, en dólares, se encuentra entre paréntesis)Evaluaciones ya completadas Evaluaciones en ejecución Evaluaciones planificadas (2006–10)Empleo en Acción ($1.5m)Adulto Mayor ($50,000)Corpomixtas ($15,000)Programa de Apoyo Directoal Empleo — PADE($66,000)Total: $1.631mFuente: Departamento Nacional de Planeación.Familias en Acción — Rural ($2m)Familias en Acción — Grandes Ciudades ($180,000)Jóvenes en Acción ($670,000)Vivienda de Interés Social —VIS ($226,800)Programa de Renovación de la AdministraciónPública — PRAP ($311,000)Hogares Comunitarios ($1.36m)Fondo Colombiano para la Modernización yDesarrollo de las Micro, Pequeñas y MedianasEmpresas — Fomipyme ($88,000)Sistema General de Participaciones — SGP (Parte1) ($419,000)Red de Seguridad Alimentaria — RESA($125,000)Programa de Paz y Desarrollo y Laboratorios de Paz(etapa 1) ($206,000)Desayunos InfantilesEstratificación Socio económica ($200,000)Total: $5.786mCursos de Formación Complementaria — SENA($200,000)SENA — Institucional ($60,000)ICBF — Institucional ($30,000)SENA — Otros Programas ($95,000)Reinsertados ($119,000)Familia Guardabosques ($119,000)Programas del Sector Agrícola ($119,378)Familias en Acción Desplazadas ($119,378)Banco de Pobres ($198,000)Red de Apoyo Contra la Pobreza Extrema — PEP($198,000)Evaluación Programas Sector Justicia ($119,000)DANE — Institucional ($60,000)MinInterior — Institucional ($25,000)Rapid evaluation pilots ($98,000)Evaluación Plan Decenal de Cultura ($150,000)Mujer Cabeza de Familia Microempresaria($150,000)Programas de alimentación escolar en Colombia($600,000)Total: $2.460mEs así que para la DEPP, la prioridad es poder administrary supervisar estas evaluaciones, másque conducirlas. La base de habilidades que existeen la DEPP para apoyar este trabajo es limitada.Y la confianza de la DEPP en el personal contratado– que llegan a ser 22 de los 31 miembros dela DEPP – puede haber funcionado como una barrerapara el desarrollo de las habilidades profesionales,por ejemplo a través del hecho de nopoder ser elegibles para becas de entrenamiento/capacitación.Un desafío para la DEPP esfortalecer su capacidad para manejar estas evaluaciones.Respecto a qué actividades deberían estar sujetasa rigurosas evaluaciones de impacto, el gobiernoha declarado que las decisiones deben estar basadasen 5 criterios: (1) la cantidad de recursos queconsumen; (2) las características de la poblacióna la que ellos sirven (por ejemplo, los pobres olos desplazados); (3) la importancia de la actividad,en términos de prioridad para el plan nacionalde desarrollo; (4) el carácter innovador de la actividad(por ejemplo, un programa piloto); (5) elpotencial de reproducción del sistema. Sin embargo,la información de desempeño del SIGOBno parece haberse usado con el fin de detectaralgún problema en los programas gubernamentalespara los que se justificara una evaluación,pero valdría la pena que la DEPP adopte este enfoque.Esto contrasta con la situación en Chile, porejemplo, donde las señales de un bajo desempeño121

CÓMO CREAR SISTEMAS DE SyE QUE CONTRIBUYAN A UN BUEN GOBIERNOdel programa se utilizan como un impulso parajustificar una investigación más exhaustiva de lascausas del bajo desempeño a través de una evaluaciónformal – ya sea una revisión de escritorioo una evaluación de impacto sofisticada.Como se vio anteriormente, el Comité Intersectorialde Evaluación tiene la responsabilidad formalde decidir las agendas, tanto la cuatrianualcomo la anual. Hasta ahora, sin embargo, la agendade evaluaciones ha sido establecida de maneraespontánea (desde las bases hacia los líderes) enlugar de una forma planificada (desde los lídereshacia las bases). La agenda de evaluación está actualmentedeterminada sobre la base de las evaluacionesfinanciadas por donantes internacionalescomo parte de sus préstamos al gobierno, en conjuntocon algunas evaluaciones adicionales queestán ampliamente financiadas por los ministeriossectoriales y agencias individuales, y con algúnapoyo técnico y financiero de DEPP. Se esperaque este enfoque haya ayudado a lograr altos nivelesde aceptación de los hallazgos de estas evaluaciones,por parte de los ministerios y agenciascuyos programas han sido evaluados, por un lado;y por otro, por parte de DNP y otros ministerioscentrales. Sin embargo, ello significa que la agendade evaluación ha sido muy dependiente del apoyodel donante y de las prioridades de evaluación.Seria recomendable que el Comité Intersectorialde Evaluación jugara un rol importante en la supervisióndel desempeño de SINERGIA y en eldesarrollo de sus futuras direcciones.5.3 Otras actividades de SyEEl DNP/DEPP ha actuado activamente en unaserie de otros aspectos del SyE, tal como los esfuerzospara fortalecer la rendición de cuentas públicaen el desempeño del gobierno, proporcionarasistencia técnica a algunos ministerios o agenciasque están tratando de desarrollar sus sistemasinternos de SyE, la formación de capacidades deSyE en el sector público y la academia, avanzandolos programas pilotos de presupuesto basado enel desempeño a nivel municipal, la preparacióndel informe de presupuesto de inversión basadoen el desempeño y el desarrollo de los lineamientosde política del SyE. Algunos aspectos deestas iniciativas son considerados a continuación.6. Grado de utilización de la informaciónde SyE producida por SINERGIA6.1 Rendición de cuentas – Control político ysocialUna característica distintiva de Colombia es elfuerte compromiso del Presidente Uribe con la utilizaciónde la información del SyE para mejorar elcontrol político del Poder Ejecutivo y para apoyarel control social. La base de datos del SIGOB estácargada en su computadora personal y utiliza esainformación en sus reuniones mensuales de controlde gestión con cada ministro y el DNP. Duranteestas reuniones, se revisa el progreso alcanzadoen relación a cada una de las metas presidenciales,y si es el caso, se le solicita a cada ministro queexplique las razones por las que no se consiguióalcanzar el desempeño esperado. También seacuerdan los indicadores de desempeño y las accionespara alcanzar estas metas. La Presidenciase reúne con los ministros para asegurarse deque todos ellos saben utilizar bien el SIGOB. ElPresidente también utiliza esta información delSIGOB en sus reuniones municipales semanalesque realiza en los diferentes municipios del país,así como en la presentación anual televisada a laciudadanía, en la que el Presidente y sus ministrosdiscuten el desempeño del gobierno y respondenlas preguntas de los ciudadanos sobre estos temas.Este fuerte compromiso presidencial con la utilizaciónde la información del SyE para monitoreare informar sobre el desempeño del gobiernoparece ser única en América Latina y tal vez en elmundo. Envía señales poderosas a los ministrosde manera individual y a los servidores civiles ensus ministerios y agencias, y se espera que promuevauna cultura de desempeño. Sin embargo,todavía no se conoce la real magnitud a la cual hallegado esa cultura – este es un tema que se podríainvestigar a través de un diagnóstico exhaustivo.Pero parece que no se ha logrado unamayor adopción de las prácticas de SyE en todoslos ministerios y en los gobiernos territoriales.Dicho esto, existen varios ministerios, agencias ygobiernos municipales, discutidos a continuación,que actualmente se encuentran trabajandopara fortalecer sus sistemas de SyE, algunos deellos con el apoyo activo de DEPP.122

ANEXO B: DIAGNÓSTICO DE UN PAÍS—EL EJEMPLO DE COLOMBIAOtro tema desconocido es la credibilidad de la informaciónque el gobierno reporta a la sociedadcivil. 13 Algunos representantes importantes de lasociedad civil han sembrado dudas en cuanto ala credibilidad de los datos del SIGOB – el principalargumento es que esos datos son producidospor el gobierno y que por consiguiente,inherentemente no son confiables. Por eso, laconfianza de SINERGIA en los informes de supropio desempeño es vista así por algunos comouna debilidad estructural en los acuerdos de rendiciónde cuentas (ver más abajo). La página webdel SIGOB permite que los lectores emitan sus juiciossobre el desempeño del gobierno frente a suspromesas (conforme están reflejadas en el plannacional de desarrollo), y sobre la accesibilidad,calidad y utilidad de toda la información delSIGOB, disponible para el público en general,con respecto al desempeño del gobierno. 14 Además,la DEPP encuestó a más de 3,000 hogares en13 capitales en julio de 2006 preguntándoles directamentesobre una serie de temas similares, incluyendotambién preguntas sobre transparencia,grado de respuesta y rendición de cuentas del gobiernoy de las diferentes entidades gubernamentales,disponibilidad de la información sobreel desempeño del gobierno, la importancia sobrela participación ciudadana en la gestión públicay la calidad de una serie de servicios públicos. 15Otro aspecto del SIGOB es el hecho de ser esencialmenteuna herramienta de seguimiento. Es necesarioinformar, a través de evaluaciones delprograma y de la política, sobre el desempeño sobresalienteo un desempeño deficiente, lo que asu vez, necesita estar basado en políticas rigurosasy formulación de programas vinculados a lasMetas Presidenciales y a las metas de desarrollodel país.La DEPP ha desarrollado una serie de iniciativasambiciosas para promover aun más el control social,y parece ser que la primera de éstas ha conseguidoalgo de avance. Estas iniciativas incluyen:• Colombia Líder – una asociación independientede la sociedad civil conformada por organizacionesde medios de comunicación,bancarias, fundaciones y otras que promuevenuna buena gobernabilidad y control social.Este consorcio, que ha sido impulsado y apoyadopor la DEPP, resaltará el buen desempeñode los alcaldes municipales, y monitorearálos planes y gastos gubernamentales, y analizarásu impacto sobre la pobreza;• asociaciones con organizaciones de la sociedadcivil para difundir la información de SyE;• empleo de estaciones de radio y televisiónpara producir programas sobre el desempeñodel gobierno; 16 y• contratación de expertos sectoriales para analizare informar sobre el desempeño del gobierno.Esto también proporcionará algunagarantía de calidad complementaria de la informaciónde SyE del gobierno, tal como losdatos del SIGOB.Aunque el progreso en las tres últimas iniciativasparece modesto, estos esfuerzos de involucrarsedirectamente con la sociedad civil podrían teneruna retribución significativa si llegan a tener éxito,y también haría que sea muy difícil retrocederen el futuro. Un buen ejemplo de una iniciativade la sociedad civil que fue desarrollado independientementedel gobierno nacional, es el programa“Bogotá Cómo Vamos”. Esta iniciativa fuecreada por un consorcio de una fundación privada(la Fundación Corona), el diario más importantede la ciudad de Bogotá (El Tiempo), y la Cámarade Comercio de Bogotá, y parece estar totalmenteinstitucionalizada. 17 “Bogotá Cómo Vamos”consiste en una extensiva publicación de la informaciónsobre el desempeño del gobierno municipaljunto con información de las encuestas deopinión pública. Los tres socios de esta empresaestán apoyando la reproducción de este enfoqueen Barranquilla, Cali, Cartagena y Medellín. Estainiciativa es un excelente ejemplo del tipo de mecanismoque puede ser apoyado para promoverel control social del desempeño del gobierno.Asimismo, cada año el Presidente presenta formalmenteun informe ante el Congreso sobre el alcanceque han logrado las metas y objetivos del plannacional. Sin embargo, no está claro en qué medidael Congreso puede utilizar esta información. ElCongreso sólo juega un rol secundario en el procesode presupuesto (Banco Mundial, 2005b). Los123

CÓMO CREAR SISTEMAS DE SyE QUE CONTRIBUYAN A UN BUEN GOBIERNOcongresistas tienen muy poco apoyo técnico comopara que puedan entender los hallazgos de la evaluacióne información sobre el desempeño, y encualquier caso, la discusión en el Congreso sobreel presupuesto anual tiende a ser enfocada estrictamenteen asuntos políticos. Esta experiencia esquizá similar a la de muchos otros países. Por lotanto, la posibilidad de que el Congreso puedajugar algún rol importante en SINERGIA parece sermínima – a no ser que el Congreso tome la iniciativade solicitar al gobierno la información del SyEe institucionalizar su empleo.6.2 Apoyo para la toma de decisiones sobre elpresupuesto y la planificación nacionalRigideces Presupuestales. El DNP es responsablepor la preparación de plan nacional de desarrollocuatrianual, y también tiene responsabilidaden la elaboración del presupuesto de inversiónanual. Este último incluye infraestructura y otrasinversiones, así como inversiones en capital humano(tal como educación y capacitación). Elpresupuesto de inversión comprende cerca del 15por ciento del presupuesto total nacional. El Ministeriode Hacienda es el responsable del resto– el presupuesto corriente – el cual también incluyeel financiamiento en curso para los servidoresciviles y sus actividades administrativas,servicio de la deuda del gobierno, pagos de pensióny transferencias a los gobiernos territoriales.No se sabe claramente en qué medida existe potencialpara que la información de SyE pueda ejerceralguna influencia en la toma de decisionessobre el presupuesto y la planificación nacional enColombia. Existe considerable falta de flexibilidadpresupuestaria en Colombia por diferentes razones,incluyendo las transferencias ordenadas constitucionalmentea los gobiernos territoriales y a unagama de derechos permanentes e ingresos etiquetados.Como resultado, prácticamente el 95 porciento del presupuesto está etiquetado y de esamanera es inflexible en el corto plazo. 18 Pero si bienla información sobre el desempeño y los hallazgosde las evaluaciones pueden ejercer sólo influencialimitada sobre la distribución del presupuestonacional en el corto plazo, podría haber un potencialconsiderable en el mediano y largo plazo,especialmente si existe clara evidencia sobre el desempeñodel gobierno en la consecución de lasMetas Presidenciales y otras prioridades gubernamentales(ver Recuadro B.1). Aún en el cortoplazo, existe el potencial para que los gobiernosterritoriales utilicen la información del SyE. Estosgobiernos son responsables de más de un terciodel gasto del presupuesto federal y tiene más flexibilidaden la asignación del presupuesto.Por esta razón, los enfoques piloto del presupuestopor resultados en Medellín y en Pasto son potencialmenteimportantes. Por ejemplo, el gobiernomunicipal de Medellín conduce encuestas en alrededorde 23,000 hogares para obtener indicadoresespecíficos sobre desarrollo humano. Luego,éstos son mapeados para identificar los distritos máspobres. El gasto gubernamental ha sido mayormentereorientado en favor de estos distritos, y laslíneas de base y metas de desempeño son establecidaspara ayudar en el seguimiento del desempeñodel gobierno. La falta de evaluaciones esuna limitación para el mejor entendimiento de losresultados de este gasto, pero el gobierno empleaprofesionales académicos locales para analizar laprobable cadena de resultados de las opciones alternativaspara el gasto del gobierno – esto ayudaal gobierno a decidir los tipos de actividades en lasque debería gastar. Con el apoyo por la DEPP, losgobiernos municipales de Pasto y Medellín hanprepradado informes del presupuesto por resultadospara el año fiscal 2007 y están preparandoleyes orgánicas de presupuesto para formalizareste enfoque. Los trabajos del presupuesto porresultados son apoyado por las sistemas de seguimientoy herramientas similares a SIGOB. En el ladode la demanda, mecanismos para el control políticoy social han sido promovidos en las dos ciudadesobteniendo lecciones de la experiencia delprograma Bogotá Cómo Vamos. En Pasto, la alianzalocal de la rendición de cuentas ha realizado unaencuesta de 1300 hogares en temas análogos a laencuesta nacional preparada por la DEPP, pero poniendomás énfasis en los temas de la participaciónciudadana y la gobernabilidad local. Un estudio independienteen servicios de la salud subvencionadosestuvo comisionado y discutidopúblicamente con el alcalde de la ciudad y dichoproceso generó compromisos por el gobierno124

ANEXO B: DIAGNÓSTICO DE UN PAÍS—EL EJEMPLO DE COLOMBIARecuadro B.1 Ejemplo de unaevaluación influyente en ColombiaFamilias en Acción es un programa de transferenciamonetaria condicionada que proporcionaapoyo financiero a familias pobres que se comprometena garantizar que sus hijos recibirán cuidadosmédicos preventivos, inscribirán a sus hijos en la escuelay los enviarán a clases. El programa fue creadoen 1999 como respuesta a la crisis económica.Se contrató consultores externos, bajo la supervisióndel DNP, para realizar una evaluación de impactorigurosa del programa, cuya fase final debe ser completadaen el 2006. La evaluación encontró que el programaha conseguido impactos notables en nutrición,educación y salud. Estos hallazgos persuadieron al gobiernodel Presidente Uribe, elegido en 2002, no sóloa mantener el programa del gobierno anterior sino acomprometerse a doblar su cobertura, aumentándolade 500,000 a un millón de familias pobres. A finales del2006, el gobierno decidió aumentar la cobertura del programaaún más, a 1.5 millones de familias.La evaluación de Familias en Acción ha costadoUS$1.5 millones hasta ahora. Aunque esta es una cantidadalta, es pequeño en relación al gasto total del gobiernoen dicho programa (alrededor de US$100millones en el tiempo de la evaluación). Debido a la importanteinfluencia al gobierno, se puede decir que elprograma ha sido altamente costo-efectiva.local para mejorar varios aspectos de la entrega delservicio. Estos modelos municipales proveen leccionespara la introducción del presupuesto por resultadosa los niveles federal, departamental ymunicipal a lo largo de todo el país.Un ejemplo de la capacidad del gobierno de responderhábilmente ante las prioridades que surgenes la creación del programa “Empleo enAcción” durante la crisis económica hacia finalesde la década del 90. El gobierno también accedióa llevar a cabo una importante evaluación de impactode este programa. Sin embargo, el gobiernodecidió terminar el programa antes de que los hallazgosde la evaluación estuvieran disponibles. Apartir de este estudio de caso se pueden obtenermuchas lecciones valiosas en relación a la planificaciónde la evaluación (Recuadro B.2).Una interesante iniciativa de presupuesto por resultadoses el contrato de gestión que ha sido piloteadoentre el DNP y el Ministerio de Hacienday dos agencias sectoriales social, el Instituto Colombianopara el Bienestar Familiar (ICBF) y el ServicioNacional de Aprendizaje (SENA), con elapoyo del Banco Mundial. Estos contratos involucranel establecimiento de indicadores y metasde desempeño para la entrega del servicio y laimplementación administrativa. 19 Cuando se alcanzanlas metas, se aumenta la asignación presupuestalde las dos agencias permitiéndolesretener una mayor parte de los ingresos no tributariosque colectan. No está claro si estosprogramas pilotos se mantendrán o serán ampliados.Presupuesto y Planificación Basada en Resultados.La DEPP ha preparado informes del presupuestopor resultados, tanto para el 2005 comopara el 2006, para el presupuesto de inversión deColombia. Estos informes se presentan comoanexos al presupuesto habitual, que continuapresentándose en base a rubros presupuestales.Los informes basados en resultados desarrollaronuna clasificación programática de las actividadesdel gobierno de acuerdo a los objetivos comunes,que a su vez, estaban basados en las Metas Presidencialesy el plan nacional de desarrollo. Los informesmuestran los objetivos establecidos paracada programa, las metas de desempeño correspondientes(empleando los datos del SIGOB) ytambién el presupuesto de inversión correspondientepara ese año. Sin embargo, los programasno han sido elaborados de manera rigurosa (siguiendometodologías con marco lógico o similares)y las asignaciones de presupuesto sonfrecuentemente estimados del apoyo financierodado a tales programas bajo diferentes líneas presupuestales.La publicación de estos informes exante – es decir, antes de que se ejecute el presupuesto– es una forma de presupuesto por resultados,aunque el del tipo más débil puestoque es poco probable que los informes tengan algunainfluencia sobre la toma de decisiones delpresupuesto ante la falta de un mecanismo explícitopara lograr esto. Más bien, deberían ser vistoscomo documentos de rendición de cuentas.Nótese que los otros tipos de presupuesto por125

CÓMO CREAR SISTEMAS DE SyE QUE CONTRIBUYAN A UN BUEN GOBIERNORecuadro B.2 El Programa “Empleo en Acción”: Lecciones para la planificación de la evaluaciónEl Gobierno solicitó el apoyo del Banco Mundial para un nuevoprograma de creación directa de puestos de trabajo basadoen obras públicas, como respuesta a la crisis económica a finalesde la década del 90. Se hizo efectivo un préstamo delBanco a inicios del 2001, el cual incluyó financiamiento para unaevaluación de impacto sofisticada. Esta evaluación era unacondición del Banco para otorgar el préstamo. Hubo algunosatrasos en la implementación del proyecto, pero al mismo tiempo,las condiciones económicas comenzaron a mejorar. A inicios del2004, el nuevo gobierno había decidido concluir con el programa“Empleo en Acción”. Hasta ese momento, se habían gastadounos US$183 millones en el programa.Los hallazgos del la evaluación de impacto, cuyo costo fue deUS$1.5 millones, estuvieron disponibles más tarde ese mismo año.La evaluación encontró que el programa había tenido éxito encuanto a la transferencia monetaria para hogares más pobres yque había incrementado la empleabilidad de los participantes delprograma. Asimismo, había realizado obras públicas que beneficiarona las comunidades locales. Sin embargo, el programa noconsiguió alcanzar las metas del número de beneficiarios ni delnivel de ganancia neta anual que el programa proporcionaría a losbeneficiarios. Un informe sobre la terminación de la implementacióndel proyecto del Banco Mundial ha concluido recientementeque el programa, en general, no fue costo-efectivo cuando se lecompara con programas similares de creación directa de puestosde trabajo en otros países y comparado con otros tipos de apoyopara los desempleados.Aunque la evaluación de impacto no fue influyente, sí proporcionavarias lecciones para la planificación de las evaluaciones,las cuales son bastante relevantes para la administración de SI-NERGIA. Una lección es la necesidad de un alto grado de cuidadoen la planificación de una evaluación, especialmente si se tratade una evaluación compleja y costosa y que tomará algún tiempopara que sus resultados estén disponibles. Siempre es posible queexistan imprevistos ajenos a la evaluación. Por lo tanto, el desafíoestá en el manejo del riesgo. También es importante planificarlas evaluaciones de manera que los hallazgos estén disponiblespara ayudar en la toma de decisiones, tal como la elección de unnuevo gobierno (cuando se prepara un nuevo plan nacional), y elciclo presupuestal anual. Otro tema relacionado a la planeaciónde las evaluaciones es priorizar las evaluaciones – decidiendo quéactividades del gobierno deberían ser evaluadas, cuándo es probableque se necesiten los hallazgos y qué profundidad de análisis(y costo) debería ser conducida la evaluación. A primera vista,para un importante programa del gobierno como “Empleo en Acción”,es altamente recomendable que se realice una rigurosa evaluaciónde impacto. Aun en el caso de que esa evaluaciónproporcionase sólo una mejora marginal en el desempeño delprograma – es decir, su eficacia y su efectividad – gastar US$1.5millones en la evaluación de un programa que ha gastado US$183millones (y que potencialmente podría gastar mucho más) sería altamentecosto-efectivo. En casos donde el financiamiento para laevaluación es limitado, o donde hay limitaciones de tiempo, entonces,puede ser más apropiado utilizar otros tipos de evaluacionesmás rápidas. Una lección final para SINERGIA es la importanciade realizar informes regulares exhaustivos de sus propias actividadesde SyE para poder saber cuáles han sido eficaces y cuálesno, y las razones para ello.Nótese que la evaluación de impacto de “Empleo en Acción” haincrementado la biblioteca de hallazgos disponibles en el gobierno.Estos hallazgos son muy útiles para el gobierno en el actual debatesobre la posibilidad de crear un nuevo programa de obras públicas.resultados que un país puede adoptar son: elpresupuesto con información de desempeño,donde la información del SyE proporciona unelemento para la toma de decisiones del presupuesto(como en el caso de Chile y en la mayoríade los países de la OCDE), y directamente elpresupuesto por resultados, donde las asignacionesdel presupuesto están basadas en una fórmulaexplícita o por calificaciones (algunosejemplos serían el financiamiento de la educaciónsuperior basado en el número de estudiantes y enel tipo y tópico de su grado, y el financiamientopara la salud basado en el método casemix. 20Parece existir una significativa falta de conexiónentre el nivel de enfoque de SINERGIA – de lasMetas Presidenciales – y del enfoque, mucho másmicro, por proyecto del trabajo del DNP en la preparacióndel presupuesto de inversión anual. Al iniciode cada nuevo periodo cuatrianual de gobierno,el DNP, con la aprobación del Presidente, presentaante el Congreso el plan nacional de desarrollo. Estoindica las inversiones propuestas dentro del período.Las inversiones incluidas en este plan constituyenel “Banco de Programas y Proyectos” delcual se pueden seleccionar inversiones específicas(y sólo ellas) para su inclusión en posteriores pre-126

ANEXO B: DIAGNÓSTICO DE UN PAÍS—EL EJEMPLO DE COLOMBIAsupuestos anuales. La Dirección de Inversiones yFinanzas Públicas (DIFP) del DNP establece los estándaresque los proyectos deben cumplir. Las entidadeselaboran proyectos – ellos mismos ocontratando personal externo – y los envían a laDIFP. Luego la DIFP verifica si los proyectos cumplenlos estándares establecidos y los clasifica deacuerdo a las prioridades del gobierno.Al hacer la selección anual, la DIFP realiza una evaluaciónex ante de las inversiones individuales, aunqueen la práctica esto consiste más en unaevaluación técnica que en una evaluación formal.Recientemente se ha realizado una revisión de la metodologíade evaluación de la DIFP. Los ministeriosy las agencias deben llevar a cabo auto-evaluacionesex post, pero la confiabilidad, credibilidad y rigorde las auto-evaluaciones conducidas están sujetasa cuestionamientos y la misma DIFP las han cuestionado.No queda claro en qué medida la DIFP hapodido dar un uso importante a la información delSIGOB o a los hallazgos del pequeño número deevaluaciones de SINERGIA completadas hasta ahora.Las recientemente creadas comisiones de gastosectorial, que incluyen a la DIFP, DEPP y al Ministeriode Hacienda, proporcionan un forum potencialmenteimportante para la utilización futura dela información de SyE de SINERGIA, particularmenteen la medida en que el volumen de hallazgosde las evaluaciones crezca rápidamente en losaños venideros como resultado de la ambiciosaagenda de evaluación que se está realizando.Un examen importante de la relevancia de la informaciónde SyE que SINERGIA ha producido ala fecha será la medida en que fue utilizada en elnuevo plan de desarrollo nacional cuatrianual. ElDNP preparó y que fue entregado al Congreso ennoviembre de 2006, DEPP cree que DNP y los ministeriossectoriales han alcanzado buen utilizacióndel la información de SINERGIA para definirlas metas incluidos en el plan nacional, además dereportar el desempeño del gobierno (y el ministerio)en terminos a la real magnitud a la cual lasmetas han sido logrados.El trabajo de SyE de SINERGIA parece haber estadomuy alejado de las actividades de SyE deotra dirección dentro del DNP, la Dirección de DesarrolloTerritorial Sostenible (DDTS). La DDTSes responsable por el seguimiento y evaluación 21del trabajo de los gobiernos territoriales – los1,100 municipios y los 32 departamentos que supervisa– financiado a través de transferenciasdel gobierno central. Al parecer, la calidad de lainformación proporcionada por los municipios ala DDTS no es muy buena, con muchos vacíos. Nóteseque los municipios proporcionan en formaseparada la información sobre la que se basanlos ministerios y agencias sectoriales, y que éstasa su vez alimentan al SIGOB. El trabajo de laDDTS a nivel municipal y el de la DEPP – por ejemplo,en cuanto al presupuesto por resultados envarios municipios – no ha sido coordinado. 22El presupuesto dividido de inversión y corrientetambién tiene implicaciones para el uso de la informaciónde SyE de SINERGIA en la preparacióndel presupuesto corriente. Se cuestionantemas como el intercambio de información, lacoordinación, y las decisiones sobre las prioridadesde la evaluación entre el DNP y el Ministeriode Hacienda. La opción de unificar la inversión ylos aspectos recurrentes del presupuesto recientementefue considerada dentro del gobiernopero un consenso no fue logrado. Actualmente laestructura del presupuesto nacional en Colombiarestringe las posibilidades para usar la informaciónde SyE.Existen otros cuatro temas/aspectos que tambiéninfluencian la capacidad del gobierno para realizarun presupuesto por resultados. El primero esla decisión tomada en Diciembre de 2005 de implementarun marco de gasto de mediano plazo(MGMP). 23 Una ventaja del MGMP es que brindauna mayor seguridad en el financiamiento del siguienteaño fiscal para los ministerios y actividadesdel gobierno. También brinda un ambiente enel que se le da mayor flexibilidad y responsabilidada los ministerios y agencias, que pueden serusadas para promover una mayor orientaciónhacia los resultados dentro del gobierno, como hasido adoptado por una serie de países de la OCDE.Un segundo tema es la falta de estructura programáticadel presupuesto. Los presupuestos porresultados de la DEPP para los dos años anterio-127

CÓMO CREAR SISTEMAS DE SyE QUE CONTRIBUYAN A UN BUEN GOBIERNOres han proporcionado un informe del gasto planificadodel presupuesto en base a programas, yhan preparado esta clasificación programática deactividades en base a casos específicos. Los presupuestosde inversión y recurrentes continúanbasándose en presupuestos convencionales basadosen rubros presupuestales. Sin embargo,los informes del presupuesto por resultados se adjuntancomo anexos a los informes de presupuestoconvencionales.El enfoque del presupuesto por programa tienemuchos beneficios potenciales. 24 Establece unarelación entre los ítems de costo (es decir, actividades)que tienen objetivos comunes, y ayudacon la priorización del programa y del gasto.Asimismo facilita la expansión, reducción o inclusive,la finalización de los programas y las actividadesque ellos comprenden. Facilita laevaluación agrupando actividades relacionadas,así como el establecimiento de una medida debase y las metas del desempeño. Ayuda a aclararquién es responsable por los resultados. Sinembargo, si bien un enfoque del presupuesto porprograma facilita el uso de la información deSyE durante el proceso de preparación del presupuesto,éste no es un prerrequisito para elbuen funcionamiento del sistema de SyE utilizadode manera intensiva por el gobierno, como lo demuestraampliamente el caso de Chile: Chileposee el mejor sistema de SyE de América Latina,en términos de un sistema maduro de SyE totalmenteutilizado en el proceso de preparacióndel presupuesto, y aun así, Chile continúa dependiendode un presupuesto basado en rubrospresupuestales.Un tercer tema relacionado con Colombia es queaparentemente existen vínculos muy débiles entreel Sistema Integral de Información Financiera(SIIF), en el que se basa el presupuesto y elSIGOB. Esto hace difícil vincular el gasto del gobiernoen actividades particulares a los productos,efectos directos e impactos producidos poraquellas actividades. De esta manera, los informessobre el presupuesto por resultados de la DEPPsuponen un trabajo de forma manual que vinculala información del desempeño del SIGOB conla información de costos producida por el SIIF.Chile tiene que realizar similares comparacionesen forma manual – en lo cual se emplea muchotiempo – cuando estima el gasto del presupuestoen los programas que evalúa.Relacionado a esto está el cuarto tema: la limitadainformación que la DIFP posee en relación algasto real del gobierno a nivel territorial. Si biense cuenta con información sobre la asignación delpresupuesto, la información sobre la ejecución delpresupuesto por departamentos y municipios enforma individual simplemente no está disponible.Esto hace que sea imposible comparar la producciónde bienes y servicios con las cantidadesque se han gastado en ellos y es un impedimentopara el mejoramiento de la elaboración del presupuestoy la planificación, y para el presupuestopor resultados.Este análisis preliminar del trabajo de la DIFP y laDDTS sugiere que las iniciativas de SyE de laDEPP no han estado generalmente muy integradascon el trabajo del resto del DNP. Una coordinaciónmás cercana puede ser un prerrequisitopara lograr un presupuesto y una planificación porresultados. De igual manera, la aparente pobre coordinaciónentre el SyE y el trabajo de presupuestodel Ministerio de Hacienda parecería serun obstáculo para lograr un mayor énfasis en elpresupuesto por resultados por parte de dicho ministerioclave.Pilotos de Evaluaciones Rápidas. Un recientey significativo desarrollo es el trabajo de la DEPP,en conferencia con la DIFP, para llevar a cabo dosevaluaciones piloto rápidas. La intención es proporcionarun método de evaluación rápido y debajo costo que complementaría mejor a las evaluacionesde impacto más sofisticadas y generalmentemás costosas en las que SINERGIA se haenfocado ampliamente hasta la fecha. Estas evaluacionesrápidas aclararán los objetivos de los dosprogramas que se evalúan, así como la lógica desu diseño e intentará evaluar sus actividades, gestión,costos y desempeño. La metodología innovadoraque la DEPP ha desarrollado se basa en unacombinación de metodologías de evaluación rápidasutilizadas por los gobiernos de Chile y deEstados Unidos. La nueva metodología se llama128

ANEXO B: DIAGNÓSTICO DE UN PAÍS—EL EJEMPLO DE COLOMBIAla Evaluación Ejecutiva (E2). Se pretende que dichasevaluaciones puedan ser completadas enun período de 3 meses a un costo de US$15,000–US$20,000 cada una.El Ministerio de Hacienda no está directamenteinvolucrado en el SIGOB ni en las evaluaciones,y no las utiliza directamente. Sin embargo, unprogreso significativo es el reciente acuerdo paraque el Ministerio de Hacienda pilotee dos evaluacionesrápidas – éstas comprenderán, esencialmente,revisiones de escritorio empleando lametodología de las evaluaciones de los programasde gobierno de Chile. El Ministerio de Haciendatambién está investigando la posibilidad delograr elaborar un presupuesto por resultadosde manera sistemática.Mezcla de Herramientas de SyE. Los pilotosde evaluaciones rápidas proporcionarán una importanteadición al rango de información sobreherramientas de SyE disponible para la toma dedecisiones presupuestales y la planificación nacional.Para hacer bien el presupuesto y la planificaciónse requiere análisis y asesoría en eldesempeño de un gran rango de actividades delgobierno – aquellas que se están llevando acaboy actividades posibles que se estén considerando.SIGOB actualmente da información sobre el desempeñode todo el gasto del gobierno, y se enfocaen el nivel de las Metas Presidenciales. Talinformación es relativamente barata de producir,y logra una amplia cobertura. Sin embargo, sulimitación es que provee poco o ningún entendimientode las razones por las que el gobiernoha logrado, o no, las metas. En contraste, las evaluacionesde impacto de SINERGIA tienen lasventajas de la profundidad y el rigor – puedenidentificar relaciones causales y demostrar definitivamentesi las acciones individuales del gobiernoson, o no, causan los resultados esperados.Pero las evaluaciones de impacto sofisticadas soncomúnmente costosas y largas. 25 Es por ello quelas evaluaciones rápidas son un complementoútil para el acervo de herramientas de SyE: son rápidasy poco costosas de realizar, y pueden ser utilizadaspara evaluar un espectro mucho mayor delas actividades del gobierno que las evaluacionesde impacto más grandes, que se realizan sólo unavez. Su desventaja, como se puede observar en elRecuadro 1, es que sus hallazgos son considerablementemenos confiables que las rigurosas evaluacionesde impacto.Las diferentes herramientas de SyE discutidasaquí son complementarias. Cada una tiene fortalezasy limitaciones, y cada una tiene un papel quelograr, como parte del acervo de herramientas deSyE en Colombia. El reto para el gobierno es elegirla mezcla que logre el uso más costo-efectivode los recursos disponibles para SyE.Nótese que Chile ha empleado exitosamente ungran rango de herramientas de SyE en su ciclo presupuestario:el Ministerio de Hacienda utiliza indicadoresde desempeño (alrededor de 1,560),revisiones rápidas (se completan 14 para cadapresupuesto), evaluaciones de impacto sofisticadas(se completan 4 para cada presupuesto) e informesintegrales de gastos de un sector completo(1 por presupuesto). Chile financia su sistemade seguimiento y evaluación utilizando sus propiosfondos del presupuesto, sin el apoyo de financierode donantes.6.3 Apoyo para la gestión por resultados de losMinisterios y AgenciasParecen existir varias entidades que han dedicadomuchos esfuerzos para construir su propiosistema de SyE para sus propios propósitos internos.La DEPP brinda una serie de formas deapoyo a estos ministerios, dependiendo de las circunstancias.En algunos casos, esto consiste enasesorar o inclusive iniciar evaluaciones de impactosofisticadas (como por ejemplo, para algunoscomponentes del programa Familias enAcción). En otros casos se trata de asistencia enla creación de sistemas de seguimiento del ministerio(como en el caso del Ministerio de ProtecciónSocial).Sería muy útil investigar sobre el origen y la motivaciónpor detrás de la creación e institucionalizaciónde estos sistemas de SyE de estasentidades, para identificar las lecciones que puedentener mayor aplicación en todo el gobierno.Estas entidades incluyen al Ministerio de Educación(MEN). Tiene un sistema de información de129

CÓMO CREAR SISTEMAS DE SyE QUE CONTRIBUYAN A UN BUEN GOBIERNOgestión que incluye metas del programa, objetivos,indicadores de desempeño, metas, bases einformes de excepción. Esta base de datos escomparable al SIGOB, pero al parecer incluyemuchos más indicadores de desempeño. Una delas dificultades que ha tenido el MEN ha sido lageneración de datos para el SIGOB. A pesar de ladetallada base de datos del MEN, la informaciónque proporciona no puede ajustarse directamenteal SIGOB. En lugar de eso, la información delMEN tiene que ser extraída manualmente y ajustadapara coincidir con las definiciones del SIGOB.Es posible que esta falta de conexión se deba enparte a los diferentes niveles de enfoque de losdos sistemas: el SIGOB está claramente enfocadoa nivel de las Metas Presidenciales, mientras queel sistema del MEN está enfocado a servir a losmucho más específicos y detallados requerimientosde la planificación del ministerio y gestiónde actividades. Parecería razonable asumir quela mayoría, o tal vez todos los demás ministeriosy agencias, enfrentan mayores dificultades paraproporcionar información al SIGOB. No quedaclaro si hay espacio para lograr una mayor armonizaciónde los indicadores del desempeño – entérminos de definiciones de datos, periodicidad,cobertura geográfica, etc. – entre el sistema SIGOBpara todo el gobierno y los sistemas de los ministerios/agencias.Otra entidad que podríamos observar es el ICBF,que ha creado su propia oficina de evaluación paraayudar a su propia gestión y planificación. La oficinade evaluación ha preparado lineamientos deevaluación y supervisa las evaluaciones de impactosofisticadas que son encargadas a consultoresy académicos. (El ICBF también lleva a cabootros tipos de evaluaciones.) Co-financia las evaluacionesde impacto con el Banco Mundial (a travésde préstamos del sector social), el BID y laDEPP. El ICBF también recibe asistencia técnica deestas entidades. Algunas de las evaluaciones de losprogramas del ICBF han sido dirigidas por donantesmultilaterales. El ICBF cuenta con un presupuestode cerca de US$500 millones y se esperaque su presupuesto de evaluación alcance a US$2millones en el 2006 (comparado con US$ 3 millonesen el 2005, cuando financió una extensa encuestasobre nutrición). Todas las evaluaciones deimpacto del ICBF son consideradas por el DNPcomo auspiciadas por SINERGIA.Se puede esperar que los sistemas de SyE del ministerioo agencia faciliten a las entidades a satisfacerlas necesidades de información de SINERGIA,pero ellos deberían ser vistos de una manera muydistinta a SINERGIA, cuyos objetivos están más enfocadosa nivel de todo el gobierno. Sin embargo,las entidades con sistemas de SyE con buenas prácticasparecen ser mayormente la excepción. Comoya se hizo notar, el fuerte énfasis del presidente enla rendición de cuentas ministeriales y su uso extensivoen el SIGOB no ha resultado en la adopcióngeneralizada de las prácticas de SyE en ministeriosy agencias a nivel de todo el gobierno. Sería necesarioun diagnóstico exhaustivo para determinar silos ministerios y agencias sectoriales, de manera colectiva,hacen algún uso de los dos principales componentesde información de SINERGIA: el SIGOBy las rigurosas evaluaciones de impacto y otras evaluaciones.En otras palabras, ¿la mayoría de las agenciasson simplemente abastecedoras de datos,producidos ad-hoc para SINERGIA?7. SINERGIA: Fortalezas, desafiós ydirección futura7.1 Fortalezas y desafíosEl gobierno de Colombia ha logrado un éxitoconsiderable con la creación y fortalecimientode SINERGIA. En América Latina, este es uno delos sistemas de SyE a nivel de todo el gobierno,más sólidos en términos de tipos de SyE que realiza,su credibilidad en general y su utilización.La mayor parte de su progreso ha sido logradodesde el año 2002. La creación del SIGOB para monitorearel progreso de las Metas Presidencialeses destacable, así como el empleo de este sistemapor el Presidente, la Presidencia y el DNP.Ciertamente, el rol del Presidente, como impulsory usuario clave de tal sistema de seguimientono tienen precedentes dentro de la región. La ambiciosaagenda de las rigurosas evaluaciones de impactoes algo impresionante.El documento de política del CONPES sobre SI-NERGIA (#3294) menciona cuatro problemascon relación al sistema de SyE: (1) la falta de un130

ANEXO B: DIAGNÓSTICO DE UN PAÍS—EL EJEMPLO DE COLOMBIAúnico marco conceptual claro; (2) la necesidad dedejar claro los roles y responsabilidades de las organizacionesque dan apoyo al SINERGIA; (3) laausencia de claros vínculos entre la planificación,el presupuesto y la evaluación; (4) los problemascon la disponibilidad y frecuencia de los datos, asícomo los problemas con los controles de calidadde la información.Este diagnóstico rápido confirma que estos importantestemas deben ser abordados. El principaldesafío que enfrenta cualquier sistema de SyEdel gobierno es su total institucionalización. Estoconsiste no sólo en la creación de un sistemaque proporcione información de buena calidad,sino también que la información sea utilizada intensivamentepara apoyar una buena gobernabilidady que el sistema pueda ser totalmentesostenible – en otras palabras, un sistema quetenga probabilidades de subsistir ante los cambiosde gobierno y que éstos puedan seguir confiandoen dicho sistema. Esta definición de sistema deSyE exitoso proporciona la medida contra la queSINERGIA puede ser comparado. También brindael destino hacia el que se debe orientar las opcionespara enmarcar el futuro desarrollo del sistema,y para el apoyo del Banco Mundial.La utilización de la información de SINERGIA hasido sustantiva para fines de rendición de cuentas:la rendición de cuentas del Presidente antela sociedad civil y el Congreso, y la rendición decuentas de los ministros (y sus ministerios) anteel Presidente. A primera vista, parece poco probableque este énfasis excepcional sobre la rendiciónde cuentas continúe a tan alto nivel cuandoel actual Presidente termine su mandato en elaño 2010. A pesar de eso, si mientras llega ese momento,se establecen los procesos y el apoyo popularhacia la rendición de cuentas presidencial,habrá una demanda continua por el tipo de informaciónproporcionada por el SIGOB. La DEPPrecientemente ha preparado un documento preliminarde un CONPES que pretende establecerlineamientos de política para la rendición decuentas del gobierno y el control social.La DEPP cree que la información de SINERGIAtambién ha sido utilizada por el área de planificaciónde DNP y los ministerios sectoriales paraasistir en su trabajo en preparar el plan nacionalde desarrollo 2006–2010. Este tema aún no ha sidosujeto a una investigación detallada.Existe poca evidencia de que los otros cuatrousos potenciales de la información de SyE producidapor SINERGIA hayan sido llevados a caboen algún grado significativo hasta ahora: (1) apoyarla asignación de recursos y la toma de decisionesen el presupuesto nacional; (2) garantizarla cohesión de la acción del gobierno alrededorde aquellas prioridades de desarrollo; (3) ayudara los ministerios sectoriales en sus políticas de desarrolloy su trabajo de planificación; (4) apoyarla actual gestión de actividades del gobierno porparte de los ministerios y agencias. Una revisiónexhaustiva de la utilización de la información deSyE realizada por los ministerios y agencias sectorialesbien podría revelar que la utilización dela información del SIGOB por el Presidente inducea algunos a considerar seriamente esta informaciónpara su trabajo de planificación y política dedesarrollo. Inclusive es posible que en los próximosaños se complete un número cada vez mayorde evaluaciones de impacto sofisticadas y evaluacionesrápidas que serán utilizadas cada vez máspara fines de presupuesto y planificación nacional– aunque sería un error asumir que la disponibilidadde hallazgos de evaluación automáticamentellevaría a su utilización. 26Un tema constante es la calidad, disponibilidad ycosto de la información utilizada por SINERGIAy los ministerios y agencias para su propio trabajo.Una dificultad es la falta de armonización de lasdefiniciones de los datos. Otra es la ausencia sustancialde auditorias formales de la información.Además, el costo de las evaluaciones de impactoha aumentado debido a la necesidad de informaciónmás detallada que la disponible, ya sea através de encuestas permanentes de hogares realizadaspor el Departamento Administrativo Nacionalde Estadística (DANE), 27 o de la informaciónadministrativa producida por otras entidades. Aprimera vista, tanto el DANE como la comisión decoordinación de información de alto nivel(COINFO), 28 que fue creada en el año 2003, podríanjugar aquí un rol importante. El gobierno131

CÓMO CREAR SISTEMAS DE SyE QUE CONTRIBUYAN A UN BUEN GOBIERNOsabe de estas dificultades y ha decidido dar extremaprioridad al fortalecimiento de la informaciónadministrativa y otras informaciones, porejemplo, promoviendo una mayor armonizaciónde la información, la recolección regular de informaciónfundamental socio-económica, de saludy de nutrición; y el desarrollo de estándares mínimosde información. También se ha señalado lanecesidad de mejorar la coordinación de la informacióna través del apoyo tanto al DANE comoa la COINFO.La agenda de evaluación también es costosa. Elcosto de las evaluaciones de impacto que se estánllevando a cabo o recientemente completadas esde US$7.42 millones, y de unos US$2.46 millonesque se gastarán en nuevas evaluaciones planeadaspara los siguientes cinco años. Aunque a primeravista esta agenda de evaluación parecieracostosa, su costo representa solo un pequeñoporcentaje del gasto total del gobierno en esosprogramas – por lo que los resultados de las evaluacionessolamente tendrían que conducir a pequeñasmejoras en la eficacia del gasto delgobierno para que sean altamente costo-efectivas.Dicho esto, existen formas en que el costo de lasevaluaciones puede ser reducido considerablemente,aunque algunas de estas opciones tomenvarios años en lograrse. 29 Varias de las mayores evaluacionestienen que recolectar datos a través deencuestas a gran escala, que se llevan a cabo unasola vez y son muy costosas. La necesidad de esasencuestas hechas a la medida podría reducirse através de una expansión de la recolección de estadísticasnacionales, tales como bases de datos longitudinalesque siguen a muestras de la poblacióna través del tiempo. Una mayor disponibilidad dela información también reduciría el tiempo necesariopara conducir una evaluación de impacto. Laexpansión de la recolección de estadísticas nacionalessería muy costosa y tomaría muchos añosen completarse, pero ayudaría a aumentar aúnmás la costo-efectividad de SINERGIA. Otra opciónes contar más con los consultores colombianos deevaluación. La DEPP está utilizando el mayor númerode evaluaciones de impacto realizadas comouna oportunidad para aumentar la oferta domésticade evaluadores capaces.El gobierno ha adoptado una estrategia ambiciosay de amplio rango para fortalecer SINERGIA.Entre algunas de estas iniciativas se incluyen:• el SIGOB;• el apoyo a la reproducción de mejor base dedatos tipo SIGOB en un piloto municipal (Medellíny Pasto);• la agenda de evaluaciones de impacto y otrasevaluaciones, conducidas junto con el DNP yla DEPP, ministerios y agencias del sector social,y donantes;• el desarrollo de los pilotos de evaluación rápidade metodología planificados por la DEPP y laDIFP y en el Ministerio de Hacienda:• los esfuerzos para relacionarse directamentecon la sociedad civil, y así propiciar la utilizaciónde la información de SyE;• la preparación de informes para el Presidente,el Congreso y la sociedad civil sobre el desempeñodel gobierno;• la preparación de informes de presupuestopor resultados vinculando las actividades delplan nacional de desarrollo con sus costos insumidosa manera de pilotos programaticos;• el apoyo a los esfuerzos por realizar el presupuestopor resultados a nivel municipal (Medellíny Pasto); incorporando dichos pilotosdentro de las actividades ordinarias.• los esfuerzos para coordinar la generación dela información que alimenta el sistema de SyE,y para garantizar la calidad de la información– con particular énfasis en el registro de informaciónpara los programas de subsidio;• las disposiciones Constitucionales para la evaluación,las leyes, reglamentos, decretos y la declaraciónde política del CONPES respecto alSyE;• el apoyo del Comité Intersectorial para Evaluacióny Gestión por Resultados; y• el apoyo de la COINFO.Esta estrategia de amplio rango ha sido oportunistay esto es totalmente apropiado por dos razones.Primero, es importante intentar una serie de iniciativaspara ver cual de ellas tiene más éxito dentrodel contexto colombiano: elaborar un sistemade SyE para todo el gobierno es un arte, no unaciencia, y generalmente es difícil juzgar qué ini-132

ANEXO B: DIAGNÓSTICO DE UN PAÍS—EL EJEMPLO DE COLOMBIAciativas probablemente tendrán éxito. Ningunode los gobiernos que ha creado un sistema deSyE exitoso lo hizo con un modelo linear, predecible,donde se visualizaba todo el sistema claramentedesde el inicio y el progreso era de poco apoco, paso a paso, para conseguir esta visión. Envez de eso, los países que tuvieron éxito comoChile, Australia y Canadá comenzaron con algunasideas de lo que sería un sistema exitoso, perotambién han trabajado para crear un sistema anivel de todo el gobierno de una manera oportunista,adecuando sus planes conforme se presentannuevas oportunidades o determinadosobstáculos. Estas oportunidades u obstáculos nosólo son específicos para cada país sino tambiénson específicas para cada gobierno, según las fortalezasy debilidades de cada ministerio y otras entidades(tal como la entidad nacional de auditoria),y de acuerdo a la profundidad del compromiso conlos resultados de las partes interesadas claves enel gobierno. La llegada o salida de un impulsor delSyE como el Presidente Uribe es de gran influencia,pero también es algo fortuito. De igual forma,la consideración del Ministerio de Hacienda respectoa la posibilidad de lograr un presupuesto porresultados brinda una ventana de oportunidaddiscreta de lograr este uso potencialmente significativode la información de SINERGIA.La desventaja de este enfoque oportunista es laaparentemente falta de vinculación entre las diferentesiniciativas. Desde esta perspectiva, sepodría argumentar que SINERGIA no es tanto unsistema integrado de SyE sino una colección deactividades relacionadas al desempeño con doscomponentes principales (y vagamente relacionadosentre ellos): el SIGOB y la agenda de evaluacionesde impacto. Paralelo a estas múltiplesiniciativas, parece ser a primera vista que la ayudade donantes ha sido altamente balcanizada. Dadala prioridad de que SINERGIA entre ahora a un períodode consolidación (se discute a continuación),se debería hacer énfasis en el logro de unamejor coordinación entre los donantes.Una característica de buena práctica de la gestiónde la DEPP de SINERGIA ha sido su voluntad parallevar a debate público los enfoques, métodos y resultadosde SINERGIA a través de conferencias internacionalesque auspicia la DEPP – en el 2004,2006, y anualmente en el futuro. 30 Éstas también proporcionanun foro donde se puede discutir los planespara el futuro fortalecimiento de los sistemasnacionales de SyE. Sería muy conveniente queexista una revisión continua y un ajuste de las estrategiasen que se basa el sistema nacional de SyE.Un segundo argumento para una estrategia deamplio rango es que se puede esperar que la institucionalizaciónde SINERGIA sea más fuertecuanto mayor sea la orientación hacia resultadosde las diversas partes interesadas tanto dentrocomo fuera del gobierno – tales como ministeriosy agencias sectoriales, gobiernos territoriales, laContraloría, el Congreso, y la sociedad civil. Es probableque la demanda de información de SyE porparte de estas partes interesadas sea acumulativay que se refuerce mutuamente. También es probableque conduzca a esfuerzos para fortalecer ellado de la oferta de SyE – tal como las mejoras enla calidad de la información que alimenta al SIGOBy la disponibilidad de información necesaria paralas evaluaciones. De esa manera, cuanto másgrande sean las sinergias entre todas las iniciativasde SyE orientadas al desempeño, mayor será la probabilidadde que SINERGIA progrese. Sin embargo,la desventaja de esta complejidad es uncreciente problema para la DEPP en términos degestión y desafíos en la coordinación. Por lo tanto,es necesario alcanzar un balance cuidadoso entrela amplitud y la profundidad.Existen muchas actividades relacionadas al desempeñoque no caen directamente bajo los auspiciosde SINERGIA – tal como el trabajo de evaluación deproyectos de la DIFP y las entidades, la evaluacióndel desempeño municipal por la DDTS y los sistemasde SyE creados por entidades del sector socialpara su propio uso interno. En la medida que estasotras actividades relacionadas al desempeño se fortalezcan,entonces esto podría brindar útiles demostracionesdel valor del SyE, lo que a su vezpodría fortalecer las lecciones para otros ministeriosy agencias y también ayudaría a legitimizar aun másel SyE (y SINERGIA) dentro del gobierno. El DNPtendrá que considerar cuidadosamente en qué medidapuede llegar a comprometerse el DEPP enestos esfuerzos, muchos de los cuales no están133

CÓMO CREAR SISTEMAS DE SyE QUE CONTRIBUYAN A UN BUEN GOBIERNOrelacionados directamente con el desarrollo de SI-NERGIA. La más clara relación entre SINERGIA y estasotras actividades de SyE nacen de la necesidad delograr algún tipo de armonización en el requerimientode los datos, estándares y procedimientos.Sin embargo, no es claro el grado de superposiciónreal (o potencial) entre SINERGIA y los otrossistemas y actividades de SyE. Este es otro temaque se beneficiaría con una revisión más exhaustiva.Los esfuerzos de la DEPP para institucionalizar SI-NERGIA pueden ser clasificados en tres categoríasdentro de una cadena secuencial: demostración, expansióny consolidación (Cuadro B.3). Esto a su vezpodría recategorizarse en aquellos que parecenhaber tenido algo de éxito, aquellos cuyo nivel deéxito no está muy claro y aquellos que han encontradodesafíos reales. Sin embargo, el grado deéxito no puede ser medido claramente, y sería idealhacer un diagnóstico exhaustivo para lograr una evaluaciónmás definitiva. Ciertamente, algo que se observaes que el progreso en la institucionalizaciónde SINERGIA debería estar sujeto a un continuo seguimiento,a través de indicadores de desempeñoy metas acordadas y una evaluación regular. Deesta manera el gobierno debería de tener altas expectativassobre SINERGIA en términos de su seguimientoy evaluación realizados de forma creíbley regular. Este es un rol potencial y muy importantepara el Comité Intersectorial.Claramente, las actividades de demostración sólodeberían ser ampliadas una vez que hayan logradoalgún grado de éxito importante, y las actividadesque se encuentran en el estado deexpansión, tales como los informes de presupuesto(de inversión) por resultados, podríanser ampliados de manera útil para incluir el presupuestorecurrente. Las actividades al final del períodofinal de maduración, tal como el trabajodel Comité Intersectorial – cuyo rol, responsabilidady membresía todavía tienen que ser totalmentedefinidos – debe ser apoyado para quemejore y se consolide rápidamente.7.2 Opciones para la consolidación deSINERGIADentro de este marco y dada la oportunidad exclusivade los próximos tres y medio años duranteel segundo periodo de gobierno delPresidente Uribe, ¿qué pasos podrían ofrecer elmayor potencial para lograr un alto nivel de institucionalizaciónde SINERGIA, y de maximizarsus perspectivas de sostenibilidad? Las prioridadesde consolidación de SINERGIA pareceríanincluir lo siguiente:• asegurar un enfoque estratégico más dirigidohacia la planificación de la evaluación, bajo losauspicios del Comité Intersectorial de Evaluación,para asegurar que el rango y profundidadCuadro B.3 Estados de maduración de las actividades de SINERGIAMás exitosoDemostración Expansión Consolidación• Pilotos del SIGOB enmunicipios• SIGOB• Evaluaciones de impactoIncierto• Pilotos de evaluaciones rápidas• pilotos de presupuestos porresultados en municipios• incentivos institucionales queinvolucran el reconocimientopúblico de organizaciones yservidores civiles con buendesempeño• informes de presupuesto porresultados• informes fáciles de leer sobrelos hallazgos del SyE (para lasociedad civil y el Congreso)• marco institucional para larendición de cuentas(documento preliminar CONPES)• marco legal, incluyendo al ComitéIntersectorial de EvaluaciónMenos exitoso• conexión directa con lasociedad civil134

ANEXO B: DIAGNÓSTICO DE UN PAÍS—EL EJEMPLO DE COLOMBIAde las evaluaciones de SINERGIA apoyen mejorla toma de decisiones presupuestales y de planificaciónnacional;• fomentar un mayor apropiamiento de la informaciónde SyE de SINERGIA por parte delos ministerios y agencias sectoriales a travésde un mayor participación en el Comité Intersectorialde Evaluación, y a través de roles,responsabilidades y funciones más claros en elComité;• dar responsabilidad al Comité Intersectorialde considerar y decidir las recomendacionesde un gran número de evaluaciones que deberánser completadas en los próximos años,y asegurar la implementación de esas recomendacionesa través de un seguimiento muycercano;• para lograr un efecto de demostración, alentara una mayor cantidad de ministerios y agenciassectoriales para que realicen evaluaciones,a través de la creación de un fondo central definanciamiento para apoyar evaluaciones rápidasy de impacto. Dicho financiamiento quesería supervisado, de manera ideal, por el ComitéIntersectorial, también ayudaría a garantizarla continuidad de la agenda de evaluacióndel gobierno. Asimismo, podría atraer financiamientode donantes;• apoyar los programas pilotos de evaluaciones rápidasque el Ministerio de Hacienda y el DNPestán probando, con vistas a su rápida expansióny consolidación, si se encuentra que los pilotostienen éxito. Buscar una colaboración cercanaentre los dos ministerios en este sentido;• identificar enfoques de buenas prácticas deSyE adoptados por entidades del sector social(tal como, posiblemente, el MEN y el ICBF), yutilizar éstos como bases sobre las cuales el ComitéIntersectorial ordenaría funciones específicasde SyE, que todos los ministerios yagencias estarían obligadas a llevar a cabo;• fortalecer los pilotos municipales que buscanun presupuesto por resultados, y aumentar lospilotos para incluir algunos municipios menosfuertes, en vistas a una eventual consolidacióndel enfoque a nivel territorial – involucrando estándaresy requisitos centralmente determinados– si se encuentra que los pilotos sontotalmente exitosos y replicables;• asegurar una mayor garantía de la calidad dela información que los ministerios, agencias ygobiernos territoriales proporcionan al SIGOB– si se quiere conseguir un alto nivel de credibilidadde la información del SIGOB, será necesariorealizar auditorias independientes;• revisar los diferentes sistemas de informaciónque mantienen los ministerios centrales, envista a buscar una mayor armonización, simplificacióny coordinación que prepare un conjuntode estándares básicos para la informaciónadministrativa;• asegurar que tanto el DANE como la COINFOtengan un rol importante para garantizar lacalidad de la información utilizada por SI-NERGIA – en el SIGOB y en las evaluaciones –y para reducir sus costos;• explorar formas para reducir aún más el costode la evaluaciones de impacto que se llevan acabo bajo SINERGIA – tal como la expansiónde la recolección de estadísticas nacionales yuna mayor dependencia en consultores localesde evaluación;• establecer los vínculos necesarios entre lasmetas de desarrollo del país, las políticas, losprogramas y proyectos (estructurados adecuadamente);sólo cuando estos vínculos esténestablecidos puede haber una evaluación apropiadade las Metas Presidenciales. Dichas evaluacionesde política deberían realizarse deforma piloto.8. ConclusionesSINERGIA es un sistema de SyE a nivel de todoel gobierno que funciona bien. El principal desafíoque ahora enfrenta es su total institucionalizaciónpara que continúe progresando y apoyandouna buena gobernabilidad después de un cambiode gobierno. Para que SINERGIA sea totalmentesostenible en este sentido será necesario el fortalecimientotanto del lado de la demanda comoel de la oferta de SyE; ambos están estrechamenterelacionados. El lado de la oferta puede ser fortalecidomejorando la calidad y la credibilidad dela información del seguimiento, reduciendo costosen la disponibilidad de datos e incrementandoel volumen y amplitud de los tipos deevaluaciones que se llevan a cabo. Se puede fortalecerel lado de la demanda promoviendo una135

CÓMO CREAR SISTEMAS DE SyE QUE CONTRIBUYAN A UN BUEN GOBIERNOmayor toma de conciencia y mayor confianza enla información del seguimiento y en los hallazgosde las evaluaciones que produce el sistema –toma de conciencia entre los ministros, servidorespúblicos y en la sociedad civil. Para una mayorutilización de la información del SyE será necesarioque los ministros claves y sus ministerios – especialmenteel de la Presidencia, el DNP y el deHacienda – jueguen un rol de liderazgo y hastaenérgico para defender la utilidad de la informacióndel SyE producida por SINERGIA. Este apoyotendrá que ser mucho más que sólo abogar porel sistema y será necesario que incluya algunospasos para garantizar la utilización de la informacióndel SyE para apoyar la toma de decisionesde la planificación nacional y del presupuesto yde la rendición de cuentas social.Los Ministros sectoriales y sus ministerios tambiéntienen un rol a jugar en cuanto a garantizarla utilización de la información del SyE, en la políticade desarrollo y planificación del ministeriosectorial, y en las actividades corrientes de lagestión gubernamental por los ministerios yotras entidades. Se esperaría que el empleo dela información del SyE englobe tanto la informaciónproducida por SINERGIA, como la informaciónde SyE que sus propios ministeriosdeben recolectar.Tanto por el lado de la demanda como el de laoferta existe una necesidad de mayor claridad yenfoque de los roles del SyE, responsabilidadesy rendición de cuentas. Se puede argumentarque el CONPES y el Comité Intersectorial de Evaluacióny Gestión por Resultados deben jugar unrol importante en la supervisión de SINERGIA yen garantizar su total institucionalización para asílograr un mayor fortalecimiento y una buena gobernabilidad.136

ANEXO C:TÉRMINOS DE REFERENCIA PARA EL DIAGNÓSTICOEXHAUSTIVO DEL SISTEMA DE SYE DE COLOMBIAIntroducciónEl Gobierno de Colombia ha venido trabajandodesde 1990 para crear un sistema de SyE robustoy sostenible. El Banco Mundial y otros donantes hanproporcionado una serie de formas de apoyo paraeste fin, que incluyen préstamos y asistencia técnica.El objetivo de la actual tarea es preparar un diagnósticode las fortalezas y desafíos que enfrentala institucionalización del SyE en Colombia. Se daráatención especial, pero no exclusiva, al sistema deSyE del gobierno, SINERGIA. El Banco Mundial hapublicado una guía que brinda una visión generalde los conceptos y temas, que ayudará en estediagnóstico.TareasEstos términos de referencia especifican las tareasque se deben llevar a cabo en este encargo.1. Preparar un diagnóstico, de aproximadamente60 a 80 páginas, proporcionando una visión generaldel enfoque del SyE del gobierno colombiano,con un énfasis particular en SINERGIA.Se espera que el documento aborde los siguientestipos de temas (una lista más extensade estos temas se proporciona en el Adjunto):• origen del enfoque del gobierno• marco legal e institucional• utilización del SyE para el control político ysocial• rol del SyE en la elaboración del presupuesto• rol del SyE en la preparación del plan nacionalde desarrollo• utilización del SyE por los ministerios y entidadessectoriales• SyE y la gestión por resultados• tipos y calidad de SyE conducidos porSINERGIA• otros trabajos de SyE bajo el auspicio deSINERGIA• estrategia de SyE de Colombia en general• conclusiones y resumen de recomendaciones2. Se espera que la preparación del documentode diagnóstico comprenda una revisión de losactuales análisis e informes sobre SINERGIA,y sobre las reformas del sector público. Tambiénserá necesaria una gran familiaridad conlos productos de SINERGIA y el trabajo de launidad en el Departamento Nacional de Planeación(la Dirección de Evaluación de PolíticasPúblicas) que maneja el sistema. El actualjefe de la unidad, Sr. /Sra. [XXXXX], será elprincipal punto de enlace para los fines dediagnóstico. Se espera que pueda haber entrevistascon informantes claves del gobierno,del congreso, de la sociedad civil, y de la comunidadde donantes.3. Usted completará el documento, que debe serredactado en inglés, el [xxxx]. También se lebrindará pasajes aéreos clase ejecutiva paraviajar a Colombia, y se le reembolsará los gastosde hotel y otros gastos relacionados, deacuerdo a las tarifas estándar del Banco Mundial.Usted recibirá un pago de US$[yyyy] luegode completar satisfactoriamente el documentode diagnóstico.137

CÓMO CREAR SISTEMAS DE SyE QUE CONTRIBUYAN A UN BUEN GOBIERNOADJUNTODiagnóstico del Sistema de SyE colombiano – Temas en detalleOrigen del enfoque del Gobierno¿Cuales son los orígenes del SyE en Colombia?¿Quién lanzó la iniciativa y por qué? ¿Cómo se desarrollóSINERGIA en el tiempo, y cuáles han sidolos principales eventos y circunstancia de estaevolución? ¿Cuáles han sido los propósitos establecidosde SINERGIA (es decir, planeación sectorialo nacional; toma de decisiones sobre elpresupuesto; la gestión de un programa actual ola gestión basada en resultados, relaciones derendición de cuentas entre el DNP y el Ministeriode Hacienda, la oficina del Presidente, el Congreso,los ministerios sectoriales, la sociedad civil–control social)?, además, ¿estos propósitos hancambiado a través del tiempo? ¿Cómo ha sido declaradala prioridad del SyE, en términos de enlacesdirectos o indirectos, en el contexto de lasreformas del principal sector público en Colombia?¿Qué tipos de SyE han sido enfatizados conformeSINERGIA ha evolucionado a través de lastres etapas en este período (es decir, de 1991 ala fecha)?Marco legal e institucional¿Qué leyes, reglamentación, etc. gobiernan el sistemade SyE en Colombia (por ejemplo, requisitosconstitucionales, el documento de políticadel CONPES, etc.)? ¿Quién ha sido el responsablede monitorear la aplicación de ellos, y qué tantohan sido aplicados? ¿Qué brechas o superposicionesexisten entre ellos? ¿Cuál es el marco institucionalbajo el cual el SyE tiene lugar? ¿Cuálesson los roles del DNP, el Comité Intersectorial deEvaluación y Gestión por Resultados, el CONPES,los ministerios sectoriales, etc. en relación a lasevaluaciones? ¿Cuáles son los otros roles/responsabilidadesde las partes claves interesadas enSINERGIA? – el DNP, el Ministerio de Hacienda, laOficina del Presidente, los ministerios y entidadessectoriales, la Contraloría, los niveles menoresdel Gobierno y el Congreso? ¿Qué incentivos existenpara que estas partes interesadas tomen seriamenteel SyE? – ¿qué tan fuerte es la demandade la información del SyE?Utilización del SyE para control político ysocial¿Qué tan importante ha sido el apoyo del actualPresidente para SINERGIA? ¿De qué manera hautilizado el Presidente la información de SI-NERGIA? ¿Qué tan efectivo ha sido el SyE entérminos de mejorar la calidad de la implementaciónde políticas públicas? ¿Cuáles han sidosus mayores éxitos/fracasos hasta ahora? ¿El Congresosolicita información del desempeño delsector público? ¿Utiliza la información de SyEproporcionada por SINERGIA? ¿Cuenta con unaestructura de incentivos apropiada? ¿Qué informaciónestá disponible para el público y cómoes utilizada? ¿Qué tan creíble es la informacióndel SyE de SINERGIA para la sociedad civil?¿Cómo se puede mejorar la utilización de la informaciónde SyE a fin de promover una mayorrendición de cuentas?Rol del SyE en la elaboración delpresupuesto¿Cuál es el uso real de la información de SyE deSINERGIA que utiliza el DNP (la DIFP) y el Ministeriode Hacienda durante las diversas etapasdel proceso de elaboración de presupuesto? – esdecir, para apoyar el asesoramiento de políticasy la planificación; en la toma de decisiones sobreel presupuesto; en la revisión del desempeño yel informe del presupuesto. ¿Cuáles son las implicanciasde la inversión dividida / presupuestorecurrente, y del alto grado de rigidez presupuestalde corto plazo, para SINERGIA? ¿Qué tanútil ha sido la iniciativa del DNP en cuanto a presentarun documento suplementario para el presupuestode inversión, dando informes sobre losproductos del presupuesto del gobierno de maneraprogramática? ¿Qué tipo de presupuestopor resultados podrían ser posibles en Colombia?¿Existe alguna falta de conexión entre el trabajode SyE de los ministerios sectoriales y la utilizaciónde dicha información en el proceso del presupuesto?¿Qué oportunidades existen parafortalecer el rol del SyE en el presupuesto?138

ANEXO C: TÉRMINOS DE REFERENCIA PARA EL DIAGNÓSTICO EXHAUSTIVO DEL SISTEMA DE SyE DE COLOMBIARol del SyE en la preparación del PlanNacional de Desarrollo¿Cuál es el alcance del uso real de la informaciónde SyE de SINERGIA realizado por el DNP y losministerios sectoriales en el desarrollo de Plan Nacionalde Desarrollo 2006–2010? ¿Cuál es el alcanceque tiene el Plan para resaltar la información deseguimiento y los hallazgos de la evaluación?Utilización del SyE por los Ministerios yentidades sectoriales¿Los ministerios sectoriales utilizan la informaciónde SyE producida por SINERGIA? Si es así, ¿dequé manera? (por ejemplo, para desarrollo y planificaciónde políticas; para asignación del presupuesto;para gestión de programas; comorequerimientos de rendición de cuentas dentrodel sector o de manera externa). Si no se utilizala información de SyE o se utiliza muy poco, ¿porqué esto es así? ¿Existen islas de buenas prácticasde SyE en los ministerios/entidades sectoriales?Presente en detalle por lo menos dos sistemasexitosos de SyE de ministerios/agencias (por ejemplo,ICBF, MEN). ¿Qué tan persuasivas son estasislas para otros ministerios? ¿En qué medida SI-NERGIA ha contribuido a su desarrollo?SyE y el Desempeño del Gobierno¿El gobierno puede esperar razonable que su sectorpúblico se dirija hacia la utilización del SyE?¿Qué cambios en la administración pública (presupuesto,gestión de recursos humanos, auditoriay control, etc.) deben ser realizados para queesto suceda? ¿Existe un interés genuino y demandade hacer la utilización de la información de SyE intensivapor parte de las partes claves interesadas?Tipos y calidad de SyE conducidos porSINERGIATipos de SyE¿Qué tipo de herramientas de SyE son enfatizadasen SINERGIA – indicadores de desempeño; revisioneso evaluaciones rápidas; rigurosas y exhaustivasevaluaciones de impacto; otros tipos?¿Cuánto cuesta cada uno de estos tipos de evaluacionesde SyE? Informe sobre el costo total decada rigurosa evaluación de impacto y de todos losotros tipos de evaluaciones conducidas hastaahora, además, proporcione el costo desagregadoen: (1) recolección de datos, (2) análisis de datos,(3) gestión, y (4) difusión. ¿Cuál ha sido el costoanual de SINERGIA en estos últimos años? ¿Cuálesson las implicancias de confiar ampliamente enel financiamiento de donantes para SINERGIA?Indicadores de desempeño y Sistema deinformación¿Existe alguna falta de conexión entre el enfoquedel SIGOB sobre las Metas Presidenciales y el enfoquede los ministerios/agencias sectoriales – lasentidades se enfocan más en lo micro, asuntos anivel de proyecto? ¿Existen sistemas múltiples deindicadores de desempeño a nivel sectorial o deagencia? ¿En qué medida se encuentran armonizadoslos sistemas de información de los ministerios/entidadesy de SINERGIA? ¿Pueden ser éstosarmonizados (en términos de definición de la información,periodicidad, cobertura geográfica,etc.) y cuáles son las implicancias para la coordinacióndel SyE y los problemas a nivel de instalaciones?¿Cómo se definen los requerimientos deinformación? ¿En qué se enfocan los indicadoresde desempeño del SIGOB: gasto; procesos administrativos;productos y entrega de servicios,efectos directos, impactos nacionales? ¿Cómo serecolecta la información a nivel de entidades?¿Están controlados de manera adecuada por calidady contenido? ¿Se ha realizado alguna auditoriade la información por parte de los ministerioso entidades sectoriales, o por el DNP, o por algúnotro organismo? ¿Se han procesado los datos demanera adecuada por SINERGIA, y se han presentadoen forma útil? ¿Cómo se transfiere la informaciónpara el DNP? Utilización de lainformación – ¿es demasiado, muy poco o suficiente?¿Y el tiempo disponible? ¿Cómo se puedemejorar el manejo de la información? ¿Cómo sepreparan y presentan los informes finales ante elPresidente, el Congreso, la sociedad civil?Evaluaciones de Impacto¿Quién encarga y administra las evaluaciones de impacto?¿Qué partes interesadas están involucradas enla decisión de los programas que deberían ser evaluados,y qué temas deberían ser investigados –están enfocados en programas-problema, programaspiloto, programas de alto gasto o de alta139

CÓMO CREAR SISTEMAS DE SyE QUE CONTRIBUYAN A UN BUEN GOBIERNOvisibilidad, o están basados en una agenda de investigaciónsistemática para responder preguntassobre la efectividad del programa? ¿Quién conducelas evaluaciones de impacto, y qué procesos de garantíade calidad se siguen? ¿Qué programas del gobiernohan sido sometidos a evaluaciones deimpacto? ¿Se han identificados algunas deficienciasen las evaluaciones de impacto realizadas hasta ahorapor SINERGIA? ¿Estas evaluaciones de impacto hantenido algún impacto observable sobre las decisionesde política o sobre la gestión del programa?¿Qué sectores son buenos candidatos para tales evaluacionesen el futuro? ¿Cuáles son las fortalezas y debilidadesde una oferta local de SyE? ¿Cuáles son laslimitaciones claves de capacidad y cuáles son lasprioridades para la construcción de capacidades?Otros tipos de evaluacionesEvaluar la utilidad de las evaluaciones piloto rápidas(basadas en el enfoque de la evaluación delos programas de evaluación gubernamentalde Chile) que se llevan a cabo por el Ministeriode Hacienda y por el DNP. ¿Qué tipos de procesosgubernamentales – planificación nacional,toma de decisiones sobre el presupuesto, gestióndel ministerio/entidad, control social – podrían serrespaldados por una mayor variedad de tipos deevaluación llevados a cabo bajo los auspicios deSINERGIA? ¿Qué tipos de problemas o desafíos enfrentaríael gobierno si decidiera ampliar la variedadde tipos de evaluación que encarga?Otros trabajos de SyE bajo el auspicio deSINERGIAHaga una evaluación rápida de todas las otras actividadesde SyE que construyen la capacidad y queson llevadas a cabo por el DNP/ la DEPP. Incluyendolos pilotos del SIGOB en las municipios; pilotosen la elaboración del presupuesto porresultados en municipios; los incentivos institucionales;etc.La estrategia de SyE de Colombia engeneral¿Qué tan integral y apropiada es la estrategiapropuesta por el documento de política de laCONPES sobre SyE (CONPES 3294)? ¿Cuálesson sus fortalezas y debilidades? ¿Cuánto faltapara su implementación? ¿Qué temas necesitanser resueltos para hacerla más efectiva? ¿Hay suficienteaceptación por el lado de las partes interesadas?¿Qué oportunidades existen paraque se lleven a cabo otros tipos de evaluacionesy revisiones adicionales de mucho menorcosto? ¿Cuál es el equilibrio apropiado entre lasevaluaciones independientes y las autoevaluaciones,o se puede obtener beneficiosde ambas sin incurrir en perjuicios de cualquierade ellas? ¿Cuáles son las amenazas parala sostenibilidad de SINERGIA?Conclusiones y resumen de lasrecomendaciones¿Cuáles son las principales fortalezas de SINERGIAy los desafíos que quedan por enfrentar? ¿Cuálesson los factores de éxito críticos y las opciones clavesque enfrenta la institucionalización de SI-NERGIA y de manera más amplia el SyE, en elgobierno? ¿Cómo se puede garantizar la sostenibilidadde SINERGIA luego de un eventual cambiode gobierno? Brevemente, ¿cuáles son laslecciones claves para otros países?140

ANEXO D:EVALUACIÓN DEL APOYO DEL GEI PARA LAINSTITUCIONALIZACIÓN DE SISTEMAS DE SyETemas de evaluación y metodologíaEn 2004, el GEI completó una autoevaluación delapoyo que brindó a los gobiernos para ayudar ainstitucionalizar sus sistemas de SyE (GEI, 2004a).La metodología utilizada en esta evaluación y eltipo de problemas encontrados probablementesean de interés para otros donantes que tratan deevaluar actividades similares. Tales actividadespodrían ser conducidas por las propias oficinas deevaluación o por las áreas operacionales de los donantes.Los problemas metodológicos se relacionancon la evaluación de los esfuerzos porinstitucionalizar un sistema de SyE.MagnitudUna característica contextual importante de laevaluación realizada por el GEI fue la magnitudrelativamente pequeña del apoyo para la creaciónde capacidad en la cual la evaluación estabaenfocada. Como una sección de evaluación independientedel Banco Mundial, el GEI tiene,desde hace muchos años, un programa de apoyoen esta área. 1 El nivel de recursos involucrados hasido modesto, con dos miembros del personal detiempo completo y un presupuesto total de cercade $1 millón de dólares en los últimos años. Recursosque han sido utilizados para ayudar a variospaíses alrededor del mundo.La magnitud de este apoyo es pequeña comparadacon el tamaño de los préstamos de los donantesy los subsidios individuales a los países. Los préstamosde los donantes con componentes para lainstitucionalización de sistemas de SyE bien podríanllegar a varios millones de dólares, y algunasveces más, dependiendo de las actividadesespecíficas que se estén financiando. De esta manera,podría esperarse que la magnitud de las actividades,productos, efectos directos e impactosdel apoyo a dichos países sean considerablementemayores; también podrían existir sinergias fuertesentre varias actividades por realizarse.Contribución versus atribuciónCuando se realiza una evaluación del apoyo de undonante a un gobierno, es relativamente fácil darseguimiento a varios productos (como el diagnósticode país) y a efectos directos intermedios(por ejemplo, el establecimiento gubernamental deun marco formal del SyE) con los que el donanteha contribuido. (Véase la gráfica 13.1 para una listade posibles actividades, productos, efectos directosintermedios, efectos directos finales e impactos).Pero, por lo general, es mucho más difícilatribuir esos resultados a un donante individual, especialmentecuando varios donantes están involucradoso cuando el apoyo del donante enpromedio es pequeño en comparación con losesfuerzos del mismo gobierno –como es el caso deChile. Factores externos, como un cambio en el gobiernoo la partida de un promotor clave del SyE,también pueden afectar significativamente el éxitode los esfuerzos de los donantes. 2Ausencia de un enfoque normalizado para lainstitucionalización del SyEComo se ha insistido en repetidas veces en estaobra, no existe un conjunto de acciones normalizadaspara el fortalecimiento de un sistema deSyE. En vez de eso, el conjunto apropiado paracualquier país dependerá del punto de partida ydel destino deseado, en términos de los posiblesdiversos usos de la información del SyE. Como nohay un conjunto de normas para las acciones, nopuede haber un solo parámetro para evaluarlas. Elenfoque de evaluación debe ser adaptado deacuerdo con el conjunto específico de accionesadoptadas, sus dimensiones y el contexto del país.141

CÓMO CREAR SISTEMAS DE SyE QUE CONTRIBUYAN A UN BUEN GOBIERNOHeterogeneidad de accionesLos esfuerzos para institucionalizar el SyE generalmenteincluyen una larga lista de acciones,como la presentada en el cuadro 13.1. Cada acciónpodría evaluarse de manera específica y, a menudo,diferente. Las actividades individuales,como una conferencia de alto nivel, podrían teneruna contribución muy útil al incrementar la concienciaentre funcionarios de alto nivel sobre losusos del SyE. Sin embargo, en una evaluación esdifícil identificar separadamente la contribuciónde esta actividad relativamente pequeña (Perriny Mackay, 1999). Las actividades de capacitaciónson un componente básico de la mayoría de losesfuerzos para institucionalizar el SyE, que puedenser fáciles de evaluar, especialmente cuandoson de mayor magnitud. También existe una metodologíabastante reconocida para llevar a caboese tipo de evaluaciones (Kirkpatrick y Kirkpatrick,2006). 3, 4 Actividades tales como diagnósticos y evaluacionesexperimentales pueden valorarse entérminos de su calidad y profundidad.Cadena de resultadosUn enfoque de evaluación consiste en centrarseen la cadena de resultados para desarrollar o consolidarun sistema de SyE gubernamental (Gráfica13.1). Esto comprende una serie de actividades,productos, efectos directos intermedios, efectosdirectos finales e impactos. Es posible recopilarindicadores de desempeño en cada etapa. Porejemplo, se pueden abordar temas de evaluaciónmás profundos mediante entrevistas o encuestasa funcionarios de alto nivel, estudios de casosmás detallados, entre otros.Éste fue el enfoque que siguió la evaluación delGEI. Queda entendido que la medida básica deéxito de todos los esfuerzos para crear un sistemade SyE es el grado de utilización de la informacióndel SyE que el sistema produce. Dichainformación puede ser obtenida por medio de encuestasa funcionarios relacionados con el presupuesto,parlamentarios y similares.DiagnósticosEl tipo de evaluación que se considera es similaren muchas formas al diagnóstico de un sistemade SyE de un país (Capítulo 12). Por supuesto queuna evaluación es generalmente algo de naturalezamás formal y podría comprender un diagnósticobase y uno de seguimiento para medir elgrado de cambios en el tiempo. Una evaluacióntambién puede incluir revisiones de asuntos específicos(véase la lista de diagnósticos a profundidadplaneados para Colombia, en el capítulo 13).La evaluación del GEILa autoevaluación del GEI proporcionó un mediopara aclarar los objetivos del GEI y su estrategiade ocho puntos para ayudar a los gobiernos (y asus contrapartes del Banco) a fortalecer sus sistemasde SyE (GEI, 2004a). Contribuyó con informaciónde las cantidades que el GEI gastótratando de alcanzar estos objetivos, categorizadosde acuerdo con diversos tipos de actividadescomo seminarios, capacitación en SyE y becas, ytrabajo de apoyo dentro del mismo país. Tambiénesquematizó una cadena de resultados paraestos esfuerzos, y presentó indicadores de desempeñopara los efectos directos y los efectos directosintermedios de este trabajo. (La mayoría deéstos fueron parcialmente atribuibles al GEI –véaseel análisis anterior). Estos indicadores incluyeronlo siguiente:• El número de países para los que se han realizadodiagnósticos;• Si la prioridad del SyE gubernamental habíasido incluida en la estrategia del Banco paracada país que el GEI apoyó;• Si el Banco había acordado otorgar un préstamoal gobierno para este fin; y• Si se había establecido un marco para el SyEgubernamental.Se llevaron a cabo revisiones exhaustivas de losesfuerzos del GEI en dos países –Uganda y Egipto–realizadas por un consultor externo. Estas revisionescomprendían un informe, entrevistas afuncionarios de alto nivel del gobierno y al personalde alto nivel del Banco y de otros donantes.El consultor calificó la labor del GEI en cada paíscomparándola con los criterios normalizados paraevaluaciones de cualquier proyecto del Banco: relevancia,eficacia (es decir, efectividad), eficiencia,efectos directos, sostenibilidad y desempeño delGEI.142

ANEXO D: EVALUACIÓN DEL APOYO DEL GEI PARA LA INSTITUCIONALIZACIÓN DE SISTEMAS DE SyEAdemás, la evaluación del GEI se basó en unaserie de evaluaciones realizadas con anterioridaden su principal programa de capacitación (ProgramaInternacional de Capacitación en Evaluacióndel Desarrollo). La evaluación incluyóinformación del desempeño sobre una serie dedocumentos de investigación preparados por elGEI en este tema y sobre el nivel de demanda deestos documentos.Basándose en toda esta información del SyE, laevaluación se esforzó por identificar los productosespecíficos y los efectos directos correspondientesa cada uno de los ocho puntos de laestrategia del GEI. Concluyó con un análisis de variasopciones estratégicas que el GEI debería consideraren el momento de planificar su futurotrabajo en esta área. Esta evaluación fue presentadaformalmente al Directorio del Banco Mundialy se encuentra disponible al público en general(véase http://www.worldbank.org/ieg/edc/evaluating_institutionalization_efforts.html).Evaluación del GEI: Resumen ejecutivoNótese que en el siguiente resumen se utiliza laexpresión “desarrollo de la capacidad de evaluación”(DCE) para describir los esfuerzos destinadosa crear o fortalecer un sistema de SyEgubernamental. Este término no describe bien lanaturaleza de estos esfuerzos. Pone énfasis en laevaluación, mientras que la mayoría de sistemasgubernamentales dependen tanto del seguimientocomo de la evaluación. El uso de la frase “desarrollode la capacidad” sugiere un acercamientopor el lado de la oferta. De hecho, apreciar el aspectode la demanda y los temas de institucionalizaciónes quizás más importante. La expresióndesarrollo de la capacidad de evaluación todavíaes utilizada por el GEI y otras organizaciones multilateralesy algunas bilaterales de ayuda.La comunidad para el desarrollo está otorgandopremios por el logro de resultados,y está comprometida en ayudar a los paísesprestatarios a reforzar sus capacidades paramedirse y administrarse por resultados. Paralograrlo se exige realizar esfuerzos para ayudara que los países creen sus propios sistemasde seguimiento y evaluación (SyE).Los sistemas de SyE fuertes pueden realizaruna contribución importante para la buenagobernabilidad en los países; así las capacidadesmás fuertes para SyE de los paísestambién contribuirían a la calidad del SyE delBanco mismo –en las autoevaluaciones delas operaciones del Banco en las intervencionesde desarrollo que ellos diseñan y supervisan,así como de las propias evaluacionesindependientes del GEI.Desde su creación en 1973, el GEI ha sidoun fuerte defensor del desarrollo de la capacidadde evaluación y éste ha sido partede su mandato formal desde 1986. Paracumplir con ello, el GEI tiene un programade DCE con dos personas de tiempo completoque proporcionan asesoría y otrostipos de apoyo a los países y a las áreas operativasdel Banco. El propósito de este informede autoevaluación es valorar la laborde desarrollo de la capacidad de evaluacióndel GEI, y determinar así en qué medida estácumpliendo con el mandato de desarrollode la capacidad de evaluación.Este informe describe y explica la estrategiade desarrollo de la capacidad de evaluación–la manera en la que el GEI ha trabajado paracumplir su mandato. En la aplicación deesta estrategia, el GEI ha desempeñado unafunción catalítica prevista con el fin de integrarel DCE a las actividades habituales delBanco y en los países, y establecer buenasprácticas de desarrollo de la capacidad deevaluación. Los tres componentes estrechamentevinculados de esta estrategia sonel apoyo interno que brinda al Banco, suapoyo externo y la creación de una basepara el desarrollo de la capacidad de evaluación.El GEI ha desempeñado con éxito un papeldeterminante en mantener el SyE y el DCEen la agenda del Banco, con el fuerte respaldodel Directorio del Banco y su Comitépara la Efectividad en el Desarrollo. La cambianteAgenda de Resultados del Banco, asu vez, está consolidando el foco de las143

CÓMO CREAR SISTEMAS DE SyE QUE CONTRIBUYAN A UN BUEN GOBIERNOOperaciones del Banco en los resultadosde su trabajo, y esto está proporcionandoun cierto enfoque adicional en el DCE.Desde 1999, cuando el GEI aumentó sus recursosdedicados al desarrollo de la capacidadde evaluación, ha habido uncrecimiento sustancial en el número deequipos del Banco a cargo de países quebuscan el desarrollo de la capacidad de evaluacióncon los prestatarios; el respaldo yempuje del GEI para casi todos ha sido unfactor de contribución. Por lo menos 31 deestos equipos a cargo de países (de entreaproximadamente 150) están involucradosactualmente en actividades de DCE. Estecrecimiento constituye un progreso significativohacia la inclusión del DCE dentro delBanco, aunque haya claramente todavíamucho por hacer.En este informe se identifica una serie de limitacionespara evaluar el trabajo del GEIen el DCE, como las dificultades de atribución;la naturaleza heterogénea del trabajo;la carencia de un acercamiento normalizado;la pequeña magnitud de muchas actividades;el hecho de que parte de estetrabajo se encuentre en las primeras fases.Sin embargo, en este informe también se resaltala valoración del trabajo de DCE mediantela esquematización de las cadenas deresultados; la articulación de los indicadoresde desempeño; y la preparación de criteriosnormalizados para la calificación enlos países. Por tanto, el informe presenta evidenciade un número de productos y efectosdirectos del trabajo de desarrollo de lacapacidad de evaluación del GEI.El GEI ha dado apoyo para llevar a cabo elDCE en 34 países (y a los correspondientesequipos del Banco a cargo de los países)desde 1999: se ha proporcionado ayuda intensaa dos países (Uganda y Egipto), de medianaintensidad a 15 países y ayudaindirecta a otros 17 países. Semejante“marca” de este apoyo del GEI ha ayudadoa elevar el perfil del DCE dentro del Banco,llevando a la posibilidad de algún efecto dedemostración hacia otros equipos a cargode países. Este trabajo enfocado en el paísconstituye una parte clave de la estrategiadel DCE del GEI. Un hallazgo importante deeste informe es que muchos de los paísespara los cuales el GEI ha proporcionadoapoyo de alta o mediana intensidad han realizadograndes progresos en desarrollo dela capacidad de evaluación –en términosde efectos directos del desarrollo de la capacidadde evaluación, como diagnósticose identificación del desarrollo de la capacidadde evaluación como una prioridad enlas estrategias de asistencia del Banco a lospaíses, y la creación de proyectos del Bancocon componentes de DCE, y en términos deefectos directos intermedios como el fortalecimientode la demanda del país porSyE y de las capacidades del país de conduciry utilizar el SyE . Si bien no todo el progresopuede ser atribuido al GEI, este grupo hacontribuido de manera importante a estosresultados del desarrollo de la capacidadde evaluación.Revisiones exhaustivas de los dos paísesdonde el GEI ha proporcionado un apoyomuy intenso –Uganda y Egipto– confirmanel liderazgo del GEI en el desarrollo de la capacidadde evaluación en los últimos años;su funcionamiento en ambos países estácalificado como satisfactorio. Una fortalezaen Uganda ha sido el hecho de contar conapoyo intenso y sostenido, que logró sinergiaentre una serie de diferentes actividadesde DCE y que han dado resultadossignificativos. La revisión exhaustiva concluyóque la labor de desarrollo de la capacidadde evaluación en Uganda representauna buena práctica. Sin embargo, la situaciónde Egipto es algo diferente –en ciertamedida, la insuficiente demanda de las partesclave interesadas dentro del gobiernofrustró el trabajo. Esta experiencia refuerzala lección aprendida por varios países dondela demanda ha sido muy débil: esa demandatan baja puede llevar a que los esfuerzos dedesarrollo de la capacidad de evaluaciónsean muy frágiles. Por esta razón, el GEI144

ANEXO D: EVALUACIÓN DEL APOYO DEL GEI PARA LA INSTITUCIONALIZACIÓN DE SISTEMAS DE SyEnecesita prestar mucha atención al lado dela demanda en su trabajo de desarrollo dela capacidad de evaluación del país, en laetapa de diagnóstico inicial y en el trabajoposterior de creación de capacidad.El establecimiento de los fundamentos deldesarrollo de la capacidad de evaluación delGEI ha incluido la preparación de materialde apoyo, el compartir enseñanzas de la experiencia,el otorgar capacitación en SyE yen DCE, y varias iniciativas de colaboracióncomo evaluaciones conjuntas y armonizacióndel SyE de los donantes. El GEI ha tenido unafunción determinante en la identificación ydifusión de las enseñanzas de la experienciadel desarrollo de la capacidad de evaluación–realmente, de la investigación en DCE–y esto se ve reflejado en el alto nivel de demandadel material de apoyo del desarrollode la capacidad de evaluación. Una recienteevaluación del GEI del Programa Internacionalde Capacitación en Evaluación delDesarrollo, su curso insignia en SyE, encontróaltos niveles de satisfacción de los participantescon la capacitación y aumentos deaprendizaje significativos. También hay hallazgosde evaluación altamente positivosen los otros cursos de SyE y DCE que el GEIha patrocinado. Sin embargo, existe unaserie de brechas en la información evaluativadel GEI en relación con los resultados de sutrabajo en el desarrollo de la capacidad deevaluación que necesitan ser tomadas encuenta.No hay evidencia de que se presenten conflictosde intereses en lo referente a las actividadesde desarrollo de la capacidad deevaluación del GEI. Existen importantesprecedentes dentro y fuera del Banco,donde las responsabilidades legales y fiduciariasse reconcilian con la disposición dela ayuda a la creación de capacidades en eltrabajo operacional. Esta reconciliación sealcanza con un acercamiento simple de lasbarreras legales.Esta autoevaluación presenta tres opcionesclave para que la administración del GEIconsidere al preparar su estrategia de DCEfutura. Éstas son: (1) una opción de salidapara transferir las actividades de desarrollode la capacidad de evaluación del GEI; (2)una opción ampliada que involucre una estrechacolaboración con las unidades centralesdel Banco, y un enfoque másorientado a la labor de desarrollo de la capacidadde evaluación con el equipo delbanco para el país y con las unidades de laVicepresidencia Regional del Banco; y (3) unenfoque renovado en el aprendizaje de lasenseñanzas de DCE.La conclusión de este informe es que, dadoel modesto nivel de recursos comprometidosen el DCE, el GEI ha participado muyactivamente en el desarrollo de la capacidadde evaluación, y su estrategia para dichofin ha contribuido a una serie de resultadosde DCE –productos y efectos directos– durantelos últimos cinco años. La tarea queahora enfrenta el GEI es fortalecer aún másla labor de desarrollo de la capacidad de evaluación–para alcanzar los objetivos de integrarlocon las actividades normales deldesarrollo de la capacidad de evaluación yestablecer más ampliamente uno de altacalidad. Cada vez hay más oportunidadespara lograr una orientación hacia los resultadosdentro del Banco y en los países, y laprioridad por el DCE nunca ha sido tan alta.145

ANEXO E:GLOSARIO DE TÉRMINOS CLAVES EN SYEFuente: Comité de Asistencia para el Desarrollo(CAD). 2002. Glosario de los principales términossobre evaluación y gestión basada en resultados.Paris: OCDE. Este glosario estádisponible en chino, español, francés, inglés, italiano,japonés, portugués y ruso.Para mayor información, diríjase a OCDE, Direcciónde la Cooperación para el Desarrollo, 2 rueAndré-Pascal, 75775 Paris Cedex 16, Francia. Sitioweb: www.oecd.org/dac/evaluation.ActividadAcciones emprendidas o labor realizada mediantelas cuales se movilizan los insumos, como son losfondos, la asistencia técnica y otros tipos de recursos,para generar productos determinados.Término conexo: intervención para el desarrollo.Análisis de riesgosAnálisis o evaluación de factores (llamados “supuestos”en el marco lógico) que afectan o que puedenafectar el logro de los objetivos de unaintervención. Examen detallado de las consecuenciasindeseables y negativas que podría teneruna intervención para el desarrollo en la vida humana,la salud, la propiedad o el medio ambiente;proceso sistemático que proporciona informaciónsobre esas consecuencias indeseables; proceso decuantificación de las probabilidades de que aparezcanlos riesgos identificados y sus repercusionesprevistas.AsociadosParticulares y/u organismos que colaboran para lograrlos objetivos mutuamente acordados.Nota: El concepto de asociación denota metascompartidas, responsabilidad común por losefectos directos, clara rendición de cuentas yobligaciones recíprocas. Los asociados puedenser gobiernos, entidades de la sociedad civil,organizaciones no gubernamentales, universidades,asociaciones profesionales y empresariales,organismos multilaterales, empresasprivadas, etc.AtribuciónImputación de un vínculo causal entre cambiosobservados (o que se espera observar) y una intervenciónespecífica.Nota: La atribución se refiere a la acción que explicalos cambios observados o los resultados obtenidos.Representa la medida en que los efectosde desarrollo observados pueden atribuirse a unaintervención específica o a la actuación de una omás partes teniendo en cuenta otras intervenciones,factores exógenos (previstos o imprevistos)o choques externos.AuditoríaActividad de control independiente y objetivaque tiene como fin añadir valor y mejorar las operacionesde una organización. Ayuda a la organizacióna lograr sus objetivos aportando unenfoque sistemático y disciplinado para evaluar ymejorar la eficacia de la gestión de riesgos, elcontrol y los procesos de dirección.Nota: Se debe distinguir entre la auditoría de regularidad(financiera), que se centra en el cumplimientode los estatutos y regulacionesaplicables, y la auditoria de resultados, que se147

CÓMO CREAR SISTEMAS DE SyE QUE CONTRIBUYAN A UN BUEN GOBIERNOocupa de la pertinencia, la economía, la eficienciay la eficacia. La auditoría interna constituye unaevaluación de los controles internos realizados poruna unidad que rinde cuentas a la dirección, entanto que la auditoría externa es realizada poruna entidad independiente.AutoevaluaciónEvaluación por parte de los responsables del diseñoy la implementación de una intervenciónpara el desarrollo.BeneficiariosIndividuos, grupos u organismos que se benefician,directa o indirectamente, de una intervenciónpara el desarrollo, hayan sido o no losdestinatarios de la intervención.Términos conexos: destinatarios, grupo meta.Cadena de resultadosLa secuencia causal de una intervención para eldesarrollo que estipula la secuencia necesariapara lograr los objetivos deseados, comenzandocon los insumos, pasando por las actividades y losproductos, y culminando en el efecto directo, elimpacto y la retroalimentación. En algunos organismos,los destinatarios (o el “alcance”) formanparte de la cadena de resultados.Términos conexos: supuestos, marco deresultados.ConclusionesLas conclusiones señalan los factores de éxito yfracaso de la intervención evaluada, prestandoatención especial a los resultados y repercusionesintencionales o no y, de manera más general, aotras fortalezas y debilidades. Una conclusión seapoya en los datos recopilados y en los análisis realizadosmediante una cadena transparente deenunciados.ContrafactualSituación o condición que podría presentarse hipotéticamentepara las personas, las organizacioneso los grupos si no hubiera una intervenciónpara el desarrollo como la evaluada.DesempeñoMedida en que una intervención para el desarrolloo una entidad que se ocupa de fomentar eldesarrollo actúa conforme a criterios/normas/directricesespecíficos u obtiene resultados de conformidadcon metas o planes establecidos.Destinatarios (o “alcance”)Beneficiarios y otras partes interesadas de una intervenciónpara el desarrollo.Término conexo: beneficiarios.EconomíaAusencia de desperdicio en la obtención de un resultadodeterminado.Nota: Se dice que una actividad es económicacuando los costos de los recursos escasos utilizadosse aproximan al mínimo necesario para lograrlos objetivos planeados.EfectoCambio intencional o no intencional debido directao indirectamente a una intervención.Términos conexos: resultados, efecto directo.Efecto directoRepresenta el conjunto de resultados a corto y medianoplazo probables o logrados por los productosde una intervención.Términos conexos: resultados, producto, impacto,efecto.EficaciaMedida en que se lograron o se espera lograr losobjetivos de la intervención para el desarrollo, tomandoen cuenta su importancia relativa.Nota: Se utiliza también como medida agregadao juicio sobre el mérito o el valor de una actividad,es decir, el grado al cual una intervención halogrado, o se espera que logre, sus principales objetivospertinentes de manera eficaz, en forma sostenible,y con un impacto institucional positivo enel desarrollo.148

ANEXO E: GLOSARIO DE TÉRMINOS CLAVES EN SyETérmino conexo: eficiencia, efectividad.EficienciaMedida en que los recursos/insumos (fondos,tiempo, etc.) se han convertido económicamenteen resultados.Enseñanzas aprendidasGeneralizaciones basadas en las experiencias deevaluación de proyectos, programas o políticas encircunstancias específicas, que se aplican a situacionesmás amplias. Con frecuencia, las enseñanzasdestacan los puntos fuertes o débiles enla preparación, el diseño y la puesta en prácticaque afectan al desempeño, los resultados y elimpacto.Estudio de baseAnálisis que describe la situación previa a una intervenciónpara el desarrollo, en relación con lacual puede medirse el avance o pueden efectuarsecomparaciones.Evaluación de conjuntoEvaluación de un conjunto de actividades, proyectosy/o programas relacionados entre sí.Evaluación del programa de país/ Evaluaciónde la asistencia al paísEvaluación de la cartera de intervenciones para eldesarrollo de uno o más donantes o instituciones,y de la estrategia de asistencia que la sustenta, enun país determinado.Evaluación ex anteDeterminación general de la pertinencia, la factibilidady la sostenibilidad potencial de una intervenciónpara el desarrollo antes de tomar ladecisión de otorgar financiamiento.Nota: En los organismos, bancos, etc. de desarrollo,el propósito de la evaluación ex ante es presentarinformación durante el proceso de tomade decisiones para determinar si la actividad representael uso adecuado de los recursos de la institución.Término conexo: preevaluación.EvaluabilidadMedida en que puede evaluarse una actividad oun programa de manera fiable y creíble.Nota: Para determinar la evaluabilidad es necesarioun examen anticipado de una evaluación propuestapara determinar si sus objetivos están definidosadecuadamente y si sus resultados puedenser objeto de verificación.EvaluaciónApreciación sistemática y objetiva de un proyecto,programa o política en curso o concluido, de sudiseño, su puesta en práctica y sus resultados. Elobjetivo es determinar la pertinencia y el logro delos objetivos, así como la eficiencia, la eficacia, elimpacto y la sostenibilidad para el desarrollo. Unaevaluación deberá proporcionar información creíbley útil, que permita incorporar las enseñanzasaprendidas en el proceso de toma de decisionesde beneficiarios y donantes.La evaluación también se refiere al proceso de determinarel valor o la significación de una actividad,política o programa. Se trata de unaapreciación, tan sistemática y objetiva como seaposible, de una intervención para el desarrollo planeada,en curso o concluida.Nota: En algunos casos, la evaluación entraña ladefinición de normas adecuadas, el examen de losresultados en función de esas normas, una apreciaciónde los resultados efectivos y previstos y laidentificación de lecciones pertinentes.Término conexo: revisión.Evaluación conjuntaEvaluación en la que participan distintas entidadesdonantes y/o asociados.Nota: Existen varios grados de “asociación”, dependiendode la medida en que cada parte cooperaen el proceso de evaluación, y combina susrecursos de evaluación y sus mecanismos de declaraciónde información. Las evaluaciones conjuntaspueden ayudar a superar problemas deatribución al evaluar la eficacia de los programas149

CÓMO CREAR SISTEMAS DE SyE QUE CONTRIBUYAN A UN BUEN GOBIERNOy las estrategias, el carácter complementario de losesfuerzos respaldados por diferentes asociados, lacalidad de la coordinación de la asistencia, etc.Evaluación de procesosEvaluación de la dinámica interna de los organismosde ejecución, sus instrumentos de política,sus mecanismos de prestación de servicios, susprocedimientos de gestión y los vínculos queexisten entre todos estos componentes.Término conexo: evaluación formativa.Evaluación de programasEvaluación de un conjunto de intervenciones estructuradaspara alcanzar objetivos específicosde desarrollo a nivel global, regional, de país osectorial.Nota: Un programa de desarrollo es una intervenciónde duración limitada que comprendemúltiples actividades que pueden abarcar variossectores, temas y/o zonas geográficas.Términos conexos: evaluación del programa/estrategiadel país.Evaluación de programas sectorialesEvaluación de un conjunto de intervenciones parael desarrollo dentro de un país o un grupo de paísesen un sector, todas las cuales contribuyen allogro de un objetivo específico de desarrollo.Nota: Un sector incluye actividades de desarrolloque se agrupan comúnmente para fines de acciónpública, tales como la salud, la educación, laexplotación agropecuaria, el transporte, etc.Evaluación de proyectosEvaluación de una intervención individual para eldesarrollo que tiene por objeto alcanzar objetivosespecíficos con recursos especificados y dentrode calendarios de ejecución determinados, a menudoenmarcada en un programa más amplio.Nota: El análisis de costos y beneficios es uno delos principales instrumentos de evaluación deproyectos con beneficios mensurables. Cuando nopuedan cuantificarse los beneficios, el enfoqueadecuado sería el de eficacia en función de loscostos.Evaluación de término medioEvaluación que se efectúa a mediados del períodode implementación de la intervención.Término conexo: evaluación formativa.Evaluación ex anteEvaluación que se efectúa antes de poner en prácticauna intervención para el desarrollo.Términos conexos: evaluación inicial, evaluaciónprevia, pre-evaluación.Evaluación ex postEvaluación de una intervención para el desarrolloque se efectúa una vez que ha concluido.Nota: Puede emprenderse inmediatamente omucho después de su conclusión.La intención es identificar los factores de éxito ofracaso, evaluar la sostenibilidad de los resultadosy las repercusiones, y extraer conclusiones quepuedan ser útiles para otras intervenciones.Evaluación externaEvaluación de una intervención para el desarrollorealizada por entidades y/o individuos ajenosa los organismos donantes y de ejecución.Evaluación formativaEvaluación cuyo objeto es mejorar el desempeñoy que generalmente se realiza durante la fase deimplementación de un proyecto o programa.Nota: También pueden realizarse evaluacionesformativas por otras razones como la verificacióndel cumplimiento, por exigencias legales o comoparte de una iniciativa de evaluación de mayorenvergadura.Término conexo: evaluación de proceso.150

ANEXO E: GLOSARIO DE TÉRMINOS CLAVES EN SyEEvaluación independienteEvaluación realizada por entidades y personasque no están bajo el control de los responsablesdel diseño y la implementación de la intervenciónpara el desarrollo.Nota: La credibilidad de una evaluación dependeen parte del grado de independenciacon la que se llevó a cabo. La independencia significaque la evaluación no está sujeta a ningunainfluencia política ni a presiones deninguna organización. Se cuenta con pleno accesoa la información y total autonomía para llevara cabo las investigaciones y notificar lo quese haya determinado.Evaluación internaEvaluación de una intervención para el desarrollorealizada por una unidad y/o personas quedependen de la gerencia o dirección de un organismodonante, asociado o de ejecución.Término conexo: autoevaluación.Evaluación participativaMétodo de evaluación en la que los representantesde entidades y partes interesadas (incluidoslos beneficiarios) trabajan conjuntamente enel diseño, implementación e interpretación deuna evaluación.Evaluación sumativaEstudio que se realiza al final de una intervención(o de una fase de esa intervención) para determinaren qué medida se produjeron los resultadosprevistos. El objetivo de la evaluación sumativaes proporcionar información sobre el valor delprograma.Término conexo: evaluación del impacto.Evaluación temáticaEvaluación de un conjunto determinado de intervencionespara el desarrollo, todas las cualesse refieren a una prioridad específica de desarrolloque abarca distintos países, regiones ysectores.FiabilidadEs la coherencia de los datos y los juicios deevaluación, y la medida en que se puede confiaren ellos, con referencia a la calidad de los instrumentos,procedimientos y análisis empleadospara recopilar e interpretar datos deevaluación.Nota: La información de una evaluación es fiablesi observaciones repetidas utilizando instrumentossimilares, en condiciones similares dan lugara resultados similares.Garantía de calidadLa garantía de calidad abarca toda actividad quetenga por objeto evaluar y mejorar el mérito o elvalor de una intervención para el desarrollo o sucumplimiento con normas establecidas.Nota: Cabe citar como ejemplos de actividades degarantía de calidad la evaluación ex ante, la gestiónbasada en resultados, los exámenes durantela ejecución, las evaluaciones, etc. La garantía decalidad también puede referirse a la evaluación dela calidad de una cartera y de su eficacia en términosdel desarrollo.Gestión basada en resultadosEstrategia de gestión que se centra en el desempeñoy el logro de productos, efectos eimpacto.Término conexo: marco lógico.Grupo metaIndividuos u organismos específicos en cuyo beneficiose lleva a cabo la intervención para eldesarrollo.Hallazgo (Constatación)Un hallazgo (o una constatación) utiliza evidenciasobtenidas de una o más evaluaciones para realizarafirmaciones basadas en hechos.Herramientas analíticasMétodos empleados para procesar e interpretarinformación durante una evaluación.151

CÓMO CREAR SISTEMAS DE SyE QUE CONTRIBUYAN A UN BUEN GOBIERNOHerramientas de recolección de datosMetodologías empleadas para identificar fuentesde información y recopilar datos durante unaevaluación.Nota: Cabe citar como ejemplos las encuestas informalesy formales, la observación directa y participativa,las entrevistas en comunidades, losgrupos de control, la opinión de expertos, losestudios de casos y la investigación bibliográfica.Impacto en el desarrollo institucionalMedida en que una intervención mejora o debilitala capacidad de un país o región de hacer usomás eficiente, equitativo y sostenible de sus recursoshumanos, financieros y naturales, porejemplo, a través de: mecanismos institucionalesmejor definidos, más estables, transparentes yaplicados de manera eficaz y previsible y/o (b)mejor ajuste de la misión y la capacidad de unaorganización con su mandato, que se deriva deestos mecanismos institucionales. Estos impactospueden incluir los efectos intencionales o no intencionalesde una acción.ImpactosEfectos de largo plazo positivos y negativos, primariosy secundarios, producidos directa o indirectamentepor una intervención para eldesarrollo, intencionalmente o no.IndicadorVariable o factor cuantitativo o cualitativo queproporciona un medio sencillo y fiable para medirlogros, reflejar los cambios vinculados con una intervencióno ayudar a evaluar los resultados de unorganismo de desarrollo.Indicador del desempeño (o de los resultados)Variable que permite verificar cambios debidos ala intervención para el desarrollo o que muestraresultados en relación con lo que se ha planeado.Términos conexos: seguimiento del desempeño,medición de los resultados.InsumosRecursos financieros, humanos y materiales empleadosen una intervención para el desarrollo.Intervención para el desarrolloInstrumento de asistencia utilizado por un organismo(donante o no donante), con el objeto defomentar el desarrollo.Nota: Cabe citar como ejemplos el asesoramientoen materia de políticas, los proyectos y losprogramas.Marco de resultadosLógica del programa que explica la forma en quedeberá lograrse el objetivo de desarrollo, que incluyelas relaciones causales y los supuestossubyacentes.Términos conexos: cadena de resultados, marcológico.Marco lógicoHerramienta que se utiliza para mejorar el diseñode las intervenciones, más frecuentementea nivel del proyecto. Comprende la identificaciónde elementos estratégicos (insumos, productos,efectos, impacto) y sus relaciones causales,indicadores y los supuestos o riesgos que puedeninfluir en el éxito o el fracaso. De esa manera facilitala planeación, la ejecución y la evaluación deuna intervención para el desarrollo.Término conexo: gestión basada en resultados.Medición de los resultadosSistema para evaluar los resultados de las intervencionespara el desarrollo en función de los objetivosdeclarados.Términos conexos: seguimiento del desempeño,indicador.MetaObjetivo global hacia el cual se prevé que contribuyauna intervención para el desarrollo.Término conexo: objetivo de desarrollo.MetaevaluaciónEste término se utiliza para evaluaciones cuyoobjeto es sintetizar constataciones de un conjuntode evaluaciones. También puede utilizarse152

ANEXO E: GLOSARIO DE TÉRMINOS CLAVES EN SyEpara indicar la evaluación de otra evaluación a finde juzgar su calidad y/o medir el desempeño delos evaluadores.Norma de referenciaBase de comparación o norma (standard) en relacióncon la cual pueden medirse los resultadoso los logros obtenidos.Nota: Una norma se refiere a los resultados logradosen el pasado reciente por otros organismossimilares, o a lo que razonablemente puedeinferirse que se ha logrado en circunstanciassimilares.Objetivo de desarrolloImpacto intencional esperado que contribuye a generarbeneficios físicos, financieros, institucionales,sociales, ambientales o de otra índole a una sociedad,una comunidad o un grupo de personas medianteuna o más intervenciones para el desarrollo.Objetivo del proyecto o programaSe refiere a los resultados físicos, financieros, institucionales,sociales, ambientales o de otra índoleque se espera que el proyecto o programa contribuyaa lograr.Partes interesadasEntidades, organizaciones, grupos o particularesque tienen un interés directo o indirecto en la intervenciónpara el desarrollo o en su evaluación.PertinenciaMedida en que los objetivos de una intervenciónpara el desarrollo son congruentes con los requisitosde los beneficiarios, las necesidades delpaís, las prioridades globales y las políticas de losasociados y donantes.Nota: En retrospectiva, la cuestión de la pertinenciasuele referirse a si los objetivos o el diseñode una intervención siguen siendo adecuadosaún cuando hayan cambiado las circunstancias.ProductoComprende los productos, los bienes de capitaly los servicios que resultan de una intervenciónpara el desarrollo; puede incluir también los cambiosresultantes de la intervención que son pertinentespara el logro de los efectos directos.PropósitoObjetivos declarados públicamente del programao proyecto de desarrollo.RecomendacionesPropuestas que tienen por objeto mejorar la eficacia,la calidad o la eficiencia de una intervenciónpara el desarrollo, rediseñar los objetivos y/o reasignarlos recursos. Las recomendaciones deberánestar vinculadas a las conclusiones.Rendición de cuentasObligación de demostrar que se ha efectuado el trabajocumpliendo con las reglas y normas acordadaso de declarar de manera precisa e imparcial los resultadosobtenidos en comparación con las funcionesy/o planes encomendados. Esto puede exigiruna demostración cuidadosa, que pueda defenderseincluso judicialmente, de que la labor realizadaes congruente con los términos contractuales.Nota: La rendición de cuentas en materia de desarrollopuede referirse a las obligaciones de las partesde actuar de conformidad con responsabilidades,funciones y expectativas de resultados claramentedefinidas, a menudo con respecto al uso prudentede los recursos. Para los evaluadores, denota la responsabilidadde proporcionar informes de seguimientoy evaluaciones de resultados precisos,imparciales y creíbles. Los administradores y ejecutivosdel sector público, deben rendir cuentas antelos contribuyentes y/o los ciudadanos.ResultadosProducto, efecto o impacto (intencional o no,positivo y/o negativo) de una intervención parael desarrollo.Términos conexos: efecto directo, repercusión,impacto.RetroalimentaciónTransmisión de las constataciones (hallazgos) a las quese arribó en el proceso de evaluación a aquellas partespara quienes son pertinentes y útiles con objetode facilitar el aprendizaje. Puede abarcar la recopila-153

CÓMO CREAR SISTEMAS DE SyE QUE CONTRIBUYAN A UN BUEN GOBIERNOción y divulgación de observaciones, conclusiones,recomendaciones y lecciones de la experiencia.RevisiónEvaluación de los resultados de una intervención,periódicamente o de manera ad hoc.Nota: Con frecuencia, se realiza una “evaluación”para tener una determinación más completa y/oprofunda que la que produce una revisión. Las revisionestienden a hacer hincapié en los aspectosoperativos. En ocasiones, los términos “revisión”y “evaluación” se utilizan como sinónimos.Término conexo: evaluación.SeguimientoFunción continua que utiliza una recopilaciónsistemática de datos sobre indicadores especificadospara proporcionar a los administradores ya las partes interesadas principales de una intervenciónpara el desarrollo, indicaciones sobre elavance y el logro de los objetivos así como de lautilización de los fondos asignados.Términos conexos: seguimiento del desempeño,indicador.Seguimiento del desempeñoProceso continuo de recolección y análisis dedatos para comparar en qué medida se está ejecutandoun proyecto, programa o política en funciónde los resultados previstos.SostenibilidadContinuación de los beneficios de una intervenciónpara el desarrollo después de concluida.Probabilidad de que continúen los beneficios enel largo plazo. Situación en la que las ventajasnetas son susceptibles de resistir los riesgos conel correr del tiempo.SupuestosHipótesis sobre los factores o riesgos que puedenafectar el avance o éxito de una intervención parael desarrollo.Nota: Este término puede también aplicarse alas condiciones hipotéticas que inciden en la validezde la evaluación misma, por ejemplo, lascaracterísticas de la población de la cual se extraeuna muestra para una encuesta. Los supuestosse plantean de manera explícita enevaluaciones basadas en la teoría, cuando las mismasson verificadas sistemáticamente medianteuna comparación con la cadena de resultadosprevista.Términos de referenciaDocumento escrito que presenta el propósito yel alcance de la evaluación, los métodos que se hande utilizar, la norma con la que se evaluarán losresultados o los análisis que se han de realizar, losrecursos y el tiempo asignado, y los requisitos depresentación de informes. A veces se utilizan tambiénlas expresiones “alcance del trabajo” o “mandatode la evaluación”.TriangulaciónUso de tres o más teorías, fuentes o tipos de información,o tipos de análisis para verificar y sustentaruna evaluación.Nota: Al combinar múltiples fuentes de datos,métodos, análisis o teorías, los evaluadores procuraneliminar el sesgo que surge cuando se recurrea una sola fuente de información, a un solométodo, a un único observador o a una teoríaúnica.ValidezMedida en que las estrategias y los instrumentosde recopilación de datos miden lo que tienenpor objeto medir.154

NOTASCapítulo 31. El Steering Committee for the Review of GovernmentService Provision ofrece un buen ejemplopráctico de la comparación de desempeño entre nivelesde gobierno federales, estatales o territoriales en Australia(2007).2. Conocido también como la “nueva administraciónpública” (véase, por ejemplo, OCDE, 1995).3. Algunos conceptos relacionados con la participaciónde la sociedad civil en el SyE son SyE participativo,en el que ciudadanos comunes son participantes activosen el SyE y no sólo fuentes de información, y rendiciónde cuentas social, la cual abarca una ampliavariedad de mecanismos, como son varios tipos de SyEque permiten que los ciudadanos puedan exigir al Estadoque rinda cuentas. Estos otros tipos de SyE comprendentarjetas comunitarias de puntaje, encuestasde seguimiento del gasto público y auditorías sociales.Véase Banco Mundial (2006b).4. http://www.bogotacomovamos.org/bogotacv/scripts/index.php. Véase también Sánchez (sin fecha) yFiszbein (2005, p. 42)5. El Ministro de Hacienda de Chile, quien manejatodo el sistema de evaluación del gobierno, ha llamadoa licitación on-line para encargar las evaluaciones quequiere llevar a cabo. Los términos de referencia de lasevaluaciones, los licitadores que obtengan la adjudicación(personas naturales o jurídicas) y el informe finalde evaluación son publicados en el portal del ministerioen el momento de la selección de los licitadores. Estoayuda a reforzar la transparencia de los procesos de evaluacióny la objetividad de las mismas evaluaciones.Capítulo 41. La mayoría de los sistemas de SyE gubernamentalesno evalúan proyectos de los donantes. Dos excepcionesson Chile y Colombia.2. http://www.mfdr.org/.3. http://wwwadb.org/MfDR/CoP/about.asp.4. http://www.afrea.org/; http://www.preval.org/mapa.php?idioma=8; http://www.ideas-int.org/; http://internationalevaluation.com/index.shtml.Capítulo 51. Para un criterio de evaluación de la calidad de losindicadores de desempeño, véase, por ejemplo, Hatry(2006) y Wholey (2006). Para parámetros de evaluación,véase, por ejemplo, Wholey, Hatry y Newcomer(2004).Capítulo 61. El MdH analiza y procura verificar la informacióncontenida en estos informes. Algunas informacionesde las bases de datos de ministerios son sometidas a auditoríasrealizadas por el Consejo de Auditoría InternaGeneral de Gobierno (ver Blondal y Curristine, 2004).2. Estas metas incluyen productos de bienes y servicios,su calidad y niveles de satisfacción del usuario.3. Algunas razones de que no se logran las metas establecidasson factores externos fuera del control de laorganización, metas muy altas poco realistas y bajo desempeñoen la gestión dentro de la organización (Guzmán,2006).4. Una de las formas en que los ministerios sectorialesutilizan la información del SyE en el proceso presupuestarioes cuando ellos solicitan recursos adicionalesal fondo para licitaciones del MdH. Este fondo ha sidoutilizado en algunos presupuestos recientes -no entodos- para asignar recursos adicionales disponibles alfinal del proceso presupuestario normal. Si los ministeriossectoriales desean acceder a este fondo, los ministrostienen que presentar sus licitaciones utilizandoel enfoque de marco lógico, mostrando los objetivos deseadosdel gasto propuesto, los indicadores de desempeñoy metas, la población objetivo, los resultadosesperados y la probable contribución a las metas estratégicas.El MdH revisa estas licitaciones basándose encriterios técnicos, especialmente su relevancia para las155

CÓMO CREAR SISTEMAS DE SyE QUE CONTRIBUYAN A UN BUEN GOBIERNOprioridades del gobierno. La decisión final sobre la asignaciónde los fondos la toma el presidente (Blondal yCurristine, 2004).5. Las evaluaciones de los programas de gobierno ylas evaluaciones de impacto de Chile no siempre reportansu metodología u otorgan suficiente atención ala lógica del programa (marco lógico). Algunas de las evaluacionesde impacto no cumplen con los propios parámetrosde calidad del MdH debido a problemas comola ausencia de un grupo control o la falta de datos dereferencia. Estas evaluaciones tendían a dar más valora los métodos cuantitativos, mientras que subutilizabanla información cualitativa, como el nivel de satisfaccióndel beneficiario.6. Esta cantidad excluye los costos asumidos porentidades del sector, los cuales consisten básicamenteen el costo de recopilación, procesamiento y transmisiónde la información de desempeño al MdH, y elcosto de preparar los balances de gestión integral.Capítulo 71. Los sistemas SIGOB en Guatemala y Honduras yel sistema de indicadores de desempeño del estado deCeará en Brasil se utilizan para calificar el desempeñodel programa, con un enfoque tipo semáforo: calificaciónverde, ámbar o roja. Este enfoque resalta claramenteel desempeño de cada programa. El gobierno mexicanoestá considerando introducir un sistema similar.2 . El departamento de planeación, el cual administraSINERGIA, ha desarrollado una metodología para lasevaluaciones rápidas basada en una combinación de lametodología de las evaluaciones de programas gubernamentalesde Chile y la de PART, del gobierno de losEstados Unidos de América. Para mayores detalles,véase Mackay y otros (2007). Se espera que estas evaluacionesdel departamento de planeación (llamadas“evaluaciones ejecutivas”) cuesten cerca de $25.000cada una. Las pruebas experimentales de las evaluacionesrápidas del ministerio de hacienda se basan enla metodología de las evaluaciones de programas gubernamentalesde Chile y cuestan alrededor de $15.000cada una.3. El gobierno actualmente está financiando sólo12% de los $11,1 millones de la agenda de evaluación.4. El costo estimado para Colombia es aproximado.Los estimados tanto para Colombia como para Chile noincluyen los costos asumidos por los ministerios sectorialesy dependencias para proporcionar seguimientoy otro tipo de información para el sistema de SyE.Capítulo 81. Las reformas australianas incluyen, por ejemplo, unareducción del número de departamentos y el otorgamientode mucho mayor autonomía a los departamentosconsolidados; reemplazo del presupuesto por rubro conun sistema de costos corrientes (que incluye un rubro paralos salarios y otro para los gastos administrativos), ademásdel gasto por programas, una introducción al presupuestopor programa; la introducción de un marco de gastos a medianoplazo con estimados para tres años.2. El desarrollo del sistema de evaluación de Australialo analiza Mackay (1998a), y una comparación con el sistemade gestión del desempeño al cual reemplazó la presentaMackay (2004).3. Aunque las relaciones de rendición de cuentas sontradicionalmente vistas en términos de la rendición decuentas de los ministerios y departamentos al parlamento;en el caso de Australia, otra relación de este tipoha probado ser más poderosa: la rendición de cuentasde los departamentos al DdF.4. El costo anualizado de estas evaluaciones fueequivalente, en promedio, a menos de 1% del gasto totaldel gobierno en los programas evaluados.5. Algunas veces los mismos ministerios sectorialesprepararon opciones de ahorro como una forma de ayudaren el pago de las nuevas propuestas de gasto. Cercade un tercio de todas las opciones de ahorro fueron preparadaspor ministerios sectoriales; las restantes fueronpreparadas por el DdF.6. En varias oportunidades, las propuestas de nuevaspolíticas de los ministerios sectoriales no fueron respaldadaspor los hallazgos de evaluación, aun cuandoel DdF argumentó que podrían haberlo sido y, portanto, el gabinete solicitó que se realizara una evaluaciónantes de considerar la propuesta. Y cada vez quehabía una disputa entre el DdF y los departamentos sectorialesen relación con la calidad o confiabilidad de loshallazgos de una evaluación importante –un tema quedemostró ser cierto para atraer la ira del gabinete– elasunto era devuelto a los funcionarios para que los resolvieranmediante una nueva evaluación. Esto generalmentetomaba algún tiempo; en consecuencia, lapropuesta del ministerio sectorial debía esperar otro añopara ser reconsiderada. Estos atrasos otorgaban a los ministeriossectoriales un incentivo real para evitar disputascon el DdF acerca de la calidad de sus evaluaciones.7. Para un análisis detallado de estas reformas y susimpactos en SyE en el gobierno federal, véase Mackay(2004).156

NOTAS8. Los ejemplos incluyen el departamento de la familia;servicios comunitarios y asuntos indígenas; empleoy relaciones laborales; educación, ciencia ycapacitación; y salud y envejecimiento.9. En ausencia de fuertes presiones de rendición decuentas en los departamentos sectoriales y en un ambienteen el que los procesos de políticas y de presupuestohan sido debilitados, cualquier incentivo para quelos departamentos sectoriales tomen seriamente el SyEdel desempeño tendrá que ser generado internamente.Esto a su vez dependerá de las prioridades y compromisode las secretarías permanentes de los ministerios.Capítulo 91. Mundialmente, cerca de 64 países han preparadoun PRSP o un PRSP provisional. Véase http://www.worldbank.org/prsp.2. Esta sección se basa ampliamente en trabajos de consultoríaencomendados por el GEI. Véanse Hauge (2001,2003), GEI (2004a, anexo D) y Schiavo-Campo (2005).3. Conocida como Joint Assistance Strategy (Estrategiade asistencia conjunta). Véase Banco Mundial yotros (2006).4. http://web.worldbank.org/external/projects/main?pagePK=64283627&piPK=73230&theSitePK=40941&menuPK=228424&Projectid=P050440Capítulo 101. Nótese también la importancia de los datos recopiladospor las oficinas nacionales de estadística,como los censos de población y las encuestas de hogares.Un buen ejemplo de un examen de los datos existentesrecopilados por los ministerios y la oficina nacionalde estadística de Uganda lo proporciona Kiryegyera, Nuwagabay Ochen (2005).2. Esto ha sucedido con información de listas de esperaen hospitales del Reino Unido (Schick, 2001).3. Un interesante, y quizás hasta controvertido, análisisde la naturaleza e impacto de la aplicación de las leyesnapoleónicas en los países en desarrollo se presenta enBeck, Dermiguc-Kunt y Levine (2002). En comparación,países con un sistema de gobierno de Westminster tiendena interpretar las decisiones del gobierno, como seve reflejado, por ejemplo, en las decisiones del Gabinete,de una manera más pragmática, resaltando su adaptaciónconforme cambian las circunstancias. Una fortaleza delas decisiones del Gabinete es que ellas son decisionescolectivas que involucran a muchos ministros del gobierno.El apoyo colectivo del Gabinete para el sistemade evaluación en Australia fue un importante factor deéxito en ese país (Mackay, 1998a).4. Existen otras ventajas de tener una legislación parael SyE. La legislación puede asegurar que los ministerioscentrales tengan acceso a la información recopilada y mantenidapor los ministerios sectoriales y las dependencias.La legislación también puede asegurar que losinformes de evaluación estén disponibles al público, y garantizarla confidencialidad de la información personal.5. Los informes de evaluación están disponiblesdesde el portal del ministerio: http://www.dipres.cl/fr_control.html.6. Una de las primeras guías fue publicada por el Departamentode Evaluación de Operaciones del BancoMundial (que se convirtió en el Grupo de EvaluaciónIndependiente desde 2005). Véase Mackay (1998b).Otro ejemplo característico se encuentra en Bedi yotros (2006).Capítulo 111. Esta tricotomía -premios, castigos y consejos- fue desarrolladooriginalmente por Vedung (1991) al presentaruna taxonomía de los instrumentos de políticas (reglamentos,incentivos económicos e información). Tambiénse ha utilizado para desarrollar una taxonomía de incentivospara conducir el SyE por Toulemonde (1999).Capítulo 121. Compton, Baizerman y Stockdill (2002) han caracterizadola creación de capacidades de SyE como si tuvieranelementos de un arte, de un oficio y de una ciencia.2. Una guía detallada para evaluar sistemas de seguimientode la pobreza ha sido preparada por Bedi yotros (2006).3. Esto podría implicar una revisión de los indicadoresde desempeño existentes comparándolos con los criteriosde prácticas recomendables como el SMART (porlas iniciales en inglés de las características que lo definen)para evaluar si los indicadores son específicos,medibles, atribuibles, realistas y oportunos (véase AustralianNational Audit Office, 2001). También podría implicaruna revisión de datos existentes recopilados porlos ministerios y la oficina nacional de estadística, paraencontrar la información que está disponible en relacióncon las áreas prioritarias del gobierno (como salud o educaciónprimaria) y en qué medida la información estáarmonizada o se sobrepone. (Un buen ejemplo paraUganda lo proporciona Kiryegyera, Nuwagaba y Ochen,2005). También podría implicar una serie de auditorías157

CÓMO CREAR SISTEMAS DE SyE QUE CONTRIBUYAN A UN BUEN GOBIERNOde datos específicos de los sistemas de información delos ministerios del sector. Los parámetros de evaluaciónde la calidad de la información que utiliza el FondoMonetario Internacional proporcionan una marco dediagnóstico muy ilustrativo: http://dsbb.imf.org/Applications/web/dqrsdqaf/.4. Argentina, por ejemplo, tiene tres sistemas nacionalesde SyE que están coordinados (Zalstman,2006a), dos de ellos integran a todo el gobierno y el terceroabarca todo el gasto social.Capítulo 131. Ésta es una manera de lograr la armonización demúltiples requerimientos del SyE frecuentemente conflictivospor parte de varios donantes. También brindaun punto de partida -una “posición estratégica”- para unafutura extensión de un sistema de SyE para todas las actividadesdel gobierno, incluidas todas las financiadaspor su propio presupuesto.2. Sin embargo, según lo mencionado en el capítulo6, aun el sistema de SyE de Chile, regido de manera centralizaday que es administrado por el hábil y poderosoMinisterio de Hacienda, produce algunas evaluacionesque tienen problemas de calidad.Capítulo 141. El criterio de evaluación aplicado por el BancoMundial a su proyecto comprende (1) efecto directo realo probable - (a) importancia de los objetivos del proyectoy diseño, (b) eficacia (es decir, logro de objetivos),y (c) eficiencia; (2) riesgo de desarrollo de efectos directos(es decir, el riesgo de que los efectos directos realeso probables no se mantengan); (3) desempeñodel Banco; (4) desempeño del prestatario; (5) diseño,implementación y utilización del SyE; y (6) otros temas-cumplimiento de salvaguardas, cumplimiento fiduciarioe impactos positivos y negativos no intencionados.2. Un ejemplo proviene del apoyo del Banco Mundiala los esfuerzos del gobierno de Egipto para introducirel presupuesto por resultados. El efecto directode estos esfuerzos ha sido calificado como moderadamenteinsatisfactorio (GEI, 2004a, Anexo G). Este informepresenta una lista que incluye varias enseñanzasa partir de esta experiencia.3. Véase por ejemplo, la labor de creación de capacidadestadística del Banco Mundial, y la labor de la Sociedadde Estadística para el Desarrollo en el siglo XXI(PARIS21,un consorcio líder de donantes internacionales,gobiernos, instituciones profesionales, y académicos:http://intranet.worldbank.org/WBSITE/INTRA-NET/ UNITS/DEC/DATA/SCBINTRANET/0,,contentMDK:20100922~pagePK:229337~piPK:232609~theSitePK:239411,00.html http://www.paris21.org/.4. http:/www.who.int/healthmetrics/en/ Los objetivos deesta red son relevantes para otros sectores y también paralos sistemas de información nacionales: Un sistema de informaciónde salud de un país comprende múltiplessubsistemas y fuentes de información que juntos contribuyena la generación de información sobre salud, queabarcan datos del registro civil, censos y encuestas, vigilanciay respuesta a enfermedades, estadísticas de serviciose información de la gestión en salud, datosfinancieros y seguimiento de las fuentes. La ausencia deconsenso en las fortalezas relativas, utilidad, factibilidady la eficacia en función de los costos de diversos enfoquesde recopilación de datos ha resultado en una abundanciade sistemas independientes pero a menudo superpuestos.Muy frecuentemente se utilizan métodos derecolección de datos de manera inapropiada, por ejemplo,el uso de encuestas de hogares para producir informaciónsobre la mortalidad de adultos. Los socios dela HMN están de acuerdo en alinearse alrededor de unmarco común que establezca los parámetros para los sistemasde información. El marco de la HMT servirá paradefinir los sistemas necesarios en los niveles nacional ymundial, junto con los par*metros, capacidades y procesospara generar, analizar, difundir y utilizar informaciónde salud ... [Se] enfoca en los insumos de losdonantes y organismos técnicos alrededor del plan deun país para el desarrollo de la información en salud,y así reducir la duplicación y superposición.5. El instrumento de la Red de la Métrica en Salud parala evaluación y seguimiento del fortalecimiento de los sistemasde información de salud en los países se encuentradisponible en: htpp://www.who.int/healthmetrics/documents/hmn_assessment_tool_guide_english_vl_96.pdf.6. Véase la Red de Evaluación del CAD de la OCDE:http://www.oecd.org/document/60/0,2340,en_21571361_34047972_38242748_1_1_1_1,00.html.7. Véase el análisis previo sobre la creación de capacidadestadística (especialmente PARIS21) y la Red dela Métrica en Salud. Los criterios para evaluar sistemasde gestión financiera fueron desarrollados por la comunidadde donantes para garantizar que los países queiban a beneficiarse de la iniciativa de alivio de la deudatuvieran sistemas suficientemente confiables -esto es,un requerimiento fiduciario, conocido como la iniciativadel gasto público y rendición de cuentas. Véase158

NOTAShttp://web.worldbank.org/WBSITE/EXTERNAL/TOPICS/EXTPUBLICSECTORANDGOVERNANCE/EXTPUBLICFINANCE/0,,contentMDK:20687844~pagePK:148956~piPK:216618~theSitePK:1339564,00.htm.PyR: Preguntas frecuentes1. En Australia, el gobierno clausuró su Oficina de Investigacióndel Mercado Laboral en 1986, después de quela oficina organizó el lanzamiento, ante los medios de comunicaciónmás conocidos, de la evaluación del principalprograma de gobierno para la generación de empleo; laevaluación presentó muchas críticas al programa (el gobiernocanceló el programa al año siguiente). Esta experienciano es, definitivamente, un argumento parallevar a cabo evaluaciones que no sean honestas u objetivas,sino que es un argumento para manejar los resultadosde las evaluaciones con tacto. Si el organismogubernamental que realiza una evaluación ha sido recientementeestablecido, sería prudente seleccionarcuidadosamente los programas que deben ser evaluados.2. El grado en que los resultados de una evaluaciónson aplicables o relevantes para otros países -y de estamanera no sólo reflejan una serie especial de circunstanciaslocales- refleja su validez externa.3. Véase los artículos publicados en el Boston Reviewen 2006 y Davison (2006), Cook (2006) y Scriven (2006).White (2006a, 2006b,) ha argumentado que la porciónde ayuda para el desarrollo que puede estar sujeta a unaevaluación de impacto al azar está severamente limitada.4. La desigualdad en la disponibilidad de informacióndel SyE es abordada explícitamente en Estados Unidosde América por medio del Program Assessment RatingTool - PART (Recuadro 3.2). De esta manera, programascon una evidencia débil de SyE en relación con su desempeñoreciben un puntaje considerablemente bajo.5. Esto es bastante más fácil de realizar dentro de undepartamento, comparado con una situación dondeun programa abarca varios departamentos.6. Un instrumento analítico muy útil que facilita esteenfoque estratégico es el análisis de marco lógico. Unaversión más sofisticada de este enfoque la proporcionala evaluación basada en la teoría. Se puede encontrarun visión general de estos dos enfoques en Monitoringand Evaluation: Some Tools, Methods and Approaches(GEI, 2004b).Anexo BEl grupo que ayudo a preparar el diagnóstico incluyeGladys Lopez-Acevedo, Fernando Rojas, MiguelMercado-Diaz, Wendy Cunningham, Jairo Arboleda,Tarsicio Castañeda, Rodrigo García, Marcela Rubio, yJuan Manuel Quesada, con Keith Mackay como elautor líder.1. SINERGIA —Sistema Nacional de Evaluación deResultados de la Gestión Pública.2. Los documentos del proyecto para estos préstamosdel Banco Mundial y otros más se encuentran listadosen la bibliografía.3. Ver CONPES, 2004; Castro, 2006.4. SIGOB—Sistema de Programación y Gestión porObjetivos y Resultados.5. Directiva Presidencial 10 de 2002.6. CONPES (Consejo Nacional de Política Económicay Social) (2004) Renovación de la AdministraciónPublica: Gestión por Resultados y Reforma del SistemaNacional de Evaluación. CONPES 3294.7. Ley 819 de 2003 o Ley de Responsabilidad Fiscal.8. Este bajo nivel de personal permanente refleja elcontrol estricto del gobierno en el número total de servidoresciviles.9. Programas de Acción Gubernamental. Estos estánreflejados en el plan nacional de desarrollo.10. http://www.sigob.gov.co/ini/11. Colombia es una república unitaria con 32 departamentos(a nivel territorial) más el distrito de Bogotá.Cada departamento supervisa varios municipios.Hay cerca de 1100 municipios en Colombia.12. Son conocidas también como “Evaluaciones Estratégicas”.13. Además de la base de datos del SIGOB disponiblepara el público, todas las evaluaciones de SINERGIAy una serie de informes sobre el desempeño del gobiernose encuentran disponibles para el público desdela página web del DNP (www.dnp.gov.co). La habilidadde los ciudadanos en general para utilizar esta informaciónno es clara, sin embargo, las instituciones educativasy algunas ONGs tienen el potencial para utilizar dichainformación.14. El cuestionario se encuentra disponible en:http://sinergia.dnp.gov.co/sinergia/opi15. Se espera publicar los resultados de esta encuestaa inicios del 2007.16. La DEPP ha apoyado una serie de 20 programasradiales sobre los resultados de las políticas socialesdel gobierno, y sobre las formas en que los ciudadanospueden solicitar apoyo al gobierno. Los programas radialeshan sido transmitidos a través de 80 estacionesradiales comunitarias en todo el país.159

CÓMO CREAR SISTEMAS DE SyE QUE CONTRIBUYAN A UN BUEN GOBIERNO17. http://www.bogotacomovamos.org/bogotacv/scripts/index.php18. Sin embargo, parece ser que el Ministerio deHacienda aplica un considerable poder discrecional enla liberación de los fondos para gastos autorizados. Enla medida que esto ocurra, aumenta la flexibilidad delpresupuesto a corto plazo.19. Un enfoque similar al establecimiento de metasde desempeño son los “acuerdos de eficacia” que debenser decididos dentro del contexto de los “Planes Indicativos”que los ministerios y agencias tienen que acordarcon el DNP y el Ministerio de Hacienda. Ver CONPES,1999. No queda claro si es que existen consecuenciasen caso las entidades no logren cumplir sus metas.20. El método casemix es una forma de clasificarpacientes del hospital según la manera de sus diagnósticosy el nivel del servicio de salud que es requerido. Elfinanciamiento proporcionado para cada hospital son basadosen los números de categoría del paciente que recibetratamiento, y el costo promedio de obtener elnivel de tratamiento correspondiente. Los costos promediosson basados en el sistema de salud como un todo.21. El trabajo de evaluación de la DDTS parece consistiren evaluaciones del desempeño municipal basadasen la información recolectada sobre el desempeño.22. Una forma en que el SyE a nivel municipal se hadesarrollado en otros países es publicando comparacionesde referencia de la cantidad y calidad de la provisiónterritorial de servicios. Esto permite identificar alos gobiernos con relativamente alto y bajo desempeño.23. Medium-term expenditure framework.24. Esta discusión se enfoca en una estructura del programabasada en los objetivos. Se pueden elaborar estructurasde programas alternativos, como por ejemplo,basados en el tipo de actividad (por ejemplo, hospitales)o en grupos objetivo (por ejemplo, adultos mayores).25. La DEPP ha estimado que la agenda de evaluaciónde SINERGIA cubre alrededor del 24 por ciento delpresupuesto de inversión. Esta figura relaciona con lasactividades del gobierno que ha sido sujeto de algunasclases de evaluaciones debajo de SINERGIA. Indudablemente,este estadístico no debería ser interpretadopara sugerir que una mayor evaluación de estas actividadesno son garantizados: raramente, si acaso, una evaluaciónde impacto costosa puede evaluar comprensivamente todos los temas posibles relacionas conla implementación de un programa, productos, entregade servicios, eficacia de la focalización, efectos directose impactos, incluyendo la cobertura geográfica totaldel programa. De esa manera, la mayoría de evaluacionesaborda sólo un parte de estos temas. Por otra parte,aún en actividades buenas establecidas del gobierno requiereevaluación periódica y repetida.26. Existen muchas barreras para lograr la utilizaciónde los hallazgos de las evaluaciones. Para que ellos se utilicense debe lograr ciertas características del lado de laoferta, tal como lo oportuno de una evaluación y sucredibilidad. Además el lado de la demanda es clave: tomade conciencia de los hallazgos de evaluación y grado depreparación para su utilización por analistas políticos, encargadosde la toma de decisiones y administradores delas actividades del gobierno. Ver Banco Mundial, InfluentialEvaluations: Detailed Case Studies (EvaluacionesInfluyentes: Estudios de casos detallados), 2005.27. El Banco Mundial está proporcionando una donaciónpara el desarrollo institucional, de US$0.29m, paraayudar a que el DANE mejore sus encuestas de hogares.28. Comisión Intersectorial de Políticas y Gestión deInformación para la Administración Pública.29. Bamberger (2006) discute algunas opciones técnicas.30. Estas dos conferencias realizadas en el 2004 y enel 2006 atrajeron alrededor de 800 participantes cadauna, un número extraordinariamente alto que indica laimportancia dada al seguimiento y evaluación del desempeñodel gobierno.Anexo D1. La historia de la participación del GEI en la creaciónde sistemas de SyE gubernamentales lo presentaMackay (2003).2. El personal donante generalmente argumenta quepor esta razón ellos no deberían ser considerados responsablespor los efectos directos e impactos de sus esfuerzos,sino que sólo sería razonable hacerlosresponsables de sus propias actividades y productos. Sinembargo, este argumento no tiene sustento. Aunque elpersonal donante típicamente no tiene un control directosobre los efectos directos e impactos de su trabajo,de todas maneras realizan alguna contribución a estos resultados,y siempre es posible formarse una opinión válidasobre su contribución a dichos resultados. Esasopiniones pueden generarse de sus colegas -otros miembrosdel equipo de donantes que trabajen en el mismopaís y sus contrapartes del gobierno- y posiblemente dela sociedad civil. (Una analogía sería si los administradoresprepararan un informe evaluador o una evaluación detrabajo de todo su equipo).160

NOTAS3. Esta metodología identifica cuatro niveles de evaluaciónde capacitación: reacciones de los participantesy opiniones sobre la capacitación; grado deaprendizaje del participante (medido, por ejemplo, poruna prueba antes y después de la capacitación); cambiosen el comportamiento de los participantes (esdecir, cambios en su desempeño en el trabajo); y los resultadosdentro de la organización donde trabajan losparticipantes (es decir, qué diferencias hay en el desempeñode la organización gracias a la capacitación querecibieron sus empleados).4. Por ejemplo, Buchanan (2004) ha llevado a cabo unaevaluación en cuatro niveles del Programa Internacionalde Capacitación en Evaluación del Desarrollo del GEI.161

BIBLIOGRAFÍAAdrien, Marie-Hélène. 2003. Guide to Conducting Reviewsof Organizations Supplying M&E Training. No.9 of Evaluation Capacity Development WorkingPaper Series. Washington, DC: Banco Mundial.http://www.worldbank.org/ieg/ecd/.———. 2001. “Assessment of Ghanaian OrganizationsInvolved in the Delivery of Monitoring and EvaluationTraining.” Report prepared for IndependentEvaluation Group. Banco Mundial, Washington, DC.http://www.worldbank.org/ieg/ecd/.African Development Bank and World Bank. 1998. EvaluationCapacity Development in Africa. Washington,DC: Banco Mundial. http://www.worldbank.org/ieg/ecd/Australian National Audit Office. 2001. PerformanceInformation in Portfolio Budget Statements (ReportNo. 18, 2001–02). Canberra: AGPS.———. 1997. Program Evaluation in the AustralianPublic Service (Report No. 3, 1997–98). Canberra:AGPS.Bamberger, Michael. 2006. Realización de Evaluacionesde Impacto de Calidad con Limitaciones de Presupuesto,Tiempo e Información. Washington, DC:Banco Mundial.Bamberger, Michael, Keith Mackay, y Elaine Ooi. 2005.Influential Evaluations: Detailed Case Studies. Washington,DC: Banco Mundial.———. 2004. Evaluaciones Influyentes: Evaluacionesque Mejoraron el Desempeño y los Efectos delos Programas de Desarrollo. Washington, DC:Banco Mundial.Barberie, Alain. 1998. Indonesia’s National EvaluationSystem. No. 3 of Evaluation Capacity DevelopmentWorking Paper Series. Washington, DC:Banco Mundial.Barrett, Pat. 2001. “Evaluation and Performance Auditing:Sharing the Common Ground. A Review of Developments.”Address to the Australasian EvaluationSociety, Canberra, 10 October. http://www.anao.gov.au/uploads/documents/Evaluation_and_Performance_Auditing_Sharing_the_Common_Ground.pdf.Beck, Thorsten, Asli Demirguc-Kunt, y Ross Levine.2002. Law and Finance: Why Does Legal OriginMatter? (Paper No. 9379). Cambridge, UK: NationalBureau of Economic Research.Bedi, Tara, Aline Coudouel, Marcus Cox, Markus Goldstein,y Nigel Thornton. 2006. Beyond the Numbers:Understanding the Institutions for Monitoring PovertyReduction Strategies. Washington, DC: BancoMundial.Blondal, Jon R., y Teresa Curristine. 2004. “Budgeting inChile.” OECD Journal on Budgeting 4 (2): 7–45.Booth, David, y Henry Lucas. 2001a. Desk Study of GoodPractice in the Development of PRSP Indicators andMonitoring Systems: Initial Review of PRSP Documentation.London: Overseas Development Institute.———. 2001b. Desk Study of Good Practice in the Developmentof PRSP Indicators and Monitoring Systems:Final Report. London: Overseas DevelopmentInstitute.Boston Review. 2006. “Making Aid Work.” http://bostonreview.net/BR31.4/contents.htmlBoyle, Richard. 2005. Evaluation Capacity Developmentin the Republic of Ireland. No. 14 of EvaluationCapacity Development Working Paper Series.Washington, DC: Banco Mundial.Brushett, Stephen. 1998. Evaluation Capacity Developmentin Zimbabwe: Issues and Opportunities.No. 2 of Evaluation Capacity Development WorkingPaper Series. Washington, DC: Banco Mundial.Buchanan, Heather. 2004. “Evaluation of the InternationalProgam for Development Evaluation Training.”Consultant report prepared for Independent EvaluationGroup and Carleton University, World Bank,Washington, DC. http://www.ipdet.org/IPDET2004%20Evaluation%20Report.pdf.Castro, Manuel Fernando. 2006a. “Colombia’s NationalSystem for Evaluating Management and Results.”163

CÓMO CREAR SISTEMAS DE SyE QUE CONTRIBUYAN A UN BUEN GOBIERNOTowards the Institutionalization of Monitoring andEvaluation Systems in Latin America and the Caribbean:Proceedings of a World Bank/Inter-American Development Bank Conference, ed.Ernesto May, David Shand, Keith Mackay, FernandoRojas, and Jaime Saaverdra, 29–35. Washington, DC:Banco Mundial.———. 2006b. ”Performance-based management ofcountry planning and budgeting: The case of Colombia.”Presentation at the International Conferenceon Monitoring and Evaluation of CountryPlanning and Politics, Beijing, October 2006.Compton, Donald W., Michael Baizerman, y Stacey H.Stockdill, eds. 2002. The Art, Craft, and Science ofEvaluation Capacity Building. San Francisco: Jossey-Bass.CONPES (Consejo Nacional de Política Económica ySocial). 2004. “Renovación de la administración:Gestión por resultados y reforma del sistema nacionalde evaluación.” CONPES 3294.———. 2002. “Evaluación de impacto de programas sociales.”CONPES 3188.———. 1999. “Acuerdos de eficiencia: Estrategia deevaluación del plan nacional de desarrollo ‘Cambiopara Construir la Paz.’” CONPES 3048.Cook, Thomas D. 2006. “Describing What Is Specialabout the Role of Experiments in ContemporaryEducational Research: Putting the ‘Gold Standard’Rhetoric into Perspective.” Journal of MultiDisciplinaryEvaluation 6 (November): 1–7.Curristine, Teresa. 2005. “Performance Information inthe Budget Process: Results of the OECD 2005 Questionnaire.”OECD Journal on Budgeting 5 (2):87–131.DAC (Development Assistance Committee of the Organisationfor Economic Co-operation and Development).2006. The Challenge of CapacityDevelopment: Working Towards Good Practice.Paris: OECD.———. 2002. Glosario de los Principales Términossobre Evaluación y Gestión basada en Resultados.Paris: OECD. http://www.oecd.org/dataoecd/29/21/2754804.pdfDAC Network on Development Evaluation. 2006. Fact-Finding Survey on Evaluation Capacity Development(ECD) in Partner Countries. Paris: OEDC.Davidson, E. Jane. 2006. “The RCTs-Only Doctrine:Brakes on the Acquisition of Knowledge?” Journalof MultiDisciplinary Evaluation 6 (November): ii–v.Department of National Planning. 2005. “Strategic Planfor Strengthening and Consolidating Informationand Performance-Based Monitoring and Evaluation2005–2010.” Discussion paper, Department of NationalPlanning, Bogotá.Departmento Nacional de Planeacion y Alta ConserjeríaPresidencial. 2005. Presupuesto de inversión porresultados 2006. Bogotá: Government of Colombia.Development Bank of Southern Africa, African DevelopmentBank, y World Bank. 2000. Monitoring andEvaluation Capacity Development in Africa. Johannesburg:Development Bank of Southern Africa.http://www.worldbank.org/ieg/ecd/.———. 2001. Desarrollo de la Capacidad Africana deSeguimiento y Evaluación.No. 213 of Précis.Washington,DC: Banco Mundial. http://lnweb18.worldbank.org/oed/oeddoclib.nsf/24cc3bb1f94ae11c85256808006a0046/32fcb6685f664bd685256b9600662416/$FILE/Precis_213_Spanish.pdfFiszbein, Ariel, ed. 2005. Citizens, Politicians and Providers:The Latin American Experience with ServiceDelivery Reform. Washington, DC: Banco Mundial.GAO (Government Accountability Office). 2004. “PerformanceBudgeting: OMB’s Program Assessment RatingTool Presents Opportunities and Challenges forBudget and Performance Integration.” Highlightsof GAO-04-439T, testimony before the Subcommitteeon Government Efficiency and Financial Management,Committee on Government Reform, Houseof Representatives. http://www.gao.gov/new.items/d04439t.pdf.———. 1987. “Federal Evaluation: Fewer Units, ReducedResources, Different Studies from 1980.” PEMD-87-9. Washington, DC: General Accounting Office.Government of Colombia. 2006. Visión Colombia 2019.Bogotá: Government of Colombia.Government of Tanzania. 2001. Poverty MonitoringMaster Plan. Dar es Salaam: Government of Tanzania.Government of Uganda. 2006. The National IntegratedMonitoring and Evaluation Strategy Framework.Kampala: Office of the Prime Minister, Governmentof Uganda. http://www.nimes.go.ug/index.php?option=com_frontpage&Itemid=1.———. 2004. Poverty Eradication Action Plan(2004/5–2007/8). Kampala: Ministry of Finance, Planningand Economic Development, Government ofUganda.Guerrero, R. Pablo O. 1999. Comparative Insights fromColombia, China and Indonesia. No. 5 of Evalua-164

BIBLIOGRAFÍAtion Capacity Development Working Paper Series.Washington, DC: Banco Mundial.Guzmán, Marcela S. 2007. “Monitoring and Evaluation.”Presentation to a World Bank-Government of BoliviaWorkshop on Managing for Results, La Paz, Bolivia,January 22–23.———. 2006. “The Chilean Experience.” Towards theInstitutionalization of Monitoring and EvaluationSystems in Latin America and the Caribbean: Proceedingsof a World Bank/Inter-American DevelopmentBank Conference, ed. Ernesto May, DavidShand, Keith Mackay, Fernando Rojas, and Jaime Saaverdra,11–16. Washington, DC: Banco Mundial.http://www.worldbank.org/ieg/ecd/———. 2005. Sistema de control de gestión y presupuestospor resultados: La experiencia Chilena.Santiago: Ministry of Finance, Budget Directorate, Governmentof Chile. http://www.dipres.cl/control_gestion/publicaciones/Control_Gestion_Presupuestos_Exp_Chilena_Sept_2005.html———. 2003. Systems of Management Control andResults-Based Budgeting: The Chilean Experience.Santiago: Ministry of Finance, Government of Chile.Hatry, Harry P. 2006. Performance Measurement: GettingResults, 2nd ed. Washington, DC: The Urban InstitutePress.Hauge, Arild. 2003. Desarrollo de la Capacidad de Seguimientoy Evaluación para Mejorar el DesempeñoDel Estado en Uganda. No. 10 de Serie deDocumentos de Trabajo sobre Desarrollo de la Capacidadde Evaluación. Washington, DC: BancoMundial. http://lnweb18.worldbank.org/oed/oeddoclib.nsf/DocUNIDViewForJavaSearch/C240D7C6F130078A85256F190054A0D5/$file/ecd_uganda_10_spanish.pdf———. 2001. Fortalecimiento de las Capacidades deSeguimiento y Evaluación en Uganda: Una Perspectivade Gestión basada en Resultados. No. 8 deDCE Serie de Documentos de Trabajo. Washington,DC: Banco Mundial. http://lnweb18.worldbank.org/oed/oeddoclib.nsf/24cc3bb1f94ae11c85256808006a0046/3a28d1cf9d98afe385256d7f00752e58/$FILE/ecd_uganda_spanish.pdfHauge, Arild, Wenkere Kisembo, Med Makumbi, y OmiatOmongin. 2002. “Effective Implementation of Uganda’sPoverty Eradication Action Plan: The Role of Monitoringand Evaluation in the Health, Education andWater Sectors.” Paper prepared for the Ministry of Finance,Planning and Economic Development, Kampala.Hentschel, Jesko. 2004. “Using Rapid City Surveys to InformMunicipal Social Policy—An Application in Cali,Colombia.” World Bank Policy Research WorkingPaper No. 3369, Banco Mundial, Washington, DC.Hernandez, Gonzalo. 2007. “The Monitoring and EvaluationSystem in Mexico: 2007.0 Version.” Presentationat World Bank, Washington, DC, March 12.———. 2006. “M&E of Social Programs in Mexico.” Towardsthe Institutionalization of Monitoring andEvaluation Systems in Latin America and the Caribbean:Proceedings of a World Bank/Inter-American Development Bank Conference, ed.Ernesto May, David Shand, Keith Mackay, FernandoRojas, and Jaime Saaverdra, 47–52. Washington, DC:Banco Mundial. http://www.worldbank.org/ieg/ecd/docs/proceedings_la_eng.pdf.High Level Forum on Harmonisation, Alignment, Results.2005. Paris Declaration on Aid Effectiveness: Ownership,Harmonisation, Alignment, Results and MutualAccountability. Paris: High Level Forum onHarmonisation, Alignment, Results. http://www.oecd.org/document/18/0,2340,en_2649_3236398_35401554_1_1_1_1,00.html.IEG (Independent Evaluation Group). 2006. 2006 AnnualReport on Operations Evaluation. Washington,DC: Banco Mundial.———. 2004a. Evaluation Capacity Development:OED Self-Evaluation. Washington, DC: Banco Mundial.http://www.worldbank.org/ieg/ecd/.———. 2004b. Seguimiento y Evaluación: Instrumentos,Métodos y Enfoques, Washington, DC: BancoMundial. http://lnweb18.worldbank.org/oed/oeddoclib.nsf/DocUNIDViewForJavaSearch/722775D995F926AA85256BBF0064F019/$file/ME_Spanish.pdf———. 2004c. The Poverty Reduction Strategy Initiative:An Independent Evaluation of the World Bank’s Supportthrough 2003. Washington, DC: Banco Mundial.———. 2003a. Toward Country-Led Development: AMulti-Partner Evaluation of the ComprehensiveDevelopment Framework. Washington, DC: BancoMundial.———. 2003b. World Bank Operations EvaluationDepartment: The First 30 Years. Washington, DC:Banco Mundial.———. 2002. Annual Report on Evaluation CapacityDevelopment. Washington, DC: Banco Mundial.http://www.worldbank.org/ieg/ecd/.———. 2002. El Desarrollo de la Capacidad de Evaluation:Una prioridad cada vez Más Importante.165

CÓMO CREAR SISTEMAS DE SyE QUE CONTRIBUYAN A UN BUEN GOBIERNONo. 229 of Précis. Washington, DC: Banco Mundial.http://lnweb18.worldbank.org/oed/oeddoclib.nsf/DocUNIDViewForJavaSearch/507B4E511781784085256CA700770FAA/$file/Precis_229_Spanish.pdfJoyce, Philip G. 2004. Linking Performance and Budgeting:Opportunities in the Federal Budget Process.Washington, DC: IBM Center for The Businessof Government. http://www.businessofgovernment.com/pdfs/Joyce_Report.pdf.Kim, Dong Yeon, William Dorotinsky, Feridoun Sarraf,y Allen Schick. 2006. “Paths toward Successful Introductionof Program Budgeting in Korea.” FromLine-Item to Program Budgeting: Global Lessonsand the Korean Case, ed. John M. Kim, 23–134.Seoul: Korea Institute of Public Finance and WorldBank. http://www1.worldbank.org/publicsector/pe/bookprogrambudget.pdf.Kirkpatrick, Donald L., y James D. Kirkpatrick. 2006. EvaluatingTraining Programs: The Four Levels, 3rd ed.San Francisco: Berrett-Koehler Publishers.Kiryegyera, Ben, Augustus Nuwagaba, y Eric A. Ochen.2005. ”Results-Based Monitoring and Evaluation Planfor the Poverty Eradication Action Plan.” UnpublishedReport Prepared for the Office of the PrimeMinister, Uganda, Kampala.Lahey, Robert. 2005. “A Comparative Analysis of Monitoringand Evaluation in Four Selected Countries:Canada, United States, Australia and United Kingdom.”Unpublished manuscript.Mackay, Keith. 2004. Two Generations of PerformanceEvaluation and Management Systems in Australia.No. 11 of Evaluation Capacity Development WorkingPaper Series. Washington, DC: Banco Mundial.———. 2003. “Evaluation Capacity Development.”World Bank Operations Evaluation Department:The First 30 Years, ed. Partick G. Grasso, SulaimanWasty, and Rachel Weaving, 105–114. Washington, DC:Banco Mundial.———. 2002. Evaluation Capacity Development (ECD)and the Poverty Reduction Strategy Initiative: EmergingOpporunities. Proceedings of the AfrEA 2002Conference. Nairobi: African Evaluation Association.———. 1999. Fortalecimiento de la Capacidad deEvaluación: Guía para el Diagnóstico y Marcopara la Acción. Documento No. 6 de la Serie de Documentosde Trabajo sobre el Fortalecimiento de laCapacidad de Evaluación . Washington, DC: BancoMundial. http://lnweb18.worldbank.org/oed/oeddoclib.nsf/a4dd58e444f7c61185256808006a0008/76bcad4c3238f2f2852568cc006efdf2/$FILE/DGsp.pdf———. 1998a. The Development of Australia’s EvaluationSystem. No. 4 of Evaluation Capacity DevelopmentWorking Paper Series. Washington, DC:Banco Mundial.———. 1998b. Lessons from National Experience. No.1 of Evaluation Capacity Development WorkingPaper Series. Washington, DC: Banco Mundial.———. 1998c. Public Sector Performance—The CriticalRole of Evaluation. Washington, DC: BancoMundial. http://www.worldbank.org/ieg/ecd/.Mackay, Keith, y Sulley Gariba, eds. 2000. The Role of CivilSociety in Assessing Public Sector Performance inGhana. Washington, DC: Banco Mundial. http://www.worldbank.org/ieg/ecd/.Mackay, Keith, Gladys Lopez-Acevedo, Fernando Rojas,Aline Coudouel, y otros. 2007. Diagnostico del SistemaNacional de SyE de Colombia: SINERGIA. No.17 de Desarrollo de la Capacidad de EvaluacionSerie de Documentos de Trabajo. Washington, DC:Banco Mundial. http://www.worldbank.org/ieg/ecd/docs/Sinergia_esp.pdfMay, Ernesto, David Shand, Keith Mackay, FernandoRojas, y Jaime Saavedra, eds. 2006. Hacia la Institucionalizaciónde los Sistemas de Monitoreo yEvaluación en America Latina y el Caribe: Actasde una Conferencia del Banco Mundial/Banco Interamericanode Desarrollo. Washington, DC: BancoMundial. http://www.worldbank.org/ieg/ecd/docs/proceedings_la_sp.pdfMayne, John, y Peter Wilkins. 2005. “Believe It or Not:The Emergence of Performance Information Auditing.”Quality Matters: Seeking Confidence in Evaluating,Auditing, and Performance Reporting, ed.Robert Schwartz and John Mayne, 237–260. Edison,NJ: Transaction Publishers.OECD (Organisation for Economic Co-operation and Development).2005. Modernizing Government: TheWay Forward. Paris: OECD.———. 2004. “Public Sector Modernisation: Governingfor Performance.” OECD Policy Brief, OECD, Paris.———. 2002. “Public Sector Modernisation: A NewAgenda.” GOV/PUMA(2002), 2, OECD, Paris.———. 1998a. “Best Practice Guidelines for Evaluation.”PUMA Policy Brief No. 5, OECD, Paris.———. 1998b. Public Management Reform and Economicand Social Development. Paris: OECD.166

BIBLIOGRAFÍA———. 1997a. In Search of Results: Performance ManagementPractices. Paris: OECD.———. 1997b. Issues and Development in Public Management:Survey 1996–1997. Paris: OECD.———. 1997c. Promoting the Use of Programme Evaluation.Paris: OECD.———. 1995. Governance in Transition: Public ManagementReforms in OECD Countries. Paris: OECD.OECD y Banco Mundial. Buenas Prácticas RecientementeIdentificadas de Gestión Para Resultados deDesarrollo. Primera Edición. Paris: OCDE. http://www.mfdr.org/Sourcebook/Versions/MfDRSourcebookSpanish.pdfOffice of the Auditor-General of Canada. 2003. “RatingDepartment Performance Reports.” 2003 Status Report.Office of the Auditor-General, Ottawa.http://www.oag-bvg.gc.ca/domino/reports.nsf/html/20030501ce.html.OMB (Office of Management and Budget). 2003. PerformanceMeasurement Challenges and Strategies.Washington, DC: OMB. http://www.whitehouse.gov/omb/part/index.html.Ospina Bozzi, Sonia, y Doris Ochoa. 2003. “El sistemanacional de evaluación de resultados de la gestiónpública (SINERGIA) de Colombia.” Evaluación deresultados para una gestión pública moderna y democrática:Experiencias Latinoamericanas, ed.Nuria Cunill Grau and Sonia Ospina Bozzi. Caracas:CLAD.Patton, Michael Quinn. 1997. Utilization-Focused Evaluation:The New Century Text, 3rd ed. ThousandOaks, CA: Sage Publications.Perrin, Burt, y Keith Mackay. 1999. What Makes for SuccessfulConferences? Lessons Learned from an Evaluationof Six Conferences Sponsored by the WorldBank Institute. Washington, DC: Instituto del BancoMundial.Ravindra, Adikeshavalu. 2004. An Assessment of the Impactof Bangalore Citizen Report Cards on the Performanceof Public Agencies. No. 12 of EvaluationCapacity Development Working Paper Series. Washington,DC: Banco Mundial.Roberts, John. 2003. Managing Public Expenditure forDevelopment Results and Poverty Reduction. No.203, Overseas Development Institute Working PapersSeries. London: Overseas Development Institute.http://www.odi.org.uk/Publications/working_papers/wp203.pdf.Rojas, Fernando, Keith Mackay, Yasuhiko Matsuda,Geoffrey Shepherd, Azul del Villar, Ariel Zaltsman, yPhilipp Krause. 2005. Chile: Análisis del Programade Evaluación del Gasto Público. Washington, DC:Banco Mundial. http://www.worldbank.org/ieg/ecd/docs/Chilefinal.pdf.Sánchez, María Fernanda. Undated. “Evaluation of Changesin the Quality of Life in Bogotá, Colombia, froma Civil Society Perspective—Bogotá Cómo Vamos.”Unpublished paper.Sandoli, Robert L. 2005. “Budgeting for Performance inthe United States Using the Program AssessmentRating Tool (PART).” Presented at a World Bank-Korea Development Institute conference, “Improvingthe Public Expenditure Management System,” December8.Schacter, Mark. 2000. Sub-Saharan Africa: Lessons fromExperience in Supporting Sound Governance. No.7 of Evaluation Capacity Development WorkingPaper Series. Washington, DC: Banco Mundial.Schiavo-Campo, Salvatore. 2005. Building Country Capacityfor Monitoring and Evaluation in the PublicSector: Selected Lessons of International Experience.No. 13 of Evaluation Capacity Development WorkingPaper Series. Washington, DC: Banco Mundial.Schick, Allen. 2001. “Getting Performance Measures toMeasure Up.” Quicker, Better, Cheaper? ManagingPerformance in American Government, ed. DallForsythe. Ithaca, NY: Rockefeller Institute Press.Scriven, Michael. 2006. “Converting Perspective to Practice.”Journal of MultiDisciplinary Evaluation 6(November): 8–9.Shand, David. Forthcoming. “Performance Auditing andPerformance Budgeting.” Performance Budgeting:Linking Funding and Results, ed. Marc Robinson. Basingstoke,Hampshire: Palgrave Macmillan.———. 2006. “Institutionalizing Monitoring andEvaluation—Issues and Experience in OECD Countriesand in Latin America.” Towards InstitutionalizingMonitoring and Evaluation Systems in LatinAmerica and the Caribbean: Proceedings of a WorldBank/Inter-American Development Bank Conference,ed. Ernesto May, David Shand, Keith Mackay,Fernando Rojas, and Jaime Saaverdra, 57–66. Washington,DC: Banco Mundial. http://www.worldbank.org/ieg/ecd/.Social Impact. 2006. Monitoring, Evaluation andLearning for Fragile States and Peacebuilding Pro-167

CÓMO CREAR SISTEMAS DE SyE QUE CONTRIBUYAN A UN BUEN GOBIERNOgrams: Practical Tools for Improving Program Performanceand Results. Arlington, VA: Social Impact.Ssentongo, Peter. 2004. “The National Integrated Monitoringand Evaluation Strategy.” Presentation to the2004 Conference of the African Evaluation Association,Cape Town.Steering Committee for the Review of Government ServiceProvision. 2007. Report on Government Services2007. Canberra: Productivity Commission. http://www.pc.gov.au/gsp/reports/rogs/2007/index.html.Stout, Susan. 2001. “Tanzania: Rapid Assessment ofMonitoring and Evaluation in the Health Sector.”Draft report, Banco Mundial, Washington, DC.Toulemonde, Jacques. “Incentives, Constraints andCulture-Building as Instruments for the Developmentof Evaluation Demand”. Building EffectiveEvaluation Capacity: Lessons from Practice, ed.Richard Boyle y Donald Lemaire, 153–174. NewBrunswick, NJ: Transaction Publishers.Uhr, John, y Keith Mackay. 1996. Evaluating Policy Advice:Learning from Commonwealth Experience.Canberra: Federalism Research Centre (Australian NationalUniversity) and the Department of Finance.UNDP (United Nations Development Programme).2000. Evaluation Capacity Development in Asia.New York: UNDP. http://lnweb18.worldbank.org/oed/oeddoclib.nsf/DocUNIDViewForJavaSearch/C273DBBB7BC5898085256B1B005494A8/$file/ecd_china.pdf.United Kingdom National Audit Office. 2006. “PSA Targets:Performance Information.” NAO Survey Report,NAO, London. http://www.nao.org.uk/publications/nao_reports/05-06/Acting_on_Information.pdf.United Kingdom Treasury. Undated. Outcome FocusedManagement in the United Kingdom. London: Treasury.http://www.hm-treasury.gov.uk/documents/public_spending_and_services/publicservice_performance/pss_perf_index.cfm.Vedung, Evert. 1991. Utvärdering i politik och förvaltning.Lund: Studentlitteratur. (Translation: 1997.Public Policy and Program Evaluation. New Brunswick,NJ: Transactions Publishers).White, Howard. 2006a. Impact Evaluation—The Experienceof the Independent Evaluation Group ofthe World Bank. Washington, DC: Banco Mundial.———. 2006b. “Technical Rigor Must Not Take Precedenceover Other Kinds of Valuable Lessons.” BostonReview, July/August. http://bostonreview.net/BR31.4/white.html.Wholey, Joseph S. 2006. “Quality Control: Assessing theAccuracy and Usefulness of Performance MeasurementSystems.” Performance Measurement: GettingResults, 2 nd ed., ed. Harry P. Hatry. Washington,DC: The Urban Institute Press.Wholey, Joseph S., Harry P. Hatry, y Kathryn E. Newcomer.2004. Handbook of Practical Program Evaluation,2nd ed. San Francisco: Jossey-Bass.World Bank. 2007. “Colombia: Monitoring, Evaluationand Information Project.” Project Appraisal Document,Banco Mundial, Washington, DC.———. 2006a. “Colombia: Community Works and EmploymentProject.” Implementation Completion ReportNo. 37294, Banco Mundial, Washington, DC.———. 2006b. Social Accountability: Strengthening theDemand Side of Governance and Service Delivery.Washington, DC: Banco Mundial. http://wwwesd.worldbank.org/sac/contact_welcome/welcome.html.———. 2005a. Chile: Análisis del programa de evaluacióndel gasto público. Washington, DC: BancoMundial.———. 2005b. “Colombia: Third Programmatic Fiscaland Institutional Structural Adjustment Loan Project.”Project Appraisal Document, Banco Mundial, Washington,DC.———. 2005c. “Colombia: Social Safety Net Project.” ProjectAppraisal Document, Banco Mundial, Washington,DC.———. 2004a. “Colombia: Proposed Second ProgrammaticLabor Reform and Social Structural AdjustmentLoan Project.” Program Document, BancoMundial, Washington, DC.———. 2004b. “Colombia: Technical Assistance Loan toSupport the Second Programmatic Labor Reformand Social Structural Adjustment Loan Project.” ProjectAppraisal Document 29332, Banco Mundial,Washington, DC.———. 2004c. “Readiness Assessment—TowardPerformance-Based Monitoring and Evaluation inMexico: The Case of SEDESOL.” Unpublished paper.Banco Mundial, Washington, DC.———. 2004d. The World Bank Annual Report 2004.Washington, DC: Banco Mundial.———. 2003. World Development Report 2004: MakingServices Work for Poor People. Oxford: Oxford UniversityPress.———. 1998. Public Expenditure Management Handbook.Washington, DC: World Bank. http://site168

BIBLIOGRAFÍAresources.worldbank.org/INTPEAM/Resources/pem98.pdf.———. 1997a. Colombia: Paving the Way for a Results-Oriented Public Sector. Washington, DC: BancoMundial.———. 1997b. World Development Report 1997: TheState in a Changing World. New York: Oxford UniversityPress. http://www.worldbank.org/html/extpb/wdr97/english/wdr97con.htm.World Bank, African Development Bank, Austria, Germany,The Netherlands, Norway, Sweden, y UK Departmentfor International Development. 2006. JointAssistance Strategy for the Republic of Uganda(2005–2009). http://siteresources.worldbank.org/INTUGANDA/Resources/UJAS.pdf.World Bank y International Monetary Fund. 2004. PovertyReduction Strategy Papers—Progress in Implementation.Washington, DC: World Bank andInternational Monetary Fund. http://siteresources.worldbank.org/INTPRS1/Resources/prsp_progress _2004.pdf.Zaltsman, Ariel. 2006a. Experiencia con la Institucionalizaciónde Sistemas de Monitoreo y Evaluaciónen Cinco Países Latinoamericanos: Argentina,Chile, Colombia, Costa Rica and Uruguay. No. 16de Desarrollo de la Capacidad de Evaluación Seriede Documentos de Trabajo. Washington, DC: BancoMundial. http://lnweb18.worldbank.org/oed/oeddoclib.nsf/24cc3bb1f94ae11c85256808006a0046/642872e26761c164852572040069370b/$FILE/ecd_wp16_spanish.pdf———. 2006b. “The Monitoring and Evaluation Functionin Colombia.” Unpublished paper, Banco Mundial,Washington, DC.Sitios de InteresAfrican Evaluation Association (AfrEA): http://www.afrea.org/Asian Development Bank Web site on the Asian communityof practice on managing for development results:http://www.adb.org/MfDR/CoP/about.aspCLAD (Centro Latinoamericano de Administración Parael Desarrollo): http://www.clad.org.ve/siare/innotend/innotend.htmlCitizen’s Report Card (PAC, India): http://www.pacindia.org/International Development Evaluation Association(IDEAS): http://www.ideas-int.org/International Organisation for Cooperation in Evaluation(IOCE): http://internationalevaluation.com/index.shtmlLatin American evaluation associations: http://www.preval.org/mapa.php?idioma=8Managing for Development Results initiative:http://www.mfdr.org/U.S. PART: http://www.whitehouse.gov/omb/part/index.html169

Serie de Documentos de Trabajo del Grupo GEISobre Desarrollo de la Capacidad de Evaluación1. Mackay, Keith. 1998. “Lessons from Experience.”2. Brushett, Stephen. 1998. “Evaluation Capacity Development in Zimbabwe: Issues and Opportunities.”3. Barberie, Alain. 1998. “Indonesia’s National Evaluation System.”4. Mackay, Keith. 1998. “The Development of Australia’s Evaluation System.”5. Guerrero, R. Pablo O. 1999. “Comparative Insights from Colombia, China and Indonesia.”6. Mackay, Keith. 1998. “Fortalecimiento de la Capacidad de Evaluación: Guía para el Diagnóstico y Marcopara la Acción.”7. Schacter, Mark. 2000. ”Sub-Saharan Africa: Lessons from Experience in Supporting Sound Governance.”8. Hauge, Arild. 2001. “Fortalecimiento de la Capacidades de Seguimiento y Evaluación en Uganda: UnaPerspectiva de Gestión basada en los Resultados.”9. Adrien, Marie-Hélène. 2003. “Guide to Conducting Reviews of Organizations Supplying M&E Training.”10. Hauge, Arild. 2003. “Desarrollo de la Capacidad de Seguimiento y Evaluación para Mejorar el DesempeñoDel Estado en Uganda.”11. Mackay, Keith. 2004. “Two Generations of Performance Evaluation and Management System in Australia.”12. Ravindra, Adikeshavalu. 2004. “An Assessment of the Impact of Bangalore Citizen Report Cards on thePerformance of Public Agencies.”13. Schiavo-Campo, Salvatore. 2005. “Building Country Capacity for Monitoring and Evaluation in the PublicSector: Selected Lessons of International Experience.”14. Boyle, Richard. 2005. “Evaluation Capacity Development in the Republic of Ireland.”15. Mackay, Keith. 2006. “Institucionalización de los Sistemas de Seguimiento y Evaluación para Mejorar laGestión Del Sector Publico.”16. Zaltsman, Ariel. 2006. “Experiencia con la Institucionalización de Sistemas de Monitoreo y Evaluación enCinco Países Latinoamericanos: Argentina, Chile, Colombia, Costa Rica y Uruguay.”17. Mackay, Keith, Gladys Lopez-Acevedo, Fernando Rojas, Aline Coudouel, y otros. 2007. “Diagnóstico delSistema Nacianal de SyE de Colombia: SINERGIA.”Estos reportes del Grupo de Evaluación Independiente (GEI) estan disponibles en linea en el sitiohttp://www.worldbank.org/ieg/ecd.

Elogios otorgados al libroCómo crear sistemas de SyE que contribuyan aun buen gobierno“Desde hace mucho tiempo, el Grupo de Evaluación Independiente (GEI) del Banco Mundial cuenta conun programa que da apoyo a países en vías de desarrollo para que éstos puedan fortalecer sus sistemasde SyE. Esta experiencia proviene de una amplia diversidad de países y de variados ámbitos del sectorpúblico. Gran parte de esta experiencia ha sido documentada a través de publicaciones del GEI perorecién ahora es finalmente resumida en un solo documento. Este libro será una referencia muy valiosatanto para funcionarios del gobierno como para donantes involucrados con la institucionalización de lossistemas de SyE gubernamentales.”Ajay ChhibberDirector, GEI-Banco Mundial”El argumento primordial de este libro se refiere a que la utilización de la información del SyE es una condiciónnecesaria para el manejo eficaz del gasto público en la reducción de la pobreza. Dicho de otramanera, el SyE es necesario para que la evidencia sea la base de la implementación de políticas, de laadministración pública, y de la rendición de cuentas. Este libro brinda una valiosa contribución para aquellosinvolucrados en la creación de sistemas de SyE los cuales son una buena base para alcanzar unagobernabilidad sólida.”David ShandEx Consejero de Administración FinancieraEl Banco Mundial“Este es un excelente informe. El contenido es muy sólido y probablemente será muy útil para aquellos paísesinteresados en desarrollar o mejorar sus sistemas de SyE. Los estudios de casos son muy útiles y muybien elaborados. Este tipo de información difícilmente se encuentra en otro lugar.”Harry HatryDirector, Programa de Administración PublicaEl Instituto Urbano“El Banco Mundial cada día dedica más recursos para apoyar a los países en vías de desarrollo en susesfuerzos para fortalecer la orientación de sus resultados. Nosotros vemos esto como un camino importantepara mejorar la efectividad del desarrollo. Este libro es un compendio del creciente conocimiento delBanco sobre la institucionalición de los sistemas de SyE gubernamentales. Recomiendo este libro a losfuncionarios de gobierno, a nuestras contrapartes en el desarrollo, y al equipo del Banco que trabaja conlos gobiernos en crear capacidad, y así ayudar a los diferentes países a conocer más sobre el tema ylograr resultados en este campo.”Susan StoutGerente, Secretaría de ResultadosEl Banco MundialISBN 978-0-8213-7191-6BANCO MUNDIALSKU 17191