Estudio retrospectivo sobre las evaluaciones de la asistencia a los ...

Estudio retrospectivo sobre las evaluaciones de la asistencia a los ... Estudio retrospectivo sobre las evaluaciones de la asistencia a los ...

ieg.worldbankgroup.org
from ieg.worldbankgroup.org More from this publisher
11.07.2015 Views

ESTUDIO RETROSPECTIVO SOBRE LAS EVALUACIONES DE LA ASISTENCIA A LOS PAÍSES: AUTOEVALUACIÓN DEL DEOUn reciente análisisconfirma que lasrecomendaciones de laEvAP se reflejan bien enlas EAP subsiguientes.de las evaluaciones de losprogramas de países realizadopor otros organismos.En cada anexo sedetallan los objetivos de laencuesta, se describe lamuestra de participantes, yse presentan diversas opiniones y resultados.La falta de aprobación delos resultados de la EvAP porparte de la administraciónsuperior sirvió para minarsu impacto. Esta “falta deaprobación” fue evidenteen las entrevistas confuncionarios del Banco,incluso con losvicepresidentes regionales ylos directores a cargo de lasoperaciones en los paísescorrespondientes.Efecto de las EvAP en la formulaciónde las estrategias pertinentesEn estudios anteriores se ha indicado que lasEvAP no influyen en las estrategias de asistenciadel Banco a los países y que hay compatibilidadentre las recomendaciones dedichas evaluaciones y las estrategias pertinentes.En el Annual Report on Operations Evaluation(Informe anual sobre evaluación deoperaciones de 2002) 14 del DEO se realizó una encuestasobre las EvAP entre los equipos del Banco acargo de las operaciones en el país. Alrededor de71% de los entrevistados afirmó que las EvAP habíaninfluido en las políticas del Banco en la esferanacional, 80% opinó que una evaluación de esaclase es pertinente para su trabajo y 93% declaróque si tuvieran que comenzar a trabajar en unnuevo país, esa evaluación les sería de gran utilidad.Para dicho informe anual, el DEO realizó un estudiode seguimiento para evaluar hasta qué punto seincorporaban las recomendaciones de la EvAP en laestrategia subsiguiente y se reflejaban en la asistenciarealmente prestada. En el estudio se examinaron15 evaluaciones,todas ellas en el ejerciciode 1999 o en años anteriorespara tener suficientetiempo de examinar laasistencia realmente prestada.El estudio reveló unagran compatibilidad entrelas recomendaciones delas EvAP y la EAP, con loque recalcó el mensaje dela encuesta.Un reciente análisisconfirma que las recomendacionesde EvAPse reflejan bien en lasEAP subsiguientes. Paraeste análisis retrospectivo, el DEO emprendió unnuevo estudio de seguimiento de las 25 EvAP terminadasdurante los ejercicios de 2001–03. En esteanálisis se examinaron las estrategias adoptadas inmediatamentedespués de las EvAP para determinarhasta qué punto se respaldan las recomendacionesoficiales incluidas en los archivos de las medidas deadministración correspondientes a esas EvAP. Enlas EAP se ha expresado pleno respaldo a dos terceraspartes de las recomendaciones hechas en las22 EvAP con respecto a las cuales se han preparadoulteriormente documentos de formulación de estrategias15 . Otro 25% ha recibido respaldo parcial ymenos de 10% no recibió ninguno. Además, las 22EAP contenían alguna referencia a la evaluaciónpertinente; en 16 de ellas, las estrategias conteníanamplios debates sobre las constataciones y recomendacionesde la evaluación correspondiente.Por ende, parece que las EvAP influyen en la formulaciónde estrategias del Banco, aunque no esposible atribuir el respaldo a una recomendaciónparticular al análisis contenido en la EvAP.Además, las EvAP parecen influir en las deliberacionesdel Directorio sobre estrategiassubsiguientes, y las cuestiones señaladas endichas EvAP son acordes con las deliberacionesdel Directorio. Para este análisis retrospectivo,el DEO examinó las transcripciones de 13deliberaciones del Directorio sobre la EAP, cuyasEvAP más recientes se facilitaron a partir de abril de2003 16 . Cerca de una tercera parte de las declaracionesverbales o escritas de los presidentes se refirieronexplícitamente a la EvAP por lo menos unavez. En total, hubo 85 referencias a EvAP en las 13deliberaciones. Alrededor de una cuarta parte (21)de ellas fueron referencias muy generales y el 75%restante (64) se centró en asuntos determinados.Las referencias a las EvAP fueron más frecuentes duranteel examen completo de la EAP o cuando la calificaciónde los resultados era insatisfactoria; lospresidentes que representaban a los grupos de paísesde la Parte I fueron quienes más se refirieron alas EvAP. En total, las referencias a dichas evaluacionescomprendieron solamente una pequeñaparte (6%) de la multitud de cuestiones señaladasdurante las deliberaciones del Directorio sobre laEAP. No obstante, aun cuando no se hizo referenciaa una EvAP, hubo concordancia de las cuestionesseñaladas en las evaluaciones y en las12

PARTE II: ¿CÓMO PUEDE MEJORARSE EL INSTRUMENTO DE LAS EVAP?deliberaciones del Directorio referentes a las respectivasEAP y sus respetivos informes de situación.Hay una divergencia entre los resultadosde las encuestas de seguimiento y la percepciónde los integrantes del Directorio y delpersonal del Banco con respecto al uso y a lautilidad de la EvAP. Las encuestas sobre el uso indicanque las EvAp son conocidas tanto para los integrantesdel Directorio como para el personal delBanco. Los integrantes del CODE entrevistados parael análisis retrospectivo señalaron que empleabanlas EvAP con el fin de prepararse para las deliberacionesdel Directorio sobre la estrategia pertinentecon miras a colocar las cuestiones sectoriales y temáticasdentro del contexto del país y a evaluar esasestrategias. En las entrevistas, algunos integrantesdel CODE citaron ejemplos específicos de casos enque las EvAP ejercieron una influencia favorable enlas correspondientes estrategias del Banco. Sin embargo,una mayoría dudó que las EvAP ejercieranuna influencia significativa en las decisiones de laadministración o en las cuestiones normativas y señalóque la falta de aprobación de los resultados dela EvAP por parte de la administración superior sirviópara minar su impacto. Esta “falta de aprobación”fue evidente en las entrevistas con funcionarios delBanco, incluso con los vicepresidentes regionales ylos directores a cargo de las operaciones en los paísescorrespondientes. Su percepción de la utilidadde las EvAP fue poco favorable, pero mejoró muchocuando se dieron cuenta de que una EvAP había influidofavorablemente en la preparación de la estrategiacorrespondiente. El personal del Banco señalóvarios factores que inhiben la eficacia de las evaluaciones:la falta de oportunidad, la consulta inadecuadacon los equipos a cargo de las operaciones enel país, y la falta de aportaciones o de enseñanzasútiles para la participación del Banco en un país.La reducción de la divergencia y la mejorade la utilización de las EvAP podrían intensificarsecon los cambios en la metodología, lapresentación y la cronología de las mismas, asícomo la frecuencia de la interacción con losequipos a cargo de las operaciones en el país.A pesar de que las EvAP ocupan un lugar destacadoen las estrategias correspondientes y en las deliberacionesdel Directorio al respecto, nuestras encuestasseñalan varias cuestiones relativas a dichasEvAP. Los integrantes del Directorio expresaroncierto escepticismo sobre la posibilidad de máximaLa adopción de unametodología formal paralas EvAP en el ejerciciode 2000 ha llevado aintroducir un método deevaluación más coherente.utilización de las constatacionesde la EvAP por partedel personal de operaciones.El personal del Bancotambién ha expresado algunaspreocupaciones relacionadascon la metodologíabásica, la cronología de lasEvAP y el equilibrio entre la rendición de cuentas yel aprendizaje dentro de su especialidad. Todosestos factores exigen cuidadoso examen y, cuandosea necesario, resolución para que las EvAP puedantener un mayor beneficio en lo que respecta a la utilizacióny aceptación de sus constataciones y recomendaciones.En el resto del presente capítulo seabordarán las principales cuestiones señaladas porlas encuestas sobre el uso: la metodología de lasEvAP, las calificaciones de las mismas, el uso de unasituación hipotética en ausencia de intervención, lacronología, la interacción con los equipos a cargode las operaciones en el país, la interacción con losbeneficiarios dentro del país y la presentación de laEvAP.MetodologíaLa adopción de una metodología formal paralas EvAP en el ejercicio de 2000 ha llevado aintroducir un método de evaluación más coherente17 . En la metodología de las EvAP se empleala EAP como marco inicial, complementadapor criterios relativos a la posibilidad de que en laestrategia se deje de abordar cualquier restricciónimportante para el desarrollo. Dicha evaluacióndetermina hasta qué punto fueron pertinentes losprincipales objetivos de la EAP y se alcanzaron sinningún inconveniente.El actual enfoque metodológico de la EvAP consisteen examinar el programa de asistencia correspondientedesde tres dimensiones:• Una dimensión relativa a productos y servicios,que comprende un análisis “de abajo arriba” delos principales insumos del programa: préstamos,actividades de asesoramiento y análisis, yalianzas• Una dimensión relativa al impacto en el desarrollo,que comprende un análisis “de arribaabajo” de los principales objetivos del pro-13

PARTE II: ¿CÓMO PUEDE MEJORARSE EL INSTRUMENTO DE LAS EVAP?<strong>de</strong>liberaciones <strong>de</strong>l Directorio referentes a <strong><strong>la</strong>s</strong> respectivasEAP y sus respetivos informes <strong>de</strong> situación.Hay una divergencia entre <strong>los</strong> resultados<strong>de</strong> <strong><strong>la</strong>s</strong> encuestas <strong>de</strong> seguimiento y <strong>la</strong> percepción<strong>de</strong> <strong>los</strong> integrantes <strong>de</strong>l Directorio y <strong>de</strong>lpersonal <strong>de</strong>l Banco con respecto al uso y a <strong>la</strong>utilidad <strong>de</strong> <strong>la</strong> EvAP. Las encuestas <strong>sobre</strong> el uso indicanque <strong><strong>la</strong>s</strong> EvAp son conocidas tanto para <strong>los</strong> integrantes<strong>de</strong>l Directorio como para el personal <strong>de</strong>lBanco. Los integrantes <strong>de</strong>l CODE entrevistados parael análisis <strong>retrospectivo</strong> seña<strong>la</strong>ron que empleaban<strong><strong>la</strong>s</strong> EvAP con el fin <strong>de</strong> prepararse para <strong><strong>la</strong>s</strong> <strong>de</strong>liberaciones<strong>de</strong>l Directorio <strong>sobre</strong> <strong>la</strong> estrategia pertinentecon miras a colocar <strong><strong>la</strong>s</strong> cuestiones sectoriales y temáticas<strong>de</strong>ntro <strong>de</strong>l contexto <strong>de</strong>l país y a evaluar esasestrategias. En <strong><strong>la</strong>s</strong> entrevistas, algunos integrantes<strong>de</strong>l CODE citaron ejemp<strong>los</strong> específicos <strong>de</strong> casos enque <strong><strong>la</strong>s</strong> EvAP ejercieron una influencia favorable en<strong><strong>la</strong>s</strong> correspondientes estrategias <strong>de</strong>l Banco. Sin embargo,una mayoría dudó que <strong><strong>la</strong>s</strong> EvAP ejercieranuna influencia significativa en <strong><strong>la</strong>s</strong> <strong>de</strong>cisiones <strong>de</strong> <strong>la</strong>administración o en <strong><strong>la</strong>s</strong> cuestiones normativas y señalóque <strong>la</strong> falta <strong>de</strong> aprobación <strong>de</strong> <strong>los</strong> resultados <strong>de</strong><strong>la</strong> EvAP por parte <strong>de</strong> <strong>la</strong> administración superior sirviópara minar su impacto. Esta “falta <strong>de</strong> aprobación”fue evi<strong>de</strong>nte en <strong><strong>la</strong>s</strong> entrevistas con funcionarios <strong>de</strong>lBanco, incluso con <strong>los</strong> vicepresi<strong>de</strong>ntes regionales y<strong>los</strong> directores a cargo <strong>de</strong> <strong><strong>la</strong>s</strong> operaciones en <strong>los</strong> paísescorrespondientes. Su percepción <strong>de</strong> <strong>la</strong> utilidad<strong>de</strong> <strong><strong>la</strong>s</strong> EvAP fue poco favorable, pero mejoró muchocuando se dieron cuenta <strong>de</strong> que una EvAP había influidofavorablemente en <strong>la</strong> preparación <strong>de</strong> <strong>la</strong> estrategiacorrespondiente. El personal <strong>de</strong>l Banco señalóvarios factores que inhiben <strong>la</strong> eficacia <strong>de</strong> <strong><strong>la</strong>s</strong> <strong>evaluaciones</strong>:<strong>la</strong> falta <strong>de</strong> oportunidad, <strong>la</strong> consulta ina<strong>de</strong>cuadacon <strong>los</strong> equipos a cargo <strong>de</strong> <strong><strong>la</strong>s</strong> operaciones enel país, y <strong>la</strong> falta <strong>de</strong> aportaciones o <strong>de</strong> enseñanzasútiles para <strong>la</strong> participación <strong>de</strong>l Banco en un país.La reducción <strong>de</strong> <strong>la</strong> divergencia y <strong>la</strong> mejora<strong>de</strong> <strong>la</strong> utilización <strong>de</strong> <strong><strong>la</strong>s</strong> EvAP podrían intensificarsecon <strong>los</strong> cambios en <strong>la</strong> metodología, <strong>la</strong>presentación y <strong>la</strong> cronología <strong>de</strong> <strong><strong>la</strong>s</strong> mismas, asícomo <strong>la</strong> frecuencia <strong>de</strong> <strong>la</strong> interacción con <strong>los</strong>equipos a cargo <strong>de</strong> <strong><strong>la</strong>s</strong> operaciones en el país.A pesar <strong>de</strong> que <strong><strong>la</strong>s</strong> EvAP ocupan un lugar <strong>de</strong>stacadoen <strong><strong>la</strong>s</strong> estrategias correspondientes y en <strong><strong>la</strong>s</strong> <strong>de</strong>liberaciones<strong>de</strong>l Directorio al respecto, nuestras encuestasseña<strong>la</strong>n varias cuestiones re<strong>la</strong>tivas a dichasEvAP. Los integrantes <strong>de</strong>l Directorio expresaroncierto escepticismo <strong>sobre</strong> <strong>la</strong> posibilidad <strong>de</strong> máximaLa adopción <strong>de</strong> unametodología formal para<strong><strong>la</strong>s</strong> EvAP en el ejercicio<strong>de</strong> 2000 ha llevado aintroducir un método <strong>de</strong>evaluación más coherente.utilización <strong>de</strong> <strong><strong>la</strong>s</strong> constataciones<strong>de</strong> <strong>la</strong> EvAP por parte<strong>de</strong>l personal <strong>de</strong> operaciones.El personal <strong>de</strong>l Bancotambién ha expresado algunaspreocupaciones re<strong>la</strong>cionadascon <strong>la</strong> metodologíabásica, <strong>la</strong> cronología <strong>de</strong> <strong><strong>la</strong>s</strong>EvAP y el equilibrio entre <strong>la</strong> rendición <strong>de</strong> cuentas yel aprendizaje <strong>de</strong>ntro <strong>de</strong> su especialidad. Todosestos factores exigen cuidadoso examen y, cuandosea necesario, resolución para que <strong><strong>la</strong>s</strong> EvAP puedantener un mayor beneficio en lo que respecta a <strong>la</strong> utilizacióny aceptación <strong>de</strong> sus constataciones y recomendaciones.En el resto <strong>de</strong>l presente capítulo seabordarán <strong><strong>la</strong>s</strong> principales cuestiones seña<strong>la</strong>das por<strong><strong>la</strong>s</strong> encuestas <strong>sobre</strong> el uso: <strong>la</strong> metodología <strong>de</strong> <strong><strong>la</strong>s</strong>EvAP, <strong><strong>la</strong>s</strong> calificaciones <strong>de</strong> <strong><strong>la</strong>s</strong> mismas, el uso <strong>de</strong> unasituación hipotética en ausencia <strong>de</strong> intervención, <strong>la</strong>cronología, <strong>la</strong> interacción con <strong>los</strong> equipos a cargo<strong>de</strong> <strong><strong>la</strong>s</strong> operaciones en el país, <strong>la</strong> interacción con <strong>los</strong>beneficiarios <strong>de</strong>ntro <strong>de</strong>l país y <strong>la</strong> presentación <strong>de</strong> <strong>la</strong>EvAP.MetodologíaLa adopción <strong>de</strong> una metodología formal para<strong><strong>la</strong>s</strong> EvAP en el ejercicio <strong>de</strong> 2000 ha llevado aintroducir un método <strong>de</strong> evaluación más coherente17 . En <strong>la</strong> metodología <strong>de</strong> <strong><strong>la</strong>s</strong> EvAP se emplea<strong>la</strong> EAP como marco inicial, complementadapor criterios re<strong>la</strong>tivos a <strong>la</strong> posibilidad <strong>de</strong> que en <strong>la</strong>estrategia se <strong>de</strong>je <strong>de</strong> abordar cualquier restricciónimportante para el <strong>de</strong>sarrollo. Dicha evaluación<strong>de</strong>termina hasta qué punto fueron pertinentes <strong>los</strong>principales objetivos <strong>de</strong> <strong>la</strong> EAP y se alcanzaron sinningún inconveniente.El actual enfoque metodológico <strong>de</strong> <strong>la</strong> EvAP consisteen examinar el programa <strong>de</strong> <strong>asistencia</strong> correspondiente<strong>de</strong>s<strong>de</strong> tres dimensiones:• Una dimensión re<strong>la</strong>tiva a productos y servicios,que compren<strong>de</strong> un análisis “<strong>de</strong> abajo arriba” <strong>de</strong><strong>los</strong> principales insumos <strong>de</strong>l programa: préstamos,activida<strong>de</strong>s <strong>de</strong> asesoramiento y análisis, yalianzas• Una dimensión re<strong>la</strong>tiva al impacto en el <strong>de</strong>sarrollo,que compren<strong>de</strong> un análisis “<strong>de</strong> arribaabajo” <strong>de</strong> <strong>los</strong> principales objetivos <strong>de</strong>l pro-13

Hooray! Your file is uploaded and ready to be published.

Saved successfully!

Ooh no, something went wrong!