Estudio retrospectivo sobre las evaluaciones de la asistencia a los ...

BANCO MUNDIALDEPARTAMENTO DE EVALUACIÓN DE OPERACIONESDEL BANCO MUNDIALEstudio retrospectivo sobre las evaluaciones de la asistencia a los paísesEstudio retrospectivosobre las evaluacionesde la asistencia a los paísesAutoevaluación del DEOBANCO MUNDIALISBNTheWorldBank

DEPARTAMENTO DE EVALUACIÓN DE OPERACIONESPUBLICACIONES DEL DEOMAYOR EFICACIA PARA EL DESARROLLO MEDIANTE LA EXCELENCIAY LA INDEPENDENCIA EN LA EVALUACIÓNEl Departamento de Evaluación de Operaciones (DEO) es una unidad independiente dentro del Banco Mundial.Evalúa qué es lo que funciona o no funciona, qué va a hacer un prestatario para ejecutar y mantener un proyecto, ycuál es la contribución duradera del Banco al desarrollo general de un país. Las metas de la evaluación son aprenderde la experiencia, establecer una base objetiva para evaluar los resultados de la labor del Banco, y promover unamayor identificación con el logro de sus objetivos. También mejora la actuación del Banco identificando y difundiendolas enseñanzas aprendidas de la experiencia y elaborando recomendaciones basadas en las conclusiones de la evaluación.Serie de estudios2003 Annual Review of Development Effectiveness: The Effectiveness of Bank Support for Policy ReformAgricultural Extension: The Kenya ExperienceAssisting Russia’s Transition: An Unprecedented ChallengeBangladesh: Progress Through PartnershipBridging Troubled Waters: Assessing the World Bank Water Resources StrategyThe CGIAR: An Independent Meta-Evaluation of the Consultative Group on International Agricultural ResearchDebt Relief for the Poorest: An OED Review of the HIPC InitiativeDeveloping Towns and Cities: Lessons from Brazil and the PhilippinesThe Drive to Partnership: Aid Coordination and the World BankFinancial Sector Reform: A Review of World Bank AssistanceFinancing the Global Benefits of Forests: The Bank’s GEF Portfolio and the 1991 Forest Strategy and Its ImplementationFiscal Management in Adjustment LendingIDA’s Partnership for Poverty ReductionImproving the Lives of the Poor Through Investment in CitiesIndia: The Dairy RevolutionInformation Infrastructure: The World Bank Group’s ExperienceInvesting in Health: Development Effectiveness in the Health, Nutrition, and Population SectorJordan: Supporting Stable Development in a Challenging RegionLesotho: Development in a Challenging EnvironmentMainstreaming Gender in World Bank Lending: An UpdateThe Next Ascent: An Evaluation of the Aga Khan Rural Support Program, PakistanNongovernmental Organizations in World Bank-Supported Projects: A ReviewPoland Country Assistance Review: Partnership in a Transition EconomyPoverty Reduction in the 1990s: An Evaluation of Strategy and PerformancePower for Development: A Review of the World Bank Group’s Experience with Private Participation in the Electricity SectorPromoting Environmental Sustainability in DevelopmentReforming Agriculture: The World Bank Goes to MarketSharing Knowledge: Innovations and Remaining ChallengesSocial Funds: Assessing EffectivenessUganda: Policy, Participation, PeopleThe World Bank’s Experience with Post-Conflict ReconstructionThe World Bank’s Forest Strategy: Striking the Right BalanceZambia Country Assistance Review: Turning an Economy AroundSerie de estudios sobre paísesBosnia and Herzegovina: Post-Conflict ReconstructionBrazil: Forests in the Balance: Challenges of Conservation with DevelopmentCameroon: Forest Sector Development in a Difficult Political EconomyChina: From Afforestation to Poverty Alleviation and Natural Forest ManagementCosta Rica: Forest Strategy and the Evolution of Land UseEl Salvador: Post-Conflict ReconstructionIndia: Alleviating Poverty through Forest DevelopmentIndonesia: The Challenges of World Bank Involvement in ForestsUganda: Post-Conflict ReconstructionActasGlobal Public Policies and Programs: Implications for Financing and EvaluationLessons of Fiscal AdjustmentLesson from Urban TransportEvaluating the Gender Impact of World Bank AssistanceEvaluation and Development: The Institutional Dimension (Transaction Publishers)Evaluation and Poverty ReductionMonitoring & Evaluation Capacity Development in AfricaPublic Sector Performance—The Critical Role of EvaluationEdiciones multilingüesAllègement de la dette pour les plus pauvres : Examen OED de l’initiative PPTEAppréciation de l’efficacité du développement :L’évaluation à la Banque mondiale et à la Société financière internationaleDeterminar la eficacia de las actividades de desarrollo:La evaluación en el Banco Mundial y la Corporación Financiera InternacionalCôte d’Ivoire : Revue de l’aide de la Banque mondiale au paysFilipinas: Crisis y oportunidadesReconstruir a Economia de Moçambiquehttp://www.worldbank.org/oed

DEPARTAMENTO DE EVALUACIÓN DE OPERACIONESDEL BANCO MUNDIALEstudio retrospectivosobre las evaluacionesde la asistencia a los paísesAutoevaluación del DEOhttp://www.worldbank.org/oed2005Banco MundialWashington, D.C.

© 2005 Banco Internacional de Reconstrucción y Fomento / Banco Mundial1818 H Street, N.W.Washington, D.C. 20433Teléfono: (202) 473-1000Internet: www.worldbank.orgCorreo electrónico: feedback@worldbank.orgReservados todos los derechosHecho en los Estados Unidos de AméricaPrimera edición: mayo de 2005Los resultados, interpretaciones y conclusiones que aquí se expresan pertenecen a los autores, y no reflejan necesariamentelas opiniones el Directorio Ejecutivo del Banco Mundial ni de los gobiernos que representa.El Banco Mundial no garantiza la exactitud de los datos que figuran en esta publicación. Las fronteras, los colores,denominaciones y demás información incluidos en cualesquiera de los mapas que figuran en este volumen no suponen juicioalguno por parte del Banco Mundial acerca de la situación jurídica de ningún territorio, ni el respaldo o la aceptación de esasfronteras.Derechos y autorizacionesEl material contenido en esta publicación está registrado como propiedad intelectual. Su reproducción o transmisión total oparcial sin la debida autorización puede constituir una violación de la ley vigente. El Banco Mundial alienta la difusión de suspublicaciones y, normalmente, autorizará su reproducción sin demora.Los permisos para fotocopiar o reproducir cualquier parte de estos materiales pueden obtenerse enviando una solicitudcon toda la información necesaria a Copyright Clearance Center, Inc., 222 Rosewood Drive, Danvers, MA 01923, EE.UU.;teléfono: (978) 750-8400; fax: (978) 750-4470; sitio web: www.copyright.com.Cualquier otra consulta sobre derechos y licencias, incluidos derechos subsidiarios, deberá dirigirse a la siguientedirección: Office of the Publisher, The World Bank, 1818 H Street, N.W., Washington, D.C. 20433, EE.UU.; fax: (202) 522-2422;correo electrónico: pubrights@worldbank.org.Las fotografías de la portada se publican por cortesía de la Fototeca del Banco Mundial.ISBNe-ISBNSe ha solicitado la catalogación de la edición en inglés a la Biblioteca del Congreso de los Estados Unidos.World Bank InfoShopCorreo electrónico: pic@worldbank.orgTeléfono: (202) 458-4554Fax: (202) 522-1500Departamento de Evaluación de OperacionesGrupo de programas de gestión de conocimientos ydesarrollo de la capacidad de evaluación (OEDPK)Oficina: 19-352MSN: 19-903Teléfono: (202) 458-0382Fax: (202) 522-3125Impreso en papel reciclado

ÍndicevReconocimientosvii Prefacioix Resumenxiii Siglas1 1 Introducción1 Antecedentes2 Enfoque de la evaluación retrospectiva sobre las EvAP3 2 Parte I: ¿Qué hemos aprendido?3 Constataciones5 Enseñanzas aprendidas11 3 Parte II: ¿Cómo puede mejorarse el instrumento de las EvAP?12 Efecto de las EvAP en la formulación de las estrategias pertinentes13 Metodología16 Calificaciones18 Situaciones hipotéticas en ausencia de intervención19 Cronología21 Interacción con los equipos a cargo de las operaciones en el país21 Interacción con los beneficiarios22 Mejora de la presentación de las EvAP23 Anexos25 A: Metodología de las EvAP29 B: Evaluaciones de la asistencia a los países realizadas entrelos ejercicios de 1995 y 200431 C: Resumen de las entrevistas con miembros del Directorio ydel Comité sobre la eficacia en términos de desarrollo35 D: Discusiones del Directorio sobre las EAP, y documentos de las EAP39 E: Resumen de las entrevistas con personal del Banco43 F: Resumen de los métodos de evaluación de paísesempleados por otros organismosiii

ESTUDIO RETROSPECTIVO SOBRE LAS EVALUACIONES DE LA ASISTENCIA A LOS PAÍSES: AUTOEVALUACIÓN DEL DEO45 Apéndice47 Notas finales49 ReferenciasRecuadro17 3.1: Las calificaciones insatisfactorias de los efectos directos noimplican un desempeño deficiente del BancoGráfico36 1: Distribución de referencias conexasCuadros4 2.1: Características de los 25 países incluidos en las EvAP5 2.2: Calificaciones de los efectos directos de las EvAP y de los proyectos5 2.3: Calificaciones sectoriales y de proyectos, EvAP de los ejerciciosde 2001–0343 F.1: Utilización de los principales instrumentos metodológicosiv

ReconocimientosEl presente Estudio retrospectivo sobre lasevaluaciones de la asistencia a los países(EvAP) es obra de Poonan Gupta (jefa deproyecto) y Kyle Peter (directivo superior). RenéVandendries, Chandra Pant, John Johnson y Asitade Silva colaboraron con su apoyo y sugerencias.Varios evaluadores y consultores externos independientesayudaron a preparar esta autoevaluación.Mike Hendricks evaluó los métodos de EvAP.Sharon Felzer preparó orientaciones para las entrevistasestructuradas en colaboración con PatrickGrasso (DEO, Oficina del Director). David Shirleyentrevistó a personal del Comité sobre la eficaciaen términos de desarrollo (CODE) y del Bancopara el presente estudio. Svenja Weber-Venghausrevisó las transcripciones de las EAP, y Brandie Sassery Weber-Venghaus examinaron los métodosutilizados por otros donantes en sus evaluacionessobre los programas de los países. Janice Joshi yAgnes Santos ofrecieron apoyo administrativo.Marcelo Selowsky, de la Oficina de EvaluaciónIndependiente del Fondo Monetario Internacional,y Ulrich Zachau (LCRVP) se encargaron delexamen colegiado del presente informe. El examencolegiado externo se confió a Vijay Kelkar y FaikOztrak.Director general interino de Evaluación de Operaciones: Ajay ChhibberDirector interino del Departamento de Evaluación de Operaciones: R. Kyle PetersDirectivo superior del Grupo de Evaluación de Países y Relaciones Regionales: R. Kyle PetersJefa de proyecto: Poonam Guptav

PrefacioEl presente informe es una autoevaluación delas evaluaciones de la asistencia a los países(EvAP). En el ejercicio de 2002, el Subcomitéinformal del Comité sobre la eficacia en términosde desarrollo (CODE) examinó la metodología delas EvAP y la contribución de éstas a la evaluaciónde las intervenciones del Banco en los países, asícomo la necesidad de continuar mejorando esametodología. En la presente retrospectiva seamplía ese debate y se intenta dar respuesta a dospreguntas: ¿Qué hemos aprendido? ¿Cómo puedemejorarse el instrumento de las EvAP? La primeracuestión se plantea compilando enseñanzas deinterés para las estrategias de asistencia a los paísesa partir de las EvAP más recientes; la segunda,evaluando el proceso, metodología y presentaciónde las EvAP.En esta retrospectiva se comprueba que unaevaluación de alcance nacional permite hacerseuna idea más completa de los efectos directos delos programas de asistencia del Banco que las evaluacionesde proyectos o programas concretos. Enun tercio de los programas nacionales evaluados,los resultados agregados de los proyectos eran satisfactorios,pero no lo era, en términos generales,el programa de asistencia al país. Un examen de lasrecientes EvAP revela que el Banco debe comprendermejor el contexto del país, profundizar suconocimiento sobre el mismo y emprender actividadesde financiamiento para el ajuste o para políticasde desarrollo únicamente en situaciones enque la identificación del gobierno sea muy fuerte.Indica también que los efectos directos de losprogramas del Banco en los países pueden mejorarserealizando un análisis de riesgos másconsistente, reduciendo los niveles de asistenciaplanificada en forma más decidida cuando se produzcandesviaciones con respecto a la política previstay demostrando mayor prudencia en lasactividades de financiamiento en un contexto decambio radical.La segunda parte de esta retrospectiva está basadaen amplias entrevistas con miembros delCODE, sus suplentes y asesores, y personal regionaldel Banco, así como en evaluaciones de la metodologíay proceso de la EvAP por evaluadoresexternos. En esos estudios se ha comprobado queel marco metodológico utilizado en los últimosaños es fundamentalmente válido, pero presentaalgunos inconvenientes. La estructura suele hacerdemasiado hincapié en los instrumentos delBanco, más que en el logro de los objetivos del programa,y se ha generado cierta confusión cuandoparece que las diferentes secciones de la EvAP llevana conclusiones distintas. Estas críticas concuerdancon las opiniones de algunos miembros delCODE, que consideraban que las EvAP se centrabandemasiado en las cuestiones relativas al cumplimientoformal y a los efectos conseguidos conlos instrumentos del Banco, en detrimento de losvii

ESTUDIO RETROSPECTIVO SOBRE LAS EVALUACIONES DE LA ASISTENCIA A LOS PAÍSES: AUTOEVALUACIÓN DEL DEOresultados alcanzados y los efectos en términos dedesarrollo conseguidos por aquél.La conclusión de esta retrospectiva es que elcamino a seguir es la adopción de un planteamientomás basado en los resultados, que vinculeclaramente los objetivos del Banco y sus instrumentoscon los resultados conseguidos. Este planteamientoesbozaría los objetivos y resultados claveque el Banco ha tratado de conseguir en un país,sobre la base de las estrategias de asistencia a lospaíses (EAP). En relación con cada objetivo y resultadodeseado, la EvAP evaluaría la eficacia y pertinenciade los instrumentos empleados, así como lacontribución relativa del Banco (en cuanto diferentede otras instituciones) a ese objetivo. Este planteamientotendría en cuenta la principal recomendaciónofrecida por el Directorio del Banco, a saber,que las EvAP se concentren más específicamente enel efecto real de los programas en los países.En esta retrospectiva se analizan también algunasotras cuestiones que se han planteado en relacióncon las EvAP.En primer lugar, se examina el debate acerca delas calificaciones de las EvAP. Los miembros delCODE se manifestaron, en general, a favor de lascalificaciones, mientras que la mayoría de los funcionariosdel Banco entrevistados las criticaron. ElDEO examinará su utilización de las calificacionespara las EvAP y está considerando también, juntocon la administración, la posibilidad de estandarizarlas autocalificaciones para los informes finalessobre las estrategias de asistencia a los países validadospor un examen del DEO. Si este sistema, semejanteal de calificación de proyectos, se introdujerapara todas las EvAP, las calificaciones de éstas podríanresultar redundantes.En segundo lugar, se concluye que la cronologíade una EvAP es fundamental para su utilidad. ElDEO mantendrá su política de presentar las EvAP alDirectorio y al personal del Banco aproximadamenteentre tres y nueve meses antes de las deliberacionesprevistas sobre la EAP.Finalmente, se observa que existe la opinión generalizadade que una mayor interacción con losequipos a cargo de las operaciones en los países ycon los beneficiarios dentro del país durante la preparaciónde la EvAP contribuye a mejorar tanto lacalidad de las EvAP como la aceptación de sus conclusiones.Por ello, el DEO propone que se realiceun esfuerzo por conseguir que se consulte de maneramás uniforme a los beneficiarios del país y secuente con los equipos a cargo del mismo en losexámenes de mitad de período de las futuras EvAPpara poder recibir oportunamente sus observacionessobre las constataciones y recomendaciones amedida que éstas se vayan formulando.Ajay ChhibberDirector general interino, Evaluación de Operacionesviii

ResumenEl presente informe es una autoevaluación sobrelas evaluaciones de asistencia a los países(EvAP) del Departamento de Evaluación deOperaciones (DEO). En un debate sobre la metodologíautilizada por el DEO para las evaluaciones de asistenciaa los países, celebrado en el ejercicio de 2002,el Subcomité informal del Comité sobre la eficacia entérminos de desarrollo (CODE) señaló la contribuciónde las EvAP a la evaluación de las intervencionesdel Banco en los países y la necesidad de continuarmejorando su metodología. En este estudio retrospectivose intenta dar respuesta a esas consideraciones,con dos objetivos primarios: primero, compilarenseñanzas de interés para la formulación de lasestrategias de asistencia a los países a partir del conjuntomás reciente de EvAP, y segundo, evaluar lasposibles revisiones en el proceso, metodología y presentaciónde las EvAP.¿Que hemos aprendido?La primera parte de esta retrospectiva es un resumende algunas de las principales conclusiones y enseñanzasde las 25 EvAP terminadas durante los ejerciciosde 2001–03, complementadas con algunas aportacionesadicionales resultantes de las EvAP finalizadas enel ejercicio de 2004. En conjunto, estas enseñanzasrevelan que el Banco debe comprender mejor el contextode los países, profundizar su conocimiento delos mismos y calibrar mejor sus programas de asistenciaen función del progreso observable en la aplicaciónde las reformas.En esta retrospectiva se observa que la evaluaciónpor países permite hacerse una idea más completa delresultado de los programas de asistencia del Bancoque las evaluaciones de programas o proyectos concretos.En un tercio de los programas de alcance nacionalevaluados, los resultados agregados de losproyectos eran satisfactorios, pero no lo era, en términosgenerales, el programa de asistencia al país.Ello demuestra la importancia de evaluar el programanacional en forma agregada a través de una EvAP. Delo contrario, es posible que la evaluación no detectealgunas omisiones críticas en los programas de asistenciaal país; por ejemplo, que las intervenciones delos proyectos quizá no estén resolviendo los principalesobstáculos al desarrollo.Otra observación es que el éxito conseguido por elBanco no era el mismo en todos los sectores. Los resultadosen materia de salud y educación han sido relativamentesatisfactorios. En cambio, en lo querespecta al desarrollo del sector privado, la gestióndel sector público y el desarrollo rural, los esfuerzosdel Banco han sido menos eficaces en general. Losfactores que explican esos resultados menos favorablesson los siguientes:• Las reformas en estos sectores parecen suscitarmayor oposición entre los poderes establecidos ylos posibles perdedores.• Se necesita tiempo para resolver los problemas decapacidad institucional, y muchos proyectos deestos sectores tratan de mejorar el marco jurídico,ix

ESTUDIO RETROSPECTIVO SOBRE LAS EVALUACIONES DE LA ASISTENCIA A LOS PAÍSES: AUTOEVALUACIÓN DEL DEOinstitucional y regulador, pero para conseguir elcambio es preciso superar la inercia y los incentivosadversos de las burocracias de muchos países.• Estos sectores sufren mayores efectos negativosresultantes de acontecimientos exógenos y crisismacroeconómicas. Para mejorar los resultados detodos los sectores habría que hacer mayor hincapiéen cuantificar y respaldar los indicadores basadosen los resultados.Esta retrospectiva ha permitido extraer varias enseñanzaspara mejorar la formulación y aplicación de lasestrategias de asistencia del Banco a los países.En primer lugar, los programas que consiguenbuenos resultados en los países son los que estánadaptados al contexto nacional; un requisito fundamentales comprender la economía política de las reformas.La política interna y los poderes establecidosdeterminan en gran parte el primer contenido de lasreformas en los países. Se han encontrado varioscasos en que la falta de comprensión de la economíapolítica de las reformas ha llevado al Banco a impulsarreformas que tenían pocas posibilidades de éxito. Undiálogo más activo con los gobiernos nacionales, elgobierno local y las partes interesadas permite alBanco entender mejor las consideraciones relacionadascon la economía política.En segundo lugar, el conocimiento del país estáfuertemente asociado con el éxito. Es un hecho bienconocido que las intervenciones de los proyectos logranmejores resultados cuando están basadas en estudiosanalíticos exhaustivos. La misma conclusión seaplica en el caso de los éxitos o fracasos de los programasen los países. En la retrospectiva se observaque, en más de dos tercios de los programas ejecutadoscon éxito en los países, los estudios analíticos delBanco se habían realizado oportunamente. Las actividadesde asesoramiento y análisis (AAA) pueden sertambién un vehículo eficaz para conseguir que los gobiernosparticipen en el diálogo sobre políticas e informara la sociedad civil, pero debe prestarse ladebida atención a las actividades de divulgación. Enmuchos casos, no ha sido así. Esta deficiencia puedeobservarse también en los estudios analíticos basadosen la participación, ya que las conclusiones a veces nose divulgan ampliamente fuera de los ministerios gubernamentalesque colaboraron en los análisis con elBanco.En tercer lugar, varias EvAP demuestran claramenteel importante papel que los préstamos paraasistencia técnica e inversión pueden desempeñarpara promover el desarrollo institucional y el fortalecimientode la capacidad. Por otro lado, la sostenibilidadde los beneficios requiere que estas operacionesformen parte de un programa más amplio de estabilizacióny reforma macroeconómica. La probabilidadde éxito aumenta también cuando los préstamos paraasistencia técnica e inversión se vinculan con las reformasnormativas respaldadas por préstamos parafines de ajuste.En cuarto lugar, el financiamiento para fines deajuste puede dar buenos resultados, sobre todocuando va acompañado de un firme compromiso gubernamentalcon la reforma estructural y la estabilizaciónmacroeconómica; no obstante, en ausencia deun progreso continuado hacia la estabilización y la reforma,este tipo de financiamiento supone una mayorcarga de la deuda para el país y debilita los incentivosen favor de la reforma. El Banco debe resistir a las presionesen favor del financiamiento para fines de ajustecuando no hay un compromiso del gobierno con lasreformas y un historial satisfactorio en su ejecución.De hecho, los testimonios resultantes de las evaluacionesdel DEO sobre los programas de asistencia alos países no contienen pruebas demasiado convincentesde que el Banco se resistiera a estas presiones.En muchos países, cuando se cedió a esta presión, algunosresultados fueron poco satisfactorios y, sobretodo, se debilitó el incentivo en favor de las reformas.Finalmente, en esta retrospectiva se recomiendanvarias estrategias que mejorarían los resultados de losprogramas de asistencia del Banco:• Realizar un análisis de riesgos más consistente paraevaluar atentamente el compromiso del prestatariocon las reformas y su capacidad de ejecución.Todo ello debería estar inspirado en el análisis realizadopor otros y en las observaciones recibidasmediante un diálogo más amplio con las partes interesadas.• Reducir el nivel de asistencia prevista cuando seencuentran pruebas convincentes de desviacionescon respecto a la política prevista. El Banco debeestablecer mecanismos de activación claros y significativospara sus programas de asistencia y reduciresta última cuando las circunstancias loaconsejen.• Prestar con mayor prudencia en un contexto decambio radical. Así ocurre sobre todo cuandoexisten desde antiguo problemas de ejecución.x

RESUMENLos niveles de asistencia deberían ser inicialmentemoderados y condicionarse al logro de resultadosmensurables y de puntos de referencia concretos.El financiamiento del Banco produce mejores resultadoscuando avanza en paralelo con el programade reformas, sin tratar de adelantarse.En resumen, las proyecciones o expectativas optimistassin el debido análisis de riesgo muchas veces debilitanlos resultados de las estrategias en los países. Losprogramas no deberían estar basados en los mejoresresultados previstos posibles. Por último, las estrategiaspara los países deben ser flexibles, en vez de ofrecerun camino único, rígido y estrecho.¿Cómo puede mejorarse el instrumentode las EvAP?El objetivo primero de una EvAP del DEO es extraerenseñanzas de las actividades anteriores del Bancopara orientar sus estrategias futuras, como medio deilustrar la utilidad del instrumento de la EvAP. No obstante,una EvAP es una tarea compleja y, si bien sonmuchos los organismos multilaterales y bilateralesque realizan ahora evaluaciones de los programas llevadosa cabo en los países, no hay un planteamientometodológico “estándar”. En esta segunda parte de laretrospectiva sobre las EvAP se analizan las metodologíasactuales del DEO y las ventajas e inconvenientespercibidos en las EvAP con el fin de introducir nuevasmejoras en la metodología, el proceso de evaluación yla estructura de las mismas.El DEO formalizó su metodología para las EvAPen el ejercicio de 2000, y a partir de entonces lasEvAP adquirieron carácter más unificado y sistemático.La metodología actual comienza evaluando lapertinencia de la estrategia de asistencia del Banco,habida cuenta de las necesidades y desafíos del país,y en particular si se han omitido algunos de los obstáculosprincipales para el desarrollo. Luego, se evalúael programa de asistencia en relación con tresdimensiones: un examen en sentido ascendente delos productos y servicios del Banco (financiamiento,actividades de análisis y asesoramiento, y asociaciones);un examen en sentido descendente que permitedeterminar si el programa del Banco alcanzósus objetivos o resultados previstos y contribuyó notablementeal desarrollo del país, y un análisis sobrela forma en que el Banco, el prestatario, otros donantesy algunos acontecimientos exógenos hancontribuido a los resultados .Para esta retrospectiva, el DEO ha realizado unaserie de encuestas sobre el uso de las EvAP. Todas lasmedidas objetivas —un estudio de seguimiento sobrelas recomendaciones de las EvAP, un examen de lasconstataciones y recomendaciones de las EvAP en lasposteriores EAP, y deliberaciones del Directorio sobrelas EvAP posteriores— indicaban que las EvAP se mencionancon frecuencia y sus recomendaciones ocupanun lugar destacado en las EAP del Banco. Los miembrosdel CODE entrevistados para este estudio retrospectivoopinaban que las EvAP eran útiles, perodudaban de que el personal del Banco estuviera aprovechandoplenamente las conclusiones de las EvAP.Así se manifestaba en las opiniones del personal delBanco, que en general eran mucho menos positivas,pero parecían más favorables cuando existía la percepciónde que una EvAP había repercutido en la estrategiadel Banco. La conclusión a que se llega en estaretrospectiva es que las EvAP están realizando unalabor útil, pero que una revisión de la metodología,sistema de calificación e interacciones con las partesimplicadas daría lugar a una mayor aceptación y utilización.De acuerdo con una evaluación del propio DEOacerca de esta metodología y según la opinión de unevaluador externo independiente, el marco metodológico,aun siendo fundamentalmente sólido, presentabavarias deficiencias. En primer lugar, la estructurasuele hacer demasiado hincapié en los instrumentosdel Banco, más que en el logro de los objetivos delprograma. En segundo lugar, puede dar la impresiónde que las diferentes secciones de la EvAP llegan aconclusiones distintas. Por ejemplo, la calificación deresultados sobre el programa de asistencia globalpuede alejarse del total agregado de las calificacionesdel proyecto, como ya se ha señalado. Finalmente, laorganización de las EvAP suele desviar la atención delpaís hacia el Banco, primero, y del Banco hacia el país,más adelante, lo que representa un obstáculo para seguirla evolución de los acontecimientos. La evaluacióndel DEO está también en consonancia con lasopiniones de los miembros del CODE que opinabanque las EvAP insistían demasiado en las cuestiones relacionadascon el cumplimiento formal y los efectosde los instrumentos del Banco, en detrimento de losefectos conseguidos por el Banco en términos de desarrolloy de los resultados alcanzados.Una de las conclusiones de este estudio retrospectivoes que el camino a seguir es la adopción de unplanteamiento más orientado a los resultados que vin-xi

ESTUDIO RETROSPECTIVO SOBRE LAS EVALUACIONES DE LA ASISTENCIA A LOS PAÍSES: AUTOEVALUACIÓN DEL DEOcule claramente los objetivos e instrumentos delBanco con los resultados alcanzados. Con ello se destacaríanlos objetivos y resultados principales que elBanco ha tratado de conseguir en cada país, sobre labase de las EAP. El examen de la estrategia estaría basadoen un sencillo modelo de lógica que relacionalos insumos con los resultados previstos tomandocomo base la información presentada en la EAP y losdocumentos correspondientes. En relación con cadaobjetivo (y resultado previsto), la EvAP evaluaría la eficacia(y pertinencia) de los instrumentos utilizados,así como la contribución relativa del Banco (a diferenciade la de otras entidades) a ese objetivo. De esa manera,se tendría en cuenta la principal recomendacióndel Directorio Ejecutivo del Banco, a saber, que lasEvAP se centren más en los efectos reales de los programasen los países.Las EvAP contienen actualmente calificaciones delos resultados de la asistencia del Banco, su sostenibilidady los efectos en el desarrollo institucional. Estascalificaciones han suscitado debates y críticas, lo queen cierta manera refleja la polémica tradicional entrelos profesionales de la evaluación sobre la disyuntivaentre aprendizaje y rendición de cuentas. Los miembrosdel CODE se declararon en general favorables alas calificaciones, argumentando que era el mejor instrumentopara garantizar la atención de la administracióna los resultados de las EvAP. La mayoría delpersonal del Banco criticaba las calificaciones, en algunoscasos citando contradicciones patentes entrelas calificaciones y el texto descriptivo o, en otros, argumentandoque no había calificaciones diferentespara los distintos períodos. De todas formas, la cuestiónmás importante planteada es que muchos lectoresreciben incorrectamente la impresión de que lacalificación de los resultados es una calificación o delos progresos del país en términos de desarrollo o deldesempeño del Banco. Hay que hacer mucho máspara aclarar el carácter y la base de las calificaciones delas EvAP.El DEO está examinando estas calificaciones y considerandocon la administración la regularización delas autocalificaciones para los informes finales sobrelas estrategias de asistencia a los países validados porun examen de dicho departamento. Si este sistema,semejante al de calificación de los proyectos, llegara aaplicarse a todas las EAP, las calificaciones de las EvAPpodrían ser redundantes.La cronología de las EvAP condiciona en gran partesu utilidad. Para el personal del Banco, las EvAP deberíanrealizarse en los primeros momentos del procesode la EAP; por su parte, los miembros del CODE prefierenun debate en fechas próximas al examen de laEAP correspondiente. En esta retrospectiva se hacomprobado que la gran mayoría de las EvAP se habíanprogramado de manera que pudieran orientaradecuadamente la preparación de las EAP y los debatespertinentes. El examen del DEO sobre la cronologíade las EvAP realizado durante los ejercicios de2001–03 indica que, en más del 50% de las EvAP quefueron seguidas de debates del Directorio sobre laEAP, el CODE había celebrado deliberaciones al respectoen el plazo de seis meses; en las dos terceraspartes de los casos, las deliberaciones se habían celebradoen el plazo de un año. Además, a pesar de la impresiónde cierta falta de oportunidad manifestadapor el personal del Banco, las 22 EvAP examinadas porel CODE antes del debate del Directorio sobre las EAPaparecieron mencionadas en éstas. El DEO mantendrásu política de presentar las EvAP al Directorio y alpersonal del Banco aproximadamente entre tres ynueve meses antes de los debates previstos sobre lasEAP, pero observa que la falta de previsibilidad en laprogramación de los debates sobre las EAP representaun grave problema para cumplir este objetivo.Finalmente, existía la opinión generalizada de quela intensificación de las interacciones con los equiposdel país durante la preparación de las EvAP y con losbeneficiarios locales mejoraría tanto la calidad de lasEvAP como la aceptación de sus conclusiones. Si bienen esta retrospectiva se comprueba que las interaccionescon los beneficiarios locales han sido muchomás numerosas que lo que indican esas impresiones,el DEO hará lo posible por garantizar de manera másuniforme que se consulte a los beneficiarios del país yque se tengan en cuenta sus opiniones. De la mismamanera, se observa también que una integración mássistemática con los equipos a cargo del país durante elproceso de preparación de la evaluación puede ayudara aclarar y mejorar la aceptación de las constatacionesde la EvAP y su incorporación en los programasdel país. Por ello, el DEO propone que se cuente conel equipo del país en los exámenes de mitad de períodosobre las EvAP futuras para poder estar al tanto,desde el principio, de las constataciones y recomendacionesa medida que éstas se van formulando.xii

SiglasAIFARDEBAfDBIDBIRFCADCODECPIADEODPEAPEESEvAPNGOOCDEUNICEFVPFAsociación Internacional de FomentoExamen anual de la eficacia en términos de desarrolloBanco Africano de DesarrolloBanco Interamericano de DesarrolloBanco Internacional de Reconstrucción y FomentoComité de Asistencia para el DesarrolloComité sobre la eficacia en términos de desarrolloEvaluación de las políticas e instituciones nacionalesDepartamento de Evaluación de OperacionesDirectores a cargo de las operaciones del Banco en los paísesEstrategia de asistencia a los paísesEstudios económicos y sectorialesEvaluación de la asistencia a los paísesOrganización no gubernamentalOrganización para la Cooperación y el Desarrollo EconómicosFondo de las Naciones Unidas para la InfanciaVicepresidente de las oficinas regionalesxiii

1IntroducciónEl presente informe es una autoevaluación sobre las evaluaciones de asistenciaa los países (EvAP) del Departamento de Evaluación de Operaciones(DEO). En un debate sobre la metodología de la EvAP celebrado en 2002,el Subcomité informal del Comité sobre la eficacia en términos de desarrollo(CODE) señaló la contribución de las EvAP a la evaluación de las intervencionesdel Banco en los países y la necesidad de continuar mejorando su metodología.En esta retrospectiva se intenta dar respuesta a esasconsideraciones, con dos objetivos primarios. En primerlugar, se intenta dar respuesta a la pregunta “¿Quéhemos aprendido?”, compilando enseñanzas de interéspara la formulación de estrategias de asistencia a lospaíses a partir de la serie más reciente de EvAP. En segundolugar, se evalúan las revisiones propuestas en elproceso, metodología y presentación de las EvAP conel fin de responder al siguiente interrogante: “¿Cómose puede mejorar el instrumento de las EvAP?”.AntecedentesLa asistencia para el desarrollo ofrecida por elBanco está ahora firmemente orientada hacialos países. Las estrategias de asistencia a los países(EAP) se han convertido en elemento central de losprogramas del Banco en los países y sitúan su laboroperacional en el contexto de la estrategia y los objetivosde desarrollo del país. El Banco está actualmentereforzando su proceso de formulación de estrategiasmediante la adopción de un marco de resultados paralas EAP con el fin de definir más claramente los resultadosque intenta conseguir en el país así como las vinculacionesentre estos resultados y el programarespaldado por sus iniciativas.En el contexto del nuevo planteamiento delBanco, más centrado en los países que en losproyectos, el DEO comenzó a evaluar los programasen los países en el ejercicio de 1995. Elplanteamiento metodológico evolucionó, tomandocomo base la metodología para los proyectos del DEO.En el ejercicio de 2000 había adquirido carácter formal1 , y en el de 2002, como ya se ha señalado, la metodologíade la EvAP se examinó en la reunión delSubcomité del CODE. El resultado fue un planteamientomás uniforme y coherente.La metodología actual comienza evaluando la pertinenciade la estrategia de asistencia del Banco, habidacuenta de las necesidades y desafíos del país, ydeterminando, entre otras cosas, si se han omitido algunosde los obstáculos principales para el desarrollo.Luego, se evalúa el programa de asistencia en relacióncon tres dimensiones. El primer paso es un examen ensentido ascendente de losproductos y servicios delBanco (financiamiento, actividadesde análisis y asesoramiento,y coordinaciónde la ayuda), que se utilizanpara conseguir sus objeti-Las estrategias de asistenciaa los países (EAP) se hanconvertido en elementocentral de los programasdel Banco en los países.1

ESTUDIO RETROSPECTIVO SOBRE LAS EVALUACIONES DE LA ASISTENCIA A LOS PAÍSES: AUTOEVALUACIÓN DEL DEOvos. El siguiente paso es un examen en sentido descendenteque permite determinar si el programa delBanco alcanzó sus objetivos o resultados previstos yconsiguió resultados notables en el desarrollo del país.Estos dos primeros pasos permiten comprobar la coherenciade las conclusiones acerca de los productosy servicios, y las dimensiones del efecto en términosde desarrollo. Finalmente, la EvAP intenta determinarcómo han contribuido a los resultados el Banco elprestatario, otros donantes y algunos acontecimientosexógenos.Al finalizar el ejercicio de 2004, el DEO habíapresentado EvAP en que se evaluaban los efectosde la asistencia del Banco a 64 países 2 . Estasevaluaciones abarcan aproximadamente el 47% de losprestatarios y el 76% del total de los compromisos brutos.En la presente retrospectiva se presta especialatención a las 25 EvAP terminadas en los ejercicios de2001–03, pero se incluyen también algunas ideas resultantesde las ocho EvAP adicionales terminadas duranteel ejercicio de 2004.Se han llevado a cabo cinco EvAP conjuntascon otras instituciones multilaterales para fomentarel intercambio de experiencias y la armonizaciónde las evaluaciones. Las EvAP deLesotho y Rwanda fueron preparadas conjuntamentecon el Banco Africano de Desarrollo (BAfD); las de Jordaniay Túnez, en asociación con el Banco Islámico deDesarrollo, y la de Perú, en paralelo con el Banco Interamericanode Desarrollo.Los objetivos principales de estas iniciativas conjuntashan sido promover el aprendizaje por ambaspartes y alentar la elaboración de normas de evaluacióncomunes, de acuerdo con el programa másamplio de armonización del Banco y otros donantes.Por ejemplo, el BAfD revisó recientemente susorientaciones para las EAP, a fin de armonizarlascon la actual metodología del DEO. Estas evaluacionesconjuntas también han permitido identificarlos principales obstáculos y deficiencias en la asistenciade los donantes. Por ejemplo, la evaluacióndel BAfD sobre su programa en Rwanda puso demanifiesto la falta de una política para las situacionesposteriores a los conflictos. Finalmente, las evaluacionesconjuntas son un medio para reducir lacarga de los países receptores que, de lo contrario,tendrían que realizar numerosas actividades de evaluaciónpara los distintos donantes. Pero estos beneficiosse ven contrarrestados en parte por loscostos de transacción y el tiempo adicional necesariopara las consultas y la coordinación.Enfoque de la evaluación retrospectiva sobrelas EvAPPara alcanzar los dos objetivos de esta retrospectiva, elDEO encargó una serie de estudios de antecedentespara evaluar las enseñanzas aprendidas, la metodologíade las EvAP, y el uso de éstas por el Directorio, elCODE (y el Subcomité del CODE) y el personal delBanco.• El personal del Banco examinó las 25 EvAP terminadasen los ejercicios de 2001–03 para determinarlas enseñanzas que podrían aplicarse a las diferentesEvAP. El análisis y conclusiones de este examenpueden verse en la Parte I.• El DEO encargó una consulta independiente pararealizar investigaciones cualitativas, basadas en entrevistasen profundidad con miembros del Directorio,del CODE y del Subcomité del CODE, y otrosparticipantes en los debates sobre las EvAP en lasreuniones del CODE o de su Subcomité. En total,fueron entrevistadas 30 personas.• Se llevaron a cabo dos estudios de seguimiento. Seexaminaron las transcripciones de las deliberacionesdel Directorio y las declaraciones escritasde los directores ejecutivos acerca de las EAP o losinformes sobre su aplicación en los países paraevaluar los efectos de las EvAP en las siguientesdeliberaciones sobre las EAP. Asimismo, seanalizaron los estudios documentales de 25 EAP(o los correspondientes informes acerca de suaplicación) presentadas después de las EvAP paradeterminar la oportunidad de estas últimas y lautilización de sus recomendaciones.• El DEO encargó al mismo consultor independientea quien se habían confiado las entrevistassobre el CODE que llevara a cabo un estudio cualitativosemejante con el personal del Banco. Seefectuaron entrevistas en profundidad con 20 directoresy ex directores a cargo de países quehabían tenido alguna relación con una o más de las25 EvAP terminadas en los ejercicios de 2001–03,cinco vicepresidentes y ex vicepresidentes regionales,y otros 18 funcionarios del Banco.• Un evaluador profesional examinó el actualplanteamiento metodológico de las EvAP y propusocambios con el fin específico de centrar las EvAP enlos resultados relacionados con las mismas.• Se llevó a cabo un estudio documental sobre losmétodos de evaluación de los países utilizados porotros organismos bilaterales y multilaterales paraidentificar prácticas recomendables.2

2Parte I: ¿Qué hemosaprendido?En el presente capítulo se resumen las constataciones y enseñanzas de las25 EvAP terminadas en los ejercicios de 2001–03. Se incluyen tambiénalgunas observaciones resultantes de ocho EvAP terminadas durante elejercicio de 2004 3 .Estas 25 EvAP no son una muestra aleatoria ni representativa.Los países de las EvAP se seleccionanteniendo en cuenta varios factores. El más importantees la cronología de la siguiente estrategia deasistencia al país (EAP) del Banco, pero se tienentambién en cuenta otros factores, como la capacidaddel DEO para colaborar con otras institucionesfinancieras internacionales, la distribución regionaly el hecho de que en una anterior EvAP se haya incluidoo no al país. Así pues, si bien los países nopueden considerarse una muestra aleatoria deprestatarios del Banco, esas 25 EvAP constituyenuna base razonable para este examen de las “constatacionesy enseñanzas” (véase el Cuadro 2.1).Hay una combinación adecuada de países de ingresobajo y mediano, de prestatarios del Banco Internacionalde Reconstrucción y Fomento (BIRF) yde la Asociación Internacional de Fomento (AIF)y de las regiones. Se incluyen también cuatro paísesque han atravesado recientemente situaciones deconflicto. La muestra contiene asimismo una combinaciónadecuada de países con resultados positivos(unas tres quintas partes) y países conresultados poco satisfactorios. Está dividida enforma bastante equitativa entre países con resultadospositivos y negativos, de acuerdo con la calificaciónde la Evaluación de las políticas einstituciones nacionales del Banco. Como se observaen el Examen anual de la eficacia en términosde desarrollo 2003, hay una correlación positivaentre las calificaciones de resultados de la EvAP y eldesempeño en materia de políticas (DEO 2004a,página 15). Una deficiencia es que la cobertura delos países de América Latina y Asia meridional yoriental es escasa, sobre todo porque las evaluacionesde los países de estas regiones estaban prácticamenteterminadas antes del ejercicio de 2001.ConstatacionesLas calificaciones de los efectos directos delas EvAP no siempre coinciden con el totalagregado de los resultados de los proyectos.Aproximadamente en un tercio de las EvAP, la calificaciónde los efectosdirectos de la estrategia deasistencia al país fue pocosatisfactoria, pero la agregaciónde los resultadosde los proyectos en el país durante el período correspondientea la EvAP fue satisfactoria (Cuadro2.2). En cierta forma, era previsible. La EvAP es unaevaluación global del programa del Banco en unpaís que comprende tanto proyectos como actividadesde análisis y asesoramiento. Además, lasEstas 25 EvAP no sonuna muestra aleatoriani representativa.3

ESTUDIO RETROSPECTIVO SOBRE LAS EVALUACIONES DE LA ASISTENCIA A LOS PAÍSES: AUTOEVALUACIÓN DEL DEOCuadro 2.1Característicasde los 25 paísesincluidos en las EvAPNivel de ingresosBajo 10Mediano-bajo 12Mediano-alto 325BIRF, AIF o combinación de ambosBIRF 14AIF 8Combinación 224 aHa salido o no de un conflictoSí 4No 2125Nivel de la CPIA bPor encima de la media 13Por debajo de la media 1124 cRegiónÁfrica 12Asia oriental y el Pacífico 2Asia meridional 1Europa y Asia central 5Oriente Medio y Norte de África 3América Latina y el Caribe 225Calificaciones de los efectosdirectos del DEOMuy satisfactorios 2Satisfactorios 9Moderadamente satisfactorios 8Moderadamente insatisfactorios 3Insatisfactorios 931 da. En el caso de la Ribera Occidental y Gaza, el financiamiento se ofrece a través de un Fondo Fiduciariodel Banco Mundial y se otorga en las condiciones de la AIF o en forma de donación.b. CPIA = Evaluación de las políticas e instituciones nacionales.c. No hay CPIA para la Ribera Occidental y Gaza.d. Cuatro países recibieron calificaciones diferentes en los períodos parciales.EvAP deben realizar una evaluación de la estrategiaglobal del Banco, en que se incluye el volumen, lacomposición sectorial y el tipo de financiamiento.Por ejemplo, el resultado de la EvAP puede serpoco satisfactorio si hay omisiones fundamentalesen la estrategia de asistencia global del Banco, auncuando los efectos directos de cada uno de losproyectos sean calificados de satisfactorios.En las EvAP se comprobó que los resultadosde los programas del Banco eran mejoresen la educación y la salud que en otros sectores,y que los menos satisfactorios correspondíanal desarrollo del sector privado, eldesarrollo rural, el medio ambiente y la protecciónsocial (Cuadro 2.3). Lo mismo se observaen las calificaciones globales de los proyectosen el mismo conjunto de 25 EvAP (Cuadro 2.3). Lasúnicas divergencias significativas entre calificacionessectoriales de las EvAP y las de los resultados delos proyectos se registraron en las esferas del desarrollodel sector privado, el desarrollo rural y la gestióndel sector público, en que los resultadosrelativamente desfavorables de las EvAP contrastancon la elevada proporción de resultados satisfactoriosen los diferentes proyectos.La divergencia en las calificaciones sobrelos resultados conseguidos por los proyectosy sectores en las esferas del desarrollo delsector privado, el desarrollo rural y la gestióndel sector público podrían deberse a variosfactores. En primer lugar, la economía políticade las reformas en estos sectores es másproblemática, y es probable que la oposiciónde los posibles perdedores y de los poderesestablecidos sea más decidida y constante. Esposible que los proyectos individuales se realicencon éxito, pero se necesitará más tiempo y un esfuerzomás constante para superar la oposición políticay lograr resultados positivos en un plano másgeneral. Por ejemplo, en las economías en transición,la desconfianza histórica hacia las empresas privadaspor parte de la nomenklatura tiene sólidas raíces ideológicasy no se puede superar fácilmente. A pesar delas reformas jurídicas y reglamentarias, existe todavíaun fuerte sesgo contra las empresas privadas en muchosde estos países. En las economías menos desarrolladasde Asia, África y América Latina, las grandesiniciativas de desarrollo rural tropiezan muchasveces con conflictos de interés entre grupos poderosos(como los grandes agricultores frente a los jornaleros,o la población urbana frente a los habitantesde las ciudades), cuya solución requerirá tiempo ytalento político.4

PARTE I: ¿QUÉ HEMOS APRENDIDO?En segundo lugar, aun cuando no hayauna fuerte oposición política, estas esferasdependen enormemente de las reformas institucionalesy el fortalecimiento de la capacidad,iniciativas que requieren tiempo y nosiempre se recogen en el marco cronológicode una EvAP. Por ejemplo, el desarrollo del sectorprivado presupone un sistema judicial eficaz, queno puede conseguirse en breve tiempo. La reformade la administración pública es también un procesoprolongado y sus resultados pueden tardar en hacerserealidad. Por ello, los progresos en este sectorsólo serán patentes tras un largo proceso.Finalmente, los resultados en estas esferasdependen más de la evolución de toda la economíay de factores exógenos. El crecimientodel sector privado depende no sólo del marco jurídicoy regulador para el desarrollo del sector privadosino también del progreso en otras esferas dela política económica, como la estabilización macroeconómica,la infraestructura y el sector financiero.También contribuyen notablemente lascondiciones no económicas del país, como la vigenciadel estado de derecho, y acontecimientosexternos, como la coyuntura dominante en el mercadodentro de la región. El desarrollo rural y las reformasdel sector público dependen también enforma significativa de acontecimientos relaciona-Cuadro 2.2dos con el conjunto de la economía (con ello no sequiere decir que los resultados en otros sectores nodependan en cierta medida de dichos factores; esuna cuestión de grado).EnseñanzasaprendidasPrimera enseñanza: Lacomprensión de la economíapolítica de las reformas,con inclusión delcompromiso del gobiernoy su identificación con lasreformas y el grado deapoyo político o de oposicióna ellas, es fundamen-Calificaciones de losefectos directos delas EvAP y de losproyectosCalificaciones de los efectosdirectos de las EvAP (%)Efectos directos de la carterade los países Satisfactorio InsatisfactorioSatisfactorio 53 33Insatisfactorio 7 7Fuente: Base de datos del Banco Mundial.Una comprensióninadecuada de laeconomía política de lasreformas y del carácterdel Estado quizá hayaimpulsado al Banco, enalgunos casos, a proponerreformas que teníanpocas posibilidades deéxito.Cuadro 2.3Calificaciones sectoriales y de proyectos,EvAP de los ejercicios de 2001–03Efectos directosde los proyectosCalificaciones de los efectos directos sectoriales de las EvAP (%) bEfectos directosSector(% satisfactorios) a Satisfactorios Insatisfactorios distinto signo Sin evaluarEducación 100,0 48 8 4 40Salud 86,5 40 20 8 32Protección social 37,9 12 24 20 44Medio ambiente 25,5 16 16 24 44Sector rural 87,2 12 36 28 24Sector financiero 81,6 24 16 32 28Infraestructura 87,7 36 16 24 24Sector público 99,9 24 32 28 16Desarrollo del sector privado 60,1 12 24 44 20a. Este es el porcentaje de efectos directos de proyectos satisfactorios desglosados por sector (valor del compromiso) en los países cuyas EvAP se terminaron durante los ejercicios de 2001–03.b. Estas columnas son calificaciones de jefes de proyecto de EvAP y de un estudio documental de las EvAP de los efectos directos, por sector. En la mayoría de los casos, en las EvAP no se incluyeroncalificaciones explícitas por sector y, por lo tanto, estas calificaciones deberían tratarse sólo como indicativas.Fuente: Base de datos del Banco y estimaciones del personal del DEO.5

ESTUDIO RETROSPECTIVO SOBRE LAS EVALUACIONES DE LA ASISTENCIA A LOS PAÍSES: AUTOEVALUACIÓN DEL DEOEl desarrollo institucionales un requisitofundamental de laeficacia para el desarrollo.tal para elaborar EAP,programas de asistenciaespecífica y proyectos realistas,y los análisis deriesgos.Las reformas económicasmuchas veces fracasaron bien porque el gobiernono estaba comprometido con ellas o porqueinfravaloró la oposición a las reformas y no pudo llevarlasa cabo. Una comprensión inadecuada de laeconomía política de las reformas y del carácter delEstado quizá haya impulsado al Banco, en algunoscasos, a proponer reformas que tenían pocas posibilidadesde éxito. Por ejemplo, en Zimbabwe, una delas principales motivaciones de la política económicay social del gobierno era garantizar la propiedad indígenade los activos productivos. La debida valoraciónde la importancia de este tema podría haberllevado al Banco a dar prioridad a la reforma agraria.También se habría comprendido mejor la resistenciadel gobierno a reformar los servicios paraestatales yla administración pública. La privatización y la reformade la administración pública en Perú se vieronamenazadas por la oposición de la clase media. Estaposición podría haberse reducido con una secuenciadiferente de reformas y medidas de protecciónsocial para mitigar los efectos adversos de la privatizacióny de la reforma de la administración pública.Segunda enseñanza: Las reformas institucionalesdel fortalecimiento de la capacidad paraun sistema eficaz de gobierno son condiciones imprescindiblespara conseguir resultados positivos.Como el fortalecimiento de la capacidad requieretiempo, estas reformas deben comenzar sin demoray prolongarse durante varios años.El desarrollo institucional es un requisito fundamentalde la eficacia para el desarrollo. La existenciade instituciones más sólidas está asociada conuna probabilidad un 20% mayor de que el resultadodel proyecto se califique de satisfactorio (DEO,Dos terceras partes de lasEvAP que registraronefectos directos favorablestambién coincidieron enque dichos estudioshabían sido oportunos.1999). Los resultados delas reformas muchas vecesse ven frustrados por ladebilidad de las institucioneso la ausencia de mecanismosinstitucionalesimportantes.Por ejemplo, en las economías en transición deEuropa central y oriental y de la antigua Unión Soviética,las instituciones vigentes no se habían concebidopensando en una economía de mercado. Aldesplomarse la economía dirigida y ponerse enmarcha reformas orientadas al mercado, tuvo quepasar bastante tiempo antes de que se establecieranlas instituciones adecuadas, lo que impidió que sehicieran realidad todos los posibles beneficios delas reformas 4 . La reforma institucional significa algomás que cambiar las estructuras y normas organizativas;significa también que hay que desprendersede hábitos y comportamientos arraigados, loque es un proceso complicado y largo. Los grandescambios institucionales quizá deban prolongarsedurante varios años 5 .Tercera enseñanza: Los resultados favorablesde las reformas en un sector dependen con frecuenciade otras reformas y logros complementariosen otros sectores. La secuencia y combinaciónde reformas debe tener en cuenta esta complementariedad.En varias EvAP se ha observado que podrían haberseconseguido resultados más favorables si sehubiera prestado más atención a la complementariedadde las reformas en diferentes sectores. El desarrollodel sector privado no se puede conseguirsencillamente con la privatización. Se necesitatambién la reforma del sector público mediante ladesregulación, los cambios en la política y administraciónde impuestos, y las reformas contra la corrupción.Por ejemplo, en Mongolia se adoptaronmedidas importantes para promover el desarrollodel sector privado —autorización de la propiedadprivada, eliminación de los controles de precios ymárgenes, reducción de los obstáculos comerciales,simplificación del régimen tributario, y mejoradel marco para la inversión extranjera—, pero nose hizo lo bastante para aligerar la presencia delEstado en la economía. La ineficiencia de las funcionesgubernamentales de reglamentación y supervisióncontinuó obstaculizando el desarrollo delsector privado.Como se ha observado en varias EvAP, el crecimientodel sector privado depende en gran medidade la existencia de un sistema judicial eficaz. Asimismo,se ha podido comprobar que la contribuciónde las reformas del sector financiero a mejorar el sis-6

PARTE I: ¿QUÉ HEMOS APRENDIDO?tema de intermediación financiera depende de maneradecisiva de las reformas adoptadas en el sectorempresarial y en el sector público. Por ejemplo, laexperiencia revela que las empresas que cuentan conque podrán ser rescatadas por el sector público encaso de dificultad (mediante subvenciones explícitaso implícitas y la acumulación de atrasos en el pago delos impuestos) tienen menos incentivos para endeudarsecon los bancos. En lo que respecta a la oferta,los bancos se resisten a prestar a las empresas quesobreviven únicamente porque están subvencionadaspor el sector público. En ambos casos, se frena elcrecimiento de la intermediación financiera.Cuarta enseñanza: Los estudios económicos ysectoriales (EES) deben ser oportunos y de buenacalidad e integrarse plenamente en el diseño de laestrategia, programas y proyectos del Banco. Elfactor oportunidad resulta especialmente importantecuando se trata de prestatarios que solicitanun préstamo por primera vez o que reanudanesta práctica después de algún tiempo y de los paísescon reformas intermitentes.Los estudios económicos y sectoriales puedencontribuir a la estrategia de asistencia del Banco y aaumentar su eficacia. Dos terceras partes de lasEvAP que registraron efectos directos favorablestambién coincidieron en que dichos estudios habíansido oportunos. En las mismas EvAP se señalabanresultados desfavorables cuando los EES no sehabían realizado oportunamente.En Brasil, los EES oportunos ayudaron al Bancoa orientar el financiamiento hacia los proyectos deeducación, salud y pobreza rural en el Nordeste,con resultados especialmente favorables en la reducciónde la pobreza. En Viet Nam, los EES demostraronque la pobreza rural estaba fuertementeasociada con la falta de infraestructura económica,lo que ayudó a orientar el programa de financiamientodel Banco a corregir esa deficiencia.Entre los ejemplos de contribuciones menos satisfactoriasde los EES cabe citar el caso de Kazajstán,donde un proyecto de protección social tratóde mitigar los efectos sociales de la privatización reforzandola capacidad institucional de los serviciosde desempleo para agilizar los procedimientos deregistro y pago de prestaciones de desempleo. Laevaluación de la pobreza que tuvo lugar dos añosdespués reveló que lo que se necesitaba realmenteeran políticas para facilitar la movilidad laboral yequipar a los trabajadores para adaptarse a las nuevascircunstancias, más que el fortalecimiento de lacapacidad de los servicios de desempleo. En Bulgaria,una evaluación oportuna sobre la pobreza podríahaber hecho posible que un préstamo para laprotección social se orientara más eficazmente aofrecer asistencia social a los necesitados.En algunos países, los EES fueron oportunos yde alta calidad, pero sus constataciones no se tuvieronplenamente en cuenta al diseñar las estrategiaso se utilizaron en forma selectiva, lo que redujosu pertinencia y eficacia. Por ejemplo, en Jordania,el financiamiento del Banco durante el decenio de1990 no tuvo en cuenta el alto nivel de gastos públicos,a pesar de algunos análisis en que se especificabacómo podrían reducirse y orientarse mejor.En Perú, el Préstamo para la reforma del sector financiero(ejercicio de 1999) no abordó los problemasfundamentales del sector, que se habíanidentificado adecuadamente en una evaluación delsector financiero.Los EES pueden constituir una base adecuada deconocimientos y ayudar al Banco a implicar a los gobiernosen su diálogo sobre políticas. Pueden ayudartambién a un gobierno a comprender los costosy beneficios de las reformas y a diseñar un programaal respecto. Deberían tenerse también encuenta sus efectos a largo plazo, ya que permiteniniciar un debate sobre políticas y contribuyen a familiarizara la sociedad civil con las cuestiones relativasa las reformas. Es obvio, sin embargo, queestos estudios no pueden promover el cambio depolíticas cuando los gobiernos no se han comprometidocon las reformas.Quinta enseñanza: Los préstamos específicospara la inversión y la asistencia técnica puedenser vehículos útiles para promover las reformasinstitucionales, pero para que los beneficios seansostenibles, estas operaciones deben formar partede una estrategia más amplia de estabilización y reformaeconómica, y debencontar con el apoyo de undecidido compromiso gubernamentalcon la reforma.Aproximadamente 22 delos 25 EvAP contienen testimoniosclaros sobre el potencialde los préstamosespecíficos para la inversiónCuando no hay uncompromiso firme ysostenido del gobierno conlas reformas, es probableque la asistencia delBanco no dé los resultadosapetecidos.7

ESTUDIO RETROSPECTIVO SOBRE LAS EVALUACIONES DE LA ASISTENCIA A LOS PAÍSES: AUTOEVALUACIÓN DEL DEOLas estrategias de asistenciaa los países supusieron enmuchos casos uncrecimiento mucho mayordel que podría esperarseteniendo en cuenta elhistorial del país o laexperiencia de otros paísescon dificultades yperspectivas semejantes.y la asistencia técnica como medio de promover eldesarrollo institucional en los países de ingresobajo y mediano 6 . Veinte de estos países recibierontambién préstamos para fines de ajuste. En muchospaíses, los préstamos específicos para la asistenciatécnica y el fortalecimiento institucional estuvieronvinculados estrechamente con los préstamos parafines ajuste, lo que ayudó a fortalecer la capacidadde formular y aplicar cambios normativos respaldadoscon este tipo de préstamos.El firme compromiso gubernamental y la claraarticulación de las prioridades continuaron siendoun factor clave para la eficacia de estos instrumentoscomo medio de promover el desarrollo institucional.En este contexto, el marco cronológico másprolongado de los préstamos para la inversión permitióal Banco fortalecer las relaciones con sus contrapartesy compaginar el asesoramiento con laasistencia financiera, sobre todo a los ministeriossectoriales. Por el contrario, cuando no hay uncompromiso firme y sostenido del gobierno con lasreformas, es probable que la asistencia del Bancono dé los resultados apetecidos 7 .Sexta enseñanza: El financiamiento para finesde ajuste en ausencia de progreso sostenido en lasreformas significa únicamente una mayor cargade la deuda para el país y puede debilitar los incentivospara reformas futuras.El financiamiento para fines de ajuste puede darbuenos resultados, sobre todo cuando el gobiernose compromete a fondo con la estabilización macroeconómicay la reforma estructural. No obstante,el Banco debe resistirse a las presiones enfavor de este tipo de financiamiento en ausenciade compromiso gubernamental con las reformas yde un historial satisfactorio de su puesta en práctica.La justificación de lospréstamos para fines deajuste era ofrecer financiamientocon el fin de mitigarel costo del ajusteasociado a la aplicación dereformas estructurales.Sin embargo, el examende las EvAP para este estudioretrospectivo revelóque el financiamiento parafines de ajuste se aplazódebidamente sólo en dospaíses (Bulgaria y Brasil) cuando se paralizó la reforma.Nada menos que en otros siete países, elBanco continuó adelante con los préstamos parafines de ajuste aunque se había progresado pocohacia las metas institucionales y los objetivos deasistencia del Banco 8 .En esos países había presiones en favor del financiamiento,por varias razones: aprovechar unaoportunidad única (Kenya), mostrar el apoyo al gobierno(Marruecos), mantener relaciones (Zimbabwe),evitar una posible crisis (Perú), impedir elregreso del comunismo (Rusia) y alejar el peligrode flujos netos negativos (Zambia). Si bien estosfactores pueden haber influido en el Banco, haypocas dudas de que en algunos países disminuyó elinterés por la reforma cuando el Banco decidióofrecer el préstamo, con la consiguiente carga de ladeuda para los países 9 .Séptima enseñanza: Es importante un análisisde riesgo exhaustivo, serio y pragmático para quelas estrategias de los países sean más realistas.El Banco necesita ser más realista y pragmáticoen sus evaluaciones de los países y en la formulaciónde las estrategias correspondientes, incluidala evaluación del compromiso de un prestatariocon las reformas y su capacidad de ejecución, ladisposición a seguir el asesoramiento del Banco ylos efectos de las reformas en el crecimiento y lamitigación de la pobreza. En muchos países evaluados(Haití, Jordania, Kazajstán, Kenya, Lesotho,Marruecos, Paraguay, Perú, República Kirguisa,Zambia, Zimbabwe), las estrategias del Banco handemostrado errores sistemáticos de exceso de optimismoen cuanto a la aceptación de su asesoramientopor los países, la disponibilidad de éstos aemprender reformas difíciles y la capacidad gubernamentalde aplicar las reformas. Este optimismomuchas veces se mantuvo a pesar de laspruebas en contrario 10 y contribuyó a decisionesde financiamiento del Banco que no lograroncumplir sus objetivos 11 .Las estrategias de asistencia a los países supusieronen muchos casos un crecimiento muchomayor del que podría esperarse teniendo en cuentael historial del país o la experiencia de otros paísescon dificultades y perspectivas semejantes. Las evaluacionesrevelaron proyecciones de crecimientopoco realistas en varios países (Jordania, Kazajstán,República Kirguisa y Zambia). La falta de realismo8

PARTE I: ¿QUÉ HEMOS APRENDIDO?de las estimaciones sobre el crecimiento contribuyóa estrategias inadecuadas de asistencia delBanco y significó mayores costos reales para los países.Si las estimaciones del crecimiento hubieransido realistas, el Banco habría concentrado probablementemás estudios analíticos en los factores yobstáculos del crecimiento, así como en las medidasde reducción de la pobreza. Unas proyeccionesde crecimiento realistas habrían ilustrado tambiénmás claramente los problemas de sostenibilidad dela deuda, y se habrían intensificado los esfuerzospor conseguir alivio de la deuda u otras formas deasistencia financiera en condiciones concesionarias,para no imponer una carga de la deuda externademasiado pesada 12 ; por último, se podría haberconvencido a los países de que emprendieran reformasmás a fondo para acelerar el crecimientoeconómico.Octava enseñanza: El Banco debería estar másdispuesto a reducir el nivel de la asistencia planificadacuando se encuentran claros testimoniosde desviación con respecto a la política prevista.Además de identificar los riesgos, el Banco debeestar preparado para modificar su programa de asistenciacuando el gobierno flaquea en su compromisoo en el cumplimiento de las políticas previstas. Unejemplo positivo es el de Bulgaria a mitad del deceniode 1990. Se redujo el financiamiento y se frenó un importantepréstamo para fines de ajuste debido al aumentode los riesgos macroeconómicos y a la falta decompromiso gubernamental con las reformas. No obstante,el examen de las EvAP revela que no ocurrió asíen varios casos. En Perú, el programa del Banco nocontenía mecanismos de activación para reducir elpréstamo si los riesgos se hacían realidad. En Kenya, laestrategia de 1998 reconocía también los riesgos, y elprograma contenía puntos de referencia de la EAP,pero el Banco no intervino a pesar de que no se habíanalcanzado los puntos de referencia. En Marruecos, elBanco ofreció un préstamo en apoyo de la reforma delas políticas en los últimos años noventa con el fin derecompensar la evolución del país hacia un sistemapolítico más abierto y su compromiso con la reforma.El préstamo era demasiado vago para conseguir unarepercusión notable en ninguna de las esferas críticasde la reforma identificadas en la estrategia para el país.Muchas de las acciones adoptadas antes de la presen-tación al Directorio fueronmedidas iniciales, algunasveces en forma de estudioso planes, y muchas otras noconsiguieron resultados concretos.Novena enseñanza: ElBanco debería mostrar especialcautela en situacionesde cambio radical. Suestrategia de asistenciadebería estar basada enevaluaciones realistas deNormalmente, el Bancotiene dificultades paraidentificar los “puntos deinflexión” y acomodar surespuesta a la cambiantesituación del país. Suelereaccionar lentamenteante los retrocesos ydemasiado rápidamenteante las mejoras.los países, más que en ilusiones.Normalmente, el Banco tiene dificultades paraidentificar los “puntos de inflexión” y acomodar surespuesta a la cambiante situación del país. Suelereaccionar lentamente ante los retrocesos y demasiadorápidamente ante las mejoras. Por ejemplo,en la República Dominicana, el Banco no detectóun cambio positivo de coyuntura durante los ejerciciosde 1992–95 y no prestó apoyo al gobierno duranteun período crucial de reformas económicaspositivas. Este error le costó su influencia en el país.En 1997, el Banco no consiguió reconocer el iniciode una fase descendente en Perú y mantuvo elapoyo que estaba prestando anteriormente cuandose llevaron a cabo las reformas. En Kenya, los pasosiniciales hacia las reformas a mediados del año 2000se calificaron prematuramente como un cambio favorablede coyuntura y se recompensaron con unfinanciamiento más considerable; a la larga, el procesode reforma se estancó.Para cambiar de actitud, el Banco debe manteneruna vigilancia más atenta a través de sus misionesresidentes, sus contactos con la sociedad civil ylos pertinentes EES para comprender mejor la economíapolítica. En la medida de lo posible, el compromisogubernamental debería evaluarse sobre labase de su historial en la aplicación de reformas, node su declaración de intenciones. Los niveles deasistencia deberían ser inicialmente prudentes yevolucionar en función de resultados cuantificablesy puntos de referencia concretos. Así ocurre sobretodo en las situaciones en que hay problemas deejecución de larga data.9

3Parte II: ¿Cómo puedemejorarse el instrumentode las EvAP?a principal finalidad de una evaluación de la asistencia a los países (EvAP)efectuada por el Departamento de Evaluación de Operaciones (DEO) esextraer enseñanzas de las actividades anteriores del Banco para orientar lasLestrategias futuras. En la primera parte del análisis retrospectivo se sintetizaronvarias enseñanzas y algunos resultados producidos por el conjunto de evaluacionesmás recientes del DEO. Estas enseñanzas, que concuerdan bien con los resultadosde otras evaluaciones del DEO, explican la utilidad del instrumento de las EvAP. Noobstante, una EvAP es una tarea compleja y, si bien son muchos los organismosmultilaterales y bilaterales que realizan ahora evaluaciones de los programasllevados a cabo en los países, no hay un planteamiento metodológico uniforme 13 .En esta segunda parte del análisis retrospectivosobre las EvAP se analizan las metodologías actualesdel DEO y su percepción de las fortalezas y debilidadesde dichas evaluaciones con el objeto de mejorarla metodología, el proceso y la estructura de las mismas.En este capítulo se discute el efecto de las evaluacionesen la formulación de estrategias deasistencia a los países (EAP), el sistema de calificación,el uso de situaciones hipotéticas en ausenciade intervención, la cronología de las evaluaciones, lainteracción con los equipos a cargo de las operacionesen el país y los beneficiarios dentro del mismo,así como la presentación de las EvAP. Cada seccióndescribe la percepción que tienen los usuarios de laEvAP, los resultados de los estudios de seguimientoy el propio examen del DEO, y concluye con sugerenciaspara mejorar.El análisis del presente capítulo se basa en investigacionespor medio de encuestas dirigidas a los integrantesdel Directorio Ejecutivo y al personal delBanco sobre el uso y la percepción de las EvAP, y enel examen de un evaluador externo, quien estudió lametodología empleada y un conjunto de evaluacionesde esa clase recientemente concluidas. Como seseñaló en la introducción, se han realizado varias encuestasy estudios de seguimiento como fuente deinformación para el análisis. El Anexo C contiene losresultados detallados de las encuestas hechas a losintegrantes del Comité sobre la eficacia en términosde desarrollo (CODE); el Anexo D, los del análisis delas deliberaciones del Directorio sobre las estrategiasde asistencia a los países; el Anexo E, los de las entrevistasal personal del Banco conocedor de lasEvAP, y el Anexo F, los del análisis de la metodología11

ESTUDIO RETROSPECTIVO SOBRE LAS EVALUACIONES DE LA ASISTENCIA A LOS PAÍSES: AUTOEVALUACIÓN DEL DEOUn reciente análisisconfirma que lasrecomendaciones de laEvAP se reflejan bien enlas EAP subsiguientes.de las evaluaciones de losprogramas de países realizadopor otros organismos.En cada anexo sedetallan los objetivos de laencuesta, se describe lamuestra de participantes, yse presentan diversas opiniones y resultados.La falta de aprobación delos resultados de la EvAP porparte de la administraciónsuperior sirvió para minarsu impacto. Esta “falta deaprobación” fue evidenteen las entrevistas confuncionarios del Banco,incluso con losvicepresidentes regionales ylos directores a cargo de lasoperaciones en los paísescorrespondientes.Efecto de las EvAP en la formulaciónde las estrategias pertinentesEn estudios anteriores se ha indicado que lasEvAP no influyen en las estrategias de asistenciadel Banco a los países y que hay compatibilidadentre las recomendaciones dedichas evaluaciones y las estrategias pertinentes.En el Annual Report on Operations Evaluation(Informe anual sobre evaluación deoperaciones de 2002) 14 del DEO se realizó una encuestasobre las EvAP entre los equipos del Banco acargo de las operaciones en el país. Alrededor de71% de los entrevistados afirmó que las EvAP habíaninfluido en las políticas del Banco en la esferanacional, 80% opinó que una evaluación de esaclase es pertinente para su trabajo y 93% declaróque si tuvieran que comenzar a trabajar en unnuevo país, esa evaluación les sería de gran utilidad.Para dicho informe anual, el DEO realizó un estudiode seguimiento para evaluar hasta qué punto seincorporaban las recomendaciones de la EvAP en laestrategia subsiguiente y se reflejaban en la asistenciarealmente prestada. En el estudio se examinaron15 evaluaciones,todas ellas en el ejerciciode 1999 o en años anteriorespara tener suficientetiempo de examinar laasistencia realmente prestada.El estudio reveló unagran compatibilidad entrelas recomendaciones delas EvAP y la EAP, con loque recalcó el mensaje dela encuesta.Un reciente análisisconfirma que las recomendacionesde EvAPse reflejan bien en lasEAP subsiguientes. Paraeste análisis retrospectivo, el DEO emprendió unnuevo estudio de seguimiento de las 25 EvAP terminadasdurante los ejercicios de 2001–03. En esteanálisis se examinaron las estrategias adoptadas inmediatamentedespués de las EvAP para determinarhasta qué punto se respaldan las recomendacionesoficiales incluidas en los archivos de las medidas deadministración correspondientes a esas EvAP. Enlas EAP se ha expresado pleno respaldo a dos terceraspartes de las recomendaciones hechas en las22 EvAP con respecto a las cuales se han preparadoulteriormente documentos de formulación de estrategias15 . Otro 25% ha recibido respaldo parcial ymenos de 10% no recibió ninguno. Además, las 22EAP contenían alguna referencia a la evaluaciónpertinente; en 16 de ellas, las estrategias conteníanamplios debates sobre las constataciones y recomendacionesde la evaluación correspondiente.Por ende, parece que las EvAP influyen en la formulaciónde estrategias del Banco, aunque no esposible atribuir el respaldo a una recomendaciónparticular al análisis contenido en la EvAP.Además, las EvAP parecen influir en las deliberacionesdel Directorio sobre estrategiassubsiguientes, y las cuestiones señaladas endichas EvAP son acordes con las deliberacionesdel Directorio. Para este análisis retrospectivo,el DEO examinó las transcripciones de 13deliberaciones del Directorio sobre la EAP, cuyasEvAP más recientes se facilitaron a partir de abril de2003 16 . Cerca de una tercera parte de las declaracionesverbales o escritas de los presidentes se refirieronexplícitamente a la EvAP por lo menos unavez. En total, hubo 85 referencias a EvAP en las 13deliberaciones. Alrededor de una cuarta parte (21)de ellas fueron referencias muy generales y el 75%restante (64) se centró en asuntos determinados.Las referencias a las EvAP fueron más frecuentes duranteel examen completo de la EAP o cuando la calificaciónde los resultados era insatisfactoria; lospresidentes que representaban a los grupos de paísesde la Parte I fueron quienes más se refirieron alas EvAP. En total, las referencias a dichas evaluacionescomprendieron solamente una pequeñaparte (6%) de la multitud de cuestiones señaladasdurante las deliberaciones del Directorio sobre laEAP. No obstante, aun cuando no se hizo referenciaa una EvAP, hubo concordancia de las cuestionesseñaladas en las evaluaciones y en las12

PARTE II: ¿CÓMO PUEDE MEJORARSE EL INSTRUMENTO DE LAS EVAP?deliberaciones del Directorio referentes a las respectivasEAP y sus respetivos informes de situación.Hay una divergencia entre los resultadosde las encuestas de seguimiento y la percepciónde los integrantes del Directorio y delpersonal del Banco con respecto al uso y a lautilidad de la EvAP. Las encuestas sobre el uso indicanque las EvAp son conocidas tanto para los integrantesdel Directorio como para el personal delBanco. Los integrantes del CODE entrevistados parael análisis retrospectivo señalaron que empleabanlas EvAP con el fin de prepararse para las deliberacionesdel Directorio sobre la estrategia pertinentecon miras a colocar las cuestiones sectoriales y temáticasdentro del contexto del país y a evaluar esasestrategias. En las entrevistas, algunos integrantesdel CODE citaron ejemplos específicos de casos enque las EvAP ejercieron una influencia favorable enlas correspondientes estrategias del Banco. Sin embargo,una mayoría dudó que las EvAP ejercieranuna influencia significativa en las decisiones de laadministración o en las cuestiones normativas y señalóque la falta de aprobación de los resultados dela EvAP por parte de la administración superior sirviópara minar su impacto. Esta “falta de aprobación”fue evidente en las entrevistas con funcionarios delBanco, incluso con los vicepresidentes regionales ylos directores a cargo de las operaciones en los paísescorrespondientes. Su percepción de la utilidadde las EvAP fue poco favorable, pero mejoró muchocuando se dieron cuenta de que una EvAP había influidofavorablemente en la preparación de la estrategiacorrespondiente. El personal del Banco señalóvarios factores que inhiben la eficacia de las evaluaciones:la falta de oportunidad, la consulta inadecuadacon los equipos a cargo de las operaciones enel país, y la falta de aportaciones o de enseñanzasútiles para la participación del Banco en un país.La reducción de la divergencia y la mejorade la utilización de las EvAP podrían intensificarsecon los cambios en la metodología, lapresentación y la cronología de las mismas, asícomo la frecuencia de la interacción con losequipos a cargo de las operaciones en el país.A pesar de que las EvAP ocupan un lugar destacadoen las estrategias correspondientes y en las deliberacionesdel Directorio al respecto, nuestras encuestasseñalan varias cuestiones relativas a dichasEvAP. Los integrantes del Directorio expresaroncierto escepticismo sobre la posibilidad de máximaLa adopción de unametodología formal paralas EvAP en el ejerciciode 2000 ha llevado aintroducir un método deevaluación más coherente.utilización de las constatacionesde la EvAP por partedel personal de operaciones.El personal del Bancotambién ha expresado algunaspreocupaciones relacionadascon la metodologíabásica, la cronología de lasEvAP y el equilibrio entre la rendición de cuentas yel aprendizaje dentro de su especialidad. Todosestos factores exigen cuidadoso examen y, cuandosea necesario, resolución para que las EvAP puedantener un mayor beneficio en lo que respecta a la utilizacióny aceptación de sus constataciones y recomendaciones.En el resto del presente capítulo seabordarán las principales cuestiones señaladas porlas encuestas sobre el uso: la metodología de lasEvAP, las calificaciones de las mismas, el uso de unasituación hipotética en ausencia de intervención, lacronología, la interacción con los equipos a cargode las operaciones en el país, la interacción con losbeneficiarios dentro del país y la presentación de laEvAP.MetodologíaLa adopción de una metodología formal paralas EvAP en el ejercicio de 2000 ha llevado aintroducir un método de evaluación más coherente17 . En la metodología de las EvAP se empleala EAP como marco inicial, complementadapor criterios relativos a la posibilidad de que en laestrategia se deje de abordar cualquier restricciónimportante para el desarrollo. Dicha evaluacióndetermina hasta qué punto fueron pertinentes losprincipales objetivos de la EAP y se alcanzaron sinningún inconveniente.El actual enfoque metodológico de la EvAP consisteen examinar el programa de asistencia correspondientedesde tres dimensiones:• Una dimensión relativa a productos y servicios,que comprende un análisis “de abajo arriba” delos principales insumos del programa: préstamos,actividades de asesoramiento y análisis, yalianzas• Una dimensión relativa al impacto en el desarrollo,que comprende un análisis “de arribaabajo” de los principales objetivos del pro-13

ESTUDIO RETROSPECTIVO SOBRE LAS EVALUACIONES DE LA ASISTENCIA A LOS PAÍSES: AUTOEVALUACIÓN DEL DEOLa metodología actualde las EvAP podríamodificarse de variasformas para aumentar sutransparencia, coherenciay facilidad de lectura.grama para determinar supertinencia, eficacia, efectosdirectos, sostenibilidade impacto institucional.• Una dimensión relativaa la atribución, en que elevaluador asigna la responsabilidadpor los efectosdirectos del programa a cuatro categorías deagentes: a) el cliente; b) el Banco; c) los sociosy otros interesados, y d) las fuerzas exógenas(por ejemplo, los fenómenos de la naturaleza,las crisis económicas internacionales y otrosacontecimientos similares).Para seguir adelantese necesita adoptarun método orientadohacia los resultados,que vincule claramentelos objetivos einstrumentos delBanco con losresultados alcanzados.Con la introducción de esta metodología formal,la estructura y el contenido de las EvAP seasemejaron más. Cada EvAP comienza con unexamen de la situación general de desarrollo y lapertinencia de los objetivos de la EAP correspondiente.Ese examen va seguido de una evaluacióndetallada de todos los productos y servicios empleadospara lograr los objetivos del Banco. En latercera sección se determina si se han logrado losobjetivos del Banco y se incluyen las calificacionesde la EvAP. Se evalúan los aportes de los diferentesasociados al logro de los resultados obtenidosy, para concluir, se ofrecen recomendaciones y enseñanzas.A pesar de la adopción y divulgación deuna metodología formal de EvAP, las entrevistasrevelaron una percepción de que lametodología de la evaluación podría perfeccionarsepara que fuera más transparente ycoherente. En su mayoría, los integrantes delCODE opinaron que las EvAP eran sistemáticamentede alta calidad y contenían un análisis sustantivode los programas delBanco en los países. Sin embargo,se expresaron preocupacionespor la incompatibilidadde los resultados y las variacionesde la calidad. Los integrantesdel CODE expresaronpreocupación por el hechode que, a veces, los documentosse enfocan demasiado enla observación del cumplimientocon los objetivos ofi-ciales de cada institución y desatienden el impactoque tiene el Banco en el desarrollo del país. Opinaronque una EvAP debería concentrarse en los resultadosalcanzados y en la forma de empleo de losinstrumentos para lograr esos resultados. El personaldel Banco también expresó preocupación por lametodología de EvAP. Opinó que la metodologíano era clara, uniforme, coherente ni racional. Además,afirmó que eran demasiado pocas las EvAPque proporcionaban resultados y enseñanzas queofrecieran orientación pragmática para la administraciónde futuros programas. Algunos funcionariosdel Banco manifestaron preferencia por las evaluacionesenfocadas en un limitado número de sectoresespecíficos, más que por las centradas en elprograma de todo un país.La propia evaluación del DEO también revelaque la metodología actual de las EvAP podríamodificarse de varias formas para aumentar sutransparencia, coherencia y facilidad de lectura.Para determinar la exactitud de la percepción de losintegrantes del CODE y del personal del Banco, elDEO contrató a un evaluador externo independientepara analizar la actual metodología de EvAP sin restriccionesni condiciones previas. También se examinaronlos métodos de evaluación de programasadoptados por otros donantes multilaterales y bilaterales18 . A partir de este análisis y de las encuestassobre el uso, surgieron varias observaciones. El actualmétodo tridimensional de EvAP ha creado un formatocoherente de presentación de informes, de maneraque con el tiempo el lector sabe qué esperar encada capítulo. Pero este enfoque metodológico tambiénparece tener varias deficiencias:• La estructura tiende a poner mayor énfasis en losinstrumentos del Banco (préstamos, actividadesde asesoramiento y análisis, y coordinación de laayuda) que en el impacto o los resultados de susintervenciones. En las EvAP se recalcan más los insumosde los programas que su impacto en el desarrollo.Trece de las 18 EvAP con estructurasclaramente similares dedicaron dos veces y mediomás atención a los insumos en comparación con laprestada al impacto en el desarrollo.• Al parecer, diferentes secciones de las EvAPpueden llevar a diversas conclusiones. Comose señaló en la Parte I, en un tercio de las EvAP,las calificaciones satisfactorias de la cartera, en14

PARTE II: ¿CÓMO PUEDE MEJORARSE EL INSTRUMENTO DE LAS EVAP?promedio, no guardaron relación con la calificaciónsatisfactoria de los efectos directos del programaen su conjunto. Si bien la explicación esbastante sencilla (es decir, una evaluación particularde un proyecto o un estudio económico ysectorial tiende a enfocarse en los principalesobjetivos declarados del proyecto sin determinarnecesariamente qué tan pertinentes fueronpara alcanzar las metas generales del programavigente en ese entonces), la estructura de la evaluaciónno es conducente a analizar las razonesfundamentales de esa desconexión.• La estructura cambia de punto de enfoque deuna sección a la siguiente, por lo que es difícilseguir el hilo de la narración. La actual estructurade la EvAP alterna entre un enfoque en elcliente (primera sección), otro en el Banco (segundasección) y otro de nuevo en el cliente. Porende, es difícil seguir el vínculo entre los objetivos(discutidos en la primera sección) y los efectosdirectos (discutidos más adelante en latercera sección), y ver la conexión entre los insumosy servicios del Banco (evaluados en la segundasección) y los efectos directos específicos.• La terminología de la EvAP carece de claridad ycoherencia. El examen interno de EvAP efectuadopor el DEO reveló que la terminología empleadaen diferentes evaluaciones a veces pareceser incoherente, puesto que diferentes jefes deproyecto pueden interpretar el mismo conceptode una forma algo distinta. Por ejemplo, la distinciónentre la actuación del Banco y los efectos directosde sus programas es ambigua en algunasevaluaciones, lo cual puede ser consecuencia deque las estrategias del Banco están orientadashacia objetivos de nivel superior y no establecenclaramente un conjunto de objetivos intermedios.Otro ejemplo es la forma de considerar laatribución, que es inherentemente un conceptocomplejo en un programa de país.Para seguir adelante se necesita adoptar unmétodo orientado hacia los resultados, quevincule claramente los objetivos e instrumentosdel Banco con los resultados alcanzados.Los resultados deben estar en la estructura orgánicade la EvAP, y la evaluación de los instrumentos delBanco (productos y servicios) debe verse sencillamentecomo una forma de probar si se han logradoLos países no sonlaboratorios y en las EvAPno se informa sobreexperimentos; en elmundo real es sumamentedifícil controlar y aislarotras influencias.los resultados finales, queson los objetivos principalesdel Banco. Esto es compatiblecon el marco orientadohacia los resultados, adoptadoen la formulación de estrategiasdel Banco y tambiéncon la metodología adoptadapor otras instituciones donantes.El método consistiría en esbozar los principalesobjetivos y resultados que el Banco aspira alograr en cada país, a partir de las EvAP. Las deliberacionessobre la estrategia se basarían en un sencillomodelo de lógica que vincule los insumos conlos resultados previstos a partir de la informaciónpresentada en la propia estrategia y en los documentosafines. Por cada objetivo (y resultado deseado),en la evaluación se ponderaría la eficacia (ypertinencia) de los instrumentos empleados, asícomo el aporte relativo del Banco (en contraposicióna otros aportes) a ese objetivo. Este método seorientaría hacia los resultados y abordaría la principalrecomendación de los integrantes del Directorio,a saber, que las EvAP deben concentrarse en elefecto real en los mismos.En varias EvAP se han comenzado a adoptarvarios aspectos de esta nueva metodología.Por ejemplo, en la EvAP de Zambia seseñalaron cuatro temas principales (objetivos)con los cuales el Banco se propone reducir la pobreza:i) promover un entorno macroeconómicoestable; ii) privatizar las empresas del Estado; iii)enfocar la asistencia directamente en los grupospobres y vulnerables, y vi) mejorar la eficiencia y lagestión del sector público. En esa EvAP se procedióluego a examinar las actividades del Banco y aevaluar los resultados en cada uno de los cuatrocampos por separado, que luego se resumió ensus calificaciones generales. En la EvAP de Brasil seseñalaron y analizaron los adelantos hacia el logrode los objetivos principales de alivio de la pobrezay crecimiento sostenible, así como los objetivossecundarios respectivos. En época más reciente,durante el ejercicio de 2004, en las EvAP de China,Túnez, Bosnia-Herzegovina y Croacia se adoptóun método orientado hacia los objetivos.El examen de las EvAP y del enfoque metodológicode otros donantes efectuado por elDEO indica que también se necesitan cam-15

ESTUDIO RETROSPECTIVO SOBRE LAS EVALUACIONES DE LA ASISTENCIA A LOS PAÍSES: AUTOEVALUACIÓN DEL DEOLas calificaciones de laEvAP han sido tema demucho debate y crítica.bios en el concepto deatribución en dichasevaluaciones. La definiciónde atribución establecidapor el Comité de Asistencia para el Desarrollo(CAD) entraña el establecimiento de un vínculo causalentre un cambio y una intervención específica.Esta es una tarea difícil en parte por causa de las limitacionesinherentes para probar la causalidad enun medio natural. Los países no son laboratorios yen las EvAP no se informa sobre experimentos; en elmundo real es sumamente difícil controlar y aislarotras influencias. El concepto de “asociación másprobable”, en comparación con el de “atribución”,capta mucho mejor la realidad del vínculo entre lasmedidas tomadas por el Banco o por un donante ylos resultados observados. Esto implicaría la necesidadde determinar en la medida de lo posible cómoy hasta qué punto se relacionaron las intervencionesdel Banco con los resultados logrados. La EvAP deBrasil y el enfoque del Banco en la región del Nordesteson un buen ejemplo del concepto de asociaciónmás probable como forma de evaluar lacontribución del Banco.El DEO intensificará sus esfuerzos paraasegurar una aplicación más coherente de lametodología. Ya tiene un riguroso proceso deexamen interno que ayuda a asegurar la coherenciaentre las EvAP. No obstante, para mejorar esa coherencia,el DEO preparará un glosario de términos,similar al “Glosario de los principales términossobre evaluación y gestión basada en resultados,2002”, elaborado por el Grupo de trabajo sobre evaluaciónde la ayuda del Comité de Asistencia para elDesarrollo de la Organización para la Cooperacióny el Desarrollo Económicos (OCDE). Por último,para todas las EvAP de grandes clientes se seguiránMuchos lectores recibenincorrectamente laimpresión de que lacalificación de losresultados es unacalificación o de losprogresos del país entérminos de desarrollo odel desempeño del Banco.contratando revisores externos.Estos últimos sondistinguidos especialistasjubilados del Banco, miembrosde la comunidadacadémica externa y autoridadesencargadas deformular la política de desarrollode los países clientesque ayudan a buscaropiniones externas sobrelos programas del Banco ya asegurar la validez de los resultados de lasEvAP.CalificacionesEn las EvAP se califican los resultados de laasistencia del Banco, su sostenibilidad y su impactoen el desarrollo institucional. En la actualidad,las evaluaciones de la asistencia a los paíseshechas por el DEO contienen calificaciones explícitaspara los programas realizados; el DEO es la únicaentidad multilateral o bilateral que califica los programasde países de esa manera. Hay tres calificacionesen la mayoría de las EvAP 19 . Primero, en las EvAPse califican los efectos directos del programa de asistenciadel Banco. En dicha calificación se determinahasta qué punto fueron pertinentes los principalesobjetivos estratégicos y se alcanzaron sin ningún inconveniente.Los efectos directos se califican en unaescala de seis puntos, que va desde muy satisfactoriohasta deficiente. Segundo, en la mayoría de las evaluacionesse califica el impacto en el desarrollo institucionaldel programa de asistencia. La calificación decuatro puntos de dicho impacto (alto, significativo,moderado o insignificante) determina en qué medidael programa reforzó la capacidad del cliente parahacer uso más eficiente, equitativo y sostenible desus recursos humanos, financieros y naturales. Porúltimo, el DEO califica la sostenibilidad de los beneficiosque en materia de desarrollo reporta el programade asistencia al país o la resistencia de losmismos a situaciones de riesgo. La sostenibilidad secalifica como muy probable, probable, improbable,muy improbable o, si falta información, sin evaluar.Las calificaciones de la EvAP han sidotema de mucho debate y crítica. En el fondode esa crítica hay un antiguo debate dentro de la comunidadde evaluación centrado en determinarcuál de las dos metas complementarias debe considerarsede importancia primordial: establecer unsistema de rendición de cuentas sobre los resultadoso fomentar el arte de aprender a hacer mejorlas cosas en el futuro.Este debate histórico surge en las entrevistas delos integrantes del Directorio, en las cuales casitodos los participantes consideraron que las calificacioneseran indispensables y algunos afirmaronque ofrecían el máximo potencial para hacer que laadministración rinda cuenta de sus actos y preste ladebida atención a los resultados. No obstante, al-16

PARTE II: ¿CÓMO PUEDE MEJORARSE EL INSTRUMENTO DE LAS EVAP?Recuadro 3.1Las calificaciones insatisfactorias de losefectos directos no implican un desempeñodeficiente del BancoBulgaria (1989–1997): No se alcanzaron los objetivos de apoyo para la estabilización y el crecimiento macroeconómicos, el desarrollodel sector privado y el alivio de la pobreza establecidos en la estrategia del Banco, pero este último se enfocó debidamente en la estabilizacióny la reducción de la deuda. Cuando se estancaron las reformas, el Banco suspendió un importante préstamo para ajuste hastaque hubiera un clima más propicio para las reformas, y apoyó los cambios institucionales y las necesidades sectoriales específicas pormedio de préstamos para inversión.Haití (1986–2000): La asistencia del Banco tuvo un efecto insatisfactorio en los problemas que encaraba Haití (mal gobierno, poca capacidaddel sector público, falta de coordinación de los donantes, calidad deficiente de la educación y poco acceso a la misma, y marcadodeterioro de la infraestructura). Hasta 1997, la asistencia del Banco y de otros donantes fue superior a la capacidad de absorción del gobierno.Se reanudaron varios tipos de programas de asistencia tradicionales, sin superar primero las enormes barreras gubernamentalese institucionales para la recuperación económica y la ejecución de los mismos. Las cuestiones internas de dotación de personal delBanco también redujeron la eficacia del programa en Haití. Desde 1997, ha mejorado el desempeño del Banco. Se corrigieron las irregularidadesen el proyecto de construcción de carreteras. En una situación en que no podía conceder préstamos y en que la actuaciónde los prestatarios seguía siendo problemática en el programa en marcha, el Banco canceló los saldos restantes. Mantiene, acertadamente,una función de observador y realiza análisis de los principales sectores.Paraguay (1989–1999): No se alcanzaron los objetivos de desarrollo del sector privado, fomento agropecuario y ordenación de los recursosnaturales, y alivio de la pobreza y desarrollo de recursos humanos establecidos en el programa de asistencia del Banco. Este últimopreparó estudios económicos y sectoriales bien enfocados. Sus inversiones en divulgación estimularon el debate público,particularmente sobre la necesidad de reforma. La EAP de 1997 se enfocó en los objetivos a corto plazo que eran factibles dentro de lasrestricciones institucionales y normativas del Paraguay. Se reconoció que los riesgos puntualizados en 1993 aún existían en su mayoríay que la situación política en deterioro ofrecía pocas posibilidades de reforma. Se recomendó una cautelosa estrategia de financiamiento,con la aprobación de uno o dos proyectos al año como máximo, condicionada a una mejor ejecución de la cartera existente.Rwanda (1990–1993): No se alcanzaron los objetivos de crecimiento con equidad, creación de un ambiente propicio para el desarrollodel sector privado, protección del medio ambiente y ampliación de la capacidad de gestión de los recursos del sector público establecidosen el programa de asistencia del Banco al país. Hubo algunas deficiencias en el desempeño del Banco (por ejemplo, en el diseñode los proyectos no se reflejaron debidamente las restricciones humanas y financieras que encaraba el gobierno), pero el Banco tuvoun buen desempeño general. Entendió las dificultades económicas fundamentales que tenía Rwanda y trató de persuadir al gobierno,aunque sin éxito, para que cambiara sus antiguas políticas y asignara una mayor función al sector privado, redujera los subsidiospúblicos a las empresas en quiebra y mejorara la calidad de los servicios sociales.Fuente: EvAP de Bulgaria, Haití, Paraguay y Rwanda.gunos opinaron que debería prestarse menos atencióna las calificaciones y afirmaron que las diferenciascon respecto a ellas llevan al personal deoperaciones a asumir una postura defensiva y, enrealidad, impiden aprender de la experiencia delprograma. Con todo, en su mayoría, los entrevistadosdel Directorio estuvieron de acuerdo en que lasescalas de calificación deben aclararse y en que ladefinición de cada calificación debe ser más transparentey mutuamente excluyente.En su mayoría, el personal del Banco entrevistadotambién criticó el sistema de calificación; aveces señaló incoherencias entre las calificacionesy los informes narrativos empleados para justificarlasy, en algunos casos, omisiones de la calificaciónde los diferentes períodosde ejecución porseparado. El personaltambién afirma que unanorma de calificación únicano permite tener en cuentalo suficiente las diferenciascruciales en la capacidadde los clientes, ladotación inicial y la exposicióna riesgos exógenos.Más de la mitad de losentrevistados del CODEcriticaron las situacioneshipotéticas por considerarque éstas dan a menudouna idea demasiadoprometedora o utópica de lafunción del Banco en el país.17

ESTUDIO RETROSPECTIVO SOBRE LAS EVALUACIONES DE LA ASISTENCIA A LOS PAÍSES: AUTOEVALUACIÓN DEL DEOLa cronología de la EvAPes indispensable para sueficacia, pero hay ciertatensión entre el personaly los integrantes delDirectorio del Bancosobre cuándo se cree quedicha evaluación es útil.Las opiniones estuvieron divididas cuando se preguntósi se debe hacer caso omiso de las calificaciones,darles menos importancia o mejorarlascon criterios más rigurosos.Es de suma importancia señalar que muchoslectores reciben incorrectamente la impresiónde que la calificación de los resultadoses una calificación o de los progresos del paísen términos de desarrollo o del desempeño delBanco. En las EvAP se califican los efectos directosde los programas de asistencia del Banco, pero a juzgarpor las entrevistas de los miembros del Directorioy del personal del Banco, así como por loscomentarios hechos por escrito sobre las evaluaciones,resulta claro que la naturaleza de la calificaciónde los efectos directos no se entiende cabalmente.Un programa de asistencia se evalúa para determinarhasta qué punto alcanzó sus objetivos particulares,que suelen ser un subconjunto de los objetivos de desarrollodel cliente. Pueden surgir algunas situacionesen que los efectos directos de los programas de asistenciadel Banco sean plenamente satisfactorios, apesar del deterioro de la economía del país, o viceversa.Por ende, hay una distinción entre la calificaciónde los efectos directos y los resultados generalesen materia de desarrollo obtenidos en el país cliente.Además, la calificación de los efectos directos, quepermite evaluar hasta qué punto el programa de asistenciaalcanzó sus objetivos, no es un sinónimo dedesempeño del Banco, lo cual no se califica en lasEvAP. Como se establece claramente en el marco metodológicode esas evaluaciones, los efectos directosdel programa de asistencia del Banco están determinadosno sólo por el desempeño del mismo sino porel impacto conjunto de cuatro agentes: a) el cliente;b) el Banco; c) los socios y otros interesados, y d) lasfuerzas exógenas (por ejemplo, los fenómenos de lanaturaleza, las crisis económicas internacionales, etcétera).Esto ayuda a explicar el resultado aparentementecontradictorio enalgunas evaluaciones de queel desempeño del Bancopuede haber sido bueno,pero los efectos directos, insatisfactorios.Por ejemplo,en Bulgaria (1991–1997),Haití (1997– 2000), Paraguay(1989–1999) y Rwanda (1990–1993), los efectos directos dela estrategia de asistencia del Banco recibieron unacalificación insatisfactoria, pero en las EvAP se señalaque el Banco tuvo una buena actuación (véase el Recuadro3.1).El DEO hará cambios para ayudar a aclararlas calificaciones y hacerlas más transparentesy coherentes. El DEO se propone seguir calificandolos efectos directos y la sostenibilidad. Elenfoque metodológico revisado que se esboza eneste análisis retrospectivo facilitará mucho la tareade desagregar la calificación de los efectos directos.En el futuro, en las EvAP se desagregará la calificaciónde los resultados y se ofrecerán subcalificacionesseparadas y distintas de los resultados logradoscon respecto a cada objetivo principal. Estas subcalificacionesse agregarán luego para obtener unacalificación resumida de los efectos directos, empleandogrados de importancia implicados por laestrategia. También se proponen modificacionesde las calificaciones de sostenibilidad. El conceptopuede reformularse como la “probabilidad de sostenibilidad”,con lo que se transformará en una calificaciónque permitirá determinar si los beneficiosconstantes del programa del país están sujetos amuchos o pocos riesgos. Puesto que el desarrolloinstitucional es ahora parte integral de los objetivosde la mayoría de las actividades del Banco, el DEOse propone eliminar la calificación separada del impactoen el desarrollo institucional y captarlo comoparte de la calificación de los efectos directos. Porúltimo, a medida que se adquiera experiencia conlas EAP orientadas hacia los resultados y los informesfinales correspondientes, que también contendráncalificaciones, el DEO examinará una vezmás el sistema de calificación en las EvAP y haráotras modificaciones, según sea necesario. Si elBanco adopta un sistema de evaluación del desempeñoen la EAP por medio de calificaciones en losinformes finales correspondientes —similares a lascalificaciones de cada proyecto—, el DEO puedeeliminar las calificaciones de las evaluaciones y convertirlasmás bien en un examen de las enseñanzasaprendidas.Situaciones hipotéticas en ausenciade intervenciónLas opiniones de los integrantes del CODE ydel personal del Banco difieren en cuanto a lautilidad de las situaciones hipotéticas. Menos18

PARTE II: ¿CÓMO PUEDE MEJORARSE EL INSTRUMENTO DE LAS EVAP?de una tercera parte de los participantes en las entrevistashechas a los integrantes del Directorio atribuyerona las situaciones hipotéticas el logro dedeliberaciones útiles en el Subcomité del CODE.Más de la mitad de los entrevistados del CODE criticaronlas situaciones hipotéticas por considerar queéstas dan a menudo una idea demasiado prometedorao utópica de la función del Banco en el país, yse quejaron de que en las EvAP se tiende a exagerarla función del Banco y a indicar que si este último nohubiera participado, al país le habría ido muchopeor. Por contraste con los integrantes del CODE, elpersonal del Banco, en sus deliberaciones sobre lasEvAP, entrevistas y memorandos, criticó esas evaluacionespor no incluir una situación hipotética eficazque mostrara otra estrategia que habría podidoseguir el Banco, o lo que hubiera sucedido sin la intervenciónde éste, o, en su defecto, por no tener encuenta la función a menudo marginal del Banco enel desarrollo del país. No obstante, un examen delos memorandos del personal del Banco mostró queesas opiniones se expresaban solamente cuandouna EvAP criticaba la asistencia del Banco. La cuestiónhipotética no se señaló cuando la evaluacióndejó constancia del buen desempeño del Banco.El DEO reconoce la importancia de las situacioneshipotéticas para explicar lo que elBanco habría podido hacer de una manera diferenteen situaciones particulares. El DEO reconocela necesidad de una situación hipotética,pero conviene recalcar que esta tarea ha sido arduaen parte por las dificultades inherentes a la comprobaciónde la causalidad en situaciones delmundo real. Por eso, solamente 10 de las 25 EvAPexaminadas (40%) tratan de discutir la situación hipotéticay, por lo general, se concentran más en loque el Banco podría haber hecho de una forma diferenteque en lo que hubiera sucedido sin su intervención.Por ejemplo, en la EvAP de Rusia se señalaque es difícil construir situaciones hipotéticas verosímilesen el caso de un programa tan complejo, enque la actuación del Banco fue, en gran parte, unarespuesta a las expectativas de los accionistas. Másbien, en la EvAP se describe cómo abordó el Bancolas dificultades y, con el beneficio de la percepciónretrospectiva, se señalan casos en que habría sidomás apropiado adaptar una postura diferente.La función apropiada de un análisis de situaciónhipotética en la EvAP consiste en com-parar los efectos directos efectivamente conseguidoscon el análisis ex ante que figura en laestrategia de asistencia a los países formuladapor el Banco. El enfoque metodológico de dichaevaluación juzga una EAP por lo que se esperaba quelograra. Por lo tanto, ya existe una situación hipotéticacontra la cual se puede determinar en la EvAP loque realmente sucedió. Las EAP suelen proporcionarvarios marcos hipotéticos, emparejados según unconjunto variable de instrumentos planeados delBanco. Así, el DEO tiene una situación hipotética lista,lo que evita las complejidades de tratar de adivinar loque hubiera pasado sin el programa de asistencia. Enotras palabras, la EAP propiamente dicha proporcionaa menudo la situación hipotética. Se prevé quela calidad de esas situaciones hipotéticas mejorarámucho ahora que el Banco ha establecido directricesuniformes para formular EAP orientadas hacia los resultados.Una forma útil de conceptualizar la hipótesisconsiste en comparar lo que se esperaba ex anteen las estrategias del país con lo realmente sucedidoy determinar si las divergencias fueron razonables.Donde la EAP no proporciona una hipótesis plenamentedefinida, se pueden utilizar otras opcionesmenos atractivas, tales como comparar: i) el avancedel país cliente en materia de desarrollo durante elperíodo de ejecución de la EAP con el de los demáspaíses; ii) el avance en materia de desarrollo en zonaso sectores geográficos específicos, que lógicamentedeberían haber recibido un profundo impacto de lasintervenciones realizadas como parte del programa,y iii) los efectos directos intermedios lógicamenteafectados por las intervenciones del programa.CronologíaLa cronología de la EvAP es indispensablepara su eficacia, pero hay cierta tensión entreel personal y los integrantes del Directorio delBanco sobre cuándo se cree que dicha evaluaciónes útil. Hubo acuerdo generalizado entretodos los usuarios de las EvAP en que la cronologíade éstas era un factor esencial para su utilidad. UnaEvAP terminada mucho tiempo antes o después dela ejecución de la EAP se considera de efecto limitado.Esto lo confirma el análisis del uso de las EvAPhecho por el DEO durante las deliberaciones delDirectorio. De hecho, el impacto de una EvAP sereduce mucho si se realiza demasiado temprano otarde en el proceso de examen de la EAP. Por ejem-19

ESTUDIO RETROSPECTIVO SOBRE LAS EVALUACIONES DE LA ASISTENCIA A LOS PAÍSES: AUTOEVALUACIÓN DEL DEOUna mayor interaccióncon los equipos a cargode las operaciones en elpaís es un vehículo paramejorar la receptividada las constataciones dela EvAP.Hay una idea generalizadade que las EvAP dependendemasiado de entrevistascon el personal del Bancoy los funcionarios públicosy de exámenesdocumentales, y asignandemasiado pocaimportancia a lasopiniones de losbeneficiarios dentrodel país.plo, si el tiempo transcurridoentre la distribuciónde las EvAP y las deliberacionesdel Directorio sobrela EAP es de un año o más,la EvAP parece influir pocoen las deliberaciones. Porotra parte, en su mayoría,los entrevistados del CODEtambién citaron casos en que las EvAP se distribuyerondemasiado cerca de la fecha del examen de laestrategia por el Directorio para tener un efecto significativo.El personal de operaciones cree que larealización de EvAP no es suficientemente previsiblepara ser un instrumento útil para la formulaciónde estrategias. Aun el personal del Banco que recibiósus EvAP oportunamente se mostró escépticocon respecto a su futura utilidad por conocer algunoscasos de otras EvAP entregadas en fecha demasiadoavanzada del proceso para suministrarinformación para la EAP. Los entrevistados delCODE indicaron que preferían recibir la evaluaciónde uno a tres meses antes de las deliberacionessobre la EAP. Por otra parte, el personal del Bancoindicó que, con el fin de aportar información parala estrategia, por lo menos habría que tener una versiónpreliminar de la EvAP en la etapa de análisis inicial,que en varios casos sería más de seis mesesantes de las deliberaciones del Directorio.Una gran mayoría de las recientes EvAP parecehaberse programado oportunamentepara aportar información para la preparaciónde las estrategias pertinentes y las deliberacionesal respecto. Uncriterio importante en la decisióndel DEO de realizaruna evaluación en un país enparticular es el ciclo de laEAP. Se tienen en cuentaotros factores —el equilibrioregional, la colaboración conotras instituciones financierasinternacionales y los largosperíodos de preparaciónnecesarios para las evaluacionesen los principales paísesprestatarios del Banco—,pero el ciclo de la estrategiaes el principal factor deter-minante de la decisión de programar una EvAP. Elanálisis de la cronología de las 25 EvAP hechas porel DEO en los ejercicios de 2001–03 indica que, enconjunto, las evaluaciones se han hecho a tiempo,pero hay campo para mejorar. Ocho de las 25 EvAPterminaron en los tres meses anteriores al comienzode las deliberaciones sobre la EAP; otrascuatro, entre cuatro y seis meses antes, y otras cuatro,el año anterior. En tres casos no se ha preparadotodavía una estrategia subsiguiente ysolamente en seis casos terminaron las EvAP más deun año antes de las deliberaciones sobre la estrategia.En esos casos, cambió el cronograma de la EAP.Además, a pesar de que el personal del Banco consideróque las EvAP no se habían presentado atiempo para la preparación de la estrategia, todaslas evaluaciones discutidas por el CODE antes delas deliberaciones del Directorio sobre la estrategiase mencionaron en dichas estrategias. De las 22EvAP para las que se han celebrado deliberacionessobre la EAP, las constataciones y recomendacionesde la EvAP se incorporaron explícitamente en 16EAP, y las otras seis EAP incluyeron una casilla referentea la evaluación (tres) o mencionaron su existencia(tres).El DEO hará todo lo posible por realizar lasEvAP oportunamente para apoyar los preparativospara la formulación de la estrategia ylas deliberaciones correspondientes. El DEOseguirá su antigua política de presentar las EvAP alos integrantes del Directorio y al personal delBanco de tres a nueve meses antes de las deliberacionesprevistas sobre la EAP, cuando sea factible.Un aporte de suma importancia que podrían hacerlos usuarios de la EvAP sería aumentar la previsibilidaddel programa de las próximas deliberacionesdel Directorio sobre la EAP, puesto que algunas delas cuestiones relativas a la cronología citadas anteriormentefueron el resultado de largas demoraspor causa de reprogramación de las deliberacionessobre la estrategia. El CODE puede ayudar en esteproceso con la terminación de la “hoja verde” de lasdeliberaciones sobre la EvAP para ponerla a disposicióndel Directorio antes de discutir la EAP correspondiente.En todo caso, ya sea que la EAP sepresente a tiempo o no, el DEO cree que el CODEse beneficiaría de programar las deliberaciones delas EvAP básicas sin esperar a que se presente la EAP.El DEO trabajará también para ampliar la interacción20

PARTE II: ¿CÓMO PUEDE MEJORARSE EL INSTRUMENTO DE LAS EVAP?con los equipos a cargo de las operaciones en el paísdurante el proceso de preparación de la EvAP paraasegurarse de discutir los resultados cambiantes dela evaluación con esos grupos durante las primerasetapas de preparación de la EAP (esto se discute enla próxima sección). Ello permitiría que el DEOatendiera las necesidades del personal de operacionesy de los integrantes del Directorio en lo que respectaal momento oportuno para la entrega de lasevaluaciones.Interacción con los equipos a cargode las operaciones en el paísEl personal del Banco expresó una clara preferenciapor más interacción con el personaldel DEO durante la preparación de la EvAP.Los funcionarios del Banco, particularmente los directoresa cargo de las operaciones del Banco en lospaíses, que hicieron una evaluación favorable de lasEvAP, recalcaron el valor y la importancia del procesode evaluación. Los participantes que realizaronuna evaluación favorable describieron la EvAP —y elvalor de ésta para su trabajo— con más frecuenciaen términos de un proceso de aprendizaje continuoy, en repetidas ocasiones, afirmaron que había unacomunicación abierta y regular entre el equipo acargo del país y el equipo encargado de la misión deevaluación. A la inversa, el personal del Banco quehizo un análisis desfavorable de la EvAP describió unmínimo grado de interacción del equipo a cargo delas operaciones en el país con el equipo a cargo dela misión de evaluación. Los entrevistados del CODEtambién señalaron que la evaluación debería considerarseno solamente como un documento autónomo,sino también como un instrumento parafacilitar la interacción del personal del Banco con elDEO con el fin de mejorar la receptividad de lasconstataciones y recomendaciones de la EvAP porparte de la administración del Banco.Una mayor interacción con los equipos acargo de las operaciones en el país es un vehículopara mejorar la receptividad a lasconstataciones de la EvAP. El examen del procesode evaluación realizado por el DEO revelóque demasiadas EvAP se prepararon con poca interaccióncon los equipos a cargo del país. En algunoscasos, se pidió al director a cargo de lasoperaciones en el país que hiciera algún comentariosobre el documento descriptivo del enfoque, sele solicitó una entrevista que fue realizada por elequipo a cargo de la evaluación y luego, algunosmeses después, se le entregó una versión preliminarde la EvAP. Si bien siempre se hicieron entrevistasindividuales a los miembros de los equipos acargo de las operaciones en el país para cada EvAP,ha habido algunos casos de interacción sistemáticacon el equipo y el director a cargo de las operacionesen el país durante el curso de la evaluación. ElDEO propone hacer participar al equipo a cargodel país en los exámenes de mediados del períodode ejecución de futuras evaluaciones para recibircomentarios desde el comienzo sobre las constatacionesy las recomendaciones que surjan. Esteenfoque crearía un vehículo para asegurar a losequipos a cargo de las operaciones en el país quesus opiniones son valiosas y se tienen en cuenta;demostrar sensibilidad con respecto a la necesidadque tiene el equipo de entender y manejar el impactopotencial de una evaluación desfavorablepara las operaciones en marcha, y aumentar la receptividadde esos equipos para evaluar constataciones.Interacción con los beneficiariosHay una idea generalizada de que las EvAPdependen demasiado de entrevistas con elpersonal del Banco y los funcionarios públicosy de exámenes documentales, y asignandemasiado poca importancia a las opinionesde los beneficiarios dentro del país. Muchosentrevistados del CODE expresaron preocupaciónpor la excesiva dependencia con respecto a las investigacionessecundarias realizadas exclusivamenteen la oficina de Washington en lugar detrabajar en forma directa con los funcionarios públicosy otros beneficiarios dentro del país. Si bienla mayoría de los entrevistados del CODE reconocióespecíficamente las dificultades inherentes a laparticipación de funcionarios públicos y de otrosbeneficiarios del país en el proceso de evaluación—presupuesto y recursos limitados del DEO, faltade capacidad institucional en el país y la posibilidadde confundir o romper las relaciones existentes delBanco—, la mayoría insistió en que el DEO deberíaseguir luchando por lograr una mayor participaciónde los países en las EvAP. El personal del Bancotambién opinó que los equipos a cargo del proyectode evaluación dependían excesivamente de21

ESTUDIO RETROSPECTIVO SOBRE LAS EVALUACIONES DE LA ASISTENCIA A LOS PAÍSES: AUTOEVALUACIÓN DEL DEOrecursos secundarios, no realizaban suficientesconsultas con los beneficiarios del país, pasabanmuy poco tiempo en este último y hacían la mayorparte del trabajo como estudio documental. Creíanque no se consultaba debidamente a las personasimportantes, que ocupaban altos cargos en el momentode formulación de política.El examen del DEO no indica dependenciacon respecto a las opiniones del personal delBanco y de los funcionarios públicos, pero lainformación disponible muestra que la mayoríade las EvAP son mucho más que estudiosdocumentales. Un examen de esas EvAP quecitaba a las personas entrevistadas por los equiposa cargo del proyecto de las mismas indica que la mayoríade ellas son o fueron funcionarios públicos,miembros del Grupo del Banco Mundial, u otrosdonantes (véase el Anexo D). Se celebraron menosconsultas con el sector privado, las organizacionesno gubernamentales, el sector académico nacionaly otras partes interesadas de los clientes. Una explicaciónde ello radica en que los informes de evaluaciónde los resultados del proyecto constituyenun elemento básico de las EvAP y se preparan despuésde una amplia consulta con los beneficiariosdel proyecto, con lo que se reduce la necesidad deque los equipos a cargo del proyecto de evaluaciónlos consulten. La información disponible tambiénmuestra claramente que las EvAP no dependen únicamentede investigaciones secundarias y estudiosdocumentales. Incorporan las opiniones de funcionariospúblicos, tanto en ejercicio como antiguos,en el país, y no omiten el parecer de las autoridadesnormativas principales del pasado que participaronen las decisiones influyentes.El DEO hará todo lo posible por asegurarque las EvAP reflejen más plenamente laopinión de la sociedad civil sobre los programasrealizados por el Banco en los países.El DEO trabajará por hacer participar más alos beneficiarios dentro del país en el proceso deevaluación. Un enfoque que tuvo éxito en la EvAPde Brasil fue el uso de especialistas y miembrosdel sector académico del país como parte delequipo a cargo del proyecto de evaluación. Estanecesidad también podría abordarse por mediodel uso más amplio de métodos cualitativos,como pequeños grupos de discusión y talleres informalescon funcionarios públicos y otros intere-sados. Sin embargo, a menudo esos métodos soncostosos y, por ende, se emplearán de una maneraacorde con el presupuesto del DEO.Mejora de la presentación de las EvAPLos entrevistados del CODE opinan que loscambios en el diseño de los documentos delas EvAP facilitarían más la lectura. Más de lamitad de los entrevistados del CODE declararonque tenían dificultad para leer y encontrar la informaciónpertinente en las EvAP. En gran parte,éste es menos un problema de meticulosidad y volumendel informe que de organización. En general,se sugirió que se fortaleciera la sección sobre“Constataciones y recomendaciones”, que muyprobablemente leerán la administración y el Directorio,y que se trasladará al comienzo del informe.Los exámenes de las deliberaciones del Directoriorevelan que se citan mucho más ciertaspartes de la EvAP que otras. El examen hechopor el DEO sobre la referencia a temas particularesde la EvAP en las deliberaciones del Directorio indicauna lectura muy selectiva de dichas evaluaciones(véase el Anexo D). En una tercera parte de las referenciasse destaca la sección de “Recomendaciones”de la evaluación y en la mitad, el “Memorando a losDirectores Ejecutivos y al Presidente” que figura enlas evaluaciones, o a los asuntos señalados en las reunionesdel CODE o del Subcomité. Solamente en algunoscasos se hace referencia al texto principal.Esto subraya la importancia de incluir secciones sinópticasde la EvAP y de asegurar que las deliberacionessobre la evaluación con el CODE y elSubcomité sean eficaces y se faciliten a todos los integrantesdel Directorio para el debate sobre la EAP.El DEO propone experimentar con el diseñode un documento para ofrecer mayor facilidadde lectura. Una posibilidad consiste endestacar más las constataciones y recomendacionesen la organización general y el diseño del documento.Puesto que la mayoría de los integrantes delDirectorio lee sobre todo los resúmenes, las referenciasayudarían a los lectores a encontrar la informacióndeseada (de lo contrario, supondránequívocamente que se ha omitido del documento),a animarlos a explorar las partes del documentoque quizá no lean detalladamente y a conocer sucontenido.22

ANEXOS23

ANEXO A: METODOLOGÍA DE LAS EVAPEn este anexo se describen los elementos fundamentalesde la metodología que utiliza el Departamentode Evaluación de Operaciones (DEO) paraevaluar la asistencia a los países 20 .En las evaluaciones de la asistencia a lospaíses (EvAP) se califican los efectos directosde los programas de asistencia del Banco,no los progresos generales del cliente en suproceso de desarrollo. Un programa de asistenciase debe evaluar para determinar en quémedida ha logrado sus objetivos específicos, quepor lo general suelen ser un subconjunto de losobjetivos de desarrollo del cliente. Si un programade asistencia es grande en relación con lainiciativa de desarrollo del cliente, los efectos directosde dicho programa serán similares a losprogresos generales que realice el cliente en materiade desarrollo. Sin embargo, la mayoría delos programas de asistencia del Banco sólo suministranuna fracción del total de recursos quelos donantes, las partes interesadas y el propiogobierno destinan al desarrollo de un paíscliente. En las EvAP, el DEO evalúa únicamentelos efectos directos del programa del Banco, nolos resultados generales del país en su procesode desarrollo, aunque sin duda estos últimos sonpertinentes para determinar los efectos directosdel programa.La experiencia obtenida con las EvAP confirmaque los efectos directos de un programa pueden diferirconsiderablemente de los avances generalesdel país cliente en su proceso de desarrollo. En lasEvAP se han identificado programas de asistenciaque han producido:• Efectos directos satisfactorios junto con un desarrolloaceptable del cliente• Efectos directos insatisfactorios en clientes quehan logrado un desarrollo general aceptable apesar de las deficiencias del programa• Efectos directos satisfactorios en clientes que noobtuvieron resultados generales satisfactorios duranteel período de ejecución del programa.Las evaluaciones de los efectos directos de losprogramas de asistencia y del desempeño delBanco no son lo mismo. El efecto directo insatisfactoriode un programa de asistencia no siempresignifica que el desempeño del Banco también hayasido insatisfactorio, y viceversa. Esto se comprendemejor si se tiene en cuenta que la contribución delBanco es sólo uno de los elementos en juego. Elefecto directo de un programa de asistencia se determinapor el impacto conjunto de cuatro agentes:a) el cliente; b) el Banco; c) los asociados y otraspartes interesadas, y d) factores exógenos (porejemplo, fenómenos naturales, crisis económicasinternacionales, etcétera). En determinadas circunstancias,la contribución negativa de uno deestos agentes puede bastar para anular las contribucionespositivas de los otros tres y producir unefecto directo insatisfactorio.El DEO mide el desempeño del Banco principalmentebasándose en las acciones que este últimocontrola en forma directa. En las evaluacionesdel desempeño del Banco normalmente se tienenen cuenta la pertinencia y aplicación de las estrategias;el diseño y la supervisión de las intervencionescrediticias del Banco; el alcance, la calidad y el seguimientode los estudios de diagnóstico y otras actividadesde asesoramiento y análisis (AAA); lacoherencia del financiamiento proporcionado porel Banco con sus actividades no crediticias y sus políticasde salvaguardia, y las actividades que realizael Banco en asociación con participantes.Evaluación de los efectos directosde los programas de asistenciaAl calificar los efectos directos de un programa(es decir, el impacto esperado sobre el desarro-25

ESTUDIO RETROSPECTIVO SOBRE LAS EVALUACIONES DE LA ASISTENCIA A LOS PAÍSES: AUTOEVALUACIÓN DEL DEOllo), el DEO determina la pertinencia de los principalesobjetivos estratégicos y si éstos se alcanzaronsin ningún inconveniente. Los programasde asistencia generalmente exponen sus metasen forma de objetivos de mayor orden, como reducirla pobreza. En la estrategia de asistencia aun país (EAP) también se pueden establecermetas intermedias, como mejorar la focalizaciónde los servicios sociales o promover el desarrollorural integrado, y especificar cómo se prevé quesu logro contribuya a alcanzar el objetivo demayor orden. La tarea del DEO consiste, entonces,en confirmar si esos objetivos intermediosprodujeron beneficios netos satisfactorios y si lacadena de resultados expuesta en la EAP era válida.Cuando en la EAP no se especifican plenamentelas relaciones de causa y efecto, elevaluador es responsable de reconstruir esta cadenade causas y efectos a partir de los datos disponibles,y determinar la pertinencia, la eficaciay los efectos directos con respecto a los objetivosintermedios y de mayor orden.Los evaluadores también determinan la medidaen que el cliente se identifica con las prioridades internacionalesde desarrollo, como los objetivos dedesarrollo del milenio, las prioridades por las que elBanco aboga y las salvaguardias. Idealmente, en laEAP se debería haber identificado y resuelto cualquierdiferencia sobre cómo tratar estas cuestiones,lo cual permitiría al evaluador centrarse en determinarsi las soluciones de compromiso adoptadasfueron apropiadas. No obstante, en otros casos sepuede comprobar que la estrategia encubrió ciertosconflictos o evitó tratar problemas clave que limitanel desarrollo del cliente. La consecuenciapuede ser que el programa resulte menos pertinente,que el cliente no se identifique con el programao que se produzcan efectos secundariosdesfavorables, como el incumplimiento de medidasde salvaguardia; todas estas cuestiones deben tenerseen cuenta al evaluar los efectos directos delprograma.Para que la evaluación sea menos subjetiva, elDEO examina varios elementos que influyen en losefectos directos de los programas de asistencia.Para asegurar una mayor coherencia de los elementosen que se basa la evaluación, los programasde asistencia a los países se examinan teniendo encuenta tres dimensiones:Muy satisfactorioEl programa de asistencia logró, por lo menos, un progresoaceptable en alcanzar todos los objetivos pertinentes importantes,y uno o más de estos objetivos se logró aplicandoprácticas óptimas en lo que respecta al impacto en eldesarrollo. No se identificaron inconvenientes importantes.SatisfactorioEl programa de asistencia logró un progreso aceptable enalcanzar todos los objetivos pertinentes importantes. Nose identificaron logros que constituyeran prácticas óptimas,ni inconvenientes importantes.Moderadamente satisfactorioEl programa de asistencia logró un progreso aceptable enalcanzar la mayor parte de los objetivos pertinentes importantes.No se identificaron inconvenientes importantes.Moderadamente insatisfactorioEl programa de asistencia no logró progresos aceptablesen alcanzar la mayor parte de los objetivos pertinentes importantes,o logró progresos aceptables en relación contodos ellos, pero: a) no tuvo debidamente en cuenta unproblema clave y limitante del desarrollo, o b) produjo uninconveniente importante, como el incumplimiento de algunamedida de salvaguardia.InsatisfactorioEl programa de asistencia no logró progresos aceptablesen alcanzar la mayor parte de los objetivos pertinentes importantesy: a) no tuvo debidamente en cuenta un problemaclave y limitante del desarrollo, o b) produjo uninconveniente importante, como el incumplimiento de algunamedida de salvaguardia.DeficienteEl programa de asistencia no logró progresos aceptablesen alcanzar ninguno de los objetivos pertinentes importantes.Tampoco tuvo debidamente en cuenta un problemaclave y limitante del desarrollo, y produjo por lo menos uninconveniente importante, como el incumplimiento de algunamedida de salvaguardia.• Una dimensión relativa a productos y servicios,que comprende un análisis “de abajo arriba” delos principales insumos del programa: préstamos,actividades de asesoramiento y análisis, yalianzas• Una dimensión relativa al impacto en el desarrollo,que comprende un análisis “de arriba26

ANEXO A: METODOLOGÍA DE LAS EVAPabajo” de los principales objetivos del programapara determinar su pertinencia, eficacia, efectosdirectos, sostenibilidad e impacto institucional.• Una dimensión relativa a la atribución, en queel evaluador asigna la responsabilidad por losefectos directos del programa a las cuatro categoríasde actores.Escala de calificacionesEl DEO califica los efectos directos con arreglo aseis categorías, que van desde muy satisfactoriohasta deficiente.Impacto en el desarrollo institucionalEl impacto en el desarrollo institucional delprograma de asistencia a un país puede calificarsecomo: alto, significativo, moderado o insignificante.Permite determinar la medida en que el programaha mejorado la capacidad de un cliente parautilizar de forma más eficiente, equitativa y sosteniblesus recursos humanos, financieros y naturales.Los siguientes son algunos ejemplos de los aspectosque se tienen en cuenta para determinar el impactode un programa en el desarrollo institucional:• Solidez de la gestión económica• Estructura del sector público y, en particular, dela administración pública• Solidez institucional del sector financiero• Solidez de los sistemas jurídico, regulador yjudicial• Alcance de los sistemas de seguimiento yevaluación• Eficacia de la coordinación de la ayuda• Grado de responsabilidad financiera• Fortalecimiento de la capacidad de las ONG• Capital social y ambiental.SostenibilidadLa sostenibilidad puede calificarse como muyprobable, probable, improbable, muy improbableo, si no se dispone de información suficiente, sinevaluar. La sostenibilidad mide la capacidad que tienenlos beneficios en términos de desarrollo de unprograma de asistencia para resistir los riesgos a travésdel tiempo, teniendo en cuenta ocho factores:• Resistencia técnica• Resistencia financiera (incluidas las políticaspara recuperar costos)• Resistencia económica• Apoyo social (incluidas las condiciones sujetas apolíticas de salvaguardia)• Resistencia ambiental• Identificación del gobierno y de otras partes interesadasclave con los programas• Apoyo institucional (incluido un marco jurídicoy regulador favorable, y la eficacia organizativa yde gestión)• Resistencia a los acontecimientos exógenos,como crisis económicas internacionales o cambiosen el entorno político y de seguridad.27

ANEXO B:EVALUACIONES DE LA ASISTENCIA A LOS PAÍSESREALIZADAS ENTRE LOS EJERCICIOS DE 1995 Y 2004Ej. de Ej. de Ej. de Ej. de Ej. de Ej. de Ej. de Ej. de Ej. de Ej. de1995 1996 1997 1998 1999 a 2000 2001 2002 2003 2004(1) (2) (2) (10) (12) (10) (8) (9) (8) (8)Ghana Argentina Marruecos Albania Azerbaiyán Argentina Paraguay Ribera Occidental Perú Túnezy GazaZambia Polonia Bangladesh Camboya Burkina Faso Kazajstán Lesotho Zambia BhutánBolivia Croacia Camerún Marruecos Chile Eritrea ChinaCôte d’Ivoire Ecuador Costa Rica India Viet Nam Zimbabwe Bosnia-HerzegovinaKenya Etiopía Egipto Kenya Haití Lituania ArmeniaMalawi Indonesia Ghana República Bulgaria Brasil MoldovaKirguisaMozambique Jamaica Papua Nueva México Mongolia República CroaciaGuineaDominicanaFilipinas Maldivas Tanzanía El Salvador Federación Jordania RwandaTailandia Nepal Uganda de RusiaTogo Sri Lanka Uruguay GuatemalaUcraniaYemena. En el ejercicio de 1999 se preparó una nota sobre la asistencia a Honduras, que se convirtió en un documento de la serie "REACH" tras el huracán Mitch. El área sombreada en gris indicalas 25 EvAP examinadas para preparar este estudio retrospectivo.29

ANEXO C: RESUMEN DE LAS ENTREVISTAS CON MIEMBROS DELDIRECTORIO Y DEL COMITÉ SOBRE LA EFICACIA ENTÉRMINOS DE DESARROLLOAntecedentes y objetivosEste anexo se basa en una investigación independienteque fue encargada para evaluar la calidad yeficacia de las evaluaciones de la asistencia a los países(EvAP) desde el punto de vista de los participantesen las discusiones del Comité sobre laeficacia en términos de desarrollo (CODE) y el Subcomitédel CODE. Los principales objetivos de lainvestigación fueron los siguientes:• Conocer la opinión de los participantes acerca decuáles son las audiencias y los objetivos más apropiadosde las EvAP, así como su valor institucional,y la medida en que estos documentos cumplen lospropósitos para los que han sido diseñados• Detectar posibles obstáculos que impidan asegurarla calidad y eficacia general de las EvAP frente alas audiencias más importantes• Determinar el papel de las EvAP en relación conlos objetivos fundamentales (por ejemplo, extraerenseñanzas para el futuro, determinar el impactoen el desarrollo que tienen las EAP y rendir cuentasa la administración)• Identificar de qué manera utilizan las EvAP los directoresejecutivos, sus ayudantes y asesores, prestandoatención especial a las preferencias de losparticipantes respecto de las secciones específicas(memorando de remisión, sistema de calificaciones,situación hipotética en ausencia de intervención,recomendaciones, etcétera) y su importanciarelativa en los documentos, así como a la evaluaciónque hacen de esos aspectos• Evaluar las EvAP en relación con criterios específicos(solidez metodológica, minuciosidad, integridad,facilidad de uso, equidad y objetividad)• Recomendar maneras específicas de mejorar lacalidad y eficacia de los documentos (por ejemplo,plazos para la distribución, metodología,estilo y organización de los documentos, comentariosde las partes interesadas dentro delpaís y difusión a estas últimas, etcétera).MetodologíaPara lograr estos objetivos, el consultor realizó entrevistasen profundidad con 30 integrantes del CODE,miembros del Directorio, ayudantes y asesores, tantoactuales como pasados. Dieciséis de las entrevistaspara el estudio se realizaron en persona en la ciudadde Washington a fines de junio y principios de julio de2003, y las otras 14, por teléfono entre junio y agostode ese mismo año. Cada entrevista duró unos 45 minutos.A todos los participantes se les prometió quesus comentarios se mantendrían en reserva, y por correoelectrónico se les enviaron anticipadamente algunaspautas para la entrevista.Los participantes fueron seleccionados de unalista de personas que asisten o han asistido a reunionesdel Subcomité del CODE, proporcionadapor el DEO. Inicialmente, los criterios de selecciónexigían que los entrevistados fueran directores ejecutivos,ayudantes y asesores actuales y pasadosque hubiesen asistido a por lo menos dos reunionesdel Subcomité del CODE. Sin embargo, debidoa la limitada disponibilidad de los miembros del Directorioy de su personal durante el período en quese realizó la investigación, dichos criterios se flexibilizaronpara incluir a un pequeño número de participantesque habían asistido a una reunión delSubcomité del CODE. La decisión fue acertada, yaque durante las entrevistas se descubrió que el examende las EvAP y los preparativos para las deliberacionesy presentaciones del Subcomité son, en lamayoría de los casos, un proceso de colaboración.Los directores ejecutivos y otros funcionarios quedeben participar en las discusiones del CODE o exponertemas a menudo se apoyan en medida apre-31

ESTUDIO RETROSPECTIVO SOBRE LAS EVALUACIONES DE LA ASISTENCIA A LOS PAÍSES: AUTOEVALUACIÓN DEL DEOciable en los resúmenes y pautas proporcionadaspor ayudantes y asesores que no asisten a las reuniones.En consecuencia, en algunos casos los participantesque no habían asistido a muchasreuniones del Subcomité estaban más familiarizadoscon el contenido y el diseño de los documentosbásicos que los directores ejecutivos y otrosasistentes más frecuentes. En vista de lo anterior, lacomposición de la muestra constituye una representaciónequilibrada del personal profesional delDirectorio que utiliza las EvAP para prepararse yparticipar en las discusiones del Subcomité delCODE. La muestra definitiva incluyó a 17 participantesque habían asistido a tres o más reuniones(la asistencia fluctúa entre tres y 12 reuniones);siete participantes que asistieron a dos reunionescada uno, y seis participantes que asistieron a unareunión.ConstatacionesEvaluación generalLa opinión general sobre las EvAP fue positiva.La mayoría de los entrevistados (24 de 30) señalóque las EvAP cumplen una función esencial, ya queson evaluaciones integrales e independientes parael Directorio y la administración del Banco que noexisten en ningún otro lugar. La mayoría describiólas EvAP como una fuente de información indispensable,de gran calidad y profundidad en comparacióncon otros instrumentos, que presenta unaevaluación minuciosa de las políticas y actividadesdel Banco. En muchos casos, las críticas a las EvAPestuvieron acompañadas de observaciones compasivascon respecto a las dificultades inherentes quesupone proporcionar una herramienta de evaluaciónindependiente al Banco, así como de expresionesde confianza en el compromiso del DEO dehacer una evaluación objetiva e independiente deldesempeño del Banco.Utilización de las EvAPLos participantes indicaron que, desde el punto devista del Directorio, la rendición de cuentas y la seguridadde que los programas del Banco se lleven acabo de manera eficaz constituyen dos motivos depreocupación fundamentales, y que una opiniónconfiable e independiente como las EvAP es fundamentalen este proceso. También se señaló laimportante contribución al aprendizaje que repre-sentan estas evaluaciones. Los participantes estánconscientes de la tensión entre la función de rendiciónde cuentas y la de aprendizaje, y varios entrevistadossubrayaron la importancia de encontrar unjusto equilibrio entre ambas.Los entrevistados informaron que las EvAP seusan habitualmente para:• Prepararse para participar en las reuniones delSubcomité del CODE• Prepararse para participar en las reuniones delDirectorio, sobre todo la sección de conclusionesy recomendaciones de la EvAP• Como documento de antecedentes para comprendery evaluar las nuevas estrategias de asistenciaa los países• Como documento de antecedentes sobre cuestionessectoriales, temáticas o regionales especificas,para informarse de cómo se abordanciertos asuntos en un país determinado, teniendoen cuenta sus circunstancias particulares.Las EPA se utilizan en forma selectiva. Para lamayoría de los participantes, las EvAP no son documentospara leer íntegramente, sino recursos de loscuales se pueden tomar temas de interés específicos.Los participantes describieron los pasos quesuelen seguir para examinar e identificar cuestionesfundamentales en una EvAP: i) leer el memorandode remisión/resumen; ii) mirar las recomendaciones;iii) mirar la respuesta de la administración, y iv)hojear el resto del documento para identificartemas de interés específicos.Muchos participantes informaron que lasEvAP tienen un impacto limitado en la formulaciónde la estrategia para un país. Si bienvarios participantes (ocho de 30) informaron deprimera mano acerca de la influencia positiva de lasEvAP en el proceso de preparación de las EAP, lamayoría (17 de 30) expresó dudas de que las EvAPejercieran alguna influencia importante en las decisionesde la administración o la formulación de laspolíticas. Mencionaron específicamente la frecuentefalta de una ratificación formal de las EvAPpor la administración superior del Banco. Indicaronque esta situación debilitaba el impacto de la EvAPal nivel de la administración y del país, y como resultadode ello, era más probable que el personalde operaciones desestimara las constataciones y las32

ANEXO C: RESUMEN DE LAS ENTREVISTAS CON MIEMBROS DEL DIRECTORIO Y DEL COMITÉ SOBRE LA EFICACIA EN TÉRMINOS DE DESARROLLOrecomendaciones formuladas en ella. Atribuían laactitud defensiva de la administración a un énfasisexcesivo en la rendición de cuentas formal y en lascuestiones metodológicas. Todos los entrevistadosmanifestaron el deseo de encontrar un mecanismopor el cual las EvAP ejercieran más influencia.No existe suficiente calidad sobre la maneraen que se pueden y deberían utilizar lasevaluaciones. La mayoría de los participantes (16de 30) no tenía muy claro como podrían utilizar lasEvAP en sus relaciones con la administración uotras audiencias posibles (por ejemplo, los beneficiariosdel sector público, los equipos a cargo de lasoperaciones del Banco en el país). Opinaban que elDEO debería dar algunas orientaciones y señalaronque tal vez sería necesario contar con un mecanismoformal para integrar las recomendacionesformuladas en las EvAP en las estrategias de la asistenciaa los países.Se cree que la utilidad de las EvAP es limitadapara los beneficiarios de los países. Entrelos factores que se cree que limitan la utilidad de lasEvAP para las autoridades de gobierno y otros beneficiariosclave cabe mencionar los siguientes:• Falta de tiempo y capacidad institucional• Resistencia, sobre todo por parte de los funcionariosde gobierno, a ser evaluados por agentesexternos• Subordinación excesiva a las prioridades y lajerga del Banco en el contenido de las EvAP• Falta de coordinación/uniformidad en las constataciones(particularmente, los datos estadísticos)con la información proporcionada porotras instituciones bilaterales• Cuestiones metodológicas, incluida la falta dedatos y comentarios de los beneficiarios en laevaluación y falta de información actualizadaque describa debidamente la situación imperanteen el país.Las EvAP pueden servir de herramienta parafacilitar la relación entre el personal delBanco y los beneficiarios. Algunos participantesestimaban que las EvAP no son un recurso autónomo,sino más bien una herramienta para facilitarla interacción y el intercambio de impresionesentre el personal del Banco y los beneficiarios. Elproceso de comunicar, interpretar y dar respuestaa las preguntas e inquietudes que se plantean enuna EvAP ofrece una excelente oportunidad paracultivar relaciones con los principales grupos de representantesen el país, y para identificar y abordarlas necesidades específicas de este último (porejemplo, capacidad institucional, coordinación dedonantes, etcétera). Varios participantes dieronejemplos positivos sobre el uso que hacen de lasEvAP con los beneficiarios del país.Atributos positivos de las EvAPAnálisis de alta calidad. La mayoría de los participantes(23 de 30) elogió la constante alta calidadde las evaluaciones, entendiéndose por calidad “unanálisis significativo y de fondo” o “una excelenteredacción y presentación general”. Los reparos másfrecuentes que se mencionaron fueron las incoherenciasen las constataciones o un estilo de presentacióndemasiado positivo y favorable al Banco. Lamayoría advirtió que la calidad de las evaluacionesdependía de los consultores y del personal que laspreparaban, y que notaban cierta variación en la calidadentre una EvAP y la siguiente.Objetividad de las constataciones y las evaluaciones.La mayoría de los participantes (21 de 30)estimaba que las EvAP son objetivas, ofrecen una evaluaciónindependiente y desapasionada del desempeñodel Banco, y procuran ser justas en susdeterminaciones y recomendaciones. Sin embargo,algunos manifestaron su preocupación de que el textohubiera sido manipulado para que las constatacionesno parecieran tan críticas hacia la administración.Minuciosidad e integridad. En general, lasEvAP se describieron como documentos minuciosose integrales. No obstante, unos pocos participantes(cinco de 30) pensaban que a veces sepasaban por alto temas esenciales (economía política,desarrollo del sector privado, cuestionesculturales).Aspectos que se deben mejorarEstructura y presentación inadecuadas. Muchosmiembros del CODE (16 de 30) señalaron quetenían dificultades para leer y encontrar informaciónpertinente en las EvAP. Para la mayoría, éste esmás bien un problema de organización que de extensión;en la medida en que la extensión del documentosignificara minuciosidad e integridad, ellose consideraba positivo. Se sugirió reforzar el capí-33

ESTUDIO RETROSPECTIVO SOBRE LAS EVALUACIONES DE LA ASISTENCIA A LOS PAÍSES: AUTOEVALUACIÓN DEL DEOtulo sobre constataciones y recomendaciones, y pasarlomás cerca del principio del informe, ya que esla sección que tiene mayores probabilidades de serleída por la administración.Enfoque excesivamente académico. La mayoríade los participantes (17 de 30) opinaba que lasEvAP no deberían ser documentos de investigaciónacadémicamente creíbles y centrados en aspectoscuantitativos, con indicadores cuantificables deldesempeño del Banco en el pasado, situaciones hipotéticasen ausencia de intervención, etcétera. Encambio, señalaron, las evaluaciones deberían tendera presentar un panorama general muy bien elaboradosobre la función del Banco en el proceso dedesarrollo de un país a lo largo del tiempo, con unfuerte énfasis en las enseñanzas aprendidas y en recomendacionesque permitieran robustecer las estrategiasdel Banco en el futuro.Atención excesiva a los procedimientosoperacionales, relegando a segundo plano losprogresos efectivos en el terreno. A muchosmiembros del CODE les preocupaba que los documentosa veces se concentren demasiado en el desempeñodel Banco en seguir ciertos procedimientosy alcanzar determinados objetivos, olvidando el impactode la participación de este último en el país.Señalaron que una mayor concentración en “la situaciónen el terreno” y el seguimiento de los progresosefectivos fortalecerían a las EvAP.Insuficiente participación directa. Muchosparticipantes expresaron su preocupación de quelos autores de las EvAP se basan demasiado en investigacionessecundarias realizadas exclusivamenteen las oficinas de la ciudad de Washington,en vez de una labor directa con los equipos a cargode las operaciones en los países, funcionarios públicosy otros beneficiarios de los países. Muchosparticipantes reconocieron específicamente las dificultadesinherentes a la participación de funcionariosde gobierno y otros beneficiarios nacionalesen el proceso de evaluación. Entre las cuestionesfundamentales mencionadas se incluyen: limitacionespresupuestarias y de recursos en el DEO, faltade capacidad institucional en el país, posibilidad deconfundir o interrumpir las relaciones establecidascon el Banco, y posibilidad de limitar la independenciay objetividad del DEO. A pesar de estos retosy dudas, la mayoría de los participantes insistió enque el DEO debería continuar tratando de incluiruna mayor participación del país en la EvAP. Elmayor énfasis del Banco en estrategias centradas enlos países (junto con las prioridades conexas comola coordinación de los donantes, el fortalecimientode la capacidad y un mayor recurso a expertos locales)ha planteado ciertos problemas metodológicosque sólo se pueden resolver con una mayorparticipación de los beneficiarios de los países.Marcos temporales muy amplios. Se formularonpreguntas sobre el largo período (10 años omás) que abarcan las evaluaciones, especialmentecon respecto a la rendición de cuentas tanto delBanco como del gobierno del país en cuestión.¿Cómo puede una evaluación que abarque un períodotan amplio hacer frente a la rotación de personaltanto en la administración del Banco como enel gobierno, a los cambios políticos y económicosimprevistos en el país receptor, y al cambio de lasprioridades y objetivos estratégicos en el Banco?Cronología inoportuna de algunas EvAP.La mayoría de los participantes (17 de 30) señalóque a veces reciben la EvAP demasiado tarde en elproceso de formulación de una estrategia para quetenga un impacto significativo. Los participantescomprendían las cuestiones logísticas que con frecuenciarestringen la disponibilidad de las evaluaciones.Sin embargo, quisieran recibir las EvAP porlo menos dos a cuatro semanas antes de las reunionesdel Subcomité del CODE, y uno a tres mesesantes de la discusión de la EAP.Incoherencias e imprecisiones en las calificaciones.La mayoría de los participantes consideraque las calificaciones son, en general, uncomplemento confiable de la información proporcionadaen la parte narrativa del informe de evaluaciónde la asistencia a un país. Algunos describieronlas calificaciones como la parte de la EvAP que tienelas mayores posibilidades responsabilizar a la administraciónpor sus acciones y de asegurar que éstapreste atención a las constataciones de la evaluación.Sin embargo, otros estimaban que se deberíaprestar menos atención a las calificaciones.Además, expresaron gran inquietud de que las incongruenciase imprecisiones del sistema de calificaciónmermaran su impacto. La mayoría de losparticipantes señaló que, para que las calificacionesfueran útiles, las escalas debían afinarse con másprecisión o los valores relativos debían definirsemás claramente.34

ANEXO D:DISCUSIONES DEL DIRECTORIO SOBRE LAS EAP,Y DOCUMENTOS DE LAS EAPAntecedentes y objetivosEste examen fue diseñado como contribución al estudioretrospectivo de las EvAP. Su propósito esconcentrarse específicamente en la utilización delas EvAP por el Directorio Ejecutivo del Banco. Seexaminaron las transcripciones de las deliberacionesdel Directorio, así como algunas EAP pertinentesy sus respectivos informes de situación, a fin deexaminar el posible impacto de las EvAP en esasdiscusiones. También se analizaron las declaracionesescritas distribuidas por los miembros del Directorioantes de las discusiones. En la muestra seincluyeron 13 discusiones de estrategias de asistenciarelativas a los 12 países cuyas recientes EvAPse encontraban disponibles en abril de 2003 (elcaso de un país se discutió dos veces). Los paíseseran Bulgaria, Chile, El Salvador, Federación deRusia, Guatemala, India, Kazajstán, México, Marruecos,Perú, República Kirguisa y Viet Nam.MetodologíaComo primer paso, en el examen se buscaron referenciasexplícitas a una EvAP en las contribucionesdel presidente a la discusión de la estrategia de asistenciaa un país determinado. La existencia de importantesreferencias es la prueba más clara de quela EvAP ha sido leída y se ha utilizado para prepararla declaración de un presidente. Sin embargo, inclusoen los casos en que un presidente no se hubierareferido explícitamente a la EvAP, es posibleque la hubiera leído y se hubiera orientado por ellapara elegir las cuestiones abordadas en la discusiónde la EAP. Asimismo, el nivel de convergencia de lascuestiones entre la EvAP y la discusión de la EAP porel Directorio constituye por sí mismo informaciónimportante, pues la existencia de grandes discrepanciaspuede indicar que existen problemas subyacentescon el análisis y la determinación deprioridades. Por lo tanto, fue necesario ir más alláde la tarea de contar y categorizar las referencias ala EvAP y considerar también las cuestiones planteadasdurante la discusión, comparando el temaprincipal con las cuestiones presentadas en la EvAP.Todos los asuntos planteados por los presidentesse agruparon por frecuencia y contenido, y se compararoncon la importancia que se les había otorgadoen la EvAP.Se corre cierto riesgo al darle demasiada importanciaa la frecuencia con que un determinadoasunto ha sido mencionado durante las discusionesdel Directorio, ya que al parecer sus miembrosadaptan y abrevian sus contribuciones a medidaque avanza la discusión, con el fin de evitar repeticiones.En muchas transcripciones, las contribucionesde los últimos oradores fueron, en promedio,mucho más breves o, por lo menos, no conteníantantas cuestiones diferentes. Esto puede influir enel número de veces que el DEO y la EvAP se mencionanexplícitamente. Sin embargo, los comentariosse concentran en ciertos temas, lo cual indicaque hay cuestiones que revisten especial interéspara los presidentes en el contexto del país o inclusoa nivel general.Como base para el proceso de examen, se preparóuna hoja de trabajo para cada transcripción, enla que se enumeraban las recomendaciones de laEvAP y otros asuntos analizados en la evaluación correspondiente.En la lista se anotaron todas lascuestiones planteadas por un determinado presidente,las que luego fueron clasificadas por categorías,dependiendo del contenido de la observacióny de si ésta incluía una referencia explícita a la EvAP.Si un presidente planteaba una cuestión que no seanalizaba en detalle en la EvAP, se anotaba en unacategoría separada y la observación se evaluaba yasea como superficial o de fondo. Los comentarios35

ESTUDIO RETROSPECTIVO SOBRE LAS EVALUACIONES DE LA ASISTENCIA A LOS PAÍSES: AUTOEVALUACIÓN DEL DEOGráfico 1generales sobre la EvAP sin hacer referencia a unacuestión en particular constituían otra categoría.Además, las referencias explícitas a la EvAP se registraronen contexto, se clasificaron por contenido yse evaluaron para determinar si contenían orientacionesdirigidas al equipo a cargo de la EAP.ConstatacionesEvaluación generalEste examen indica que las EvAP influyen enlas discusiones del Directorio relativas a lasEAP y sus correspondientes informes de situación,pero que dicha influencia varía considerablementede un país a otro. En general,al parecer la utilización de las EvAP por los miembrosdel Directorio es moderada, con importantesvariaciones entre los grupos de representados ytambién entre las EvAP sometidas a consideración.Algunas reciben más atención que otras, y algunospresidentes parecen apoyarse más en la EvAP queotros. En general, se observó un buen nivel de convergenciaentre las cuestiones planteadas en lasEvAP y las discusiones subsiguientes de las EAP ysus correspondientes informes de situación, peroen muchos casos no se puede establecer un nexoexplícito con las EvAP.Utilización de las EvAPEn aproximadamente un tercio de las declaracionesescritas u orales de los presidentesse hacía referencia explícita por lo menosuna vez a la EvAP correspondiente. En total, seregistraron 85 referencias a las EvAP durante las 13Texto principalde la EvAP17%Distribución dereferencias conexasMemorando/CODE50%Recomendaciones33%discusiones analizadas. Alrededor de la cuarta parte(21) eran referencias muy generales, en tanto queel 75% restante (64) se relacionaba con cuestionesespecíficas. Estas últimas representaban una fracciónmuy pequeña (6%) del total de cuestionesplanteadas durante las discusiones del Directoriosobre esas EAP. Por otra parte, se observó una granconvergencia entre las cuestiones planteadas en lasEvAP y las planteadas en la discusión del Directoriode la correspondiente EAP y sus respectivos informesde situación. Lo anterior es válido ya sea que sehicieran o no referencias explícitas a la EvAP; enconsecuencia, no se puede establecer un nexoclaro entre la convergencia de cuestiones planteadasy el uso de las EvAP por parte de los miembrosdel Directorio.El nivel de convergencia entre las cuestionesplanteadas en la EvAP y los temas mencionadospor los presidentes durante lasdiscusiones del Directorio es bastante alto.Por ejemplo, la discusión de una EAP por parte delDirectorio se llevó a cabo casi un año después dehaberse distribuido la correspondiente EvAP, yprácticamente nadie se refirió a ella durante la discusión.Aun así, los temas tratados en la EvAP y enla discusión de la EAP estaban, en general, biencompaginados, y las recomendaciones formuladasen la EvPA se repitieron en varios comentarios efectuadospor los presidentes. Lo mismo sucedió enotra discusión, en la que se observó un nivel deconvergencia especialmente alto entre las cuestionesplanteadas en la EvAP, pero no se incluyó ningunareferencia explícita a esta última. Los datosdisponibles indican que tal convergencia podría serel resultado de la interacción y cooperación entrelos equipos a cargo de la EvAP y los encargados dela EAP durante la preparación de esta última.El mayor número de referencias correspondea las secciones en las que se presentainformación resumida. Una mirada más detenidaa las referencias a las EvAP sobre cuestiones específicasindica que éstas se leen en forma selectiva.Un tercio de las referencias apuntan a la secciónsobre recomendaciones de la EvAP, y otro 50% correspondea los resúmenes de la EvAP o a las cuestionesplanteadas durante la reunión del CODE odel Subcomité del CODE. Solamente el 17% de lasreferencias proviene del texto principal (Gráfico 1).Esto subraya la importancia de las secciones de lasEvAP que contienen información resumida y de ase-36

ANEXO D: DISCUSIONES DEL DIRECTORIO SOBRE LAS EAP, Y DOCUMENTOS DE LAS EAPgurar una discusión eficaz de la EvAP con el CODEo el Subcomité del CODE.Algunas EvAP generan más discusión queotras. Una EvAP concita mayor atención cuando loque se discute es una estrategia definitiva de asistenciaa un país, no un informe de situación sobrela estrategia. Una EvAP recibe menos atencióncuando el tiempo transcurrido entre su distribucióny la discusión de la EAP por el Directorio seacerca a un año. En cierta medida, una EvAP conuna calificación insatisfactoria de los efectos directosrecibe más atención.Algunos presidentes utilizan las EvAP conmás frecuencia que otros. Diez de los 24 gruposde países representados en el Directorio se refirierona las EvAP con cierta regularidad. La gran mayoríaeran representantes de países individuales dela Parte I o representantes de grupos encabezadospor un país de la Parte I. Otros grupos rara vez onunca se refirieron a una EvAP.Algunas cuestiones se plantean con mayorfrecuencia que otras, ya sea que se subrayeno no en las EvAP sometidas a examen. Entreestas cuestiones, la más frecuente es la coordinaciónde la ayuda. En la discusión no predominan, deningún modo, los aspectos bilaterales de la coordinaciónde los donantes; se trata más bien de unadiscusión de fondo en la que se aborda la coordinacióndel programa del Banco con otros programasde donantes, la selectividad, la colaboración enlos estudios económicos y sectoriales, la armonizaciónde procedimientos, etcétera. Esto tiene implicacionespara las futuras EvAP, ya que en el pasadoel tema de la coordinación de la ayuda se limitaba auna descripción de las actividades de otros donantes.Otros temas recurrentes en la discusión son lagestión del sector público, la pobreza en las zonasrurales, el desarrollo del sector privado, la condicionalidady los factores que activan los mecanismosde financiamiento.37

ANEXO E: RESUMEN DE LAS ENTREVISTAS CON PERSONAL DEL BANCOAntecedentes y objetivosEste anexo se basa en una investigación independienteque fue encargada para evaluar la calidad y eficaciade las EvAP desde el punto de vista delpersonal del Banco que participa en el proceso depreparación de esas evaluaciones. El estudio seconcentró en las experiencias, percepciones y expectativasde los propios entrevistados, y no pretendepresentar una evaluación objetiva de lacalidad, presentación y entrega de las EvAP. La finalidades identificar actitudes clave que reflejan lareceptividad de los entrevistados (o ausencia deésta) con respecto a las constataciones y recomendacionesincluidas en las EvAP.Los principales objetivos de la investigaciónfueron los siguientes:• Conocer la opinión de los participantes acercade cuáles son las audiencias y los objetivos másapropiados de las EvAP, así como su valor institucional,y la medida en que estos documentoscumplen los propósitos para los que han sidodiseñados.• Detectar posibles obstáculos que impidan asegurarla calidad y eficacia general de las EvAPfrente a las audiencias más importantes.• Determinar el papel de las EvAP en relación conlos objetivos fundamentales (por ejemplo, extraerenseñanzas para el futuro, determinar elimpacto en el desarrollo que tienen las EAP yrendir cuentas)• Identificar de qué manera utilizan las EvAP en sutrabajo las distintas audiencias.• Evaluar las EvAP en relación con criterios específicos(solidez metodológica, minuciosidad, integridad,facilidad de uso, equidad, objetividad,etcétera)• Recomendar maneras específicas de mejorar lacalidad y eficacia de los documentos (por ejem-plo, plazos para la distribución, metodología,estilo y organización de los documentos, comentariosde las partes interesadas dentro delpaís y difusión a estos últimos, etcétera).MetodologíaPara lograr estos objetivos, el DEO encargó a unconsultor independiente la realización de entrevistasen profundidad con directores a cargo de lasoperaciones del Banco en los países (DP) y vicepresidentesde las oficinas regionales (VPR), asícomo entrevistas con grupos de discusión integradospor miembros de los equipos a cargo de los países(economistas, gerentes, coordinadores). Lainvestigación se realizó entre mediados de octubrey mediados de diciembre de 2003. Los participantesfueron seleccionados de una lista de funcionariosactuales o anteriores del Banco, proporcionadapor el DEO. La muestra para el estudio comprendiócuatro VPR actuales y anteriores y un vicepresidenteinterino; otros cinco funcionarios de las vicepresidencias;20 directores actuales o anterioresa cargo de las operaciones del Banco en los países,y otros 18 funcionarios de los equipos a cargo de lospaíses, cinco de los cuales concedieron entrevistasen profundidad.A todos los participantes se les prometió que suscomentarios se mantendrían en reserva, y por correoelectrónico se les enviaron anticipadamentepautas para la entrevista. Cada entrevista duró unos45 minutos.ConstatacionesEvaluación generalCon unas pocas excepciones, la administracióndel Banco en general tuvo opiniones negativasacerca de las EvAP. Solamente siete de los 20 DPentrevistados hicieron una evaluación positiva de lasEvAP y la utilidad de sus constataciones y recomenda-39

ESTUDIO RETROSPECTIVO SOBRE LAS EVALUACIONES DE LA ASISTENCIA A LOS PAÍSES: AUTOEVALUACIÓN DEL DEOciones. Dos DP que estaban familiarizados con más deuna EvAP hicieron una evaluación positiva de una omás de ellas, y una evaluación negativa de las demás.Siete DP tenían una opinión negativa y las impresionesde los otros cuatro fueron variadas. Los VPR entrevistadostuvieron opiniones incluso menos positivasque los DP. Una de las constataciones principales deestas entrevistas y conversaciones con grupos de discusiónfue que generalmente las EvAP recibían unaevaluación positiva cuando se creía que producían unimpacto directo en la preparación de una EAP o enalgún otro estudio o actividad en curso, y viceversa.Las opiniones de los DP no se dejabanguiar estrictamente por las calificacionessobre los efectos directos recibidas por suspaíses. Si bien hubo unos pocos casos en que seobservó una correlación directa entre las calificacionesde los efectos directos y la evaluación de laEvAP, el panorama general era diferente. Los sieteDP que hicieron una evaluación positiva estuvieronrelacionados con tres EvAP que obtuvieron calificacionespositivas sobre los efectos directos y cuatroque recibieron calificaciones negativas. Lo mismosucedió en el caso de los DP que evaluaron las EvAPen forma negativa. Por otra parte, las opiniones delos VPR estuvieran determinadas principalmentepor su experiencia con EvAP que recibieron calificacionesnegativas. Fue difícil establecer una relaciónentre las calificaciones y las percepciones delos miembros de los equipos a cargo de los paísesen los grupos de discusión, excepto por el hechode que muchas de las críticas y sugerencias estuvieronguiadas por las experiencias con EvAP queobtuvieron calificaciones negativas.Utilización de las EvAPSe consideraba que algunas EvAP tenían unimpacto directo en la EAP o en el planteamientodel Banco con respecto al país. Algunos participantesdeclararon que la evaluación de laasistencia a su país tuvo un impacto directo en laestrategia y en el programa de financiamiento, y unimpacto apreciable en la manera de pensar y realizarsu trabajo. En un caso se declaró que “de hecho,después de aquello no otorgamos préstamos a Xdurante un largo tiempo”. Había más probabilidadesde que los participantes que se identificabancomo beneficiarios primarios de la EvAP hubieraninteractuado directamente con el equipo a cargo dela misión, destacado el impacto positivo de las evaluaciones(con la EAP y con posterioridad a ella),promovido una difusión más amplia de las constatacionesa los beneficiarios y declarado que consultabanlas EvAP de otros países para realizar sutrabajo.Sin embargo, muchas de las EvAP se considerabande poco o ningún valor. Muchos entrevistadosreconocieron lo poco que valoraban yutilizaban las EvAP de sus países. Una vez concluidosel proceso formal y la reunión del CODE, estasEvAP solían descartarse e ignorarse. Sus críticos decíanque las EvAP eran documentos superficiales sinninguna significación verdadera para la labor delpersonal del Banco; que no aportaban ningún conocimientoo enseñanzas que pudieran modificarla manera en que el Banco desarrollaba su labor;que no lograban comunicar la riqueza y complejidadde la situación de un país, y que no conteníannuevas ideas de las que el equipo a cargo de lasoperaciones en el país ya no tuviera conocimiento.Atributos positivos de las EvAPLa valoración como instrumento de aprendizaje.Los participantes que evaluaron positivamentelas EvAP se concentraron en el impacto de las constatacionessobre estrategias y operaciones futuras, inclusocuando describían evaluaciones críticas de laestrategia del Banco o del equipo a cargo de las operacionesen el país. En cuanto al proceso de aprendizaje,la opinión era que éste se derivaba, en mayormedida, del proceso informal y constante a través delcual se recopilaban, comunicaban y difundían las constatacionesde las EvAP, antes que de estas últimascomo documento independiente y autorizado.Aspectos que se deben mejorarCompetencia y experiencia de los jefes deproyecto. Una mayoría abrumadora de los DP (16 de20) y todos los VPR informaron que la competencia yexperiencia del jefe de proyecto es un factor fundamentalpara determinar su confianza en una EvAP y lareceptividad que puede tener a este documento. Losatributos más citados de un buen jefe de proyecto fueronlos siguientes: experiencia operacional previa;sensibilidad frente a las presiones y complejidades dela toma de decisiones y la aplicación de las estrategiassobre el terreno; conocimiento de la región y de lossectores pertinentes, y ausencia de prejuicios.40

ANEXO E: RESUMEN DE LAS ENTREVISTAS CON PERSONAL DEL BANCOGrado de interacción con el equipo a cargode las operaciones en el país. Del grupo de DP entrevistadospara el estudio, seis de los ocho que hicieronuna evaluación positiva de una o más EvAPsubrayaron el valor y la importancia del proceso a travésdel cual se generaba dicho documento. Los participantesque evaluaron positivamente las EvAP teníanmás probabilidades de describir este documento, asícomo su valor para la labor que desarrolla Banco, entérminos de un proceso de aprendizaje permanente,y en repetidas ocasiones manifestaron que las comunicacionesabiertas y periódicas entre el equipo acargo del país y el equipo responsable de la EvAP resultabanen discusiones fructíferas respecto de lasprincipales cuestiones que debían examinarse y de laspersonas y recursos adecuados a los que se debía recurrirdurante la evaluación. En cambio, los participantesque evaluaron las EvAP en forma negativadeclararon que existía muy poca interacción entre elequipo a cargo de las operaciones en el país y elequipo responsable de la EvAP.Falta de sensibilidad en la toma de decisionesy los procesos operacionales. Participantesde todos los grupos (incluidos 12 DP, cuatro VPR yambos grupos de discusión) informaron que confrecuencia en las EvAP no se presta suficiente atenciónal razonamiento en que se ha basado la formulaciónde las estrategias en el pasado ni alreconocimiento en debida forma del compromisoy profesionalismo de la administración y el personalde operaciones. La utilidad incluso de la EvAPmás positiva a veces se ve disminuida por la incapacidad,durante la evaluación, de poner las decisionesen el contexto en el que fueron tomadas ode tener en cuenta la disposición de quienes desarrollarony pusieron en práctica la EAP. “No puedocreer que nuestra resistencia a las constataciones ya las situaciones hipotéticas se deban simplementea nuestra estrechez de mente y resistencia a la críticay al cambio”, señaló uno de los entrevistados.“Lo que ocurre es que en el proceso no se reconocesuficientemente el profesionalismo de las personas”.Cronología caprichosa de las EvAP. Independientementede la evaluación que hicieron delas EvAP, los participantes de todos los grupos coincidieronen que, en la práctica, la cronología de lasevaluaciones es demasiado caprichosa e impredeciblepara ser un instrumento útil para la formulaciónde estrategias a nivel institucional. Incluso losparticipantes que describieron experiencias idealesrespecto de la cronología de las EvAP señalaron quesabían de casos en que una evaluación se había distribuidocuando el proceso ya estaba demasiadoavanzado para servir de fundamento para la EAP,observación que generó escepticismo acerca de lautilidad de la EvAP en su labor en el futuro. La mayoríade los participantes indicó que, para quepueda servir de fundamento a la EAP, la EvAP deberíaestar disponible en las primeras etapas delproceso de formulación de la estrategia. En muchoscasos, las observaciones de los participantes respectode la cronología y la distinta manera de entenderla EvAP en el proceso y en el documentoestaban estrechamente relacionadas con el equiporesponsable de la EvAP.Énfasis excesivo en la rendición de cuentasen contraposición al aprendizaje. Los participantesque hicieron una evaluación positiva de lasEvAP rara vez emplearon la expresión “rendición decuentas”. Sin embargo, aquellos cuya evaluaciónfue negativa se quejaron en repetidas ocasiones delénfasis excesivo de la EvAP en la rendición de cuentas.El problema que se mencionó con mayor frecuenciaen relación con el énfasis en la rendición decuentas que se pone actualmente en la CAE (y queresume la mayoría de las demás inquietudes señaladas)era que disminuía el valor y la utilidad —durantela formulación de la estrategia y a nivel delequipo a cargo de las operaciones en el país— delas enseñanzas y recomendaciones para el futuroque se supone que deben ofrecer las evaluaciones.Los participantes de todos los grupos manifestaronsu preocupación de que el énfasis actual en la rendiciónde cuentas monopoliza el contenido, la metodologíay la organización de las EvAP (y que lasrecomendaciones y constataciones más importantesquedan rezagadas al final del documento), y disminuyela receptividad de la administración y delpersonal a cargo de las operaciones en los paísesfrente a las recomendaciones formuladas.En el caso de los participantes que trabajan en paísesgrandes y complejos en los que el Banco tienegrandes inversiones, así como en el de los VPR de esasregiones, la credibilidad de las EvAP como indicadoresde la rendición de cuentas corre mayor peligro debidoa la incapacidad de las evaluaciones de abordar elpapel del Directorio y a las presiones externas de lospaíses del Grupo de los Siete para orientar las estrate-41

ESTUDIO RETROSPECTIVO SOBRE LAS EVALUACIONES DE LA ASISTENCIA A LOS PAÍSES: AUTOEVALUACIÓN DEL DEOgias del Banco. Esta cuestión —y su impacto en la credibilidadde las EvAP para la administración y el equipoa cargo de las operaciones en el país— fue señalada directamentepor ocho DP y tres VPR, y se debatió abiertamenteen los dos grupos de discusión con directoresa cargo de países.Falta de sensibilidad con respecto al perjuiciode las relaciones con los países. Más dela mitad de los participantes (ocho DP, tres VPR yvarios participantes en los grupos de discusión) señalaronla necesidad de reparar los daños despuésde que se da a conocer públicamente una EvAP negativa.Para la mayoría, el daño a la reputación delequipo a cargo de las operaciones en el país y a lasrelaciones que éste mantiene (con el gobierno yotros beneficiarios, otros donantes y el público engeneral) se considera la repercusión clave de unaevaluación negativa, mucho más importante que elimpacto en la carrera o avance profesional de un individuo.Los participantes eran mucho más receptivosfrente a constataciones negativas cuando elequipo responsable de la EvAP se daba cuenta de lanecesidad de entender y controlar el impacto quepodría producir una evaluación negativa en las operacionesen curso. En el mejor de los casos, a losparticipantes se les daba tiempo para asimilar y prepararse(mediante conversaciones informales conbeneficiarios clave) para la distribución pública deuna EvAP negativa.Deficiencias del sistema de calificación. Losparticipantes también criticaron el sistema de calificaciónempleado en las EvAP. Las opiniones se dividieronentre quienes consideraban que las calificacionesdebían ignorarse o que debía restárseles importanciay quienes exigían un planteamiento más riguroso. Lasprincipales inquietudes expresadas fueron:• Incoherencias entre las calificaciones y la partenarrativa de la EvAP• Falta de claridad sobre el verdadero significadode las calificaciones• Falta de coordinación con las medidas cuantitativasproporcionadas por otras organizacionesdonantes• Dificultades inherentes a la aplicación de criteriosuniformes en distintos países• Resistencia general al concepto de calificacióndel desempeño al nivel de los países• Incapacidad de medir las diferencias en distintasfases del proceso de desarrollo (y frustracióncon la práctica del DEO de combinar y promediarcalificaciones de distintos períodos)• Dificultades en atribuir los efectos directos enlos países al desempeño del Banco• Desarrollo de una actitud defensiva indebidaentre el personal del Banco.Deficiencias en la metodología y el enfoque.La mayoría de los participantes hizo comentariossobre la falta de una metodología clara, uniforme,coherente y racional para las EvAP que pudiera aplicarsede manera eficaz en todas partes. Opinaronque su enfoque era demasiado amplio para ser útil.En lugar del actual alcance integral y multisectorialde las EvAP, varios entrevistados (ocho DP y dosVPR) sugirieron que las evaluaciones identificaranun número limitado de sectores específicos en losque pudieran producir el mayor impacto. Tambiénse observaban importantes deficiencias en las situacioneshipotéticas en ausencia de intervención, quese consideraban demasiado abstractas, con un énfasisexcesivo en el papel del Banco en el desarrollodel país, y, en retrospectiva, demasiado utópicas yprivilegiadas para ser útiles en la toma de decisionesen el futuro.Deficiencias en la capacidad de investigación.Los participantes señalaron que durante lapreparación de las EvAP se hacía un uso excesivo derecursos secundarios y consultas inadecuadas conbeneficiarios del país e integrantes del equipo acargo de las operaciones en el país. Se considerabaque el DEO sólo se hacía presente en el país esporádicamentey que la mayor parte de su labor se realizabadesde la ciudad de Washington. Muchaspersonas consideraban que eran dejadas de lado entodos los niveles (beneficiarios, otros donantes,equipo a cargo de las operaciones en el país, responsablesde las políticas dentro del Banco), enparticular quienes ocupaban puestos fundamentalesen la época en que se formulaban las políticas.42

ANEXO F:RESUMEN DE LOS MÉTODOS DE EVALUACIÓN DE PAÍSESEMPLEADOS POR OTROS ORGANISMOSSe emprendió un estudio documental de todos losmétodos de evaluación de países de conocimientopúblico que emplean las principales organizacionesdonantes de carácter bilateral y multilateral. Se envióesta información, junto con un breve cuestionario, alos departamentos de evaluación de cada organizacióndonante a fin de que confirmaran las comprobacionesde dicho estudio y proporcionaran lainformación faltante. Todas las unidades de evaluaciónrespondieron con detalles el cuestionario. En elanálisis no se incluyó al Banco Europeo de Reconstruccióny Fomento (BERF), al Fondo Monetario Internacional(FMI) ni a la Agencia de los EstadosUnidos para el Desarrollo Internacional (USAID),puesto que estos organismos aún no habían realizadoninguna labor importante sobre evaluacionesde países. En el presente resumen se incluye la informacióndisponible en septiembre de 2004.El examen reveló que aproximadamente lamitad de las organizaciones cuentan con directricesformales para llevar a cabo evaluaciones de países yque los formatos empleados son similares a los delDEO. Por ejemplo, las evaluaciones incluyen capítulossobre los antecedentes del país, la estrategia yla asistencia proporcionada al país, además de capítulossobre enseñanzas aprendidas y constataciones,y luego recomendaciones. Al igual que en lasEvAP, se incluye una sección sobre las contribucionesde otros donantes y factores exógenos. Las evaluaciones,al igual que las EvAP, también siguen loscriterios del Comité de Asistencia para el Desarrollo,a saber, pertinencia, eficiencia, eficacia y sostenibilidad.Además, algunos incluyen coherencia,impacto y desarrollo institucional.Los donantes discrepan del DEO con respecto alas calificaciones, la atribución y el uso de situacio-Cuadro F.1Utilización de los principales instrumentosmetodológicosSituaciónNúmeroOrganización Calificaciones hipotética Atribución de países evaluadosDepartamento de Evaluación de Operaciones (DEO) 70Organizaciones multilateralesBanco Africano de Desarrollo (BAfD) 6Banco Asiático de Desarrollo (BAsD) a 7Banco Islámico de Desarrollo (BIsD) 16Programa de las Naciones Unidas para el Desarrollo (PNUD) 10Fondo de las Naciones Unidas para la Infancia (UNICEF) 7Organizaciones bilateralesOrganismo Danés de Desarrollo Internacional (DANIDA) 7Departamento para el Desarrollo Internacional del Reino Unido (DFID) 3Unión Europea/Comunidad Europea (UE/CE) 23Sociedad Suiza para el Desarrollo 9Organismo Sueco de Desarrollo Internacional (OSDI) 4a. Está elaborando un sistema de calificación.43

ESTUDIO RETROSPECTIVO SOBRE LAS EVALUACIONES DE LA ASISTENCIA A LOS PAÍSES: AUTOEVALUACIÓN DEL DEOnes hipotéticas en ausencia de intervención. A diferenciadel DEO, por lo general otros donantes nocalifican explícitamente los efectos directos de susprogramas de asistencia (Cuadro F.1). Debido a lasdificultades metodológicas relacionadas con la atribución,solamente tres organizaciones intentanatribuir formalmente los efectos directos de susprogramas a una intervención a nivel nacional (elBAfD, el BID y el Departamento para el DesarrolloInternacional del Reino Unido (DFID), que reciénempieza a realizar evaluaciones de países). Sin embargo,la mayoría de las otras organizaciones intentaestablecer una asociación creíble entre losinsumos y los efectos directos e impactos observados.Solamente dos de las organizaciones examinadas—el BAfD y el BID— utilizan situacioneshipotéticas en sus evaluaciones. Los donantes opinabanque en las EvAP es difícil conceptualizar laatribución y las situaciones hipotéticas.A los donantes les inquietaba más la ausencia demetas claras y definidas y la inexistencia o inadecuaciónde los indicadores de seguimiento en lasestrategias para los países que el análisis de la atribucióny las situaciones hipotéticas. El Fondo de lasNaciones Unidas para la Infancia (UNICEF) está tratandode abordar esta cuestión mediante la adopciónde un plan integrado de seguimiento yevaluación que se incorpora en el programa paracada país durante la etapa de preparación. Conformea dicho plan, los programas del UNICEF seconcentran en los resultados, el empleo de un modelológico para vincular los insumos con los resultados,y un sistema de seguimiento y evaluaciónpara vigilar el desempeño. La Unión Europea tambiénestá elaborando un diagrama lógico para susestrategias de asistencia a los países.44

APÉNDICE 1:RESUMEN DE LA DISCUSIÓN DEL SUBCOMITÉ DEL CODEEl 28 de febrero de 2005, el Subcomité informal delCODE se reunió para analizar el documento titulado“Country Assistance Evaluation (CAE) Retrospective—OEDSelf-Evaluation”.Comentarios del DEO. Los representantes delDEO señalaron que el informe de autoevaluación sebasa en un examen de EvAP terminadas recientemente,extensas entrevistas con miembros del CODEy del Subcomité del CODE, sus asesores y personal delas oficinas regionales del Banco, así como en evaluacionesrealizadas por evaluadores externos. En el estudioretrospectivo se abordan dos cuestionesprincipales: las enseñanzas aprendidas y maneras demejorar las EvAP como instrumento. En el informe seconcluye que una evaluación a nivel de países ofreceun panorama más completo que una simple agregaciónde resultados de proyectos. Al preparar las EAP,el Banco necesita entender mejor el contexto nacionaly otorgar financiamiento para el desarrollo de políticasúnicamente cuando el gobierno se identifica plenamentecon los programas. En la retrospectiva tambiénse concluyó que se podría reforzar el marco metodológicoponiendo más énfasis en el impacto en el desarrolloy en los efectos directos logrados que en losinstrumentos del Banco y las cuestiones relativas alcumplimiento de reglas y normas.En la evaluación del DEO se concluyó que en el futurolas EvAP deben basarse más en los resultados, vinculandolos instrumentos y los efectos directosconseguidos con los objetivos del Banco. En cuanto alas calificaciones de las EvAP y las relaciones con losequipos a cargo de las operaciones en los países y losbeneficiarios en cada país, los representantes del DEOsubrayaron que, de conformidad con el nuevo marco,ese departamento desagregará las calificaciones de losefectos directos por objetivo y hará un esfuerzo por realizarmás consultas con los beneficiarios del país.Agregaron que si se llega a un acuerdo con la administraciónacerca de un sistema de calificaciones apropiadopara los informes de terminación de las EAP, esprobable que las calificaciones de las EvAP se eliminengradualmente.Principales conclusiones y próximos pasos.Los miembros del Subcomité respaldaron ampliamentelas conclusiones del estudio retrospectivode las EvAP y sugirieron que se revisara el marco deestas últimas. Subrayaron el importante papel quecumple este instrumento para dar forma al próximociclo de estrategias para los países y para hacer másprecisas las discusiones del Directorio relativas a lasEAP. Al mismo tiempo, observaron que aún se puedenhacer mejoras, y destacaron la importancia dela identificación del país con los programas, la continuaparticipación de los clientes y un mejor entendimientode las condiciones específicas del paíspara elaborar informes creíbles de evaluación de laasistencia.Entre las cuestiones específicas que planteó elSubcomité cabe mencionar las siguientes:Enseñanzas aprendidas. Los miembros estuvieronde acuerdo en que las EvAP presentan unpanorama más completo que las evaluaciones alnivel de los proyectos y subrayaron la importanciade que los países se identifiquen con los programasy de entender las complejidades de la economía políticalocal.A algunos les preocupaba que, según el informe,el Directorio —más que el personal del Banco—considerara que la EvAP es un instrumento útil. Losrepresentantes del DEO respondieron que, si bienel diálogo es algo positivo, es frecuente que haya diferenciasde opinión acerca de un proceso de evaluación.Agregaron que, a pesar de las diferencias,hay una creciente demanda de parte de las unidadesa cargo de los países para que el DEO realicemás evaluaciones al nivel de los países.Algunos miembros estimaban que en las EvAPtambién se debería tener en cuenta la eficacia de laasistencia para el desarrollo proporcionada porotros donantes. Al mismo tiempo, reconocían lasdificultades para evaluar y distinguir las distintascontribuciones en proyectos conjuntos. A un participantele interesaba saber qué enfoque (atribucióno contribución) era más apropiado para la evalua-45

ESTUDIO RETROSPECTIVO SOBRE LAS EVALUACIONES DE LA ASISTENCIA A LOS PAÍSES: AUTOEVALUACIÓN DEL DEOción del impacto. Los representantes del DEO estuvieronde acuerdo en que atribuir las contribucionesindividuales no es tarea fácil, pero señalaronque se debería tratar de documentar la relaciónentre los efectos directos y las contribuciones dedonantes individuales. De lo contrario, se podríacuestionar la justificación de la intervención de undonante individual. En el caso de iniciativas totalmenteconjuntas, por ejemplo mediante fondos colectivos,la atribución sólo podría determinarse alnivel de la iniciativa conjunta.Fortalecimiento de las EvAP. Los miembrosapoyaron el marco revisado para las evaluaciones alnivel de los países y subrayaron la importancia fundamentalde la cronología para entregar las EvAP:idealmente, seis a nueve meses antes de la presentaciónde la EAP. Observaron que era necesario asegurarsede que las EAP sean un reflejo de las EvAPanteriores y de que ambos documentos se basen enlos resultados.A algunos miembros les interesaba que en lasEvAP se incluyeran las conclusiones de otros instrumentos,tales como las evaluaciones de las políticase instituciones nacionales y las encuestassobre el clima para los negocios. Los representantesdel DEO contestaron que si bien las primerasson una herramienta útil, no siempre se relacionandirectamente con las calificaciones de las EvAP.Los miembros subrayaron la importancia de asignarsuficientes recursos para la preparación de laEvAP, incluida la participación de personal con conocimientosesenciales sobre las condiciones específicasdel país. Un miembro señaló que la continua participacióncon el cliente a través del proceso de elaboraciónde la EvAP será un aporte significativo parafortalecer la capacidad a nivel local. Los representantesdel DEO respondieron que el departamento recurrea grupos de expertos y a exámenes por los parespara mejorar la calidad de su labor, y que está explorandomaneras de ampliar la participación tanto de losequipos a cargo de los países como de los clientes enlas distintas etapas de la evaluación.Riesgos. Una persona subrayó la importanciade analizar cuidadosamente los riesgos (incluidoun examen en profundidad del verdadero historialy no de las intenciones declaradas) antes de emprenderuna EAP. Ello podría ayudar a mejorar laeficiencia en función de los costos y a reasignar re-cursos en situaciones en que las condiciones delpaís no son propicias para preparar una EAP completa.Otro participante observó que algunas recomendacionesdel informe podrían provocar unaactitud de mayor aversión al riesgo por parte de losequipos a cargo del país, en tanto que en algunoscasos, especialmente en situaciones de cambio radical,el Banco debería estar preparado para asumirriesgos con miras a lograr ciertos progresos. Los representantesdel DEO respondieron que sería importantetomar medidas adecuadas de mitigaciónde riesgos para evitar que se acumulen deudas improductivas,cuya carga al final de cuentas recaeríaen los prestatarios, y que, en situaciones de cambioradical, el financiamiento del Banco se debería calibrarcuidadosamente conforme a los progresos enla implementación de las reformas.Coordinación de los donantes. Algunos miembrosestimaban que en el informe se deberían haberincluido las cuestiones relativas a la coordinación delos donantes, la armonización y la ventaja comparativadel Banco con respecto a otros donantes. Los representantesdel DEO respondieron que el informe seconcentra en la eficacia del Banco para ayudar a lospropios países a asumir el liderazgo, no en la coordinaciónde los donantes, y que el DEO no evalúa la asistenciaproporcionada por otros donantes. El DEO hatratado el tema de la coordinación de los donantes ensus evaluaciones del proceso relacionado con la estrategiade reducción de la pobreza, el marco integral dedesarrollo y una evaluación independiente de la coordinaciónde los donantes.Muestra de países. Algunos miembros observaronque la muestra de EvAP incluía a pocos paísespequeños o de ingreso bajo en dificultades y preguntaronsi ello podría haber afectado la objetividadde las conclusiones finales. Los representantesdel DEO respondieron que con frecuencia la elecciónde los sujetos para las EvAP se determina porlas EAP de próxima presentación, lo que deja fueraa muchos Estados “frágiles” y Estados de ingresobajo en dificultades que se incluyen en otros instrumentos,como las estrategias de apoyo durantela transición y las notas sobre la estrategia provisionalpara un país. Señalaron que el DEO continúaprestando suficiente atención a los pequeños Estadosy también está preparando una evaluaciónsobre los países de ingreso bajo en dificultades.46

NOTAS FINALES1. Véase en el Anexo A una breve descripción del planteamientometodológico de la EvAP del DEO (esta descripciónpuede encontrarse también en el sitio web delDEO: http://www.worldbank.org/oed/oed_cae_methodology.html).2. Véase en el Anexo B una lista de las EvAP terminadas.3. El DEO ha extraído enseñanzas de las EvAP en el pasado.En el Examen anual de la eficacia en términos dedesarrollo se recogen algunas enseñanzas de las EvAPmás recientes terminadas en la fecha de redacción dedicho examen. En 2002 se analizaron las enseñanzasaprendidas en cuatro países africanos en un taller organizadopor la Oficina Regional de África. Ese mismo año,el DEO preparó una nota sobre las enseñanzas aprendidasen relación con los países de ingreso bajo en dificultades(“Lessons for Low-Income Countries Under Stress”),para presentarla al Comité sobre la eficacia en términosde desarrollo. En 2003, las enseñanzas de las evaluacionesrealizadas en las economías en transición se sintetizaronen un estudio del DEO sobre esos países.4. En muchos de estos países, la estabilización macroeconómicase vio obstaculizada por la falta de recaudaciónde ingresos, consecuencia de la debilidad delsistema de administración de impuestos y aduanas. Sufriótambién la intermediación financiera porque se necesitócierto tiempo para instaurar un sistema de pagoeficiente, y los nuevos bancos privatizados carecían de capacidadpara tomar decisiones sobre créditos comerciales.Los bancos centrales no tienen los medios pararegular otros bancos. El desarrollo del sector privado seve frenado porque el poder judicial muchas veces nopuede aplicar medidas legislativas fundamentales paraese fin, en particular los derechos de propiedad privada,los derechos del acreedor, la legislación sobre situacionesde quiebra, las leyes antimonopolio, etcétera.5. El Banco ha establecido varios nuevos instrumentos—préstamos programáticos para ajuste sectorial,préstamos adaptables para programas, y préstamos paraaprendizaje e innovación— con el fin de respaldar las reformasque implican un largo proceso de aprendizaje yque parecen responder bien a la situación de algunaseconomías.6. Cabría citar como ejemplo el fortalecimiento de lassecretarías estatales de educación, la puesta en marchade sistemas de información y evaluación para la enseñanzaprimaria, y la instauración de normas operacionales mínimasen todas las escuelas de Brasil; el establecimiento deun marco jurídico reglamentario, los derechos de exploracióny desarrollo, y los reglamentos ambientales enPerú; la introducción de un contrato de administraciónprivada basado en el desempeño para el abastecimientode agua en Jordania; el fortalecimiento de la DirecciónGeneral de Caminos en Guatemala; el aumento de la capacidaden el Ministerio de Hacienda y el Banco Centralde Mongolia; la capacidad administrativa para adoptar lastarifas de los servicios públicos, conseguir la recaudaciónen efectivo y supervisar los resultados en Rusia, y el fortalecimientodel Ministerio de Agricultura en Zambia.7. Las intervenciones del Banco en Brasil en los sectoresde la salud, la educación y la infraestructura consiguieronresultados relativamente positivos, ya que elgobierno incluyó la educación, la salud y la infraestructuraentre las prioridades de desarrollo. Por el contrario,en Marruecos el gobierno no había establecido todavíaprioridades claras ni un programa para el sector de laeducación. Dos proyectos de enseñanza, que se clausuraronen años recientes, tuvieron resultados poco satisfactoriosy efectos institucionales insignificantes.8. En el examen de la AIF realizado por el DEO y en elARDE de 2003 se observó que la relación entre el desempeñonormativo institucional de los países y los nivelesde financiamiento se ha reforzado. Según un estudio retrospectivosobre el financiamiento para fines de ajuste,en los últimos años la mayor parte —por no decir la totalidad—de dicho financiamiento se ha destinado a paísescon desempeño normativo superior a la media, y parasectores con un historial de progreso.9. En Zambia, la retención de los desembolsos mientrasno se hubieran cumplido las condiciones previashabría permitido situar antes en primer plano los proble-47

ESTUDIO RETROSPECTIVO SOBRE LAS EVALUACIONES DE LA ASISTENCIA A LOS PAÍSES: AUTOEVALUACIÓN DEL DEOmas relacionados con la gestión de gobierno, la reformaestructural y la cancelación de la deuda. En Zimbabwe, siel Banco hubiera optado en 1997–2000 por exigir la aplicaciónde las reformas en vez de una mera declaración debuenas intenciones, se habría enviado un mensaje claroa los dirigentes del país. En Rusia, si bien la adopción porel Banco de medidas de financiamiento en apoyo de la reformade políticas en 1996–97 tenía como objetivo la reformasistémica, el mensaje enviado a las autoridadesrusas era que las consideraciones geopolíticas mantendríanabierta la posibilidad de financiamiento de la comunidadinternacional, independientemente de loserrores y vacilaciones en la adopción del programa de reformas.10. Por ejemplo, en la estrategia del Banco de 1993para el Paraguay se mostró demasiado optimismo acercadel potencial de reforma y la capacidad de ejecución delpaís, dado su escaso historial en esas áreas. En Zimbabwe,las estrategias sobrevaloraron la receptividad y predisposicióndel gobierno a emprender reformas de los serviciosparaestatales y de la administración pública. En Haití,la estrategia de 1996 no reconoció adecuadamente losriesgos planteados para el logro de los objetivos comoconsecuencia de los problemas políticos y de gobiernono resueltos, que minaron los intentos de promover eldesarrollo económico. En Lesotho, a pesar de lo ocurridoen las elecciones de 1993, el Banco se mostró demasiadooptimista al suponer que la democratización y la estabilidadpodrían conseguirse poco tiempo después de laselecciones de mayo de 1998. En consecuencia, la estrategiade asistencia del Banco no incluyó planes de emergenciapara el caso de que fracasara el proceso dedemocratización, que es lo que ocurrió.11. En Kenya, por ejemplo, el nombramiento de unequipo de cambio en julio de 1999 y el comienzo de lasreformas del sistema de gestión económica y normativa,propuestas ya mucho antes, fueron recompensadas conun préstamo para fines de ajuste cuando se habían cumplidosólo parcialmente las condiciones para dicho apoyoespecificadas en la estrategia de 1998 para el país. EnZambia, el excesivo optimismo dio lugar a condicionesmenos orientadas a los resultados o formuladas vagamenteen el financiamiento para el ajuste. En Marruecos,el Banco ofreció un préstamo en apoyo de la reforma delas políticas en los últimos años noventa con el fin de recompensarla evolución del país hacia un sistema políticomás abierto y su compromiso con la reforma. El préstamoera demasiado vago para conseguir una repercusión notableen ninguna de las esferas críticas de la reforma identificadasen la estrategia para el país. Muchas de lasacciones adoptadas antes de la presentación al Directoriofueron medidas iniciales, algunas veces en forma deestudios o planes, y muchas otras no consiguieron resultadosconcretos.12. La evaluación del DEO sobre la Iniciativa para lospaíses pobres muy endeudados (PPME) reveló que lasproyecciones de crecimiento poco realistas habían dadolugar a problemas de deuda.13. Véase “Best Practice in Country Program Evaluation”(OCDE, Comité de evaluación del CAD). Allí puedeencontrarse un primer intento por uniformar las metodologíaspara los donantes.14. Véase DEO, 2002, pág. 28.15. No se han preparado documentos de estrategiapara Lesotho, Zimbabwe ni Eritrea.16. Véase un análisis completo de este examen en elAnexo D.17. En el Anexo A se incluye una descripción completade la actual metodología de las EvAP.18. Véase el Anexo F.19. En el Anexo A se incluye una descripción y una definiciónde las calificaciones de las EvAP.20. La expresión “programa de asistencia” se refiere alos productos y servicios generados en apoyo del desarrolloeconómico de un país cliente durante un períododeterminado, y el término “cliente” se refiere al país querecibe los beneficios de ese programa.48

REFERENCIASOED. 2004a. 2003 Annual Review of DevelopmentEffectiveness: The Effectiveness of Bank Supportfor Policy Reform. Washington, D.C.: BancoMundial.———. 2004a. Economies in Transition: AnOED Evaluation of World Bank Assistance.Washington, D.C: Banco Mundial.———. 2003. Debt Relief for the Poorest: An OEDReview of the HIPC Initiative. Washington, D.C.:Banco Mundial.———. 2002. 2002 Annual Report on OperationsEvaluation. Washington, D.C.———. 1999. 1999 Annual Review of DevelopmentEffectiveness. Washington, D.C.: Banco Mundial.OCDE (Organización de Cooperación y DesarrolloEconómicos), Comité de evaluación del CAD.2004. “Best Practice in Country Program Evaluation”.Paris.49