Estudio retrospectivo sobre las evaluaciones de la asistencia a los ...

Estudio retrospectivo sobre las evaluaciones de la asistencia a los ... Estudio retrospectivo sobre las evaluaciones de la asistencia a los ...

ieg.worldbankgroup.org
from ieg.worldbankgroup.org More from this publisher
11.07.2015 Views

ESTUDIO RETROSPECTIVO SOBRE LAS EVALUACIONES DE LA ASISTENCIA A LOS PAÍSES: AUTOEVALUACIÓN DEL DEOgias del Banco. Esta cuestión —y su impacto en la credibilidadde las EvAP para la administración y el equipoa cargo de las operaciones en el país— fue señalada directamentepor ocho DP y tres VPR, y se debatió abiertamenteen los dos grupos de discusión con directoresa cargo de países.Falta de sensibilidad con respecto al perjuiciode las relaciones con los países. Más dela mitad de los participantes (ocho DP, tres VPR yvarios participantes en los grupos de discusión) señalaronla necesidad de reparar los daños despuésde que se da a conocer públicamente una EvAP negativa.Para la mayoría, el daño a la reputación delequipo a cargo de las operaciones en el país y a lasrelaciones que éste mantiene (con el gobierno yotros beneficiarios, otros donantes y el público engeneral) se considera la repercusión clave de unaevaluación negativa, mucho más importante que elimpacto en la carrera o avance profesional de un individuo.Los participantes eran mucho más receptivosfrente a constataciones negativas cuando elequipo responsable de la EvAP se daba cuenta de lanecesidad de entender y controlar el impacto quepodría producir una evaluación negativa en las operacionesen curso. En el mejor de los casos, a losparticipantes se les daba tiempo para asimilar y prepararse(mediante conversaciones informales conbeneficiarios clave) para la distribución pública deuna EvAP negativa.Deficiencias del sistema de calificación. Losparticipantes también criticaron el sistema de calificaciónempleado en las EvAP. Las opiniones se dividieronentre quienes consideraban que las calificacionesdebían ignorarse o que debía restárseles importanciay quienes exigían un planteamiento más riguroso. Lasprincipales inquietudes expresadas fueron:• Incoherencias entre las calificaciones y la partenarrativa de la EvAP• Falta de claridad sobre el verdadero significadode las calificaciones• Falta de coordinación con las medidas cuantitativasproporcionadas por otras organizacionesdonantes• Dificultades inherentes a la aplicación de criteriosuniformes en distintos países• Resistencia general al concepto de calificacióndel desempeño al nivel de los países• Incapacidad de medir las diferencias en distintasfases del proceso de desarrollo (y frustracióncon la práctica del DEO de combinar y promediarcalificaciones de distintos períodos)• Dificultades en atribuir los efectos directos enlos países al desempeño del Banco• Desarrollo de una actitud defensiva indebidaentre el personal del Banco.Deficiencias en la metodología y el enfoque.La mayoría de los participantes hizo comentariossobre la falta de una metodología clara, uniforme,coherente y racional para las EvAP que pudiera aplicarsede manera eficaz en todas partes. Opinaronque su enfoque era demasiado amplio para ser útil.En lugar del actual alcance integral y multisectorialde las EvAP, varios entrevistados (ocho DP y dosVPR) sugirieron que las evaluaciones identificaranun número limitado de sectores específicos en losque pudieran producir el mayor impacto. Tambiénse observaban importantes deficiencias en las situacioneshipotéticas en ausencia de intervención, quese consideraban demasiado abstractas, con un énfasisexcesivo en el papel del Banco en el desarrollodel país, y, en retrospectiva, demasiado utópicas yprivilegiadas para ser útiles en la toma de decisionesen el futuro.Deficiencias en la capacidad de investigación.Los participantes señalaron que durante lapreparación de las EvAP se hacía un uso excesivo derecursos secundarios y consultas inadecuadas conbeneficiarios del país e integrantes del equipo acargo de las operaciones en el país. Se considerabaque el DEO sólo se hacía presente en el país esporádicamentey que la mayor parte de su labor se realizabadesde la ciudad de Washington. Muchaspersonas consideraban que eran dejadas de lado entodos los niveles (beneficiarios, otros donantes,equipo a cargo de las operaciones en el país, responsablesde las políticas dentro del Banco), enparticular quienes ocupaban puestos fundamentalesen la época en que se formulaban las políticas.42

ANEXO F:RESUMEN DE LOS MÉTODOS DE EVALUACIÓN DE PAÍSESEMPLEADOS POR OTROS ORGANISMOSSe emprendió un estudio documental de todos losmétodos de evaluación de países de conocimientopúblico que emplean las principales organizacionesdonantes de carácter bilateral y multilateral. Se envióesta información, junto con un breve cuestionario, alos departamentos de evaluación de cada organizacióndonante a fin de que confirmaran las comprobacionesde dicho estudio y proporcionaran lainformación faltante. Todas las unidades de evaluaciónrespondieron con detalles el cuestionario. En elanálisis no se incluyó al Banco Europeo de Reconstruccióny Fomento (BERF), al Fondo Monetario Internacional(FMI) ni a la Agencia de los EstadosUnidos para el Desarrollo Internacional (USAID),puesto que estos organismos aún no habían realizadoninguna labor importante sobre evaluacionesde países. En el presente resumen se incluye la informacióndisponible en septiembre de 2004.El examen reveló que aproximadamente lamitad de las organizaciones cuentan con directricesformales para llevar a cabo evaluaciones de países yque los formatos empleados son similares a los delDEO. Por ejemplo, las evaluaciones incluyen capítulossobre los antecedentes del país, la estrategia yla asistencia proporcionada al país, además de capítulossobre enseñanzas aprendidas y constataciones,y luego recomendaciones. Al igual que en lasEvAP, se incluye una sección sobre las contribucionesde otros donantes y factores exógenos. Las evaluaciones,al igual que las EvAP, también siguen loscriterios del Comité de Asistencia para el Desarrollo,a saber, pertinencia, eficiencia, eficacia y sostenibilidad.Además, algunos incluyen coherencia,impacto y desarrollo institucional.Los donantes discrepan del DEO con respecto alas calificaciones, la atribución y el uso de situacio-Cuadro F.1Utilización de los principales instrumentosmetodológicosSituaciónNúmeroOrganización Calificaciones hipotética Atribución de países evaluadosDepartamento de Evaluación de Operaciones (DEO) 70Organizaciones multilateralesBanco Africano de Desarrollo (BAfD) 6Banco Asiático de Desarrollo (BAsD) a 7Banco Islámico de Desarrollo (BIsD) 16Programa de las Naciones Unidas para el Desarrollo (PNUD) 10Fondo de las Naciones Unidas para la Infancia (UNICEF) 7Organizaciones bilateralesOrganismo Danés de Desarrollo Internacional (DANIDA) 7Departamento para el Desarrollo Internacional del Reino Unido (DFID) 3Unión Europea/Comunidad Europea (UE/CE) 23Sociedad Suiza para el Desarrollo 9Organismo Sueco de Desarrollo Internacional (OSDI) 4a. Está elaborando un sistema de calificación.43

ESTUDIO RETROSPECTIVO SOBRE LAS EVALUACIONES DE LA ASISTENCIA A LOS PAÍSES: AUTOEVALUACIÓN DEL DEOgias <strong>de</strong>l Banco. Esta cuestión —y su impacto en <strong>la</strong> credibilidad<strong>de</strong> <strong><strong>la</strong>s</strong> EvAP para <strong>la</strong> administración y el equipoa cargo <strong>de</strong> <strong><strong>la</strong>s</strong> operaciones en el país— fue seña<strong>la</strong>da directamentepor ocho DP y tres VPR, y se <strong>de</strong>batió abiertamenteen <strong>los</strong> dos grupos <strong>de</strong> discusión con directoresa cargo <strong>de</strong> países.Falta <strong>de</strong> sensibilidad con respecto al perjuicio<strong>de</strong> <strong><strong>la</strong>s</strong> re<strong>la</strong>ciones con <strong>los</strong> países. Más <strong>de</strong><strong>la</strong> mitad <strong>de</strong> <strong>los</strong> participantes (ocho DP, tres VPR yvarios participantes en <strong>los</strong> grupos <strong>de</strong> discusión) seña<strong>la</strong>ron<strong>la</strong> necesidad <strong>de</strong> reparar <strong>los</strong> daños <strong>de</strong>spués<strong>de</strong> que se da a conocer públicamente una EvAP negativa.Para <strong>la</strong> mayoría, el daño a <strong>la</strong> reputación <strong>de</strong>lequipo a cargo <strong>de</strong> <strong><strong>la</strong>s</strong> operaciones en el país y a <strong><strong>la</strong>s</strong>re<strong>la</strong>ciones que éste mantiene (con el gobierno yotros beneficiarios, otros donantes y el público engeneral) se consi<strong>de</strong>ra <strong>la</strong> repercusión c<strong>la</strong>ve <strong>de</strong> unaevaluación negativa, mucho más importante que elimpacto en <strong>la</strong> carrera o avance profesional <strong>de</strong> un individuo.Los participantes eran mucho más receptivosfrente a constataciones negativas cuando elequipo responsable <strong>de</strong> <strong>la</strong> EvAP se daba cuenta <strong>de</strong> <strong>la</strong>necesidad <strong>de</strong> enten<strong>de</strong>r y contro<strong>la</strong>r el impacto quepodría producir una evaluación negativa en <strong><strong>la</strong>s</strong> operacionesen curso. En el mejor <strong>de</strong> <strong>los</strong> casos, a <strong>los</strong>participantes se les daba tiempo para asimi<strong>la</strong>r y prepararse(mediante conversaciones informales conbeneficiarios c<strong>la</strong>ve) para <strong>la</strong> distribución pública <strong>de</strong>una EvAP negativa.Deficiencias <strong>de</strong>l sistema <strong>de</strong> calificación. Losparticipantes también criticaron el sistema <strong>de</strong> calificaciónempleado en <strong><strong>la</strong>s</strong> EvAP. Las opiniones se dividieronentre quienes consi<strong>de</strong>raban que <strong><strong>la</strong>s</strong> calificaciones<strong>de</strong>bían ignorarse o que <strong>de</strong>bía restárseles importanciay quienes exigían un p<strong>la</strong>nteamiento más riguroso. Lasprincipales inquietu<strong>de</strong>s expresadas fueron:• Incoherencias entre <strong><strong>la</strong>s</strong> calificaciones y <strong>la</strong> partenarrativa <strong>de</strong> <strong>la</strong> EvAP• Falta <strong>de</strong> c<strong>la</strong>ridad <strong>sobre</strong> el verda<strong>de</strong>ro significado<strong>de</strong> <strong><strong>la</strong>s</strong> calificaciones• Falta <strong>de</strong> coordinación con <strong><strong>la</strong>s</strong> medidas cuantitativasproporcionadas por otras organizacionesdonantes• Dificulta<strong>de</strong>s inherentes a <strong>la</strong> aplicación <strong>de</strong> criteriosuniformes en distintos países• Resistencia general al concepto <strong>de</strong> calificación<strong>de</strong>l <strong>de</strong>sempeño al nivel <strong>de</strong> <strong>los</strong> países• Incapacidad <strong>de</strong> medir <strong><strong>la</strong>s</strong> diferencias en distintasfases <strong>de</strong>l proceso <strong>de</strong> <strong>de</strong>sarrollo (y frustracióncon <strong>la</strong> práctica <strong>de</strong>l DEO <strong>de</strong> combinar y promediarcalificaciones <strong>de</strong> distintos períodos)• Dificulta<strong>de</strong>s en atribuir <strong>los</strong> efectos directos en<strong>los</strong> países al <strong>de</strong>sempeño <strong>de</strong>l Banco• Desarrollo <strong>de</strong> una actitud <strong>de</strong>fensiva in<strong>de</strong>bidaentre el personal <strong>de</strong>l Banco.Deficiencias en <strong>la</strong> metodología y el enfoque.La mayoría <strong>de</strong> <strong>los</strong> participantes hizo comentarios<strong>sobre</strong> <strong>la</strong> falta <strong>de</strong> una metodología c<strong>la</strong>ra, uniforme,coherente y racional para <strong><strong>la</strong>s</strong> EvAP que pudiera aplicarse<strong>de</strong> manera eficaz en todas partes. Opinaronque su enfoque era <strong>de</strong>masiado amplio para ser útil.En lugar <strong>de</strong>l actual alcance integral y multisectorial<strong>de</strong> <strong><strong>la</strong>s</strong> EvAP, varios entrevistados (ocho DP y dosVPR) sugirieron que <strong><strong>la</strong>s</strong> <strong>evaluaciones</strong> i<strong>de</strong>ntificaranun número limitado <strong>de</strong> sectores específicos en <strong>los</strong>que pudieran producir el mayor impacto. Tambiénse observaban importantes <strong>de</strong>ficiencias en <strong><strong>la</strong>s</strong> situacioneshipotéticas en ausencia <strong>de</strong> intervención, quese consi<strong>de</strong>raban <strong>de</strong>masiado abstractas, con un énfasisexcesivo en el papel <strong>de</strong>l Banco en el <strong>de</strong>sarrollo<strong>de</strong>l país, y, en retrospectiva, <strong>de</strong>masiado utópicas yprivilegiadas para ser útiles en <strong>la</strong> toma <strong>de</strong> <strong>de</strong>cisionesen el futuro.Deficiencias en <strong>la</strong> capacidad <strong>de</strong> investigación.Los participantes seña<strong>la</strong>ron que durante <strong>la</strong>preparación <strong>de</strong> <strong><strong>la</strong>s</strong> EvAP se hacía un uso excesivo <strong>de</strong>recursos secundarios y consultas ina<strong>de</strong>cuadas conbeneficiarios <strong>de</strong>l país e integrantes <strong>de</strong>l equipo acargo <strong>de</strong> <strong><strong>la</strong>s</strong> operaciones en el país. Se consi<strong>de</strong>rabaque el DEO sólo se hacía presente en el país esporádicamentey que <strong>la</strong> mayor parte <strong>de</strong> su <strong>la</strong>bor se realizaba<strong>de</strong>s<strong>de</strong> <strong>la</strong> ciudad <strong>de</strong> Washington. Muchaspersonas consi<strong>de</strong>raban que eran <strong>de</strong>jadas <strong>de</strong> <strong>la</strong>do entodos <strong>los</strong> niveles (beneficiarios, otros donantes,equipo a cargo <strong>de</strong> <strong><strong>la</strong>s</strong> operaciones en el país, responsables<strong>de</strong> <strong><strong>la</strong>s</strong> políticas <strong>de</strong>ntro <strong>de</strong>l Banco), enparticu<strong>la</strong>r quienes ocupaban puestos fundamentalesen <strong>la</strong> época en que se formu<strong>la</strong>ban <strong><strong>la</strong>s</strong> políticas.42

Hooray! Your file is uploaded and ready to be published.

Saved successfully!

Ooh no, something went wrong!