Estudio retrospectivo sobre las evaluaciones de la asistencia a los ...

Estudio retrospectivo sobre las evaluaciones de la asistencia a los ... Estudio retrospectivo sobre las evaluaciones de la asistencia a los ...

ieg.worldbankgroup.org
from ieg.worldbankgroup.org More from this publisher
11.07.2015 Views

ESTUDIO RETROSPECTIVO SOBRE LAS EVALUACIONES DE LA ASISTENCIA A LOS PAÍSES: AUTOEVALUACIÓN DEL DEOLa cronología de la EvAPes indispensable para sueficacia, pero hay ciertatensión entre el personaly los integrantes delDirectorio del Bancosobre cuándo se cree quedicha evaluación es útil.Las opiniones estuvieron divididas cuando se preguntósi se debe hacer caso omiso de las calificaciones,darles menos importancia o mejorarlascon criterios más rigurosos.Es de suma importancia señalar que muchoslectores reciben incorrectamente la impresiónde que la calificación de los resultadoses una calificación o de los progresos del paísen términos de desarrollo o del desempeño delBanco. En las EvAP se califican los efectos directosde los programas de asistencia del Banco, pero a juzgarpor las entrevistas de los miembros del Directorioy del personal del Banco, así como por loscomentarios hechos por escrito sobre las evaluaciones,resulta claro que la naturaleza de la calificaciónde los efectos directos no se entiende cabalmente.Un programa de asistencia se evalúa para determinarhasta qué punto alcanzó sus objetivos particulares,que suelen ser un subconjunto de los objetivos de desarrollodel cliente. Pueden surgir algunas situacionesen que los efectos directos de los programas de asistenciadel Banco sean plenamente satisfactorios, apesar del deterioro de la economía del país, o viceversa.Por ende, hay una distinción entre la calificaciónde los efectos directos y los resultados generalesen materia de desarrollo obtenidos en el país cliente.Además, la calificación de los efectos directos, quepermite evaluar hasta qué punto el programa de asistenciaalcanzó sus objetivos, no es un sinónimo dedesempeño del Banco, lo cual no se califica en lasEvAP. Como se establece claramente en el marco metodológicode esas evaluaciones, los efectos directosdel programa de asistencia del Banco están determinadosno sólo por el desempeño del mismo sino porel impacto conjunto de cuatro agentes: a) el cliente;b) el Banco; c) los socios y otros interesados, y d) lasfuerzas exógenas (por ejemplo, los fenómenos de lanaturaleza, las crisis económicas internacionales, etcétera).Esto ayuda a explicar el resultado aparentementecontradictorio enalgunas evaluaciones de queel desempeño del Bancopuede haber sido bueno,pero los efectos directos, insatisfactorios.Por ejemplo,en Bulgaria (1991–1997),Haití (1997– 2000), Paraguay(1989–1999) y Rwanda (1990–1993), los efectos directos dela estrategia de asistencia del Banco recibieron unacalificación insatisfactoria, pero en las EvAP se señalaque el Banco tuvo una buena actuación (véase el Recuadro3.1).El DEO hará cambios para ayudar a aclararlas calificaciones y hacerlas más transparentesy coherentes. El DEO se propone seguir calificandolos efectos directos y la sostenibilidad. Elenfoque metodológico revisado que se esboza eneste análisis retrospectivo facilitará mucho la tareade desagregar la calificación de los efectos directos.En el futuro, en las EvAP se desagregará la calificaciónde los resultados y se ofrecerán subcalificacionesseparadas y distintas de los resultados logradoscon respecto a cada objetivo principal. Estas subcalificacionesse agregarán luego para obtener unacalificación resumida de los efectos directos, empleandogrados de importancia implicados por laestrategia. También se proponen modificacionesde las calificaciones de sostenibilidad. El conceptopuede reformularse como la “probabilidad de sostenibilidad”,con lo que se transformará en una calificaciónque permitirá determinar si los beneficiosconstantes del programa del país están sujetos amuchos o pocos riesgos. Puesto que el desarrolloinstitucional es ahora parte integral de los objetivosde la mayoría de las actividades del Banco, el DEOse propone eliminar la calificación separada del impactoen el desarrollo institucional y captarlo comoparte de la calificación de los efectos directos. Porúltimo, a medida que se adquiera experiencia conlas EAP orientadas hacia los resultados y los informesfinales correspondientes, que también contendráncalificaciones, el DEO examinará una vezmás el sistema de calificación en las EvAP y haráotras modificaciones, según sea necesario. Si elBanco adopta un sistema de evaluación del desempeñoen la EAP por medio de calificaciones en losinformes finales correspondientes —similares a lascalificaciones de cada proyecto—, el DEO puedeeliminar las calificaciones de las evaluaciones y convertirlasmás bien en un examen de las enseñanzasaprendidas.Situaciones hipotéticas en ausenciade intervenciónLas opiniones de los integrantes del CODE ydel personal del Banco difieren en cuanto a lautilidad de las situaciones hipotéticas. Menos18

PARTE II: ¿CÓMO PUEDE MEJORARSE EL INSTRUMENTO DE LAS EVAP?de una tercera parte de los participantes en las entrevistashechas a los integrantes del Directorio atribuyerona las situaciones hipotéticas el logro dedeliberaciones útiles en el Subcomité del CODE.Más de la mitad de los entrevistados del CODE criticaronlas situaciones hipotéticas por considerar queéstas dan a menudo una idea demasiado prometedorao utópica de la función del Banco en el país, yse quejaron de que en las EvAP se tiende a exagerarla función del Banco y a indicar que si este último nohubiera participado, al país le habría ido muchopeor. Por contraste con los integrantes del CODE, elpersonal del Banco, en sus deliberaciones sobre lasEvAP, entrevistas y memorandos, criticó esas evaluacionespor no incluir una situación hipotética eficazque mostrara otra estrategia que habría podidoseguir el Banco, o lo que hubiera sucedido sin la intervenciónde éste, o, en su defecto, por no tener encuenta la función a menudo marginal del Banco enel desarrollo del país. No obstante, un examen delos memorandos del personal del Banco mostró queesas opiniones se expresaban solamente cuandouna EvAP criticaba la asistencia del Banco. La cuestiónhipotética no se señaló cuando la evaluacióndejó constancia del buen desempeño del Banco.El DEO reconoce la importancia de las situacioneshipotéticas para explicar lo que elBanco habría podido hacer de una manera diferenteen situaciones particulares. El DEO reconocela necesidad de una situación hipotética,pero conviene recalcar que esta tarea ha sido arduaen parte por las dificultades inherentes a la comprobaciónde la causalidad en situaciones delmundo real. Por eso, solamente 10 de las 25 EvAPexaminadas (40%) tratan de discutir la situación hipotéticay, por lo general, se concentran más en loque el Banco podría haber hecho de una forma diferenteque en lo que hubiera sucedido sin su intervención.Por ejemplo, en la EvAP de Rusia se señalaque es difícil construir situaciones hipotéticas verosímilesen el caso de un programa tan complejo, enque la actuación del Banco fue, en gran parte, unarespuesta a las expectativas de los accionistas. Másbien, en la EvAP se describe cómo abordó el Bancolas dificultades y, con el beneficio de la percepciónretrospectiva, se señalan casos en que habría sidomás apropiado adaptar una postura diferente.La función apropiada de un análisis de situaciónhipotética en la EvAP consiste en com-parar los efectos directos efectivamente conseguidoscon el análisis ex ante que figura en laestrategia de asistencia a los países formuladapor el Banco. El enfoque metodológico de dichaevaluación juzga una EAP por lo que se esperaba quelograra. Por lo tanto, ya existe una situación hipotéticacontra la cual se puede determinar en la EvAP loque realmente sucedió. Las EAP suelen proporcionarvarios marcos hipotéticos, emparejados según unconjunto variable de instrumentos planeados delBanco. Así, el DEO tiene una situación hipotética lista,lo que evita las complejidades de tratar de adivinar loque hubiera pasado sin el programa de asistencia. Enotras palabras, la EAP propiamente dicha proporcionaa menudo la situación hipotética. Se prevé quela calidad de esas situaciones hipotéticas mejorarámucho ahora que el Banco ha establecido directricesuniformes para formular EAP orientadas hacia los resultados.Una forma útil de conceptualizar la hipótesisconsiste en comparar lo que se esperaba ex anteen las estrategias del país con lo realmente sucedidoy determinar si las divergencias fueron razonables.Donde la EAP no proporciona una hipótesis plenamentedefinida, se pueden utilizar otras opcionesmenos atractivas, tales como comparar: i) el avancedel país cliente en materia de desarrollo durante elperíodo de ejecución de la EAP con el de los demáspaíses; ii) el avance en materia de desarrollo en zonaso sectores geográficos específicos, que lógicamentedeberían haber recibido un profundo impacto de lasintervenciones realizadas como parte del programa,y iii) los efectos directos intermedios lógicamenteafectados por las intervenciones del programa.CronologíaLa cronología de la EvAP es indispensablepara su eficacia, pero hay cierta tensión entreel personal y los integrantes del Directorio delBanco sobre cuándo se cree que dicha evaluaciónes útil. Hubo acuerdo generalizado entretodos los usuarios de las EvAP en que la cronologíade éstas era un factor esencial para su utilidad. UnaEvAP terminada mucho tiempo antes o después dela ejecución de la EAP se considera de efecto limitado.Esto lo confirma el análisis del uso de las EvAPhecho por el DEO durante las deliberaciones delDirectorio. De hecho, el impacto de una EvAP sereduce mucho si se realiza demasiado temprano otarde en el proceso de examen de la EAP. Por ejem-19

PARTE II: ¿CÓMO PUEDE MEJORARSE EL INSTRUMENTO DE LAS EVAP?<strong>de</strong> una tercera parte <strong>de</strong> <strong>los</strong> participantes en <strong><strong>la</strong>s</strong> entrevistashechas a <strong>los</strong> integrantes <strong>de</strong>l Directorio atribuyerona <strong><strong>la</strong>s</strong> situaciones hipotéticas el logro <strong>de</strong><strong>de</strong>liberaciones útiles en el Subcomité <strong>de</strong>l CODE.Más <strong>de</strong> <strong>la</strong> mitad <strong>de</strong> <strong>los</strong> entrevistados <strong>de</strong>l CODE criticaron<strong><strong>la</strong>s</strong> situaciones hipotéticas por consi<strong>de</strong>rar queéstas dan a menudo una i<strong>de</strong>a <strong>de</strong>masiado prometedorao utópica <strong>de</strong> <strong>la</strong> función <strong>de</strong>l Banco en el país, yse quejaron <strong>de</strong> que en <strong><strong>la</strong>s</strong> EvAP se tien<strong>de</strong> a exagerar<strong>la</strong> función <strong>de</strong>l Banco y a indicar que si este último nohubiera participado, al país le habría ido muchopeor. Por contraste con <strong>los</strong> integrantes <strong>de</strong>l CODE, elpersonal <strong>de</strong>l Banco, en sus <strong>de</strong>liberaciones <strong>sobre</strong> <strong><strong>la</strong>s</strong>EvAP, entrevistas y memorandos, criticó esas <strong>evaluaciones</strong>por no incluir una situación hipotética eficazque mostrara otra estrategia que habría podidoseguir el Banco, o lo que hubiera sucedido sin <strong>la</strong> intervención<strong>de</strong> éste, o, en su <strong>de</strong>fecto, por no tener encuenta <strong>la</strong> función a menudo marginal <strong>de</strong>l Banco enel <strong>de</strong>sarrollo <strong>de</strong>l país. No obstante, un examen <strong>de</strong><strong>los</strong> memorandos <strong>de</strong>l personal <strong>de</strong>l Banco mostró queesas opiniones se expresaban so<strong>la</strong>mente cuandouna EvAP criticaba <strong>la</strong> <strong>asistencia</strong> <strong>de</strong>l Banco. La cuestiónhipotética no se señaló cuando <strong>la</strong> evaluación<strong>de</strong>jó constancia <strong>de</strong>l buen <strong>de</strong>sempeño <strong>de</strong>l Banco.El DEO reconoce <strong>la</strong> importancia <strong>de</strong> <strong><strong>la</strong>s</strong> situacioneshipotéticas para explicar lo que elBanco habría podido hacer <strong>de</strong> una manera diferenteen situaciones particu<strong>la</strong>res. El DEO reconoce<strong>la</strong> necesidad <strong>de</strong> una situación hipotética,pero conviene recalcar que esta tarea ha sido arduaen parte por <strong><strong>la</strong>s</strong> dificulta<strong>de</strong>s inherentes a <strong>la</strong> comprobación<strong>de</strong> <strong>la</strong> causalidad en situaciones <strong>de</strong>lmundo real. Por eso, so<strong>la</strong>mente 10 <strong>de</strong> <strong><strong>la</strong>s</strong> 25 EvAPexaminadas (40%) tratan <strong>de</strong> discutir <strong>la</strong> situación hipotéticay, por lo general, se concentran más en loque el Banco podría haber hecho <strong>de</strong> una forma diferenteque en lo que hubiera sucedido sin su intervención.Por ejemplo, en <strong>la</strong> EvAP <strong>de</strong> Rusia se seña<strong>la</strong>que es difícil construir situaciones hipotéticas verosímilesen el caso <strong>de</strong> un programa tan complejo, enque <strong>la</strong> actuación <strong>de</strong>l Banco fue, en gran parte, unarespuesta a <strong><strong>la</strong>s</strong> expectativas <strong>de</strong> <strong>los</strong> accionistas. Másbien, en <strong>la</strong> EvAP se <strong>de</strong>scribe cómo abordó el Banco<strong><strong>la</strong>s</strong> dificulta<strong>de</strong>s y, con el beneficio <strong>de</strong> <strong>la</strong> percepciónretrospectiva, se seña<strong>la</strong>n casos en que habría sidomás apropiado adaptar una postura diferente.La función apropiada <strong>de</strong> un análisis <strong>de</strong> situaciónhipotética en <strong>la</strong> EvAP consiste en com-parar <strong>los</strong> efectos directos efectivamente conseguidoscon el análisis ex ante que figura en <strong>la</strong>estrategia <strong>de</strong> <strong>asistencia</strong> a <strong>los</strong> países formu<strong>la</strong>dapor el Banco. El enfoque metodológico <strong>de</strong> dichaevaluación juzga una EAP por lo que se esperaba quelograra. Por lo tanto, ya existe una situación hipotéticacontra <strong>la</strong> cual se pue<strong>de</strong> <strong>de</strong>terminar en <strong>la</strong> EvAP loque realmente sucedió. Las EAP suelen proporcionarvarios marcos hipotéticos, emparejados según unconjunto variable <strong>de</strong> instrumentos p<strong>la</strong>neados <strong>de</strong>lBanco. Así, el DEO tiene una situación hipotética lista,lo que evita <strong><strong>la</strong>s</strong> complejida<strong>de</strong>s <strong>de</strong> tratar <strong>de</strong> adivinar loque hubiera pasado sin el programa <strong>de</strong> <strong>asistencia</strong>. Enotras pa<strong>la</strong>bras, <strong>la</strong> EAP propiamente dicha proporcionaa menudo <strong>la</strong> situación hipotética. Se prevé que<strong>la</strong> calidad <strong>de</strong> esas situaciones hipotéticas mejorarámucho ahora que el Banco ha establecido directricesuniformes para formu<strong>la</strong>r EAP orientadas hacia <strong>los</strong> resultados.Una forma útil <strong>de</strong> conceptualizar <strong>la</strong> hipótesisconsiste en comparar lo que se esperaba ex anteen <strong><strong>la</strong>s</strong> estrategias <strong>de</strong>l país con lo realmente sucedidoy <strong>de</strong>terminar si <strong><strong>la</strong>s</strong> divergencias fueron razonables.Don<strong>de</strong> <strong>la</strong> EAP no proporciona una hipótesis plenamente<strong>de</strong>finida, se pue<strong>de</strong>n utilizar otras opcionesmenos atractivas, tales como comparar: i) el avance<strong>de</strong>l país cliente en materia <strong>de</strong> <strong>de</strong>sarrollo durante elperíodo <strong>de</strong> ejecución <strong>de</strong> <strong>la</strong> EAP con el <strong>de</strong> <strong>los</strong> <strong>de</strong>máspaíses; ii) el avance en materia <strong>de</strong> <strong>de</strong>sarrollo en zonaso sectores geográficos específicos, que lógicamente<strong>de</strong>berían haber recibido un profundo impacto <strong>de</strong> <strong><strong>la</strong>s</strong>intervenciones realizadas como parte <strong>de</strong>l programa,y iii) <strong>los</strong> efectos directos intermedios lógicamenteafectados por <strong><strong>la</strong>s</strong> intervenciones <strong>de</strong>l programa.CronologíaLa cronología <strong>de</strong> <strong>la</strong> EvAP es indispensablepara su eficacia, pero hay cierta tensión entreel personal y <strong>los</strong> integrantes <strong>de</strong>l Directorio <strong>de</strong>lBanco <strong>sobre</strong> cuándo se cree que dicha evaluaciónes útil. Hubo acuerdo generalizado entretodos <strong>los</strong> usuarios <strong>de</strong> <strong><strong>la</strong>s</strong> EvAP en que <strong>la</strong> cronología<strong>de</strong> éstas era un factor esencial para su utilidad. UnaEvAP terminada mucho tiempo antes o <strong>de</strong>spués <strong>de</strong><strong>la</strong> ejecución <strong>de</strong> <strong>la</strong> EAP se consi<strong>de</strong>ra <strong>de</strong> efecto limitado.Esto lo confirma el análisis <strong>de</strong>l uso <strong>de</strong> <strong><strong>la</strong>s</strong> EvAPhecho por el DEO durante <strong><strong>la</strong>s</strong> <strong>de</strong>liberaciones <strong>de</strong>lDirectorio. De hecho, el impacto <strong>de</strong> una EvAP sereduce mucho si se realiza <strong>de</strong>masiado temprano otar<strong>de</strong> en el proceso <strong>de</strong> examen <strong>de</strong> <strong>la</strong> EAP. Por ejem-19

Hooray! Your file is uploaded and ready to be published.

Saved successfully!

Ooh no, something went wrong!