Estudio retrospectivo sobre las evaluaciones de la asistencia a los ...

PARTE II: ¿CÓMO PUEDE MEJORARSE EL INSTRUMENTO DE LAS EVAP?promedio, no guardaron relación con la calificaciónsatisfactoria de los efectos directos del programaen su conjunto. Si bien la explicación esbastante sencilla (es decir, una evaluación particularde un proyecto o un estudio económico ysectorial tiende a enfocarse en los principalesobjetivos declarados del proyecto sin determinarnecesariamente qué tan pertinentes fueronpara alcanzar las metas generales del programavigente en ese entonces), la estructura de la evaluaciónno es conducente a analizar las razonesfundamentales de esa desconexión.• La estructura cambia de punto de enfoque deuna sección a la siguiente, por lo que es difícilseguir el hilo de la narración. La actual estructurade la EvAP alterna entre un enfoque en elcliente (primera sección), otro en el Banco (segundasección) y otro de nuevo en el cliente. Porende, es difícil seguir el vínculo entre los objetivos(discutidos en la primera sección) y los efectosdirectos (discutidos más adelante en latercera sección), y ver la conexión entre los insumosy servicios del Banco (evaluados en la segundasección) y los efectos directos específicos.• La terminología de la EvAP carece de claridad ycoherencia. El examen interno de EvAP efectuadopor el DEO reveló que la terminología empleadaen diferentes evaluaciones a veces pareceser incoherente, puesto que diferentes jefes deproyecto pueden interpretar el mismo conceptode una forma algo distinta. Por ejemplo, la distinciónentre la actuación del Banco y los efectos directosde sus programas es ambigua en algunasevaluaciones, lo cual puede ser consecuencia deque las estrategias del Banco están orientadashacia objetivos de nivel superior y no establecenclaramente un conjunto de objetivos intermedios.Otro ejemplo es la forma de considerar laatribución, que es inherentemente un conceptocomplejo en un programa de país.Para seguir adelante se necesita adoptar unmétodo orientado hacia los resultados, quevincule claramente los objetivos e instrumentosdel Banco con los resultados alcanzados.Los resultados deben estar en la estructura orgánicade la EvAP, y la evaluación de los instrumentos delBanco (productos y servicios) debe verse sencillamentecomo una forma de probar si se han logradoLos países no sonlaboratorios y en las EvAPno se informa sobreexperimentos; en elmundo real es sumamentedifícil controlar y aislarotras influencias.los resultados finales, queson los objetivos principalesdel Banco. Esto es compatiblecon el marco orientadohacia los resultados, adoptadoen la formulación de estrategiasdel Banco y tambiéncon la metodología adoptadapor otras instituciones donantes.El método consistiría en esbozar los principalesobjetivos y resultados que el Banco aspira alograr en cada país, a partir de las EvAP. Las deliberacionessobre la estrategia se basarían en un sencillomodelo de lógica que vincule los insumos conlos resultados previstos a partir de la informaciónpresentada en la propia estrategia y en los documentosafines. Por cada objetivo (y resultado deseado),en la evaluación se ponderaría la eficacia (ypertinencia) de los instrumentos empleados, asícomo el aporte relativo del Banco (en contraposicióna otros aportes) a ese objetivo. Este método seorientaría hacia los resultados y abordaría la principalrecomendación de los integrantes del Directorio,a saber, que las EvAP deben concentrarse en elefecto real en los mismos.En varias EvAP se han comenzado a adoptarvarios aspectos de esta nueva metodología.Por ejemplo, en la EvAP de Zambia seseñalaron cuatro temas principales (objetivos)con los cuales el Banco se propone reducir la pobreza:i) promover un entorno macroeconómicoestable; ii) privatizar las empresas del Estado; iii)enfocar la asistencia directamente en los grupospobres y vulnerables, y vi) mejorar la eficiencia y lagestión del sector público. En esa EvAP se procedióluego a examinar las actividades del Banco y aevaluar los resultados en cada uno de los cuatrocampos por separado, que luego se resumió ensus calificaciones generales. En la EvAP de Brasil seseñalaron y analizaron los adelantos hacia el logrode los objetivos principales de alivio de la pobrezay crecimiento sostenible, así como los objetivossecundarios respectivos. En época más reciente,durante el ejercicio de 2004, en las EvAP de China,Túnez, Bosnia-Herzegovina y Croacia se adoptóun método orientado hacia los objetivos.El examen de las EvAP y del enfoque metodológicode otros donantes efectuado por elDEO indica que también se necesitan cam-15