Evaluación de la IAP
I.- La Evaluación: definición y carácterísticas
Con el fin de intentar conceptualizar la noción de evaluación, resulta necesario despejar algunos elementos que tienden a confundir su significado. Ello se debe básicamente a la existencia de diferentes visiones o paradigmas desde el cual se la define.
Aunque en muchos aspectos los paradigmas se superponen, en términos teóricos o prácticos, en general, es posible distinguir dos paradigmas: uno de ellos es el Racionalista, llamado también paradigma clásico o positivista que sigue las reglas de las ciencias exactas, donde su método es el experimento controlado y sus variaciones (cuasiexperimento), cuyas partes pueden ser separadas para estudiarlas, el uso de muestras aleatorias, etc. Su pretensión es llegar a conclusiones generalizables.
El otro paradigma es el “naturalista” que sugiere que el comportamiento humano debiera ser “estudiado tal como ocurre naturalmente, en ambientes naturales y dentro de su contexto total”; no pretende obtener leyes generales, sino comprender la situación específica que puede transferirse de un contexto a otro.
Independiente de lo anterior, se debe considerar que, para entender el proceso de evaluación en el campo de las ciencias sociales, se tiene que considerar ambos enfoques, ya que basados en uno u otro paradigma, distintos especialistas han elaborado algunas definiciones, de las cuales cabe mencionar las siguientes:
Cohen y Franco señalán que “evaluar es fijar el valor de una cosa; para hacerlo se requiere un procedimiento mediante el cual se compara aquello a evaluar respecto de un criterio o patrón determinado”.
Briones, a su vez, señala que el término evaluación se utiliza “para referirse al acto de juzgar o apreciar la importancia de un determinado objeto, situación o proceso en relación con ciertas funciones que deberían cumplirse o con ciertos criterios o valores, explicitado o no”.
H.S. Bhola, señala que evaluación significa “asignación de valores para juzgar la cantidad, el grado, la condición, valor, calidad o efectividad de algo”.
A partir de estas definiciones, es posible distinguir un elemento fundamental del proceso de evaluación, y sobre el cual existe relativo consenso: la evaluación consiste en “juzgar y asignar un valor a algo”. Si bien es cierto que las definiciones mencionadas anteriormente no son congruentes, si coinciden en la importancia de la medición, comparación y la calificación del objeto sometido a análisis.
Por su parte, las definiciones señaladas anteriormente, interrelacionan el proceso de la evaluación donde la evaluación es concebida y practicada, por un lado como medición y, por otro, como determinación de logros o resultados en comparación con objetivos propuestos en un programa o proyecto.
En este contexto, la evaluación no puede ser entendida como sinónimo de investigación ni como actividad exclusivamente intelectual, pese a que entre ambas acciones, si bien existe una estrecha relación, se evidencia una diferencia dada por los objetivos que persiguen, en tanto la investigación tiene un fin puramente cognitivo, la evaluación, por su parte, pretende además, la utilización o aplicación del conocimiento obtenido. Por lo mismo, es común en ambas tareas el uso de procedimientos metodológicos rigurosos que viabilicen la obtención de sus objetivos.
Desde esa perspectiva, el concepto de evaluación es una actividad científica enmarcada dentro de la denominada “investigación aplicada” y lleva implícita la idea de que permite “generar información”. En este sentido, la evaluación podría identificarse con un carácter instrumental ya que, como señala Briones “la razón de ser de la evaluación es la utilización de sus hallazgos, la aplicación al programa de los resultados de la investigación evaluativa”.
Por otro lado, las evaluaciones desarrollan y enfatizan la objetividad, para lo cual se debe generar o contar con información suficiente para llegar a resultados válidos, sistemáticos y confiables.
El desarrollo posterior de la evaluación en otras disciplinas como la sociología, las ciencias de la educación, la psicología, etc. Han permitido la construcción de distintos tipos de evaluación, las que responden a diversos criterios definidos principalmente por el ciclo de vida de los proyectos sociales y el enfoque abordado por los especialistas. En efecto, sobre la base de algunos criterios generales se han venido desarrollando con cierta frecuencia al menos cuatro tipos de evaluación, entre los que encontramos, entre otras, la evaluación ex – ante, durante o intermedia (proceso) y la ex –
Post
La evaluación interna, mixta o participativa.
Es posible reconocer diversos ámbitos donde la evaluación se ha constituido como una necesidad para elevar la eficiencia y eficacia de los proyectos y programas; por ejemplo, el desarrollo que ha alcanzado la evaluación en el tema medio ambiental, sobre todo con las denominadas evaluaciones de impacto ambiental. Pero ha sido en el campo de las ciencias sociales donde se perciben mayores deficiencias, por su dispersión conceptual, ausencia de paradigmas teóricos y escasa experiencia práctica, no obstante, lo cual, la evaluación ha tenido un fuerte impulso debido a su reciente incorporación como herramienta de retroalimentación de la planificación social.
Considerando la necesidad de identificar los mejores programas o proyectos, esto es, aquellos que contribuyen en mayor grado al desarrollo o a la superación de una determinada problemática, resulta necesario preguntarse cómo medir esta contribución.
Por ello, en algunas ocasiones suele confundirse la evaluación social de proyectos con la evaluación de proyectos sociales. La diferencia existente entre ambas se relaciona con el hecho de que la evaluación social de proyectos utiliza un análisis económico en proyectos a desarrollarse en un contexto social, empleando básicamente el método de análisis costo – beneficio para ordenar los componentes del proyecto y proponer medidas sobre la contribución del proyecto a la sociedad.
Fundamentalmente se trata de una evaluación ex – ante que requiere transformar los productos del proyecto (beneficios) en unidades monetarias para poder compararlos con los costos de los insumos.
Por su parte, la evaluación de proyectos sociales se centra en evaluar la eficiencia operacional de un proyecto como asimismo precisar los cambios experimentados por la población objetivo en la implementación del proyecto. Dicho de otro modo, busca entregar información para aumentar la racionalidad con que se toman las decisiones y asignan los recursos, jerarquizando los proyectos, proporcionando instrumentos para escoger la mejor alternativa de ejecución y mejorando los procesos de implementación y ejecución. La evaluación de proyectos sociales utiliza la metodología de investigación social como instrumento para medir el impacto o para determinar en qué medida los programas/proyectos sociales alcanzan sus objetivos.
Cohen y Franco mencionan una definición de evaluación que señala que es aquella rama de las ciencias sociales que se ocupa del análisis de la eficiencia. Su origen y principal desarrollo estarían en el área de la economía, donde los enfoques costo – beneficio, costo – eficiencia, responderían a la evaluación de proyectos económicos y a proyectos sociales respectivamente.
II.- La Evaluación de Programas y Proyectos Sociales
Plantea Salamanca, que el ciclo decisional de los proyectos y programas tiene criterios formales para la asignación de los recursos hacia los sectores sociales a intervenir. Pero, además, señala Briones, los proyectos sociales han enfatizado su rol de herramienta complementaria a los programas, siendo los propósitos y niveles de cada uno distintos; por lo tanto, son distintos también los niveles y propósitos de la evaluación de éstos.
La variedad de proyectos y programas sociales responden a la diversidad de fenómenos sociales que afectan a las sociedades en las que vivimos. No obstante, estos han carecido de necesaria evaluación como práctica institucional. En no muchos casos, la eficiencia y efectividad de estas iniciativas se ha medido, siendo desconocida hasta hoy la real factibilidad técnica y también económica de los programas y proyectos, así como también es prácticamente desconocido el grado de eficiencia operacional, los resultados, efectos e impactos de estas iniciativas.
En el contexto del ciclo de vida de los proyectos sociales, el proceso de evaluación, es de gran relevancia para diversas gamas de fondos sociales que permiten la posibilidad de inversión e intervención social, vía proyectos y programas sociales, concursables o no.
En la regíón, la tendencia creciente hacia la desconcentración y descentralización de los fondos sociales ha provocado modificaciones en la modalidad de la asignación de los recursos. En efecto, la focalización de los fondos de inversión y el incremento de los recursos sociales destinados a los gobiernos locales, ha facilitado el desarrollo de la inserción y participación comunitaria en la gestión social y adicionalmente ha contribuido al desarrollo del proceso de evaluación en el contexto general del ciclo de vida de un programa y/o proyecto en tanto ha generado la necesidad de su evaluación.
Sin embargo, es posible observar la existencia de un problema conexo que dice relación con que las instituciones dedicadas a la planificación e intervención social, no han diseñado – aunque hay raras excepciones -, una estrategia adecuada de distribución y asignación de recursos escasos, los esfuerzos en dicho sentido son muy incipientes, básicamente por la escasa información sistematizada que se genera en el ciclo de proyectos y por la dificultad de acceso a los conocimientos generados por la intervención social.
También es posible constatar un creciente empoderamiento de las organizaciones de base, que en muchos casos han favorecido procesos de mayor racionalización en cuanto a la inversión social y su evaluación. Con todo, en no pocos casos, dichas organizaciones han carecido de la capacidad técnica como para efectuar diálogos técnicos con el personal de contraparte encargado de implementar la evaluación. La instalación de capacidades y la absorción de habilidades evaluativas es una tarea pendiente, tanto para las organizaciones de base como para los organismos que trabajan por el relevamiento y empoderamiento de estas.
En general, es posible afirmar que, en América Latina la evaluación de proyectos sociales es infrecuente, o excepcional y en general los actores sociales involucrados suelen ser reacios a evaluar lo que realizaron. Esto obedece básicamente, a la actitud defensiva que adoptan los equipos ejecutores respecto de los proyectos implementados por estos.
En el contexto de la evaluación, cuando se habla de eficacia, eficiencia y efectividad se relaciona directamente con los objetivos que persigue cada proceso de evaluación, así la evaluación ex – ante mide la potencial eficiencia y eficacia, la evaluación intermedia la eficiencia principalmente, la evaluación ex – post la eficacia, la evaluación de impacto mide la efectividad del proyecto que se implementó.
El modelo costo – beneficio suele emplearse en la evaluación social de programas o proyectos y utiliza un análisis económico en proyectos considerados en el contexto nacional, es decir busca traducir en unidades monetarias todos los input del proyecto (insumos – productos) de modo de monetarizar a precio de mercado, los output del proyecto (resultados).
Este modelo, sin embargo ha quedado desplazado a un segundo plano, en tanto no ha logrado generar explicaciones respecto de los cambios diferenciales observados para distintas poblaciones objetivo, aplicando el mismo proyecto o, por otro lado, la incapacidad de traducir a precios de mercado, cierto tipo de resultados (cambios de actitud, adopción de normas, etc).
Ahora bien, la evaluación de proyectos sociales de vertiente cuantitativa, ha empleado con bastante frecuencia el análisis costo – efectividad, es decir, busca determinar la suficiencia de los insumos respecto de los resultados obtenidos. En este contexto, los programas sociales y el análisis en un proceso de evaluación costo – efectividad, responden por un lado, a la relación entre costos expresados en moneda, y productos los que no son definibles ni traducibles en términos monetarios, y por otro se analiza la eficiencia operacional del proyecto social.
En general, el desarrollo de las distintas tipologías de evaluación en el contexto del ciclo de inversión de los proyectos y programas sociales, no ha sido suficiente ni acorde con las necesidades existentes en este campo.
Se debe considerar además, el escaso interés de los organismos ejecutores de invertir en evaluación a pesar de que existe una preocupación evidente por parte de los organismos que proveen financiamiento para contar con información evaluativa; desde esa perspectiva, la preocupación básica se ha orientado y desarrollado en función de las etapas de preinversión, (evaluación ex – ante); en tanto que en las etapas de inversión o evaluación intermedia, la experiencia de evaluación es casi nula, por tanto el desarrollo teórico – metodológico escaso.
El desarrollo de la evaluación en el área de los programas y proyectos sociales ha recibido aportes de distintas disciplinas tales como la psicología, la antropología, la sociología, la economía, las ciencias de la educación entre otras. Entonces, es posible afirmar que la evaluación es investigación básicamente interdisciplinaria, pues se establece una especial relación entre teoría y práctica. De tal manera que se utilizan conceptos y experiencias específicas y apropiadas al problema o situación que ese analiza.
A lo largo del ciclo de vida del proyecto, y haciendo un esfuerzo teórico importante, es posible evaluar, desde el nacimiento de la idea hasta su término, considerando los efectos, resultados y el impacto de la idea implementada en tanto proyecto, sin embargo, es posible constatar una cierta falencia teórica en cuanto a establecer una relación teórica entre distintos tipos de evaluación, (ex – ante, durante o intermedia, ex – post, evaluación de impacto).
III.- Tipos De Evaluación
El desarrollo de distintos enfoques de análisis de evaluación se enmarca en el contexto de tipologías que responden a criterios específicos, como se señaló con anterioridad, ya sea en el momento en que se haga la evaluación dentro del ciclo de vida del proyecto, o de los objetivos que tenga la evaluación.
En general, al revisar la bibliografía existente es posible encontrar algunas diferencias de definiciones que responden a la complejidad del tema, de modo que es posible constatar la existencia de distintas perspectivas que responden a las diversas disciplinas que han trabajado en evaluación. Es relevante señalar entonces que ello, influye de forma determinante en esta dispersión conceptual, así como la multiplicidad de experiencias prácticas en el área.
Con el propósito de esclarecer la orientación y el contenido de la evaluación, se ha desarrollado teóricamente en este documento una tipología del proceso de evaluación. Considerando la premisa de que la evaluación es fundamentalmente un proceso que busca medir y generar de información para su aplicación, se ha desarrollado una tipología que responde por un lado a criterios específicos considerando los objetivos que persigue, y por otro, de acuerdo al tiempo o momento en que se realiza la evaluación respecto del ciclo de vida del proyecto.
III.1. Evaluación ex – ante:
Este tipo de evaluación tiene por finalidad proporcionar información y establecer criterios racionales para decidir sobre la conveniencia técnica de la implementación de un proyecto, esto es, determinar la viabilidad técnica de un proyecto y, a su vez, jerarquizar los proyectos elegibles. Se evalúa la posibilidad de alcanzar los objetivos propuestos en un programa con los recursos existentes, estimando y comparando los costos presentes y futuros de las diferentes alternativas.
Para Cohen y Franco, la evaluación ex – ante generalmente utiliza los modelos de análisis de costo – beneficio o costo – efectividad, donde el análisis costo – beneficio es el más adecuado para analizar proyectos económicos y el modelo costo – efectividad “presenta mayores potencialidades para la evaluación de proyectos sociales”
III.2. Evaluación intermedia o de proceso:
Se realiza durante el período de ejecución del proyecto. Permite revisar la implementación o desarrollo de una determinada acción (programa o proyecto), con el propósito de analizar su eficiencia operacional de tal modo de poder programar o reprogramar de acuerdo a los resultados del análisis. Su énfasis se centra en los procesos que forman su dinámica global y también en los factores que facilitan o dificultan el desarrollo y funcionamiento del proyecto.
Este tipo de evaluación se hace cargo de la hipótesis de que todo conjunto social es modificado cuando se estimula externamente, de allí que sea necesario lograr tener un cúmulo de información suficientemente poderosa como para cambiar el proyecto de acuerdo a las necesidades que el conjunto social intervenido va requiriendo.
La desventaja de este tipo de evaluación es que en general se debe contar con muchos recursos, tanto para el monitoreo como para modificar el proyecto inicial y por otro lado, suele suceder que el proyecto final resulta muy distinto del proyecto inicial que en general, y que no es posible cuantificar sus resultados, pero por otro lado, no es posible hacer ningún tipo de apreciación que no sea que el proyecto implementado respondíó a las necesidades detectadas en la población objetivo.
III.3. Evaluación ex – post o terminal:
La evaluación ex – post es la que más desarrollo ha venido mostrando y la que más se ha aplicado en el contexto de la evaluación de programas y proyectos sociales. Este tipo de evaluación busca establecer el logro de los objetivos que planteó el proyecto en su formulación original una vez finalizada la ejecución de este. Según Briones, la evaluación ex – post es el “estudio que se realiza después de que el programa ha terminado, con la finalidad de establecer si se obtuvieron o no los resultados esperados y los factores que actuaron en una u otra dirección”.
La necesidad de evaluación al término de un proyecto social se relaciona con la detección y cuantificación de los resultados de la intervención en relación con los objetivos específicos del proyecto. Dicho en otras palabras, la evaluación ex – post debe compatibilizar la necesidad de medir el logro de los objetivos del programa o proyecto con el levantamiento de los datos al concluir la ejecución del proyecto.
En este sentido, este tipo de evaluación constituye la última de las etapas del ciclo de vida de los proyectos sociales, y permite generar conclusiones y correcciones para los proyectos nuevos, que persigan fines semejantes, naturalmente, a partir de la información generada.
Por lo tanto, en la evaluación ex – post se confrontan los resultados del proceso de transformación de la realidad, productos y resultados, con parámetros de juicio que responden a los objetivos planteados inicialmente, con el fin de obtener conclusiones sobre el margen de logro o fracaso alcanzando por la ejecución del proyecto. Ahora bien, como en la evaluación ex – post se evalúan los objetivos, se deben trasformar estos objetivos en dimensiones susceptibles de ser medidos; este proceso exige pasar de los fines generales del proyecto a los indicadores de la evaluación, la selección de indicadores es, por lo tanto, crucial, dado que, a partir de ellos, se intenta determinar el grado en que se alcanzaron los objetivos y, por tanto, si el proyecto fue o no exitoso y la medida de este éxito.
En su sentido más amplio, el proceso de evaluación ex – post no es solo la determinación del nivel de logro del proyecto respecto de sus objetivos, sino también, es un análisis del proyecto con recomendaciones en varios niveles: perfil del proyecto, su metodología de formulación, programación e implementación de los mismos, cuestión que muy rara vez se implementa.
Por otro lado, cabe hacer notar que, en muchas ocasiones, los proyectos ejecutados no han sido diseñados coherentemente; en la medida en que no hay relación lógica entre objetivos generales y específicos podría verificarse también confusión e inconsistencia entre objetivos y actividades, puesto que muchas veces los objetivos han sido mal construidos. Ello en muchas ocasiones obliga a reformular los objetivos del proyecto, de modo que tengan las condiciones metodológicas mínimas para ser evaluados.
Por otro lado, la evaluación ex – post en su nivel micro, es un proceso encaminado a determinar sistemática y objetivamente la pertinencia, eficiencia, eficacia de todas las actividades desarrolladas a la luz de los objetivos planteados.
III.3.1. Retroalimentación
Comúnmente, las evaluaciones ex – post de programas sociales no cuentan con información pertinente debido a que con frecuencia no se ha sistematizado suficientemente la información generada a través de la implementación del proyecto. La inexistencia de ésta, obliga a la reconstrucción de los aspectos principales del proyecto, analizar la coherencia interna del proyecto, los informes de supervisión, etc., mediante visitas a terreno, contactos con el equipo técnico encargado de formular, administrar y ejecutar el proyecto.
En general, el proceso de retroalimentación se debe dar en todo el ciclo de vida del proyecto y es recomendable hacerlo en todas las etapas de ejecución del proyecto, esto permite que la generación de información sea útil para posteriores procesos de evaluación.
La información generada por el proceso de retroalimentación ha de servir para mejorar y armonizar los proyectos con planes y programas de desarrollo económico y social del aparato de Estado. Esta información asegura la eficiencia de la asignación de la inversión pública en el marco de la implementación de diversos programas de desarrollo, y mejorar la productividad de los proyectos de inversión social.
Estos aspectos que son reivindicados con frecuencia por los técnicos sociales, en general no son atendidos en las etapas de operación de los proyectos, básicamente porque encarecen la estructura de costos del proyecto y porque los organismos financiadores no están dispuestos a entregan recursos adicionales para estas actividades.
III.3.2. Experiencia de evaluación ex – post
En el contexto mundial, la experiencia de evaluación ex – post está presente en la mayoría de las organizaciones internacionales que financian proyectos y programas, en ellas la tendencia general es establecer las metas de los estudios o evaluaciones ex – post de modo de sobrepasar la evaluación económica – financiera. Dada la necesidad y preocupación por la evaluación ex – post, diversas instituciones (BID (Banco Interamericano de Desarrollo), BM (el Banco Mundial), y la CE (Comunidad Europea)) han desarrollado distintos mecanismos e instrumentos de evaluación.
En Chile, la Subsecretaría de Desarrollo Regional y Administrativo (SUBDERE), que depende del Ministerio del Interior, ha desarrollado alguna experiencia en evaluaciones ex – post, a través de un convenio suscrito entre el gobierno de Chile y el Banco Mundial. En el marco de este convenio se realizó evaluación ex – post a una muestra de proyectos incluidos los financiados por los prestamos del BID; el análisis que se realizó tuvo como objetivo examinar el estado y calidad de la información disponible, determinar los plazos, la información y las coordinaciones interinstitucionales para realizar evaluación ex – post.
En el caso de Chile, se tomó conciencia de la necesidad de cerrar el ciclo de los proyectos sociales financiados por el sector público, para lo cual se establecíó como objetivo de mediano y largo plazo la incorporación al Sistema Nacional de Inversión, SIN, a partir de un subsistema de seguimiento y evaluación ex – post de proyectos.
En el último tiempo, la evaluación ex – post de proyectos es la que ha tenido mayor desarrollo en el ámbito privado primero y luego en el sector de la inversión pública, debido a que las fuentes de financiamiento precisan conocer y medir el logro y alcance de los objetivos propuestos. Además ha surgido la preocupación por medir las consecuencias previstas o no previstas de la intervención en la población beneficiada, una vez terminado el ciclo de vida del proyecto.
En Chile, la preocupación de los organismos privados y públicos ha favorecido a lo menos el interés por el desarrollo teórico y metodológico por la evaluación ex – post y de impacto; sin embargo, no se cuenta con información suficiente o disponible. Además, se constata una escasa experiencia en evaluaciones de proyectos sociales, sobretodo en el ámbito del impacto del proyecto.