Evaluación efectiva de programas y proyectos sociales: Conceptos clave y mejores prácticas

¿Qué es la evaluación?

La evaluación es una gestión científica específica, cuyo objeto es examinar la capacidad de un agente para asumir una problemática social, para:

Satisfacer la demanda de la población.
Transformar una determinada situación en las mejores condiciones posibles.
Descubrir los rendimientos de la organización.

Es necesario establecer registros periódicos y sistemáticos de todas las actividades y conductas específicas que vayan apareciendo en la ejecución de las acciones profesionales.

¿Qué evaluamos?

Todas aquellas acciones enmarcadas en el quehacer profesional como:

Actividades: talleres, operativos, campañas.
Planes de intervención: caso, grupo, comunidad.
Proyectos sociales.
Otros.

¿Por qué evaluamos?

Principalmente por dos razones:

Es una forma de mejorar, progresar.
Es una responsabilidad social y política.

¿Quién evalúa?

Todos los actores involucrados.

¿Para qué evaluamos?

Para tomar decisiones.

¿Cómo evaluamos?

La acción de elegir una u otra estrategia de evaluación debe estar ajustada a la función, al objeto, al autor y a la situación de la evaluación.

Los cuestionarios.
La observación.
La entrevista.
Las pruebas de rendimiento.

Diferencias de la evaluación con otros conceptos

Medición vs. Evaluación

La medición: es el acto o proceso de “determinar la extensión y/o cuantificación de alguna cosa”. Facilitando así cierto tipo de información y por último la medición ayuda a la tarea de evaluar.
La evaluación: en cambio hace referencia al “acto o proceso de determinar el valor de esa cosa”. La cual implica valorar la información a fin de emitir un juicio de valor sobre un objeto evaluado.

Estimación vs. Evaluación

La estimación: tiene un carácter aproximado (aprecio y valor que se le atribuye a alguna cosa), que con frecuencia está cargado de subjetividad. Por lo tanto, enjuicia con criterios difusos, subjetivos y/o no se basa en procedimientos más o menos rigurosos.
La evaluación: involucra o pretende mayor objetividad y precisión posible. Por lo que, enjuicia algo sistemáticamente y/o aplica los conocimientos y reglas del método científico. Y, por último, involucra una evaluación sistemática.

Seguimiento vs. Evaluación

El seguimiento: Es un proceso analítico que permite registrar, recopilar, medir, procesar y analizar la información que revela la marcha o desarrollo de una actividad programada.

Objetivo: El seguimiento tiene como objetivo lograr la consecución de las metas de un programa.

Propósito: Asegurar el cumplimiento del calendario de trabajo y la entrega de insumos en el momento oportuno (bienes, fondos, servicios, mano de obra, tecnología y otros recursos).

La evaluación: pretende enjuiciar esos logros y su nivel de obtención, así como de los resultados obtenidos como consecuencia de dicho programa.

Control vs. Evaluación

El control: Es una verificación de resultados. Por lo tanto, constata lo que pasa y finalmente es una verificación de algo.

La evaluación: Es una ponderación o enjuiciamiento de esos resultados. Ya que, juzga por qué pasa lo que pasa (actividades, recursos o resultados), esto sucede ya que, es un juicio acerca de ese algo (previamente verificado).

Programación vs. Evaluación

La programación: Es organizar y racionalizar la acción, para lograr metas y objetivos determinados.

La evaluación: Es una forma de verificar y enjuiciar esa organización y racionalización, midiendo el cumplimiento de los objetivos y metas que están previamente establecidos y también la capacidad de alcanzarlos.

Investigación vs. Evaluación

La investigación: tiene como fin producir o crear conocimiento. Por lo tanto, tiene como objeto de estudio una situación problema. (La investigación es una indagación de carácter académico).

La evaluación: Tiene como fin la toma de decisiones, para mejorar resultados y acciones futuras. Por lo tanto, es una indagación de carácter práctico y tiene como objeto de estudio la valoración de la intervención, para abordar esa situación problema.

La evaluación tiene como exigencia realizar recomendaciones, relacionado con el mejoramiento y toma de decisiones. Por lo tanto, tiene como resultado un informe escrito para los actores involucrados y/o interesados.

Propósitos de la evaluación

Según Briones: Tipo de investigación que analiza la estructura, el funcionamiento y los resultados de un programa con el fin de proporcionar información de la cual se deriven criterios útiles para la toma de decisiones en relación con su administración y desarrollo

Propósitos:

Mejorar la efectividad cuantitativa del programa, es decir, el logro de los objetivos.
Mejorar la calidad de los resultados, o sea, la efectividad cualitativa del programa.
Aumentar la eficiencia interna del programa, vale decir, la relación entre insumos y resultados.
Mejorar la eficiencia externa del programa o adecuación de resultados con objetivos externos.
Someter a verificación la teoría o hipótesis que relaciona los componentes del programa con los resultados buscados.
Redefinir la población objeto: reducirla, homogeneizarla, entre otros.
Modificar la estructura, el funcionamiento y la metodología del programa.
Tratar de cumplir, si es pertinente, las expectativas de la población – objeto del programa (funcionamiento, recursos, objetivos, entre otros).
Controlar la aparición de posibles prácticas o resultados no deseados.
Tratar de homogeneizar los efectos, consecuencias y repercusiones del programa.

Características de la evaluación

Innovadora: se crean medios e instrumentos que faciliten la evaluación.

Continua: se desarrolla antes, durante y al final de la acción.

Integral: se consideran la multiplicidad de dimensiones del proceso.

Sistemática: permite identificar la evolución del proceso predeterminado.

Reflexiva: análisis permanente del proceso, para su evaluación y mejoramiento.

Científica: utiliza diversas técnicas, métodos y procedimientos acordes al proceso.

Flexible: utilizar diferentes estrategias, momentos y posibilidades.

Según, (Guía de Evaluación de Programas y Proyectos Sociales):

Útil y práctica: La evaluación ha de servir para mejorar la intervención y debe ser concebida hacia la acción.

Sistemática: durante todo el proceso de evaluación, se debe recoger de modo sistemático la información pertinente.

Flexible: debe priorizarse la flexibilidad metodológica a lo largo de todo el proceso de evaluación.

Ajuste a los plazos temporales: la evaluación tiene que responder a los plazos acordados con el fin de que pueda contribuir al aprendizaje y la mejora de la intervención.

Analítica: Debe centrarse en el análisis y reflexión de los procesos y el análisis valorativo de los componentes estudiados.

Permanente: se realiza antes, durante y con posterioridad a la ejecución, es decir, en las distintas fases del ciclo de las intervenciones.

Variabilidad: Se realiza en el diseño de una actividad, en los procesos de ejecución o en los resultados, previstos o no previstos, adecuando uno u otro enfoque según la finalidad del trabajo.

Establecimiento de criterios de evaluación: se revisan la eficacia, la eficiencia, la pertinencia, el impacto y la viabilidad entre otros componentes.

Resistencias a la evaluación

Según Suchman (1967: 144)

Efectos del programa son de largo plazo; por tanto, las consecuencias no pueden ser medidas en el futuro inmediato.
Los efectos buscados son de tipo general más bien que específico. De esta manera, no se puede utilizar un criterio único para evaluar el programa; por otro lado, aun cuando se utilizarán muchas medidas no se lograría llegar a las consecuencias complejas buscadas.
Los resultados son pequeños, pero significativos; por lo mismo, no pueden ser medidos efectivamente ya que los instrumentos no son lo bastante sensitivos.
Los efectos son sutiles y no hay posibilidades de usar instrumentos capaces de explicar el cambio de las cualidades a las cuales se refiere el programa. Además, la medición perturbaría los procesos involucrados.

Circunstancias en que es difícil realizar la evaluación

Según Weiss (1975)

Cuando no hay nada que preguntar acerca del programa o acción: (Decisiones no se van a tomar o ya se tomaron).
Cuando se carece de orientación clara: (Existe improvisación, escasa reflexión, decisiones según día).
Cuando las personas que deberían saberlo no pueden ponerse de acuerdo en lo que están tratando de realizar: (Gran discrepancia en metas proyectadas).
Cuando no hay suficientes recursos y personal calificado para realizar la evaluación: (Se requiere tiempo y destrezas entre otros).

Principios de la evaluación

Principios de la evaluación, según Ander – Egg y Aguilar:

Según método científico:

Validez: Hace referencia al grado de precisión con la que un instrumento satisface las exigencias para las que fue creado, es decir, mide lo que dice medir. Por lo tanto, debe:

Debe revelar las virtudes y defectos del plan de evaluación, de los procedimientos y de las condiciones.
Debe estar libre de influencias.
Debe proporcionar conclusiones válidas y fidedignas.

Fiabilidad: Grado de permanencia, estabilidad o consistencia de las mediciones, son fiables cuando miden con la misma precisión y dan los mismos resultados en sucesivas aplicaciones realizadas en situaciones similares.

Según carácter práctico:

Practicidad y utilidad: Debe estar condicionada a lo que se quiere lograr y ser adecuada al uso que se quiere dar a las recomendaciones y conclusiones.

Oportunidad: Debe servir para mejorar la intervención, da sustento al proceso de toma de decisiones, en relación con la situación evaluada. Por lo tanto:

Debe ayudar a identificar y examinar lo bueno y lo malo del objeto evaluado, así como, proporcionar soluciones para mejorarlo.
Debe ser aplicable y utilizable para quienes administran y gestionan.

Principios de la evaluación

Principios de la evaluación, según Ander – Egg y Aguilar:

Según método científico:

Validez: Hace referencia al grado de precisión con la que un instrumento satisface las exigencias para las que fue creado, es decir, mide lo que dice medir. Por lo tanto, debe:
Debe revelar las virtudes y defectos del plan de evaluación, de los procedimientos y de las condiciones.
Debe estar libre de influencias.
Debe proporcionar conclusiones válidas y fidedignas.

Fiabilidad: Grado de permanencia, estabilidad o consistencia de las mediciones, son fiables cuando miden con la misma precisión y dan los mismos resultados en sucesivas aplicaciones realizadas en situaciones similares.

Según carácter práctico:

Practicidad y utilidad:

a) Practicidad: Debe estar condicionada a lo que se quiere lograr y ser adecuada al uso que se quiere dar a las recomendaciones y conclusiones.

Utilidad: Debe servir para mejorar la intervención, da sustento al proceso de toma de decisiones, en relación con la situación evaluada.

Por lo tanto, debe ayudar a identificar y examinar lo bueno y lo malo del objeto evaluado, así como, proporcionar soluciones para mejorarlo.
Debe ser aplicable y utilizable para quienes administran y gestionan.

Oportunidad: Debe ser aplicada en el momento adecuado, a fin de que no se produzcan distorsiones en la situación evaluada durante un período, con el fin de poder integrar modificaciones y otros. Por lo tanto:

a) Debe ayudar a identificar y examinar lo bueno y lo malo del objeto evaluado, así como, proporcionar soluciones para mejorarlo.

b) Debe ser aplicable y utilizable para quienes administran y gestionan.

Objetivos según Ander-Egg

Facilitar el proceso de toma de decisiones para mejorar y/o modificar el programa, proyecto o servicio, entre ellos: Modificaciones en la intervención que se está realizando, mejorar la metodología utilizada (práctica y procedimientos), modificar funcionamiento de la organización.

2. Establecer el grado de pertinencia, idoneidad, efectividad, eficacia, eficiencia, rendimiento de un programa, proyecto o servicio.

Pertinencia o propiedad: capacidad de aplicarse y resolver la situación que se está interviniendo.
Idoneidad o suficiencia: coherencia con objetivos, metas, actividades, tareas.
Efectividad: relación entre resultado obtenido y meta programada.
Eficacia: relaciona resultados y metas con el tiempo programado para lograrlo.
Eficiencia: relaciona los resultados con los costos del programa, considerando el menor costo o tiempo posible.

3. Determinar las razones de los éxitos y fracasos.

Establecer los porque, permite establecer enseñanzas para otros programas. Esto se realiza teniendo presente el análisis del contexto y del programa mismo.

4. Establecer en qué grado se han producido otras consecuencias o efectos imprevistos.

5. Otros objetivos que se puedan lograr:

Establecer proyectos semejantes en realidades similares.
Aceptar, rechazar o readecuar enfoques o metodologías de intervención social.
Revisión crítica de los supuestos teóricos que sustentan el programa.