Evaluación de Programas: Guía Completa en 4 Momentos

1º MOMENTO: EVALUACIÓN INICIAL

Establecer la calidad técnica del programa y establecer la viabilidad y evaluabilidad. Aplicamos diversas técnicas tanto cuantitativas como cualitativas para la recogida de información, destacando:

Observación directa sobre: destinatarios, profesionales, registrando la información relevante en instrumentos como diarios, notas de campo, escalas de estimación…
Entrevista semiestructurada a los profesionales del centro, dirección…
Encuesta con Cuestionario sobre… para conocer la satisfacción…
Lectura y análisis documental, para obtener información relevante.
Consulta a expertos para detectar necesidades, carencias, demandas usando la técnica Delphi mediante cuestionarios.

2º MOMENTO: EVALUACIÓN DE LA EJECUCIÓN

Con la finalidad de tomar decisiones para mejorar el programa, se analiza el grado de cumplimiento del programa, coherencia, grado de satisfacción de los implicados, por lo que debemos recoger la información sobre el desarrollo del programa, los resultados que vamos obteniendo, utilizando técnicas cuantitativas y cualitativas:

Observación participante: donde nosotros como agente evaluador nos integraremos en el grupo. Usaremos instrumentos como: diario, notas de campo, registro de incidentes críticos, listas de control, escalas de estimación.
Entrevistas estructuradas. Diálogos.
Encuestas de satisfacción sobre las actividades desarrolladas (a todos: destinatarios y profesionales). Mediante el cuestionario analizaremos la satisfacción general.

En función de la información recogida podremos hacer modificaciones o adaptaciones.

3º MOMENTO: EVALUACIÓN FINAL

Con la finalidad de comprobar la eficacia (si el programa cumple con los objetivos marcados) y el impacto (los efectos que produce). Para comprobar la eficacia, la eficiencia, la efectividad y la satisfacción (agentes y destinatarios) tendremos en cuenta la situación inicial y analizaremos si ha habido mejoras o progresos. Para ello, aplicaremos diversas técnicas cuantitativas y cualitativas:

Encuestas de satisfacción y valoración de las actividades, mediante cuestionarios.
Grupos de discusión: para llegar a acuerdos entre implicados, sesiones grupales, una con los profesionales que han intervenido para saber opiniones, y otra con los afectados.
Utilizaremos indicadores para analizar la evolución y el desarrollo.
Análisis documental para extraer datos relevantes para la evaluación.

4º MOMENTO: INSTITUCIONALIZACIÓN DE LA EVALUACIÓN DEL PROGRAMA

Ciclos sucesivos de evaluación MEJORA – EVALUACIÓN – MEJORA. Finalidad: plena integración de la evaluación en el programa lo que mejora, el programa y la metodología de la evaluación. El programa se mantiene durante varias ediciones y la evaluación se institucionaliza y se integra en el programa para conseguir un nivel de mejora continua y unos resultados cada vez más optimizados y adaptados a las necesidades que se pretenden cubrir fruto de la experiencia acumulada por su implementación en ediciones pasadas.

Descripción del caso

Finalidad de la evaluación

Justificación de la evaluación

Equipo evaluador

(necesario equipo multidisciplinar y trabajo colaborativo) funciones del equipo evaluador:

Recoger información
Análisis de información
Obtener conclusiones
Emitir juicios
Elaborar documentos
Contactar con las personas relacionadas con la evaluación
Coordinar el equipo
Informar de los resultados a los responsables.

Momentos de la evaluación

Siguiendo las indicaciones de PJ la evaluación se llevará a cabo en 4 momentos.

Funciones del equipo evaluador

Elaborar los instrumentos necesarios para la recogida de la información.
Recoger y analizar la información necesaria para llevar a cabo la evaluación.
Extraer conclusiones y emitir un juicio de valor sobre los resultados alcanzados.
Contactar con todas las personas implicadas en la evaluación, informar de los resultados y exponer las conclusiones del proceso.
Elaborar el informe final de Evaluación y difundirlo entre las personas implicadas o interesadas en el proyecto.

¿Quién recoge la información y quiénes son los implicados en el programa?

Qué profesionales llevaran a cabo el proceso de recogida de información (personal evaluador, observador, colaboradores..) cuándo lo harán (evaluación inicial, de proceso, final), con qué técnicas e instrumentos…
Quiénes son los informantes o fuentes de información: director del centro, formadores, destinatarios, agentes sociales, memorias anuales, informes, documentos, actas, pruebas de evaluación…
Quién evalúa (evaluación interna, externa, mixta..)

Procedimientos que utilizo para analizar la información

Técnicas cuantitativas y cualitativas, así la información será más descriptiva y detallada, matizada y más acorde con la realidad, ya que buscamos valorar si el programa funciona o necesita cambios para mejorar.
Se usarán gráficos que muestren con detalle la evolución del programa y sus objetivos.
Se tendrá en cuenta la reducción de datos (categorización, codificación) la presentación de los datos, y la obtención y verificación de conclusiones.

Informe de Evaluación

Se hace al terminar la evaluación.
Lo hace el evaluador al solicitante.
Informe técnico completo y objetivo y respetando las cualidades éticas de los participantes y profesionales.
Debe recoger todo el proceso.
Incluir puntos fuertes, débiles, áreas de mejora, plan de mejora.
Adaptarlo a las audiencias.
Informar del contenido y difundirlo: reunión formal, enviar el informe por escrito.