Desventajas de la evaluación formativa

PREGUNTA 1: La evaluación finalmente es un proceso de reflexión que nos permite explicar y a su vez valorar los resultados de las acciones realizadas. Por otro lado, la evaluación viene siendo un medio para los profesionales, el cual sirve para

  • Para mejorar sistemáticamente el proceso sociocultural.
    • Para hacer un uso más adecuado de los recursos disponibles.
    • Para cambiar, si fuera necesario, el curso de la acción.

Por lo tanto, los grandes elementos al momento de evaluar son: Considerar los contextos de las situaciones, los instrumentos, recursos, etapas y actores involucrados la evaluación, que es un proceso para la toma de decisiones a través de la reflexión, por lo tanto, sirve para mejorar las acciones realizadas, y que finalmente evaluación es gestión, por lo tanto, es sumamente importante los registros sistemáticos periódicos de las actividades realizadas.

¿Qué evaluamos?:


Todas aquellas acciones enmarcadas en el quehacer profesional como:

  • Actividades: talleres, operativos, campañas.
    • Planes de intervención: caso, grupo, comunidad.
    • Proyectos sociales.
    • Otros.

¿Por qué evaluamos?:


Principalmente por dos razones:

  • Es una forma de mejorar, progresar.
    • Es una responsabilidad social y política.

¿Quién evalúa?:


Todos los actores involucrados.

¿Para qué evaluamos?:


Para tomar decisiones


¿Cómo evaluamos?:


La acción de elegir una u otra estrategia de evaluación debe estar ajustada a la función, al objeto, al autor y a la situación de la evaluación.

  1. Los cuestionarios.
  2. La observación.
  3. La entrevista.
  4. Las pruebas de rendimiento.

PREGUNTA 2: 5 DIFERENCIAS ENTRE CUALI Y CUANTI

Cualitativo:


1) Está fundamentado en la realidad, orientado a los descubrimientos. 2) Utiliza el método inductivo. 3) Requiere una metodología sensible a las diferencias. 4) Es un proceso que evoluciona en virtud de los descubrimientos sucesivos y de la transformación del contexto. 5) El propósito es comprender la situación objeto de estudio. 6) Tiene una mirada holística

Cuantitativo:


1) Está fundamentado en en la realidad, orientado a la comprobación. 2) Está orientado al resultado (la cuali al proceso). 3) Tiene una mirada particularista. 4) Utiliza el método hipotético deductivo. 5) El investigador tiene que observar rigurosamente las normas estrictas de la metodología estadística. 6) Existe un estricto control de las variables intervinientes y 7) Es necesaria la permanencia y estabilidad del instrumento.


PREGUNTA 3: ELIGE UN MODELO, EXPLÍQUELO Y DE UN EJEMPLO


PREGUNTA 4: ¿PORQUE ES Difícil LA EVALUACIÓN DE EXPERTOS?


Porque el autor de este modelo cree que solo una persona experta que haya pasado toda su vida en el campo profesional puede proporcionar evaluaciones sistemáticas de sensibilidad perceptiva. En donde la organización de la experiencia previa y la refinación de otras ideas, sin todo lo mencionado anteriormente sería imposible obtener una buena evaluación. Pero, además, porque combina la experiencia con la crítica, es decir que el experto a través de la experiencia constituye el medio de confiabilidad y validez y por último la adecuación referencial.

PREGUNTA 5): COSTO EFECTIVIDAD Y COSTO BENEFICIO, SI PERTENECEN AL MODELO ANALÍTICO Y PORQUÉ:



PREGUNTA 6) PRINCIPIOS DE LA EVALUACIÓN:


Según método científico:


  1. Validez:


    Hace referencia al grado de precisión con la que un instrumento satisface las exigencias para las que fue creado, es decir, mide lo que dice medir.  Por lo tanto, debe:
  2. Debe revelar las virtudes y defectos del plan de evaluación, de los procedimientos y de las   condiciones.
  3. Debe estar libre de influencias.
  4. Debe proporcionar conclusiones válidas y fidedignas.

  1. Fiabilidad:


    Grado de permanencia, estabilidad o consistencia de las mediciones, son fiables cuando miden con la misma precisión y dan los mismos resultados en sucesivas aplicaciones realizadas en situaciones similares.

Según carácter práctico:


  1. Practicidad y utilidad



  2. Practica

    : Debe estar condicionada a lo que se quiere lograry ser adecuada al uso que se quiere dar a las recomendaciones y conclusiones.

Útil:


Debe servir para mejorar la intervención, da sustento al proceso de toma de decisiones, en relación con la situación evaluada. Por lo tanto, debe ayudar a iden­tificar y examinar lo bueno y lo malo del objeto evaluado, así como, proporcionar soluciones para mejorarlo. Y Debe ser aplicable y utilizable para quienes administran y gestionan.

  1. Oportunidad:


    Debe ser aplicada en el momento adecuado, a fin de que no se produzcan distorsiones en la situación evaluada durante un período, con el fin de poder integrar modificaciones y otros.

A. Objetividad:


La evaluación debe medir, analizar y concluir sobre los hechos tal como ellos se presentan en la realidad, sin contaminarlos con la forma de pensar o sentir de los evaluadores.

PREGUNTA 7):  OBJETIVOS DE LA EVALUACIÓN

1. Facilitar el proceso de toma de decisiones para mejorar y/o modificar el programa, proyecto o servicio. Como, por ejemplo: Modificaciones en la intervención que se está realizando, mejorar la metodología utilizada (práctica y procedimientos) y modificar funcionamiento de la organización.


2. Establecer el grado de pertinencia, idoneidad, efectividad, eficacia, eficiencia, rendimiento de un programa, proyecto o servicio.

3. Determinar las razones de los éxitos y fracasos. Establecer los porque, permite establecer enseñanzas para otros programas.

4. Establecer en qué grado se han producido otras consecuencias o efectos imprevistos

5.Otros objetivos que se puedan lograr: Establecer proyectos semejantes en realidades similares, compatibilizar la asignación de recursos escasos o destinados a programas que compiten entre sí. Y Aumentar el conocimiento acerca del problema que origina el programa.


DIFERENCIAS DE EVALUACIÓN CON OTROS CONCEPTOS:


Medición v/s Evaluación:


  1. La medición:


    Es el acto o proceso de “determinar la extensión y/o cuantificación de alguna cosa”. Por lo tanto, la medición facilita cierto tipo de información. Y, por último, la medición ayuda a la tarea de evaluar.

  2. La evaluación:

    Hace referencia al “acto o proceso de determinar el valor de esa cosa”. Por lo tanto, implica valorar la  información  a  fin  de  emitir  un  juicio  de  valor  sobre  un  objeto  evaluado.

Estimación v/s Evaluación


  1. La estimación tiene un carácter aproximado (aprecio y valor que se le atribuye alguna cosa), que con frecuencia está cargado de subjetividad. Además, La estimación enjuicia con criterios difusos, subjetivos y/o no se basa en procedimientos más o menos rigurosos.

  2. La evaluación involucra o pretende mayor objetividad y precisión posible. Por lo tanto, enjuicia algo sistemáticamente y/o aplica los  conocimientos  y  reglas  del  método  científico. Una evaluación sistemática reúne requisitos metódicos.

Seguimientos v/s Evaluación:


  1. El seguimiento es un proceso analítico que permite registrar, recopilar, medir, procesar y analizar la información que revela la marcha  o  desarrollo  de  una  actividad  programada. El cual seguimiento tiene como propósito asegurar el cumplimiento del calendario de trabajo y la entrega de insumos en el momento oportuno
  2. El seguimiento se orienta a asegurar el logro de los objetivos previstos en el programa. El seguimiento contribuye a evaluar, ya que proporciona un sistema de información acerca del objeto evaluado.

Control v/s Evaluación:


  1. El control:


    Es una verificación de resultados. Por lo tanto, constata lo que pasa y el control es una verificación de algo.

  2. La evaluación:

    Juzga por qué pasa lo que pasa (actividades, recursos o resultados). Por lo tanto, es una ponderación o enjuiciamiento de esos resultados. Y por lo mencionado anteriormente es que, es un juicio acerca de ese algo (previamente verificado).

Programación v/s Evaluación:


  1. La programación:


    Es organizar y racionalizar la acción, para lograr metas y objetivos determinados.

  2. La evaluación:

    Es una forma de verificar y enjuiciar esa organización y racionalización, midiendo el cumplimiento de los objetivos y metas que están previamente establecidos y también la capacidad de alcanzarlos.

Investigación v/s Evaluación:


  1. La investigación:


    Tiene como fin producir o crear conocimiento, ya que es una indagación de carácter académico. La investigación tiene como objeto de estudio una situación problema. Por último, La evaluación tiene como resultado un informe escrito para los actores involucrados y/o interesados
  2. La evaluación:
    Tiene como fin la toma de decisiones, para mejorar resultados y acciones futuras. Es por esto qué, la evaluación es una indagación de carácter práctico. La evaluación tiene como objeto de estudio la valoración de la intervención, para abordar esa situación problema. Por último, La evaluación tiene como fin la toma de decisiones, para mejorar resultados y acciones futuras.

PROPÓSITOS DE LA EVALUACIÓN: Propósitos de la evaluación, según G. Briones (2002)


1.Mejorar la efectividad cuantitativa del programa, es decir, el logro de los objetivos

2. Mejorar la calidad de los resultados, o sea, la efectividad cualitativa del programa

3. Aumentar la eficiencia interna del programa, vale decir, la relación entre insumos y resultados

4. Mejorar la eficiencia externa del programa o adecuación de resultados con objetivos externos

5. Someter a verificación la teoría o hipótesis que relaciona los componentes del programa con los resultados buscados.

6. Redefinir la población objeto: reducirla, homogeneizarla, entre otros

7. Modificar la estructura, el funcionamiento y la metodología del programa

8. Tratar de cumplir, si es pertinente, las expectativas de la población – objeto del programa (funcionamiento, recursos, objetivos, entre otros).

9. Controlar la aparición de posibles prácticas o resultados no deseados

10. Tratar de homogeneizar los efectos, consecuencias y repercusiones del programa

CarácterÍSTICAS DE LA EVALUACIÓN

  • Innovadora:


    se crean medios e instrumentos que faciliten la evaluación.

  • Continua:

    se desarrolla antes, durante y al final de la acción.

  • Integral:

    se consideran la multiplicidad de dimensiones del proceso.

  • Sistemática:

    permite identificar la evolución del proceso predeterminado.

  • Reflexiva:

    análisis permanente del proceso, para su evaluación y mejoramiento.

  • Científica:

    utiliza diversas técnicas, métodos y procedimientos acordes al proceso.

  • Flexible:

    utilizar diferentes estrategias, momentos y posibilidades.

Carácterísticas Según, (Guía de Evaluación de Programas y Proyectos Sociales):


Útil y práctica:


la evaluación ha de servir para mejorar la intervención y debe ser concebida hacia la acción.

Sistemática:


durante todo el proceso de evaluación, se debe recoger de modo sistemático la información pertinente.

Flexible:


debe priorizarse la flexibilidad metodológica a lo largo de todo el proceso de evaluación.

Ajuste a los plazos temporales:


la evaluación tiene que responder a los plazos acordados con el fin de que pueda contribuir al aprendizaje y la mejora de la intervención.

Analítica:


debe centrarse en el análisis y reflexión de los procesos y el análisis valorativo de los componentes estudiados.

Permanente:


se realiza antes, durante y con posterioridad a la ejecución, es decir, en las distintas fases del ciclo de las intervenciones.

Variabilidad:


se realiza en el diseño de una actividad, en los procesos de ejecución o en los resultados, previstos o no previstos, adecuando uno u otro enfoque según la finalidad del trabajo.

Establecimiento de criterios de evaluación:


se revisan la eficacia, la eficiencia, la pertinencia, el impacto y la viabilidad entre otros componentes.

RESISTENCIAS A LA EVALUACIÓN: Según Suchman (1967: 144)


1.  Efectos del programa son de largo plazo; por tanto, las consecuencias no pueden ser medidas en el futuro inmediato.

2. Los efectos buscados son de tipo general más bien que específico. De esta manera, no se puede utilizar un criterio único para evaluar el programa; por otro lado, aún cuando se utilizarán muchas medidas no se lograría llegar a las consecuencias complejas buscadas.

3. Los resultados son pequeños, pero significativos; por lo mismo, no pueden ser medidos efectivamente ya que los instrumentos no son lo bastante sensitivos.

4. Los efectos son sutiles y no hay posibilidades de usar instrumentos capaces de explicar el cambio de las cualidades a las cuales se refiere el programa. Además, la medición perturbaría los procesos involucrados.


CIRSCUNSTANCIAS EN QUE ES Difícil EVALUAR: Según Weiss(1975)


  • Cuando no hay nada que preguntar acerca del programa o acción:
  • Decisiones no se van a tomar o ya se tomaron
  • Cuando se carece de orientación clara, por lo tanto, lleva a la improvisación, escasa reflexión, decisiones según día.
  • Cuando no hay suficientes recursos y personal calificado para realizar la evaluación

MODELOS DE EVALUACIÓN: Según Briones, (2002) se pueden distinguir dos tipos generales de modelos de evaluación:


A.-  El Modelo Analítico

  • Se relaciona con paradigmas epistemológicos explicativos y por lo tanto con visiones realistas y objetivas.
  • Su finalidad consiste en proporcionar explicaciones de funcionamiento de una acción en términos de alguna teoría o factores causales de diversa naturaleza y privilegia el uso de información cuantitativa.
  • La finalidad de conocimiento consiste en proporcionar explicaciones de modalidades de funcionamientode un programa u otros y de los resultados en base a una teoría o a factores causales.

B.- Modelo Global:


  • Se basa en paradigmas interpretativos o comprensivos.
  • Su propósito es establecer el significado de las acciones y actividadesque desarrollan dentro del programa u otra acción.
  • Su enfoque es global y holístico, no hace referencia a factores causaleso variables particulares que pudieran ser sometidos a tratamientos estadísticos.
  • Se relacionan con posiciones subjetivistas e idealistas.
  • Utiliza información cualitativa.

TIPOS DE EVALUACIÓN: Según M. J. Aguilar y Exequiel Ander-Egg (1994)


Según el momento en que se evalúa:


  • Evaluación antes (o ex –  ante), inicial o pre-decisión: se realiza antes de comenzar una intervención (antes del inicio o aprobación). Evalúa pertinencia, viabilidad, coherencia, rentabilidad.

  • Evaluación durante o (proceso):

    se realiza durante la fase de ejecución. Evalúa cambios situacionales, es decir, en qué medida se cumple y realiza la intervención.

  • Evaluación ex – post:

    se realiza cuando la intervención ha finalizado. Diferencian entre evaluación de fin de proyecto de evaluación ex post.

Según las funciones que cumple la evaluación:


  • Evaluación sumativa: evalúa resultados o efectos de una intervención, es decir hasta que, punto se cumplen los objetivos. Juzga si una intervención se mantiene o termina.
  •  Evaluación formativa: se realiza durante la ejecución de una intervención, para apoyar la puesta en marcha o mejorar lo que se está realizando.

Según la procedencia de los evaluadores:


  • Evaluación externa:


    evaluadores no pertenecen a la institución ejecutora. Generalmente se recurre a expertos contratados para evaluar algunas o todas las actividades que realiza la institución.

  • Evaluación interna:

    evaluadores pertenecen a la institución ejecutora, pero no son directamente responsables de la ejecución.

  • Evaluación mixta:

    contempla evaluadores externos e internos.

  • Autoevaluación:

    evaluadores están implicados directamente en la ejecución, valorando y enjuiciando actividades propias en el cumplimiento de metas.

OBJETIVOS DE LA EVALUACIÓN

  1. Desventaja de evaluación interna:


  2. Puede resaltar lo bueno y minimizar lo negativo.
  3. Búsqueda de chivo expiatorio responsable de los fracasos (interno o externo).
  4. Desquite por situación conflictiva.
  5. Ser juez y parte.

  6. Ventaja de evaluación interna:

    Mayor conocimiento de lo que se va a evaluar.

OTROS TIPOS DE EVALUACIÓN

  1. Evaluación del diseño y conceptualización del programa:


    Se realiza en la fase de formulación del programa y planeamiento de la intervención.

  2. Evaluación del estudio – investigación:

    estudio /investigación  de  la  realidad  sobre  la  que va a intervenir.

  3. Evaluación del diagnóstico:

    se establece  la naturaleza, magnitud y carácterísticas básicas del problema objeto de intervención.

  4. Evaluación del diseño y concepción del programa:

    se establecen los recursos y medios de intervención posibles de usar, así como,  los factores relevantes del contexto que inciden en la problemática

B)

Evaluación de la instrumentación y seguimiento del programa:

Se realiza cuando se ha puesto en marcha el programa y durante su ejecución, para evaluar como está funcionando, según lo siguiente: Evaluación de la cobertura del programa respecto de: 

1) En que medida alcanza la población destinataria:

2) Cobertura efectiva

C)Evaluación de la instrumentación y seguimiento del programa:


Evaluación de los aspectos técnicos de la implementación (medios e instrumentos  utilizados)


D)Evaluación de la eficacia y eficiencia del programa:


Se realiza cuando el programa ha funcionado un largo tiempo o al terminarlo.

1)Evaluación de la eficacia o efectividad (evaluación de resultados):


evalúa y analiza en que medida se están alcanzando los resultados previstos, según lo siguiente:

  1. Se establece  en relación a los usuarios.
  2. Se caracteriza por la importancia que tiene por sobre otros aspectos posibles de evaluar (sobre funcionamiento institucional, implementación o cobertura).

2)Evaluación de la eficacia y eficiencia del programa:

Evaluación de la eficiencia o rentabilidad económica de un   programa: es eminentemente económica, aunque puede existir rentabilidad política y social.

Para la evaluación económica, se debe analizar: Revisar el costo del programa en relación a los resultados obtenidos.

Para la evaluación de eficiencia, se debe analizar:


  1. Costo efectividad o costo eficacia.
  2. Costo utilidad.
  3. Costo beneficio.

DEFINICIONES:


Efectividad:


es la relación entre el resultado obtenido y la meta programada dentro de un cierto objetivo.

Eficacia:


también relaciona resultados y metas preestablecidas, pero introduce la variable tiempo.
Es el grado en el cual se alcanzan las metas en la población objetivo, en relación con el tiempo programado para su logro, con independencia de los costos implicados.


Eficiencia relaciona los resultados obtenidos, con los recursos utilizados para ello


  • Es el índice de rentabilidad del programa, relacionando los bienes y servicios finales(resultados), con los insumos requeridos para su obtención (recursos).
  • Incluye a la eficacia y la asocia a alguna unidad de recurso (dinero, horas/persona, horas/equipo, etc.).

ACTORES EN LA EVALUACIÓN

Los responsables de la evaluación o investigación evaluativa:


  • Director: coordinación del equipo y gestión administrativa.

    Investigadores (evaluadores): según magnitud de la evaluación. Al menos un experto en diseño evaluativo.

    Ayudantes de investigación (evaluación): responsables de obtener información, organización documentación, realizar entrevistas.

  • Especialistas: según necesidad de la evaluación.

Los que encomiendan o encargan realizar la evaluación: Aquellos que pueden decidir y solicitan realizar la evaluación:

  • Los políticos: responsables de la toma final de decisiones o formulación de objetivos de la política o asignación presupuestaria.
  • Los técnicos: se centran en los procedimientos, aplicación de normas y competencia legal.
  • Directivos superiores: política institucional.
  • Directivos  medios y administradores: decisiones sobre insumos.
  • Técnicos  y ejecutores  del proyecto: decisiones metodológicas, técnicas y operativas.

Los  que  responden (respondente) la evaluación: Son aquellos que responden los requerimientos de información solicitados por los evaluadores a través de: Respuesta a entrevistas, Respuesta a cuestionarios., Aceptan  que  se  observe  su trabajo. Son elementales porque de ellos depende el poder realizar la evaluación y por lo tanto la calidad del trabajo.

Los usuarios, beneficiarios, destinatarios o actores sociales de los programas, proyectos, servicios o actividades que se evalúan: Es necesaria su participación porque: Se pueden  alcanzar  los objetivos,  usar  metodologías y realizar una ejecución apropiada, pero  no lograr resultados efectivos,  es decir, no lograr la solución o mejoramiento de la situación  problema..