¿Qué es la Evaluación de Efectos?
Se entiende como una Evaluación de Efectos (EE), en el marco de la Plataforma, aquella que permite ver si -y en qué grado- la intervención logró cambios efectivos en el comportamiento y características de sus beneficiarios (CEDE, 2015). Es decir, las EE buscan recolectar información y evidencia de los resultados reales del programa sobre los participantes. Este tipo de evaluación abarca diferentes metodologías y tipos de evaluación, incluyendo también estrategias cualitativas y cuantitativas. La diferencia entre una y otra corresponde al nivel de información requerida, a la representatividad de los resultados y a la confianza en el nivel de atribución que cada metodología le puede dar al programa para explicar los cambios observados.
La Evaluación de Resultado (ER) y la Evaluación de Impacto por RCT (Randomized Control Trial) corresponden a dos de las metodologías de la Evaluación de Efectos que son implementadas por la Plataforma para la evaluación de los casos de Graduación. Ambos métodos se diferencian por su capacidad de definir niveles de atribución (i.e. causalidad). Una ER recolecta información en dos momentos; antes y después de la intervención, de la población participante en el programa, con el fin de cuantificar cambios en la población y tratar de relacionarlos con la implementación del programa. Las Evaluaciones de Impacto, por su parte, procuran hacer uso de características del diseño del programa o de herramientas estadísticas, para reunir información no solo de la población participante sino también de un grupo de personas que imite de la mejor forma a los hogares que son participantes pero que por alguna razón (e.g., focalización geográfica) no recibieron la intervención, lo que se conoce como el grupo de control. De esta forma, las Evaluaciones de Impacto podrían aislar el efecto causal real del programa al comparar al grupo que recibió el programa (grupo de tratamiento) y al grupo que no lo recibió (grupo de control). En particular, las evaluaciones por RCT corresponden a la metodología de impacto más robusta al “construir” el grupo de control antes de la intervención, aleatorizando quien recibe y quien no el programa.
En general, la Plataforma promueve el uso de metodologías mixtas, en el que la información cuantitativa se complementa con información cualitativa. De esta forma se pueden entender mejor los resultados cuantitativos y se tienen más elementos para la discusión sobre las implicaciones de política. Las estrategias cualitativas incluyen, entre otras, entrevistas, grupos focales y relatos autobiográficos (Historias de Vida).
¿Para qué sirve la Evaluación de Efectos?
Las Evaluaciones de Efectos son particularmente importantes para justificar la existencia de un programa y, por tanto, su continuidad en el tiempo o su escalamiento a una mayor población beneficiaria. De esta forma, las EE son de mucha utilidad a diseñadores e implementadores para sustentar la utilidad del programa y evidenciar el cumplimiento de sus objetivos. Esta información permite a su vez hacer cambios en el diseño, en caso de requerirlos, al igual que probar nuevos procedimientos y evaluar cuál es la mejor opción. De la misma forma, la información de los resultados es crucial para evaluar la sostenibilidad económica del proyecto en cuanto es uno de los insumos de las evaluaciones costo-beneficio.
Los Programas Graduación son uno de los ejemplos claros de los resultados positivos de acompañar y apoyar la implementación de diseños novedosos con evaluaciones rigurosas que sustenten con la mayor claridad los efectos del programa. Tanto el BRAC como la Fundación Ford y el CGAP han implementado Evaluaciones de Impacto por RCT para varias de las intervenciones lideradas por ellos. Esto ha llevado a que exista prueba suficiente sobre las bondades de los Programa Graduación. Algunos de los principales resultados en cada uno de los países sobre variables claves se presentan en el siguiente cuadro:
¿+? y ¿-? hacen referencia a efectos positivos y negativos respectivamente, pero sin encontrar evidencia estadística que lo apoye.
Fuente: Banerjee et al. (2015); Bandiera et al. (2011); Briefs IPA
¿Cómo se hace la Evaluación de Efectos?
La Evaluación de Resultados contempla la recolección de información cuantitativa antes y después de la implementación, con el fin de comparar el estado de los hogares participante con y sin el programa. Los requerimientos mínimos en el diseño metodológico de una ER incluye:
1. Identificación y priorización de los resultados a evaluar
Previo a la etapa de planeación y diseño de la Evaluación de Resultados, la identificación y priorización de los resultados a ser medidos permite establecer con claridad los objetivos y el alcance de las evaluaciones que se plantean. Todos los programas con enfoque de Graduación tienen una serie de objetivos comunes por lo que se espera resultados particulares para todos los casos.
2. Construcción de los indicadores de interés
Cada resultado a evaluar, escogido durante la etapa previa, debe contar con por lo menos un indicador claro y cuantificable a partir del cual se pueda determinar si se han obtenido avances o no en esos resultados particulares. Los indicadores deben ser escogidos guiados a partir de la metodología CREMA que expone DNP (2012) y desarrollada por el Banco Mundial, en la que los indicadores deben ser:
- Claros, es decir que sean precisos e inequívocos,
- Relevantes, en cuanto sean apropiados para el resultado particular de interés,
- Económico, que sus costos de cálculo sean razonables,
- Medibles, es decir que sea susceptible de validación externa, y
- Adecuados, que ofrezcan información suficiente para estimar el desempeño.
Para el caso de la Plataforma se han definido los siguientes Indicadores:
3. Fijación de las metas en términos de los indicadores
Un proceso sugerido por McNamara (2006) es el establecer, a la luz de los objetivos y resultados definidos, las metas para los indicadores propuestos. Esto es un ejercicio que se debe plantear en conjunto con las instituciones implementadoras de los programas, a partir de sus expectativas sobre el programa.
4. Diseño de las herramientas de recolección de información
El objetivo principal de este requerimiento es establecer la información que se requiere para la construcción, y estimación e interpretación de los indicadores definidos en las etapas previas. Para la evaluación de resultados se usará un enfoque complementario entre las técnicas de investigación cualitativas y cuantitativas. Este enfoque se realizará con el fin de que haya una retroalimentación entre los hallazgos de éstas dos técnicas para entender más claramente los resultados de la evaluación y los efectos sobre los participantes, así como los canales a través de los cuales éstos se hacen efectivos.
De esta forma, la adaptación de esta metodología a cada caso particular contempla especificar con claridad las actividades a realizarse dentro del análisis cuantitativo y el análisis cualitativo, y la forma en la que se espera que estos dos análisis interactúen. El análisis cuantitativo contempla la elaboración de una encuesta que se realiza antes y después de la implementación, cuyo diseño muestral se define a partir de la disponibilidad de recursos, el cambio que se quiere detectar estadísticamente en la media del grupo antes y después de la intervención, al igual que el tamaño de la intervención. El análisis cualitativo por su parte puede incluir, entre otras, grupos focales, entrevistas grupales o individuales, e historias de vida. La elección de las herramientas depende del complemento que se busca entre los dos tipos de análisis.
5. Estrategia de análisis de la información y resultados
La estrategia de ER propuesta permite hacer dos tipos de análisis a partir de la información recolectada. La primera corresponde al análisis de los indicadores, a partir de la comparación entre la línea base y la línea final. Por otro lado, el segundo tipo de análisis busca mirar cambios estructurales de los resultados a partir de diferentes variables sociodemográficas.
Evaluación de Impacto por RCT
La Evaluación de Resultados contempla la recolección de información cuantitativa antes y después de la implementación, con el fin de comparar el estado de los hogares participante con y sin el programa. Los requerimientos mínimos en el diseño metodológico de una ER incluye:
1. Identificación y priorización de los resultados a evaluar
Previo a las etapas de planeación y diseño de la evaluación de impacto, la identificación y priorización de los resultados a ser medidos permiten establecer objetivos claro y determinar el alcance de la evaluación propuesta. Por ejemplo, en el marco de la Plataforma, todos los Programas Graduación tienen ciertos logros comunes por lo que se esperan efectos particulares, como la reducción de la pobreza, el incremento de la seguridad alimentaria de los hogares, creación de fuentes de auto empleo, incremento de los niveles de ahorro, creación de habilidades sociales y para la vida, y crecimiento personal (De Montesquiou et al, 2014. Banerjee et al, 2015.). Aun así, el proceso de contextualización de los Programas Graduación podría requerir otras variables. Aclarar qué resultados son de interés y de utilidad para los implementadores y los evaluadores es necesario antes de avanzar en el diseño de la evaluación.
2. Estrategia de aleatorización
El reto de un RCT es tener un grupo de control que sea en promedio lo más parecido posible al grupo de tratamiento, y una de las formas de lograrlo es a través de la aleatorización. Por esto, la aleatorización es parte fundamental de un RCT. La literatura sugiere diferentes tipos de estrategias que permiten obtener un diseño eficiente, según el contexto particular, sin sacrificar la robustez de este tipo de evaluación. Hay al menos tres elementos de un programa que se pueden aleatorizar: acceso, temporalidad e invitación a participar, tanto a nivel individual como grupal (Glennerster y Takavarasha, 2013). Como lo sugieren Glennerster y Takavarasha (2013) y Bernal y Peña (2011), la selección de una estrategia de aleatorización dependerá del contexto y las limitaciones particulares de la evaluación propuesta. Cada una de las estrategias tendrá implicaciones prácticas, políticas, metodológicas y éticas.
3. Cálculos de poder y diseño muestral
El poder de un diseño de RCT corresponde a la habilidad que tiene este para identificar como estadísticamente significativos (a un nivel de confianza α dado) los efectos percibidos. Es decir, es la habilidad de identificar que el aumento o la reducción de una de las variables de resultado, cuando se compara la información de los tratados y los controles, no es por azar, sino que estos resultados se presentarían en la generalidad de los casos en los que se implemente el programa evaluado.
El poder depende críticamente de (1) la estrategia de aleatorización, (2) del número de hogares tratados, (3) del número de hogares encuestados, (4) del nivel de confianza estadística que se desean para los resultados y (5) de la periodicidad de las encuestas. Por esto, los análisis de poder determinan también el diseño muestral con el que se recogería la información cuantitativa.
4. Diseño de las herramientas de recolección de información
Se sugiere que los RCT complementen sus técnicas cuantitativas (encuesta) con estrategias de investigación cualitativa. Esta aproximación permite que los resultados de cada técnica se retroalimenten para así tener resultados más completos y relevantes para la política pública. Esto permite también mayor claridad en el entendimiento de la evaluación y de los efectos en los participantes, al igual que de los canales por los que estos se hacen efectivos.
5. Estrategia de monitoreo
Las evaluaciones de impacto por RCT requieren del diseño y desarrollo de protocolos de seguimiento y aleatorización. Parte de la validez de los resultados de este tipo de ejercicios depende de que los hogares/participantes definidos como tratados reciben efectivamente el programa, mientras que los hogares/participantes que fueron asignados a los controles no lo reciban. De la misma forma se debe mantener un seguimiento continuo a otras intervenciones existentes diferentes a la evaluada.
Referencias
Centro de Estudios sobre Desarrollo Económico – CEDE (2015). Metodología para la Evaluación de Resultados. Documento Interno de Trabajo. Plataforma de Evaluación y Aprendizaje de los Programas de Graduación en América Latina. CEDE – Facultad de Economía, Universidad de los Andes.
Banerjee, A., E. Duflo, N. Goldberg, D. Karlan, R. Osei, W.Pariente, J. Shapiro, B. Thuysbaert, and C. Udry (2015). “A Multifaceted Program Causes Lasting Progress for the Very Poor: Evidence from Six Countries.” Science 348, no. 6236 (May 14, 2015).
Bandiera O., Burguess R., Das N., Gulesci S., Rasul I. Shams R. y Sulaiman M. (2011). “Asset Transfer Programme for the Ultra Poor: A Randomized Control Trial Evaluation”. CFPR Working Paper 22. Disponible en: https://www.microfinancegateway.org/sites/default/files/publication_files/asset_transfer_programme_for_the_ultra_poor-_a_randomized_control_trial_evaluation.pdf
Departamento Nacional de Planeación – DNP (2012). Guias Metodológicas Sinergia – Guía para la Evaluación de Políticas Públicas. Bogotá D.C., Colombia.
McNamara, Carter (2006). Basic Guide to Program Evaluation. Disponible en: managementhelp.org/evaluation/program-evaluation-guide.htm
De Montesquiou, A., Sheldon, T., De Giovanni, F,. and Hashemi, S. (2014). From Extreme Poverty to Sustainable Livelihoods: A Technical Guide to the Graduation Approach. Consultative Group to Assist the Poor (CGAP) and BRAC Development Institute.
Glennerster, R., & Takavarasha, K. (2013). Running randomized evaluations: A practical guide. Princeton University Press.
Bernal, R., y Peña, X. (2011). Guía práctica para la evaluación de impacto. Universidad de los Andes, Facultad de Economía, Centro de Estudios sobre Desarrollo Económico.
