Midiendo El Impacto: Métodos De Evaluación De Impacto

Transcript

Midiendo el Impacto: Métodos de Evaluación de Impacto Sebastian Martinez Banco Inter-Americano de Desarrollo Santiago, abril 2013 Presentación por Sebastian Martinez, basado en el libro “Impact Evaluation in Practice” por Gertler, Martinez, Premand, Rawlings y Vermeersch (2010). El contenido de esta presentación representa la opinión del autor y no necesariamente del Banco Inter Americano de Desarrollo. Esta versión: Abril 2013. 1 Que es una Evaluación de Impacto? Comenzamos con una Pregunta de Desarrollo…… • Como reducir el desempleo entre los jóvenes? • Como incrementar la inscripción escolar? • Como mejorar la nutrición de los niños? • Otros……… Proponemos una solución….. • Capacitación técnico-vocacional para jóvenes • Becas escolares • Suplementos nutricionales 2 Al final del día, el programa tuvo IMPACTO? • La capacitación técnico-vocacional redujo el desempleo de los jóvenes? • Las becas escolares aumentaron la inscripción escolar? • Los suplementos nutricionales mejoraron la nutrición de los niños? La Evaluación de Impacto mide la relación causaefecto entre una intervención y un resultado 3 Teoría del Cambio La política publica debe estar fundamentado en una “teoría de cambio” que relaciona la intervención a los resultados de interés La evaluación de impacto mide si estos resultados fueron logrados 4 Cadena de Resultados Insumos Actividades Productos Recursos Humanos, Financieros, otros movilizados para realizar actividades Acciones emprendidas o trabajo realizado para convertir insumos en productos específicos Bienes y servicios producidos y entregados bajo control del implementador Uso de productos por parte de poblacion de interes Presupuesto Personal Otros Recursos Actividades realizadas para producir bienes y servicios Bienes y Servicios Producidos bajo control del organismo ejecutor No totalmente Afectados por bajo el control del múltiples factores organismo externos ejecutor Implementación (Oferta) 5 Resultados Impactos Objetivos finales del programa o metas de largo plazo Resultados (Oferta + Demanda) Contrafactuales Contrafactuales falsos: Condición pre-programa (pre-post) Inferencia Causal Auto-seleccionados (peras y manzanas) 6 Objetivo de la Evaluación de Impacto Estimar el efecto causal (impacto) de una intervención (P) en un resultado (Y). (P) = Programa o “Tratamiento” (Y) = Resultado, Medida de Exito Ejemplo: Cual es el impacto de un programa de transferencias monetarias (P) sobre el consumo del hogar (Y)? 7 Pregunta de Evaluación: Cual es el impacto de (P) sobre (Y)? Respuesta: α= (Y | P=1)-(Y | P=0) 8 Problema de Datos Incompletos α= (Y | P=1)-(Y | P=0) Para un Beneficiario de Programa: Observamos (Y | P=1): consumo del hogar (Y) participando en el programa de transferencias monetarias (P=1) Pero NO observamos (Y | P=0): consumo del hogar (Y) sin el programa de transferencias monetarias (P=0) 9 Solución Estimamos lo que hubiese sucedido con Y en la ausencia de P. Llamamos esto el….. Contrafactual. 10 Estimando el impacto de P sobre Y α= (Y | P=1)-(Y | P=0) Estimamos (Y | P=0) El Contrafactual Observamos (Y | P=1) Resultado bajo Tratamiento Resultado con IMPACTO = Tratamiento - contrafactual Usa grupos de Comparación o Control 11 Ejemplo: Cual es el Impacto de… Darle a Fulanito dinero en su consumo de caramelos (P) (Y)? 12 El “Clon” Perfecto Fulanito “Clon” 6 caramelos 4 caramelos IMPACTO=………… 13 En realidad, usamos propiedades de la estadística…….. Tratamiento Comparación Y Promedio=6 caramelos Y Promedio=4 caramelos IMPACTO=6-4=2 14 Encontrando buenos controles Queremos encontrar “clones” para los “Fulanitos” de nuestros programas. Los grupos de tratamiento y control deben tener • Características idénticas • Excepto por la intervención En practica, usamos reglas de elegibilidad al programa para encontrar buenos controles 15 Caso: Progresa Programa nacional contra la pobreza en México o Objetivos: o Romper transmisión inter-generacional de pobreza y reducir pobreza hoy o Comienza 1997 o 5 millones de beneficiarios hasta 2004 o Elegibilidad en base a índice de pobreza Intervención: Transferencias Condicionadas o Condicional en participación escolar y servicios de salud 16 Caso: Progresa Evaluación de impacto con riqueza de información: o 506 comunidades, 24,000 hogares o Línea Base 1997, seguimiento 2008 Muchos resultados de interés (educación, salud, etc) Aqui: Estándar de vida: Consumo per cápita Cual es el impacto de Progresa (P) sobre Consumo per cápita (Y)? Si el impacto es de $20 pesos o mas por mes, escalamos programa 17 Elegibilidad e Inscripción No elegible (No pobre) No Inscrito Elegible (Pobre) Inscrito Contrafactuales Contrafactuales falsos: Condición pre-programa (pre-post) Inferencia Causal Auto-seleccionados (peras y manzanas) 19 Impacto de Programa? Pre-post 0.5 Hombres 0.45 0.45 0.4 0.38 0.35 Y(%) 0.3 0.26 0.25 Vocational Skills - Male Vocational Skills - Female 0.2 0.17 0.15 Mujeres 0.1 0.05 0 Round 1 20 Round 2 Round 3 Impacto de Programa? Pre-post 0.5 Hombres 0.45 0.45 0.4 0.38 0.35 Y(%) 0.3 0.26 0.25 Vocational Skills - Male Vocational Skills - Female 0.2 0.17 0.15 Mujeres 0.1 0.05 0 Round 1 21 Round 2 Round 3 Impacto de Programa? Pre-post 0.6 0.53 0.5 0.45 0.4 Y(%) Vocational Skills - Male Control - Male 0.3 0.26 0.20 0.2 0.1 0 Round 1 22 Round 2 Round 3 Vocational Skills - Female Control - Female Caso 1: Pre-programa ¿Cual es el impacto de Progresa (P) sobre Consumo per cápita (Y)? Y (1) Observamos consumo antes (Abril 1997) y después (Noviembre 1998) del programa (2) α= (Y | P=1)-(Y | P=0) 268 A α = $35 233 B T=1997 IMPACTO=A-B= $35 T=1998 Tiempo 23 Caso 1: Pre-programa Consumo (Y) Resultado CON Tratamiento (Post) 268.7 Contrafactual (Pre) 233.4 Impacto (Y | P=1) - (Y | P=0) 35.3** Análisis de Regresión: Regresión Lineal 35.27** Regresión Lineal Multivariable 34.28** Nota: **estadísticamente significativo al 1% 24 Caso 1: ¿Cuál es el problema? Boom Económico: o Impacto “real”=A-C o A-B es una sobreestimación Y 268 A Impacto? α = $35 Recesión: o C? Impacto “real”=A-D o A-B es una subestimación 233 Impacto? B D? T=0 T=1 Tiempo 25 Contrafactuales Contrafactuales falsos: Condición pre-programa (pre-post) Inferencia Causal Auto-seleccionados (peras y manzanas) 26 Controles Auto-seleccionados Generalmente NO son buenos controles aquellos que: Eligen NO participar Son Inelegibles para participar (con algunas excepciones importantes) Sesgo de Selección: o Características de la población están correlacionados con su condición de participación en el programa y con los resultados (Y) de interés Podemos controlar por observables Pero no por inobservables! El impacto estimado se confunde con estas características 27 Caso 2: Progresa Período post-tratamiento (1998) No elegible (No pobre) Elegible (Pobre) En que sentido podrían ser diferentes los “Inscritos” y “No inscritos”, además de su participación en el programa? Caso 2: Controles Auto-seleccionados Consumo (Y) Resultado CON Treatment (Inscrito) 268 Counterfactual (No Inscrito) 290 Impacto (Y | P=1) - (Y | P=0) -22** Análisis de Regresión: Regresión Lineal -22** Regresión Lineal Multivariable -4.15 Nota: **estadísticamente significativo al 1% 29 Recomendación de Política Publica? Impacto en Consumo (Y) Caso 1: Preprograma Caso 2: Autoseleccionados Regresión Lineal Regresión Lineal Multivariable Regresión Lineal Regresión Lineal Multivariable 35.27** 34.28** -22** -4.15 Recomendaría escalar Progresa a nivel nacional? “Si el impacto es de $20 pesos o mas por mes, escalamos programa” Pre-programa: o No se consideran otros factores que varían en el tiempo Auto-seleccionados: o Sesgo de Selección: otros factores asociados a los grupos de tratamiento y comparación inciden en el resultado 30 Recuerda ! Pre-programa Auto-seleccionados Compara: Misma unidad de observación antes y después de recibir P. Compara: Grupo que participa con grupo que elige no participar en P. Problema: Otras cosas pueden ocurrir a lo largo del tiempo que afectan el resultado Problema: Sesgo de Selección. Ambos contrafactuales pueden llevar a un estimado sesgado del impacto 31 Asignación Aleatoria Promoción Aleatoria (Variables Instrumentales) Diseño de Regresión Discontinua Diferencias en Diferencias (dif-en-dif) Pareamiento Métodos de Evaluación 32 Asignación Aleatoria o Asignación de beneficios mediante lotería u otro proceso aleatorio…….. o Genera dos grupos estadísticamente idénticos Cuando aleatorizar? o Sobre Demanda: o # elegibles > recursos disponibles o Innovación: necesitamos evidencia rigurosa sobre la efectividad de un programa Dar a cada unidad elegible la misma probabilidad de…. o o Recibir el programa Recibir el programa primero, segundo, tercero, etc Ventajas……. o o Regla de selección ético, cuantitativo y transparente Produce el mejor contrafactual posible y es intuitivo/fácil de comunicar 33 Asignación Aleatoria 3. Tratamiento 1. Poblacion 2. Muestra Comparación = Inelegible = Elegible Validez Externa Validez Interna Unidad de aleatorización Seleccionar según el tipo de programa: o o o o o Individual/Hogar Escuela/Centro salud Calle/Manzana Pueblo/Comunidad Distrito/Municipio/Región Tener en cuenta: o Es necesario un número “suficientemente grande” de unidades para detectar el impacto mínimo deseado: Potencia estadística. o Spillovers/contaminación o Costos operativos y de encuestas 35 Caso 3: Asignación Aleatoria Progresa: Unidad de aleatorización: comunidad 506 comunidades en la muestra de evaluación Aleatorización por etapas: o 320 comunidades de tratamiento (14,446 hogares): o Primera transferencia Abril 1998 o 186 comunidades de control (9,630 hogares): o Primera transferencia Noviembre 1999 36 Caso 3: Asignación Aleatoria T=0 T=1 Tiempo 320 Comunidades Tratamiento 186 Comunidades Control Periodo de Comparación 37 Caso 3: Asignación Aleatoria Como podemos comprobar que tenemos buenos “clones”? En la ausencia de P, los grupos de tratamiento y comparación deben ser estadísticamente idénticos Comparemos sus características de línea de base (T=0) 38 Caso 3: Balance (pre-programa) Caso 3: Asignación Aleatoria Control Tratamiento Est.T Consumo ($ mensual per capita) 233.47 233.4 -0.39 Edad Jefe de Hogar (anios) 42.3 41.6 1.2 Edad Esposa(o) del Jefe (años) 36.8 36.8 -0.38 Educación Jefe (años) 2.8 2.9 -2.16* Educación Esposa(o) (años) 2.6 2.7 -0.006 Nota: *estadísticamente significativo al 5% 39 Caso 3: Balance (pre-programa) Caso 3: Asignación Aleatoria Control Tratamiento Est.T Indigena=1 0.07 0.42 0.07 0.42 0.66 0.21 Numero miembros del hogar 5.7 5.7 -1.21 Tiene Baño=1 Hecatrias de tierra 0.56 1.71 0.57 1.67 -1.04 1.35 Distancia a Hospital (km) 106 109 -1.02 Jefe de hogar femenino=1 40 Caso 3: Asignación Aleatoria Grupo Tratamiento (Aleatorizado a tratamiento) Contrafactual (Aleatorizado a comparacion) Impacto (Y | P=1) - (Y | P=0) Linea Base (T=0) Consumo (Y) 233.47 233.40 0.07 Seguimiento (T=1) Consumo (Y) 268.75 239.5 29.25** Análisis de Regresión: Regresión Lineal 29.25** Regresión Lineal Multivariable 29.75** Nota: **estadísticamente significativo al 1% 41 Recomendación de Política Publica? Impacto de Progresa en Consumo (Y) Caso 1: Preprograma Caso 2: Autoseleccionados Caso 3: Asignación Aleatoria Regresión Lineal Multivariable 34.28** Regresión Lineal Regresión Lineal Multivariable -22** -4.15 Regresión Lineal Multivariable 29.75** Nota: **estadísticamente significativo al 1% 42 Comparando Diferentes Beneficios Pregunta de evaluación “tradicional”: o Cual es el impacto de un programa sobre un resultado? Otras preguntas de interés: o Como optimizar un programa? o Cual es el nivel optimo de un beneficio? o Porque funciona un programa? o Cual es el impacto de un sub-componente del programa? Asignación aleatoria con dos niveles de beneficio: Comparación X Beneficio Bajo Beneficio Alto 43 Asignación Aleatoria de 2 niveles de beneficio 1. Población Elegible 2. Muestra de Evaluación 3. Asignación Aleatoria (2 niveles de beneficio) Comparación = Inelegible = Elegible Impacto combinado de dos beneficios Como se complementan dos beneficios? Asignación aleatoria de paquete de intervenciones: Intervención 1 Intervención 2 Comparación Comparación Tratamiento Grupo A Grupo C X Grupo B Grupo D Tratamiento 45 Asignación Aleatoria de múltiples intervenciones 4. Asignación 3. Asignación Aleatoria 1 1. Población Elegible Aleatoria 2 2. Muestra de Evaluación X = Inelegible = Elegible Recuerda ! Asignación Aleatoria La asignación aleatoria de un beneficio a una población grande produce dos grupos estadísticamente equivalentes Tenemos un “clon” perfecto! Aleatorizado a Tratamiento Factible en evaluaciones prospectivas cuando demanda excede oferta del beneficio Muchos programas piloto cumplen esta condición Aleatorizado a comparación 47 Asignación Aleatoria Promoción Aleatoria (Variables Instrumentales) Métodos de Evaluación 48 Y si TODOS pueden participar? Por ejemplo…… o Programas nacionales con elegibilidad universal? o Programas con participación voluntaria? o Programas donde no se puede “excluir” a nadie? Si no se inscriben todos, podemos comparar participantes y no-participantes? Sesgo de Selección! 49 Ofrecer o promocionar programa a un sub-grupo aleatorio Si la inscripción es voluntaria: o o o Ofrecer programa a una sub-muestra aleatoria Algunos aceptan Otros no aceptan Oferta aleatoria … y no se puede excluir la oferta a nadie: o o Ofrecer programa a todos Ofrecer promoción, estimulo o incentivos a una sub-muestra aleatoria: Información Premio Transporte Promoción aleatoria 50 Oferta y Promoción Aleatoria Condiciones necesarias: 1. Grupo ofertado/promocionado y no-ofertados/nopromocionados son comparables: • Condición de promoción del grupo (con/sin) NO esta correlacionado con las características de la población • Garantizado por la aleatorización 2. Grupo ofertado/promocionado tiene mayor tasa de participación en el programa • Es decir, la promoción funciona! • Podemos comprobar empíricamente 3. La oferta/promoción no afecta los resultados directamente • Usamos teoría e intuición para asegurar esta condición 51 Oferta y Promoción Aleatoria 3 grupos de unidades o individuos CON promoción SIN promoción NUNCA se inscribe Solo se inscribe con promoción SIEMPRE se inscribe 52 Oferta y Promoción Aleatoria 1.Población Elegible 2.Aleatoriza Oferta/Promoción 3. Inscripción SIN Oferta/Promoción CON Oferta/Promoción Eligible Inscrito Nunca Promoción Siempr 0 Ejercicio: estimar el impacto de Grupo A: CON Oferta/Promoción Grupo B: SIN Oferta/Promoción Impacto Inscrito=80% Y Promedio para grupo A=100 Inscrito = 30% Y Promedio para grupo B=80 ∆Inscritos=…….. ∆Y= …….. Impacto=……………… Nunca Participa Participa con Promoción Siempre participa 54 Caso 4: Oferta Aleatoria Oferta aleatoria es una “Variable Instrumental” o Progresa se ofrece a los hogares o Oferta a hogares en un grupo aleatorio de 320 comunidades o 92% de hogares lo toman, 8% lo rechaza Si hay menos de 100% de inscripcion en el programa… o Intencion al tratamiento: Impacto de ofrecer el programa o Tratamiento sobre lo Tratados: Impacto de tomar el programa o Utilizamos la asignacion aleatoria de la oferta como “variable instrumental” 55 Caso 4: Oferta Aleatoria Nunca Participa CON Oferta SIN Oferta (320 Comunidades) (186 Comunidades) Impacto Tratamiento sobre Tratados Inscrito=92% Consumo Promedio= 268 Inscrito=0% Consumo Promedio= 239 ∆Inscrito=0.92 ∆Y=29 Impacto= 29/0.92 =31 X Participa con Oferta Siempre participa X 56 Caso 4: Oferta Aleatoria Impacto del Tratamiento sobre el consumo de los Tratados Regresión Variables Instrumentales Nota: **estadísticamente significativo al 1% 30.4** 57 Recuerda ! Oferta/Promoción Aleatoria Oferta/Promoción debe ser efectivo en incrementar participación! Asignamos aleatoriamente la oferta/promoción (evaluación experimental) con el propósito de evaluar el impacto del programa de interés No excluimos a nadie, pero… Estrategia depende de la validez de la oferta/promoción Estimamos un impacto local, no necesariamente generalizable para toda la población 58 Asignación Aleatoria Promoción Aleatoria (Variables Instrumentales) Diseño de Regresión Discontinua Métodos de Evaluación 59 Diseño de Regresión Discontinua Muchos programas focalizan mediante un índice o puntaje continuo que determina elegibilidad: Programas anti-pobreza Focaliza hogares debajo cierto nivel de ingreso o índice de pobreza Pensiones Focaliza población mayor de edad Educación Becas para los mejores estudiantes en base a una prueba estandarizada Agricultura Fertilizante para pequeños productores (hectáreas de tierra) 60 Ejemplo: Programa Agrícola Objetivo: Mejorar productividad para pequeños productores Intervención: Subsidio para comprar fertilizantes Focalización: o Productores con ≤50 hectáreas son elegibles o Productores con >50 hectáreas son inelegibles 61 Pre-Intervención (línea Base) No Elegible Elegible Post-Intervención IMPACTO Diseño de Regresión Discontinua Necesitamos un índice de elegibilidad continuo con un punto de corte de elegibilidad definido Intuición: o Unidades alrededor del punto de corte son parecidos – el grupo no-elegible produce un buen contrafactual o Impacto estimado es valido en un vecindario alrededor del punto de corte 64 Caso 5: Diseño de Regresión Discontinua Elegibilidad para PROGRESA en base a un índice de pobreza (prueba de medias) Hogar pobre si puntaje ≤ 750 Elegibilidad: o o Elegible=1 si puntaje ≤ 750 Elegible=0 si puntaje > 750 65 Caso 5: Diseño de Regresión Discontinua: Pre- intervención Consumo Fitted values 379.224 153.578 276 1294 puntaje estimado en focalizacion Índice de Pobreza Caso 5: Diseño de Regresión Discontinua: Post-Intervención Consumo Fitted values 399.51 30.58** Impacto sobre Consumo (Y) Regresión Lineal Multivariable 183.647 276 1294 puntaje estimado en focalizacion Indice de Pobreza Recuerda ! Diseño de Regresión Discontinua Requiere un índice de elegibilidad continuo con punto de corte definido No es necesario “excluir” un grupo de unidades elegibles del programa Observaciones justo al otro lado del punto de corte de elegibilidad son buenos controles. Muchas veces se puede aplicar en evaluaciones retrospectivas que cumplen las condiciones necesarias 68 Recuerda ! Diseño de Regresión Discontinua Produce un estimado de impacto local: o Efecto del programa alrededor del punto de corte o o Importante para decidir si expandir o reducir cobertura del programa No es necesariamente generalizable a otras poblaciones Potencia: o Necesitamos muchas observaciones alrededor del punto de corte. Cuidado con el modelo: A veces lo que parece una discontinuidad en la grafica es otra cosa (como una relación no-lineal). 69 Asignación Aleatoria Promoción Aleatoria (Variables Instrumentales) Diseño de Regresión Discontinua Diferencias en Diferencias (dif-en-dif) Métodos de Evaluación 70 Diferencias en Diferencias (dif-en-dif) Y= Inscripción Escolar P= Programa de Tutoría Con Programa Sin Programa Post 0.74 0.81 Pre 0.60 Diferencia - - 0.78 - = Dif-en-Dif: Impacto=(Yt1-Yt0)-(Yc1-Yc0) 71 Diferencias en Diferencias (dif-en-dif) Y= Inscripción Escolar P= Programa de Tutoría Sin Con Programa Programa Post 0.74 Pre 0.60 - 0.81 0.78 Diferencia = Dif-en-Dif: Impacto=(Yt1-Yc1)-(Yt0-Yc0) 72 Inscripción Escolar Impacto =(A-B)-(C-D)=(A-C)-(B-D) Sin Programa C=0.81 D=0.78 A=0.74 Con Programa Impacto=0.11 B=0.60 T=0 T=1 Tiempo Inscripción Escolar Impacto =(A-B)-(C-D)=(A-C)-(B-D) Sin Programa C=0.81 D=0.78 A=0.74 Impacto<0.11 Con Programa B=0.60 T=0 T=1 Tiempo Caso 6: Dif en Dif con Progresa Inscritos No Inscritos Diferencia Pre-programa (T=0) Consumo (Y) 233.47 281.74 -48.27 Post-programa (T=1) Consumo (Y) 268.75 290 -21.25 35.28 8.26 27.02 Diferencia Análisis de Regresión: Regresión Lineal 27.06** Regresión Lineal Multivariable 25.53** Nota: **estadísticamente significativo al 1% 75 Recuerda ! Diferencias-en-Diferencias Dif-en-Dif: cambio pre-post entre un grupo participante y otro no-participante Contrafactual para la tendencia o cambio en el indicador Para comprobar igualdad de tendencias, necesitamos al menos: o 2 observaciones antes o 1 observación después Asume que en la ausencia de programa, tendencias entre participantes y no-participantes serian iguales 76 Asignación Aleatoria Promoción Aleatoria (Variables Instrumentales) Diseño de Regresión Discontinua Diferencias en Diferencias (dif-en-dif) Pareamiento Métodos de Evaluación 77 Pareamiento Idea Para cada unidad de tratamiento escogemos el mejor “par” de otra población sin tratamiento. Como? Los pares se seleccionan sobre similitudes en características observadas. Riesgo? Si existen otras características no-observadas que afectan la participación: Sesgo de selección! 78 Pareamiento por Propensión a Participar: Propensity-Score Matching (PSM) Grupo de comparación: no-participantes con las mismas características observables que participantes o Pueden existir muchas características importantes Pareamiento en base a “puntaje de propensión”, (propuesto por Rosenbaum y Rubin): o Para cada unidad, computar la probabilidad de participar en base a características observables: puntaje de propensión o Escoger pares que tienen puntajes de propensión cercanos o Ver apéndice 2. 79 Densidad de puntajes de propensión Densidad No-Participantes Participantes Soporte Común 0 Puntaje de Propensión 1 Caso 7: Pareamiento en Progresa Caracteristicas pre-programa Coeficiente Estimado Regresión Probit, Prob Inscrito=1 Edad jefe de hogar (anios) -0.022** Edad esposo(a) del jefe (anios) -0.017** Educacion del Jefe (years) -0.059** Educacion de Esposa (years) -0.03** Jefe femenino=1 -0.067 Indigena=1 0.345** Numero de miembros del hogar 0.216** Piso de tierra=1 0.676** Baño=1 -0.197** Hectarias de tierra -0.042** Distancia al hospital (km) 0.001* Constante 0.664** Nota: **estadísticamente significativo al 1%, * estadísticamente significativo al 5%, Caso 7: Soporte Comun en Progresa No Inscrito Densidad Inscrito Pr (Inscrito) Caso 7: Pareamiento Impacto sobre consumo (Y) Regresión Lineal Multivariable Nota: + estadísticamente significativo al 10% 7.06+ 83 Recuerda ! Pareamiento Requiere línea de base con gran numero de observaciones en población beneficiaria y nobeneficiaria Usando el metodo: o o Optimo si conocemos la regla de asignación de beneficios y la utilizamos para encontrar pares En combinación con otros métodos como dif-en-dif Pareamiento sin línea de base es muy riesgoso: o Pareamiento en base a variables “endógenas” que han sido afectadas por el programa genera contrafactual sesgado 84 Recomendación de Política Publica? Impacto de Progresa en Consumo (Y) Caso 1: Pre-programa 34.28** Caso 2: Auto-seleccionados -4.15 Caso 3: Asignación Aleatoria 29.75** Caso 4: Tratamiento sobre los Tratados 30.4** Caso5: Diseño de Regresión Discontinua 30.58** Caso 6: Diferencias-en-Diferencias 25.53** Caso 7: Pareamiento 7.06+ Nota: **estadísticamente significativo al 1% 85 Recomendación de Política Publica? Impacto de Progresa en Consumo (Y) Caso 1: Pre-programa 34.28** Caso 2: Auto-seleccionados -4.15 Caso 3: Asignación Aleatoria 29.75** Caso 4: Tratamiento sobre los Tratados 30.4** Caso5: Diseño de Regresión Discontinua 30.58** Caso 6: Diferencias-en-Diferencias 25.53** Caso 7: Pareamiento 7.06+ Nota: **estadísticamente significativo al 1% 86 Asignación Aleatoria Promoción Aleatoria (Variables Instrumentales) Diseño de Regresión Discontinua Diferencias en Diferencias (dif-en-dif) Pareamiento Métodos de Evaluación 87 Escogiendo un Método Información clave para escoger el método de evaluación: 1. Prospectivo o retrospectivo? 2. Criterios de elegibilidad? o o Focalización? Variación geográfico? 3. Implementación inmediato o en fases? 4. Recursos limitados para atender demanda potencial? Limitaciones de presupuesto o capacidad de implementación? o Exceso de demanda para el programa o 88 Escogiendo un Método Escoge el mejor diseño dado el contexto operativo: Mejor Diseño o Contrafactual mas robusto + mínimo riesgo operativo Controlamos por todo? o o Validez interna Buen grupo de comparación El resultado es valido para toda la población de interés? o o o Validez externa Impacto local o global Resultados de impacto aplican a otras poblaciones relevantes 89 Usando las reglas de operación para seleccionar el método…… Sin exceso de demanda para el programa (recursos suficientes) Exceso de demanda para programa (recursos limitados) Índice continuo de focalización y umbral Sin Indice continuo de focalizacion y umbral o Expansion en fases a lo largo del tiempo o o Asignación Aleatoria DRD o o o Implementación Inmediata o o Asignacion Aleatoria DRD o o Asignación Aleatoria VI DD con Pareamiento Asignacion Aleatoria VI DD con Pareamiento Fuente: Gertler et al. “Impact Evaluation in Practice” (2010) 90 Índice continuo de focalización y umbral Sin Indice continuo de focalizacion y umbral o o o o Asignación Aleatoria en fases DRD DRD o o Asignación Aleatoria a fases VI DD con Pareamiento Si la participación no es plena: o VI o DD con Pareamiento Recuerda ! El objetivo de la evaluación de impacto es estimar el efecto causal de un programa sobre los resultados de interés. 91 Recuerda ! Para medir el impacto, necesitamos estimar el contrafactual. • Lo que hubiese sucedido en la ausencia del programa • Para esto usamos grupos de comparación 92 Recuerda ! Nuestra “caja de herramientas” para evaluar impacto ofrece 5 métodos para generar grupos de comparación. 93 Recuerda ! Escoge el mejor método viable en el contexto operativo del programa 94 Gracias! www.iadb.org www.worldbank.org/ieinpractice 95 Apéndice 1: Mínimos Cuadrados en Dos Etapas (2SLS, por su sigla en inglés) Modelo con Tratamiento endógeno (T): y    1T  2 x   Etapa 1: Realizar la regresión de la variable endógena sobre la Variable Instrumental (Z) y otros regresores exógenos : T   0  1 x  1Z   Calcular el valor previsto para cada observación: T gorro 96 Apéndice 1: Mínimos Cuadrados en Dos Etapas (2SLS) Etapa 2: Realizar la regresión de resultado Y sobre la variable prevista (y otras variables exógenas) : ^ y    1 (T )   2 x   Es necesario corregir Errores Estándar (se basan en T gorro más que en T) En la práctica se utiliza STATA - ivreg Intuición: T ha quedado “limpia” de su correlación con ε. 97 Apéndice 2 Pasos para Pareamiento por Propensión 1. 2. 3. 4. 5. 6. Necesitamos encuestas representativos y altamente comparables de participantes y no-participantes. Junta las dos muestras y estima una regresión logit (o probit) sobre una variable dicotómica de participación en programa. Restringe la muestra al soporte común. Para cada participante, busca los no-participantes con puntaje de propensión similar. Toma la diferencia en el resultado entre cada participante y su par o pares. La diferencia es el estimado de impacto del programa para esa observación. Calcula el promedio de los impactos individuales para estimar el impacto promedio del programa. 98