Transcript
PROGRAMA DE APOYO DEL BANCO MUNDIAL AL SECTOR DE AGUA POTABLE Y SANEAMIENTO
El desafío de implementar una evaluación de impacto de un programa de agua y saneamiento rural. La experiencia de PRONASAR en Perú
1
Estructura de la presentación
1. 2. 3. 4. 5.
Modelo de intervención del PRONASAR Fases y periodo de implementación Contexto de implementación del PRONASAR Diseño de la evaluación de impacto Principales dificultades del diseño de la evaluación 6. Metodologías específicas de estimación del impacto 7. Principales Resultados de la evaluación 8. Conclusiones y Recomendaciones
1. Modelo de Intervención del PRONASAR Mejorar la calidad de los servicios de agua y saneamiento existentes Mejorar la cobertura en agua y saneamiento
Fortalecer el Sector agua y saneamiento
Contribuir a mejorar la salud y calidad de vida de la población rural
1. Modelo de Intervención del PRONASAR Componentes: 1. Abastecimiento de agua y saneamiento rural
1A. Rehabilitación de sistemas existentes
1B. Construcción de nuevos sistemas. 2. Abastecimiento de agua y saneamiento en pequeñas ciudades
3. Construcción Saneamiento.
de
capacidades
en
el
sector
Agua
y
4. Administración, monitoreo y evaluación. Para lograr su objetivo los proyectos requieren que las Juntas Administradoras de Servicio y Saneamiento (JASS) y los municipios cumplan sus roles de forma efectiva y sostenible.
1. Modelo de Intervención del PRONASAR Políticas y Enfoques: 1)
Integralidad de la intervención: Infraestructura, Administración, operación y mantenimiento, Educación sanitaria.
2)
Política financiera: cofinanciamiento del Programa, la Municipalidad y la Comunidad.
3)
Enfoque de respuesta a localidades seleccionadas)
4)
Equidad de género
5) Interculturalidad 6) Sostenibilidad ambiental.
la
demanda
(a
nivel
de
1. Modelo de Intervención del PRONASAR Matriz de Indicadores del Proyecto Indicadores de Impacto (7 indicadores) 3 de Objetivo superior y 4 de Propósito Indicadores a nivel de los Objetivos Específicos (93 indicadores) O1: Generar capacidades en las localidades - JASS (31 ) O2: Rehabilitación, expansión y mejoramiento de servicios O3: Implantar nuevos sistemas en localidades sin servicio
(9)
O5: Fortalecer capacidad técnica de los gobiernos locales (31) O6: Mejoramiento de hábitos de aseo e higiene en la población (22)
2. Fases y periodo de implementación Fases: 1) Pre inversión: selección de localidades, elaboración de perfiles (4 meses).
2) Inversión: expediente técnico, infraestructura, capacitación sanitaria, organización y capacitación AOM (7 meses). 3) Post inversión: acompañamiento y reforzamiento de acciones educativas (7 meses) Total: 18 meses (*) (*) Según diseño. No incluye el tiempo que toma seleccionar y contratar al Operador.
2. Fases y periodo de implementación Inicio de Programa
Aprobación del Convenio de Préstamo, inicio del Programa Cumplimiento de condiciones de efectividad Inicio de desembolsos Cambio de Unidad ejecutora
2002
2003 - 2004
Reevaluación
Reevaluación del Programa, enmienda al convenio Cambio de Unidad Ejecutora (“Agua para Todos”).
2005 - 2006 2007
Ampliación de plazo, financiamiento adicional Ampliación de plazo a 2010 Ampliación del Financiamiento, y fecha de cierre
2008 2010
Modificaciones finales y cierre de Programa
Cambios en política de cofinanciamiento Cambios en los productos (opciones técnicas) Cambio de Unidad Ejecutora Cierre de Programa
2012 2013
3. Contexto de implementación del PRONASAR Las zonas rurales experimentaron un proceso de crecimiento económico, que permitió reducir la pobreza y mejorar los ingresos de la población (generando también migración de la población más joven). Se implementaron diversos programas sociales como: JUNTOS (desde 2006) destinado a dar incentivos monetarios para la demanda de servicios en salud materno neonatal y educación básica para los hogares pobres. Programa Articulado Nutricional (desde 2008) destinado a reducir la desnutrición crónica infantil mediante intervenciones como la vacunación (incluyendo rotavirus y neomucoco), controles de crecimiento y desarrollo (CRED), entre otros. Implementación del proceso de descentralización, traslado de competencias hacia niveles subnacionales de gobierno (regional y local).
4. Diseño de la evaluación de impacto El diseño de evaluación inicialmente propuesto por el PRONASAR en los TDR (2005) consistió en un estudio “cuasi experimental”: Grupo de intervención (Beneficiarios) Grupo de control (No beneficiarios) Se proyectó realizar una doble medición: i) Situación antes y después de la intervención. ii) Situación con y sin intervención.
4. Diseño de la Evaluación de Impacto Los grupos de Beneficiarios y de Control deberían ser similares sin la intervención: para los controles se tomó localidades cercanas con características muy parecidas (tamaño, nivel socio-económico, geografía). Si ambos grupos fueran comparables el impacto de la intervención se obtendría con el estimador de “Diferencias en Diferencias”.
Inicio Proyecto Final Proyecto
Beneficiario PRONASAR
Grupo de control
X 1b X 2b
X 1c X 2c
Impacto en X = (X2b - X1b) - (X2c - X 1c)
4. Diseño de la evaluación de impacto Indicadores principales del Marco Lógico (objetivos específicos) 1.1 Porcentaje de niños menores de 5 años con diarrea en los últimos
15 días.
1.2 Porcentaje de madres con prácticas adecuadas de lavado de manos 1.3 Porcentaje de la población que utiliza un servicio de saneamiento que sea higiénico. 1.4 Porcentaje de hogares con acceso continuo a una fuente segura de agua 1.5 Porcentaje de hogares con acceso a un servicio de saneamiento. 1.6 Porcentaje de localidades que adecuadamente administran, operan y mantienen su sistema de agua potable.
1.7 Porcentaje de municipalidades que han incorporado y ejercen funciones de planificación, supervisión, monitoreo y evaluación a los servicios de agua y saneamiento de localidades rurales, contribuyendo a su sostenibilidad
4. Diseño de la evaluación de impacto Diseño muestral cuasi-experimental
Población objetivo
Beneficiario
Proceso no aleatorio
Aleatorización
No Poblaci beneficiario ón Selección comparable
Muestra de controles
Muestra de Tratados
Línea de Base Medición de resultados
4. Diseño de la Evaluación de Impacto • Selección de la Muestra para la Evaluación: • Marco Muestral para selección de Localidades: Beneficiarias: Listado con la relación de las localidades de los distritos priorizados 2004, primera y segunda convocatoria, entregado por el proyecto PRONASAR con los TDR. Controles: Localidades del INEI para los distritos seleccionados, que cumplieran con el criterio de tamaño poblacional (200 < de 2000 hab,). • Marco muestral para la selección de hogares: Registro de viviendas con ocupantes presentes en las seleccionadas (elaborado por equipo de campo SASE) Instrumentos para levantamiento de Información: • Encuesta a Hogares • Encuesta a Juntas Administradoras de Servicios de Saneamiento (JASS) o comité semejante. • Encuesta a Municipalidad Distrital
4. Diseño de la evaluación de impacto Tamaño y distribución de la muestra de Evaluación de Impacto Año
Tratado Nuevo Rehabilitado
Hogares 2005 80 2014 80 Total 160 Madres de menores de 5 años 2005 31 2014 26 Total 57 Menores de 5 años 2005 38 2014 33 Total 71
Total
No tratado Nuevo Rehabilitado Total
Total Nuevo Rehabilitado
Total
260 260 520
340 340 680
80 40 120
440 480 920
520 520 1040
160 120 280
700 740 1440
860 860 1720
108 74 182
139 100 239
34 9 43
176 154 330
210 163 373
65 35 100
284 228 512
349 263 612
138 84 222
176 117 293
47 11 58
220 172 392
267 183 450
85 44 129
358 256 614
443 300 743
5. Principales dificultades del diseño de la evaluación 1) La matriz de indicadores para los objetivos específicos contenía demasiados indicadores a ser evaluados, sobre todo de buenas prácticas de los hogares, las madres y los niños, así como de acciones implementadas por las JASS o municipios (que son mas bien indicadores de seguimiento). Por ello, la evaluación se concentro en indicadores de objetivo superior, de propósito del proyecto, y algunos de objetivos específicos. 2) Había transcurrido un periodo largo desde la implementación de las intervenciones (entre 2006 y 2009), por lo cual la evaluación analiza efectos de largo plazo (pudiendo existir efectos mayores o menores en el corto o mediano plazo que no se conocen). Se utilizó una nueva muestra de hogares en las mismas localidades de la línea de base tanto para tratados como para controles. Dado el plazo los hogares habrían variado de forma significativa en su composición (y no podría hacerse un seguimiento adecuado a las mismas madres o niños, los cuales incluso estarían fuera del rango de edad requerido).
5. Principales dificultades del diseño de la evaluación 3) La muestra contenía tanto localidades que no habían tenido intervención previa como localidades donde la intervención sería de la rehabilitación de sistemas que no funcionaban adecuadamente (la gran mayoría). Por ello el análisis refleja el efecto de la rehabilitación.
4) El tamaño de la muestra no permitía un análisis adecuado de la significancia estadística de los impactos para determinados indicadores, especialmente por el reducido número de localidades (municipios y JAAS) era muy pequeña. Sí era suficiente para la mayoría de indicadores relativos a hogares y personas. Se hizo un análisis de la potencia de la muestra para la rechazar la hipótesis de que no existían impactos sobre los principales indicadores (como si fuera un diseño experimental utilizando el comando power de STATA). Por ejemplo, la potencia era muy baja para el caso del indicador 1.1 “Porcentaje de niños menores de 5 años con diarrea en los últimos 15 días”, dado que el valor del efecto estimado, pero era de casi 100% para los indicadores 1.3 y 1.4 de acceso a servicios adecuados de
5. Principales dificultades del diseño de la evaluación 5) Los hogares y las localidades beneficiarias y de control no tenían valores promedio similares en variables asociadas a los indicadores de impacto (en la línea de base). No se podía realizar una comparación directa de los indicadores de impacto entre ambos grupos. Las diferencias requerían ser controladas mediante metodologías estándar. Se utilizó una metodología no experimental, basada en regresiones que incluyen variables observables de control. Así mismo, se utilizó un estimador de Diferencias en Diferencias que permite controlar también el efecto de factores no observables o no medidos (bajo el supuesto de tendencia común). 6) Problema de “crossovers”: 4 localidades del grupo de tratamiento (2005), no fueron intervenidas, pasaron al grupo de no tratados. 4 localidades del grupo de no tratados (2005), fueron intervenidas , pasaron al grupo de tratamiento Se tuvo que reprocesar la información.
6. Metodologías específicas de estimación del impacto
Estimador de Diferencias en Diferencias
7. Metodologías específicas de estimación del impacto Dado el tamaño de muestra se utilizo metodologías específicas basadas en el estimador de “Diferencias en Diferencias”: Análisis de Regresión: Para los principales indicadores a nivel de población y de hogares donde el tamaño de la muestra era grande se utilizó modelos de regresión no lineal y lineal utilizando el estimador de “Diferencias en Diferencias”. Análisis estadístico: Para los indicadores de localidades y de hogares donde el tamaño de la muestra era pequeño se hizo un análisis estadístico basado en pruebas de medias o proporciones entre grupos de casos tratados y de control. Se complementó con un modelo de regresión básico para determinar la significancia del estimador original de doble diferencias.
6. Metodologías específicas de estimación del impacto Análisis de Regresión (“Diferencias en Diferencias”) El estimador DD del ETPT para cada indicador de impacto se obtiene mediante un modelo de regresión con datos de corte transversal de dos periodos (pool).
Para variables continuas (pocos indicadores) se usa un modelo lineal. Para variables binarias (mayoría de indicadores) se usa un modelo no lineal tipo Probit de la probabilidad de que el indicador de resultado Y tome el valor 1.
Modelo no lineal: Se utiliza como variables T (0 pre-tratamiento y 0 post-tratamiento), D, y la interacción entre D y T, un conjunto de variables exógenas de control Xj(t) y un grupo de variables idiosincráticas Zh a nivel e departamento.
Pr( yit 1) ( .D .T .D.T xijt j h zh )
Donde: yit es el valor observado de la variable de resultado para el individuo i en el momento t, xijt es el valor de la variable j para el para el individuo i en el momento t, zh es el valor de la variable dicotómica que indica que la observación pertenece al departamento h, Φ es la función de distribución acumulada normal estándar.
6. Metodologías específicas de estimación del impacto Análisis de Regresión (“Diferencias en Diferencias”)
Siguiendo a Puhani (2012) el estimador DD del ETPT es la diferencia entre las probabilidades de que la variable dicotómica tome el valor 1 cuando la variable de interacción entre D y T es 1 respecto a cuando es 0: DD E[Y | D 1, T 1] E[Y | D 0, T 1] E[Y | D 1, T 0] E[Y | D 0, T 0]
( xij h zh ) ( xij h zh ) Donde xij y zh son el valor promedio observado de las variables Xj(t) y Zh, respectivamente.
Complementariamente se realizó un análisis a partir de la metodología de “Propensity Score Matching” entre localidades para algunos indicadores principales, obteniéndose resultados similares (pero con un menor tamaño de muestra).
6. Metodologías específicas de estimación del impacto Modelos de Regresión de “Diferencias en Diferencias”: a) Modelo básico: solo las variables de pertenencia al grupo de tratamiento, pertenencia al segundo período de observación, y la interacción de estas dos variables.
b) Modelo con características del hogar y la localidad: incluye, además otras características relevantes de los hogares o personas, y de las localidades según corresponda. Además, se incluye una variable dicotómica para la existencia previa de infraestructura de agua y saneamiento o de infraestructura construida por otras entidades en el caso de las localidades no intervenidas. c) Modelo completo: que incluye además de las variables de los modelos anteriores (a y b), variables para características idiosincráticas a nivel departamental.
6. Metodologías específicas de estimación del impacto Análisis estadístico proporciones:
basado
en
pruebas
de
medias
o
Cuando la muestra es grande (indicadores de personas y hogares): Prueba t-student para diferencias de medias si la variable es continua (utilizando el comando ttest de STATA). Prueba normal z para diferencias en proporciones si el indicador es de tipo discreto (utilizando el comando prtest de STATA). Para estimar la significancia de la doble diferencia se utiliza el modelo básico de regresión.
Cuando la muestra es pequeña (sobre todo localidades): - Prueba t-student para diferencias de medias si la variable es continua. - Prueba exacta de Fischer para diferencias en proporciones si el indicador es de tipo discreto (utilizando el comando tab con la opción e de STATA). No se puede estimar la significancia de la doble diferencia, sólo interpretar los resultados en cada caso.
7. Principales Resultados de la Evaluación de Impacto Resultados para los indicadores principales (Objetivo superior y propósito del proyecto) Nº
INDICADOR
Efecto tratamiento promedio para los tratados (en puntos porcentuales)
1
1.1 Porcentaje de niños menores de 5 años con diarrea en los últimos 15 días.
-7.4
1.2 Porcentaje de madres con adecuadas de lavado de manos
-10.6
2
3
4 5 6
prácticas
Significancia estadística
No significativo No significativo
1.3 Porcentaje de la población que utiliza un servicio de saneamiento que sea higiénico.
+11.7
Significativo (al 99 % de confianza)
1.4 Porcentaje de hogares con acceso continuo a una fuente mejorada de agua
+12.1
Significativo (al 95% de confianza)
1.5 Porcentaje de hogares con acceso a un servicio de saneamiento
+17.6
Significativo (al 95% de confianza)
1.6 Porcentaje de localidades que administran, operan y mantienen un sistema de agua potable
+15.2
No significativo
7. Principales Resultados de la Evaluación de Impacto Resultados para indicadores específicos (resumen)
Nº
INDICADOR
Efecto tratamiento promedio para los tratados (en puntos porcentuales)
Significancia estadística
1
2.32 Familias que utiliza fuente segura de agua para consumir y cocinar
+6,3
Significativo (al 95% de confianza)
2
2.33 Familias que trae agua desde fuera del hogar
-6,3
Significativo (al 95% de confianza)
3
2.36 Hogares con abastecimiento de agua todo el año
+20,5
Significativo (al 95% de confianza)
4
2.37 Hogares que percibe el grado de funcionamiento del suministro de agua como aceptable
+31,4
Significativo (al 99% de confianza)
5
2.72 Madre que se lava las manos en los cinco tiempos críticos
-6,7
No significativo
6
2.73 Madre que utiliza una técnica adecuada de lavado de manos
-18
Significativo (al 95% de confianza)
7. Principales Resultados de la Evaluación de Impacto Resultados para indicadores específicos (resumen)
Nº
INDICADOR
Efecto tratamiento promedio para los tratados (en puntos porcentuales)
Significancia estadística
7
2.76 Madre de niños menores de 3 años que hacen disposición sanitaria de excretas
+6,4
No significativo
8
2.82 Familia que utiliza recipientes cubiertos para almacenar agua en el hogar
-4,1
No significativo
9
2.83 Familia emplea un método que evita la contaminación cuando sirven agua para beber
+3,3
No significativo
+19,5
Significativo (al 95% de confianza)
10 2.84 Hogar que utiliza algún método de purificación del agua 11 2.88 Madre puede identificar dos causas de las diarreas infantiles
-2,7
No significativo
12 2.89 Madre identifica que el lavado de manos contribuye a evitar la diarrea
-11,2
No significativo
7. Principales Resultados de la Evaluación de Impacto Ejemplo de resultado del Análisis Estadístico 2.88 Porcentaje de madres que pueden identificar dos causas de las diarreas infantiles SISTEMA NUEVO Medición
t-student
* = p<10% **=p<5% ***=p<1%
P-value
-65% -65%
-4,19
***
0,000
-11,0%
-24% 2%
-1,63
21,3%
1% 41%
2,09
Media Tratados
Media No tratados
Diferencia de medias
Intervalo de confianza al 95%
Línea de Base (2005)
42,1%
74,4%
-32,3%
Ex post (2014)
15,2%
26,2%
Diferencia entre períodos
-26,9%
-48,3%
0,105 **
0,038
SISTEMA REHABILITADO Media Tratados
Media No tratados
Diferencia de medias
Intervalo de confianza al 95%
t-student
Línea de Base (2005)
71,9%
66,9%
5,0%
-5% 15%
1,00
Ex post (2014)
20,0%
33,8%
-13,7%
-23% -4%
-2,90
***
0,004
Diferencia entre períodos
-51,8%
-33,2%
-18,7%
-32% -5%
-2,73
***
0,006
Medición
* = p<10% **=p<5% ***=p<1%
P-value
0,316
8. Conclusiones y Recomendaciones Lecciones aprendidas en cuanto al diseño de la evaluación de impacto: 1) La evaluación debe concentrarse en los principales indicadores de impacto sobre los resultados esperados del programa tanto finales (nivel de objetivo superior y propósito del proyecto) como intermedios (objetivos específicos, especialmente buenas prácticas), 2) Desarrollar, en lo posible, una evaluación experimental para garantizar una comparación directa de los resultados de los grupos y no tratados. 3) Realizar mediciones intermedias de impactos en el corto y mediano plazo, así como una medición de largo plazo. 4) Desarrollar un análisis de impacto por separado para intervenciones en localidades sin servicio y para intervenciones de rehabilitación. 5) Garantizar que el tamaño de muestras (localidades, hogares, madres, niños) sea suficiente para que el análisis de la significancia estadística de los impactos tenga la “potencia” suficiente (dado un valor esperado de los mismos). 6) Garantizar con los responsables del programa evaluado que no existan problemas de “crossover”.
8. Conclusiones y Recomendaciones En cuanto a impactos para los indicadores de objetivo superior del proyecto: La estimación del efecto tratamiento no ha detectado impacto estadísticamente significativo para: • Porcentaje de niños menores de 5 años con diarrea en los últimos 15 días. • Porcentaje de madres con prácticas adecuadas de lavado de manos Sí se detecta un impacto positivo, estadísticamente significativo, para el indicador: • Porcentaje de la población que utiliza un servicio de saneamiento que sea higiénico. También se encuentra un impacto positivo, estadísticamente significativo, en los indicadores de propósito del proyecto: • Porcentaje de hogares con acceso continuo a una fuente segura de agua. • Porcentaje de hogares con acceso a un servicio de saneamiento.
8. Conclusiones y Recomendaciones No se ha encontrado un impacto estadísticamente significativo en el indicador de propósito vinculado al fortalecimiento de las JASS: • Porcentaje de localidades que adecuadamente administran, operan y mantienen su servicio de agua. En relación a otros indicadores específicos de fortalecimiento de JASS: • Porcentaje de localidades con sistema de agua que funciona sin mayores problemas. • Porcentaje de JASS capacitada en administración, operación y mantenimiento (AOM) de servicios de agua y saneamiento. No se encuentran diferencias estadísticamente significativas en la Línea de Base, pero sí las hay en la segunda medición, a favor de los tratados, lo cual indica que el programa ha tenido efecto positivo en ambos indicadores.
FIN DE PRESENTACIÓN GRACIAS