Ministerio de Economía y Finanzas Unidad de Coordinación de Préstamos Sectoriales – UCPS

Ajustes por Comparaciones Múltiples en la Estimación del Tamaño de Muestra para la Evaluación de Impacto del Programa Nacional de Alimentación Escolar Qali Warma1

Consultor: Stanislao Maldonado

Versión 1

Lima, Septiembre del 2013

                                                             1 Departamento de Economía Agrícola y de Recursos, Universidad de California en Berkeley. Cualquier error u omisión es responsabilidad del autor. Correo Electrónico: [email protected] 1   

1. INTRODUCCION El presente documento complementa el ejercicio de tamaño de muestra para el caso de la evaluación de impacto del Programa Nacional de Alimentación Escolar Qali Warma para el caso de comparaciones multiples. Dicho ajuste se realiza de acuerdo a los comentarios formulados por una misión del Banco Mundial que asiste técnicamente al Gobierno del Perú en el diseño y formulación de la evaluación de impacto del programa mencionado. Una característica del programa consiste en que el tratamiento difiere en función a la zona de intervención. En las zonas urbanas, el programa utiliza la opción de entregas de raciones mientras que en las rurales se distribuyen productos alimenticios a los Comités de Alimentación Escolar (CAE) de modo que estos se encarguen de la preparación de los alimentos. Debido a problemas de implementación en el terreno, el programa consideró una tercera alternativa denominada “canasta de productos”, en donde un sub-conjunto de los productos disponibles bajo la segunda modalidad es distribuido en aquellas zonas en donde los procesos de licitación del programa no funcionaron. Dado que el diseño original de la evaluación solo presta atención a los dos quintiles más pobres, en la práctica implicaban la comparación entre el grupo de control y un grupo de tratamiento conformado esencialmente por distritos en donde la intervención es vía distribución de productos. En ese escenario, la introducción de la “canasta de productos” puede tener implicancias en el diseño original de la evaluación. En particular, el análisis de poder de la evaluación puede verse comprometido puesto que el diseño ahora considera en la práctica un tratamiento múltiple en donde existen dos niveles de intervención además del grupo de control original. El problema de comparaciones múltiples ocurre cuando se considera un conjunto de hipótesis respecto a significancia estadística de una intervención de manera simultánea. En el contexto de Qali Warma, la comparación no sería solamente entre distritos tratados y controles, sino también entre distritos tratados que reciben productos y aquellos que reciben la canasta básica. En este escenario, el número de comparaciones posibles serian 3 en vez del caso simple en donde solo una comparación (tratados versus controles) es posible. Por esta razón, el test de hipótesis que subyace a la estimación original del tamaño de muestra podría ser incorrecto pues asume una probabilidad de cometer un Error Tipo I de 5% cuando en realidad, si el conjunto de test de hipótesis posibles es considerado conjuntamente, el Error Tipo I es sustancialmente mayor. Dado que controlar por este problema implica reducir el Error Tipo I para cada test individual, esto automáticamente implica un incremento del Error Tipo II, lo cual deriva finalmente en una reducción del nivel de poder en relación al considerado originalmente en el caso de Qali Warma2. Para el cálculo de tamaño de muestra ajustado por comparaciones múltiples en el caso de la evaluación de impacto de Qali-Warma se tomó como punto de partida un modelo de diferencias en diferencias a nivel de cluster en donde el nivel de intervención es el distrito. En particular, se utiliza la propuesta metodológica para el cálculo de muestra recientemente desarrollada por Teerenstra et al (2012). A fin de dar cuenta del problema de comparaciones múltiples, se utiliza el ajuste propuesto                                                              2 Es importante anotar que no existe consenso universal respecto a la utilización de este tipo de ajuste en la literatura. Al respecto, ver Gelman et al (2012) para una discusión de porque no siempre tiene sentido preocuparse por comparaciones múltiples. 2   

por Bonferroni. La ventaja de la estrategia de Bonferroni es que provee una medida conservadora del impacto de la multiplicidad sobre el nivel de poder. El resto del ejercicio de cálculo de poder mantiene los supuestos de estimación discutidos en Maldonado (2013). Así por ejemplo, los cálculos se basaron en información referencial de variables de resultado similares al indicador de referencia de atención y memoria como es el caso de rendimiento escolar. Los resultados del mismo sugieren que se requerirían 4,452 observaciones para obtener un poder de 90% para un efecto tamaño de 0.2 desviaciones estándar del indicador de atención y memoria, lo cual representa un incremento de la muestra original estimada en Maldonado (2013) de 28% (998 observaciones). Estos resultados deben ser evaluados en relación a la mejora en el diseño de la evaluación producto del ajuste por comparación múltiple versus el incremento del costo de la recolección de información. Ello pasa por evaluar si los tratamientos son realmente distintos en la práctica. Dado que la canasta básica es solamente un sub-conjunto del tratamiento vía productos, se podría argumentar que es poco probable que las diferencias en términos de impacto sean sustanciales, por lo que la muestra originalmente estimada bastaría en términos de los objetivos de la evaluación. Dado los incrementos en el costo asociados a la corrección por comparaciones múltiples, el autor de esta nota sugiere una discusión con el personal del programa a fin de evaluar si las diferencias entre los tipos de tratamientos justifican un diseño de evaluación que permita testear una familia de hipótesis en vez de la comparación simple entre tratamiento y control. El resto del documento presenta los métodos de estimación, los supuestos en relación a los parámetros de cálculo de muestra y los resultados básicos así como un análisis de sensibilidad de los mismos. El documento finaliza con las conclusiones del ejercicio. 2. EL PROBLEMA DE COMPARACIONES MULTIPLES La aproximación más común para la corrección del problema de comparaciones múltiples consiste en el uso de la corrección de Bonferroni. Esta aproximación, parte de la definición de la siguiente desigualdad: (1) Pr{min( p j :1  j  m )   m}   ; Donde p1 ,..., pm son los p-values observados y  es el p-value crítico. Nótese que m es el número de comparaciones posibles, por lo que la desigualdad anterior define un nivel de Error Tipo I para la familia de tests derivados de la comparación entre los diferentes niveles de tratamiento. Esto implica que, para mantener un nivel de Error Tipo I para toda la familia de hipótesis, el nivel de Error Tipo I de cada hipótesis individual sea ajustado a un nivel  m . En relación a nivel de poder, la corrección de Bonferroni implica que el p-value asociado al Error Tipo I en la estimación del Efecto Mínimo Detectable para una comparación individual seria: (2) pi   m Este p-value ajustado es el que se usa en el ejercicio de cálculo de muestra. 3   

3. METODOS DE ESTIMACION3 La evaluación de impacto de Qali Warma asume un modelo de diferencias en diferencias a nivel de cluster. La especificación básica para el caso del modelo de diferencias en diferencias es la siguiente: (3) yijt   j  t   (Q jt .Pt )  X ijt'    ijt ; donde y ijt es el resultado de interés o variable de impacto (asistencia, matricula, atención, etc.) para el estudiante i que estudia en el distrito j en el periodo t .  j y t son respectivamente efectos fijos de distrito y periodo. Q jt .Pt es una variable dummy de interacción para observaciones tratadas después de la implementación del programa. X ijt'  incluye características del individuo y de distrito, así como el termino de error  ijt . El parámetro de interés es  , el cual recupera el efecto causal de interés. La estimación del tamaño de muestra para este modelo requiere tomar en cuenta el hecho que la intervención se realiza a nivel de distritos y por lo tanto las formulas usuales para el cálculo de muestra necesitan tomar en cuenta la existencia de clusters. En este documento, nos basaremos en la derivación para el caso de diferencias en diferencias con asignación al tratamiento a nivel de clusters propuesto recientemente por Teerenstra et. al. (2012). Luego se aplicara la corrección de Bonferroni para dar cuenta del problema de comparaciones múltiples. En este modelo de diferencias en diferencias, el efecto de tratamiento es estimado del modo siguiente: (4) ˆDD  (Y1T  Y1C )  (Y0T  Y0C )   El cálculo del tamaño de muestra requiere una correcta especificación de la varianza. Teerenstra et. al. (2012) muestran que la varianza para un diseño de diferencias en diferencias con asignación al tratamiento a nivel de clusters es la siguiente:

1  2 1 ˆ (5) Var (  DD )  2(1  r ).[1  (n  1)  ].   . ,    P 1  P  Jn donde n es el número de observaciones por clúster,  es el coeficiente de correlación a nivel de cluster y P es la proporción de tratados en la muestra.  2 es la varianza de la variable de resultado (atención y memoria de corto plazo)y J es el número de clústeres. El parámetro r cumple un rol importante en el diseño y es definido del modo siguiente: (6) r 

n 1  c  s ,   1  (n  1)  1  (n  1) 

                                                             3 En tanto que se trata del mismo modelo empírico, esta sección sigue muy de cerca a Maldonado (2013). 4   

en donde c   y s   son respectivamente los indicadores de autocorrelación a nivel de cluster y a nivel de individuo. A partir de (5), es posible derivar una expresión para estimar el efecto mínimo detectable, el nivel de potencia o el tamaño de muestra. La fórmula general para el efecto mínimo detectable (EMD) es la siguiente4: 1 2 * 1  (n  1)  * 2(1  r ) ,     P (1  P ) nJ  B C   

(5) EMD DD _ cluster  (t1 k   t ) *

A

en donde el EMD es expresado en términos de la fórmula del EMD para el caso de un diseño aleatorio simple con asignación a nivel individual (A), el efecto diseño que permite ajustar la formula en A por la similitud existente en individuos provenientes del mismo clúster (B), y el factor asociado al coeficiente de correlación r (C), el cual captura el rol conjunto del CCI y los coeficientes de autocorrelación a nivel individual y a nivel de cluster. A fin de ajustar por la existencia de comparaciones múltiples, la corrección de Bonferroni se implementa del modo siguiente: 1 2 * 1  (n  1)  * 2(1  r ) ,     P (1  P ) nJ  B C 

(7) EMD Bonf DD _ cluster  (t1 k   t( m ) ) *

A

en donde t(

m)

es el t-estadístico para el Error Tipo I ajustado. La ventaja de la formula

anterior es que permite interpretar el EMD para el caso de un diseño de diferencias en diferencias a nivel de clúster en términos de expresiones ya conocidas en la literatura, con la excepción del factor asociado al coeficiente de correlación. Esto simplifica el proceso de computo del tamaño de muestra puesto que solo es necesario computar r para estimar la expresión C en la formula anterior, y multiplicarlo con las expresiones usualmente calculadas en la literatura (A y B) mediante las rutinas disponibles en cualquier software estándar. A partir de (7), es posible derivar una fórmula para el cálculo del tamaño de muestra (definido en términos de clusters y asumiendo un número fijo de observaciones por cluster): (8) J Bonf  (t 1k  t m ) 2 *  

1 2 *[1  (n  1)  ]*[2(1  r )], P(1  P) n * ES 2

en donde ES es el tamaño del efecto esperado por la intervención medido en la unidad de referencia correspondiente. A fin de simplificar la lectura, y debido a la ausencia de información de línea de base para los indicadores de referencia, la formula puede expresarse en términos de desviaciones estándar a partir de una simple normalización que surge de la división de (6) por la desviación estándar de la variable de resultado de interés. Esta normalización es sumamente útil para                                                              4 Nótese que esta formulación no es parte del artículo original. Es una derivación del autor de esta nota a partir de la discusión presentada por los autores del artículo. 5   

hacer comparable la intervención bajo análisis con la literatura internacional sobre el impacto de la alimentación escolar. En suma, el proceso de cálculo de muestra para un diseño de diferencias en diferencias con asignación al tratamiento a nivel de clúster consiste en el desarrollo de las siguientes estimaciones: Paso 1: Calculo del tamaño de muestra para un diseño de asignación aleatoria simple con información a ser analizada durante el seguimiento. El p-value para el error tipo I se ajusta siguiendo la propuesta de Bonferroni. Paso 2: Calculo del efecto diseño mediante el CCI y obtención del tamaño de muestra para un diseño de asignación aleatoria a nivel de cluster. Paso 3: Calculo del coeficiente de correlación r y obtención del tamaño de muestra para un diseño de diferencias en diferencias (o comparación de línea de base y seguimiento) con asignación a nivel de cluster. En el apéndice de este documento se anexa el código de STATA utilizado para el cálculo de los pasos sugeridos en esta sección. 4.

PARAMETROS DE CALCULO DE MUESTRA

La estimación del tamaño de muestra se basa en el diseño de diferencias en diferencias presentado en la sección anterior. Ante la ausencia de información previa sobre el indicador de atención y memoria, se utilizó información disponible sobre el rendimiento escolar, otra variable de interés en el proceso de evaluación de Qali Warma. Los datos provienen de la Evaluación Censal de Estudiantes (ECE) que levanta anualmente el Ministerio de Educación. En particular, se utilizaron los datos recolectados en el año 2011, la cual cubre el 94% de las instituciones educativas del país y el 88% de la población estudiantil matriculada en el segundo grado de primaria. La base de datos está compuesta por 506,345 estudiantes del segundo grado de primaria provenientes de instituciones educativas de 5 o más alumnos, de las cuales se descartaron las escuelas del turno tarde (37,755 estudiantes) y las escuelas del sector privado (127,286 alumnos). Asimismo, se descartaron 6,747 observaciones que no reportan el turno. La base final está compuesta por 334,557 estudiantes5. Los parámetros seleccionados para el cálculo de muestra son los siguientes:



Efecto tamaño: 0.20 desviaciones estándar tanto para el indicador de atención como para el de memoria de corto plazo.



Nivel de potencia: 90%.



Nivel correlación a nivel de clúster (distrito): 0.17



Número de test de hipótesis considerados para la comparación múltiple: 3.

                                                             5 Las ventajas y desventajas de usar la ECE, se discuten en Maldonado (2013). 6   

Los parámetros anteriores se basan en información colectada a partir de la revisión de la literatura y en estimaciones propias en base la ECE 2011. Para el caso del efecto tamaño, se asume un efecto modesto en relación a los estándares usuales en la literatura (0.2 desviaciones estándar de acuerdo con Cohen 1988). Este efecto es consistente con los estimados de un meta-análisis de la literatura sobre el impacto de los programas de alimentación escolar sobre atención y memoria encargado por el MIDIS (Guerrero y León 2013). Asimismo, se utiliza un nivel de potencia del 90%, en línea con la literatura educativa internacional (Schochet 2005). Este parámetro es conservador y mayor al estándar usual de 80% que se utiliza en la literatura económica. Finalmente, el nivel de correlación a nivel de cluster (CCI) fue estimado a partir de la información de la ECE 2011 a nivel distrital tomando como referencia la base de 334,557 estudiantes indicada líneas arriba. Además de los parámetros indicados, es necesario computar el coeficiente de correlación r, el mismo que depende de c   y s  (los indicadores de autocorrelación a nivel de cluster y a nivel de individuo respectivamente). Para el análisis que sigue, se asumen los siguientes valores para dichos parámetros:



Coeficiente de autocorrelación a nivel de clúster: 0.30



Coeficiente de autocorrelación a nivel de individuo: 0.45

El cálculo de los coeficientes de autocorrelación requiere de datos longitudinales a nivel de estudiantes y distritos para el caso de los indicadores de atención y memoria de corto plazo. Como ya se mencionó, dichos datos no están disponibles. Maldonado (2013) propone el uso del Estudio Longitudinal realizado por el Ministerio de Educación para el caso del indicador de rendimiento. En particular, sugiere un valor de 0.7 en términos de autocorrelación individual. Este valor es bastante alto en relación a los estándares internacionales6. Finalmente, el cálculo del tamaño de muestra para un diseño a nivel de cluster requiere fijar un parámetro adicional: el número de observaciones por cluster. Como referencia, utilizamos el siguiente valor:



Número de observaciones por cluster: 10.

Este valor se basa en el número promedio de hogares por cluster que se utilizan en las encuestas de hogares levantadas bajo el programa Encuestas de Medición de Niveles de Vida del Banco Mundial. Grosh y Muñoz (1996) reportan tamaños de cluster entre 10 y 16 hogares para el caso peruano. Adicionalmente, se consideraron valores alternativos de los parámetros anteriores para evaluar la robustez de nuestros resultados.

                                                             6 De acuerdo con McKenzie (2102), el valor de este parámetro para países en desarrollo como la India es de alrededor de 0.5. 7   

5. RESULTADOS Y ANALISIS DE SENSIBILIDAD 5.1. Resultados Básicos Utilizando los supuestos sobre los parámetros para el cálculo del tamaño de muestra, se realiza la estimación del modelo básico. Los resultados se resumen en la Figura 1. La Figura 1 presenta la curva de potencia para los parámetros anteriores. A un nivel de potencia de 90%, se estima que se necesitarían 4,452 observaciones para tener la habilidad de estimar un efecto no menor a 0.2 desviaciones estándar. Este estimado representa un cambio importante en relación a las 3,464 observaciones estimadas originalmente sin ajustes por comparaciones múltiples (Maldonado 2013). A partir de dicha figura, es posible determinar cómo se afectan nuestras conclusiones si es que alteramos los niveles de potencia. Así por ejemplo, si modificamos el nivel de potencia a 80%, se requerirían ahora solo 3,452 observaciones. Esto también representa un cambio sustancial en relacion a las 2,588 observaciones calculadas anteriormente. 5.2. Análisis de Sensibilidad En esa sección presentamos un conjunto de ejercicios que nos permitirán evaluar la sensibilidad de nuestros resultados a cambios en los supuestos básicos del ejercicio. a) Cambio en el Tamaño del Efecto El ejercicio original asume un tamaño del efecto de 0.2 desviaciones estándar. Dado que la evidencia internacional sugiere que el impacto de este tipo de programas sobre atención y memoria son relativamente modestos, consideramos en el ejercicio dos escenarios alternativos: una reducción del efecto tamaño a 0.1 desviaciones estándar y un incremento a 0.3 desviaciones estándar. Los resultados se presentan en la Figura 2. En consistencia con la literatura sobre análisis de poder, el tamaño de muestra es muy sensible a la magnitud del efecto esperado. Así, si el efecto tamaño es ahora de 0.30 desviaciones estándar, el tamaño de muestra necesario se reduce a 1,982 observaciones. Por otro lado, si el efecto es ahora 0.1 desviaciones estándar, el tamaño de muestra necesario será ahora de 17,788 observaciones. b) Correlación a Nivel de Clúster La correlación a nivel de clúster –en este caso, distritos- es un parámetro crítico. En general, es conocido que mayores niveles de correlación a nivel de clúster requieren un mayor tamaño de muestra. En este caso, probamos con dos valores alternativos para el CCI: por un lado, asumimos un valor igual a 0.45, cercano al nivel de correlación a nivel de cluster para el caso de escuelas (Evaluacion Censal 2011), y por otro consideramos un CCI de 0.1. Como se observa, el tamaño de muestra varia, aunque no con la misma sensibilidad que existe en el caso del efecto tamaño. En particular, el tamaño de muestra cae a 3,232 observaciones para un CCI de 0.1 mientras que aumenta a 9,336 para un CCI de 0.45. La Figura 3 presenta los resultados en forma resumida.

8   

c) Cambios en los Niveles de Autocorrelación a nivel Individual y Clúster En esta sección se consideran los parámetros de autocorrelación a nivel individual y clúster. Estos parámetros son componentes esenciales del coeficiente de correlación r, el cual relación el CCI con los niveles de autocorrelación. Se asumen valores de 0.6 y 0.15 del coeficiente de autocorrelación individual, manteniendo constante el coeficiente de autocorrelación a nivel de cluster. Como se observa el tamaño de muestra no es tan sensible a cambio tan radical en el parámetro bajo análisis. Así, una reducción del parámetro de 0.45 a 0.15 incrementa el tamaño de muestra a 5,126 observaciones como se desprende en la Figura 4. Un patrón similar se observa en el caso del parámetro de autocorrelación a nivel de clúster. En esta caso, cambios de +/-0.2 no causan cambios sustantivos en el tamaño de muestra, tal y como se observa en la Figura 5. d) Cambios en el Tamaño de Cluster Finalmente, se estima como cambia el tamaño de muestra total ante cambios en el número de observaciones por cluster (el parámetro n en la ecuación 5). Para el ejercicio, se consideran dos valores alternativos para n: n=6 y n=20. En nuestra estimación original, se considera n=10 y un tamaño total de muestra de 4,452 observaciones, lo cual implica un número de distritos de 445 en la muestra de evaluación. Si reducimos el número de observaciones por distrito (n=6), lo cual reduce el número total de observaciones a 3,166 pero incrementa el número total de distritos a 528. Por otro lado, cuando aumentamos el número de observaciones por distrito (n=20), el número total de observaciones se incrementa a 7,700, lo cual reduce el número total de distritos a 385. 6. CONCLUSIONES En este documento hemos estimado el tamaño de muestra para un diseño de diferencias en diferencias con asignación al tratamiento a nivel de clúster y ajuste por comparación multiple usando la corrección de Bonferroni. Se estima que serán necesarias 4,452 observaciones para tener la capacidad de detectar un efecto de 0.2 desviaciones estándar con un nivel de potencia de 90%. Los resultados son sensibles a cambios en relación al tamaño del efecto de la intervención y el CCI, por lo cual es fundamental validar este ejercicio con la información obtenida para la línea de base. Esto es especialmente importante porque no se contó para el desarrollo del análisis de datos para las variables de resultado de interés ni información detallada sobre los parámetros del ejercicio. Mientras que el ejercicio sugiere un incremento importante del tamaño de muestra en relación a los estimados originales, es importante poner en perspectiva la relevancia práctica del problema de comparaciones múltiples en el contexto de Qali Warma. La diferencia entre el tratamiento de distribución de productos y el de canasta básica podría no ser muy relevante en la práctica, por lo que el incremento en el costo de levantamiento de información producto de la corrección por comparaciones múltiples podría no estar justificado. Si, a partir de una evaluación en campo, el programa determinase que no hay diferencias sustanciales en la práctica entre estas dos 9   

alternativas, la sugerencia seria mantener los estimados computados originalmente en Maldonado (2013). El autor de esta nota sugiere una discusión más profunda al respecto con el personal de campo del programa antes de utilizar los estimados del ejercicio que se presenta en este documento. 7. BIBLIOGRAFIA Cohen, Jacob (1988). Statistical Power for the Behavioral Sciences. Second Edition. Lawrence Erlbaum Publishers. Frison, Lars and Stuart Pocock (1992), “Repeated Measures in Clinical Trials: Analysis Using Mean Summary Statistics and its Implications for Design,” Statistics in Medicine, 11, 1685-1704. Gelman, Andrew; Jennifer Hill y Masanao Yajima (2012), “Why We (Usually) Don’t Have to Worry about Multiple Comparisons,” Journal of Research and Educational Effectiveness, 5, 189-211. Grosh, Margaret y Juan Muñoz (1996), “A Manual for Planning and Implementing the Living Standard Measurement Study Survey,” LSMS Working Paper 126, The World Bank. Guerrero, Gabriela y Juan León (2013), “Consultoría para el “Diseño de Pruebas para Medir los Indicadores de Memoria a Corto Plazo y Atención de los Niños de Edad Escolar (primaria) a ser Utilizados en la Evaluación de Impacto del Programa Nacional de Alimentación Escolar Qali Warma,” Ministerio de Economia y Finanzas. Lima. Maldonado, Stanislao (2013), “Estimación del Tamaño de Muestra para la Evaluación de Impacto del Programa Nacional de Alimentación Escolar Qali Warma,” mimeo, MEF-MIDIS. Lima. McKenzie, David (2011), “Beyond Baseline and Follow-Up,” World Bank Policy Research Working Paper Series 5639, Washington, DC. Teerenstra, Steven and others (2012), “A Simple Sample Size Formula for Analysis of Covariance in Cluster Randomized Trials,” Statistics in Medicine, 31, 2169-2178. Schochet, Peter (2005), “Statistical Power for Random Assignment Evaluations of Education Programs,” Mathematica Policy Research. Princeton, New Jersey.

10   

APENDICE I: Gráficos

0

.1

.2

.3

Potencia .4 .5 .6

.7

.8

.9

1

Figura 1: Potencia como Función del Tamaño de Muestra

0

500

1000 1500 2000 2500 3000 3500 4000 4500 5000 Muestra Total

0

Potencia .1 .2 .3 .4 .5 .6 .7 .8 .9

1

Figura 2: Análisis de Sensibilidad del Tamaño del Efecto

0

500

1000 1500 2000 2500 3000 3500 4000 4500 5000 Muestra Total TE=0.20 TE=0.10

TE=0.30

11   

0

Potencia .1 .2 .3 .4 .5 .6 .7 .8 .9

1

Figura 3: Análisis de Sensibilidad del Coeficiente de Correlación a Nivel de Cluster

0

500

1000 1500 2000 2500 3000 3500 4000 4500 5000 Muestra Total CCI=0.17 CCI=0.10

CCI=0.45

0

Potencia .1 .2 .3 .4 .5 .6 .7 .8 .9

1

Figura 4: Análisis de Sensibilidad del Coeficiente de Autocorrelación Individual

0

500

1000 1500 2000 2500 3000 3500 4000 4500 5000 Muestra Total AI=0.45 AI=0.15

AI=0.60

12   

0

Potencia .1 .2 .3 .4 .5 .6 .7 .8 .9

1

Figura 5: Análisis de Sensibilidad del Coeficiente de Autocorrelación a Nivel de Cluster

0

500

1000 1500 2000 2500 3000 3500 4000 4500 5000 Muestra Total AC=0.30 AC=0.10

AC=0.50

0

Potencia .1 .2 .3 .4 .5 .6 .7 .8 .9

1

Figura 6: Análisis de Sensibilidad del Número de Observaciones por Cluster

0

500

1000 1500 2000 2500 3000 3500 4000 4500 5000 Muestra Total n=10 n=6

n=20

13   

APENDICE II: Código de STATA ****************************************************** * CALCULO DE MUESTRA QALI WARMA * * Ajustes por Comparaciones Multiples * * Stanislao Maldonado * * Version 2: 09/11/13 * ******************************************************

*--------------* * 1.PARAMETROS * *--------------* *ICC scalar rho=0.17 *Aucorrelacion scalar auto_cluster=0.3 scalar auto_ind=0.45 *Numero de observaciones por cluster scalar m=10 * r (Teerenstra et al 2012) scalar r=[m*rho/(1+(m-1)*rho)]*auto_cluster+[(1-rho)/(1+(m-1)*rho)]*auto_ind display r

*---------------------* * 2.TAMANO DE MUESTRA * *---------------------* *90% poder sampsi 0 0.2, sd(1) alpha(.0167) power(.9) simple con asignacion individual*/ scalar N_cluster=[r(N_1)+r(N_2)]*[1+(m-1)*rho] cluster*/ scalar N_clusterDD=N_cluster*[2*(1-r)] por DID con cluster*/

/*Muestra para diseno

/*Aplicando efecto diseno por

/*Aplicando efecto diseno

display N_clusterDD *80% sampsi 0 0.2, sd(1) alpha(.0167) power(.8) simple con asignacion individual*/

/*Muestra para diseno

14   

scalar N_cluster=[r(N_1)+r(N_2)]*[1+(m-1)*rho] cluster*/ scalar N_clusterDD=N_cluster*[2*(1-r)] por DID con cluster*/

/*Aplicando efecto diseno por

/*Aplicando efecto diseno

display N_clusterDD *------------------* * 3.CURVA DE PODER * *------------------* quietly clear quietly set mem 900m quietly set obs 1000000 quietly gen power = . quietly gen sampsize=. quietly replace sampsize= 0 in 1 local flag = 0 local n=2 while `flag' < 5000 { quietly replace power=`n'/100 in `n' local p=`n'/100 quietly sampsi 0 0.2 , sd1(1) sd2(1) power(`p') ratio(1) alpha(.0167) scalar N_clusterDD=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r)] quietly replace sampsize=N_clusterDD in `n' quietly local flag=N_clusterDD quietly local n=`n'+1 }

#delimit ; twoway (line power sampsize, mlcolor(navy) lcolor(navy)) , ylabels(0(.1)1) xlabels(0 (500) 5000) ytitle("Potencia") xtitle("Muestra Total" , height(5)) graphregion(fcolor(white)) plotregion(style(none)) /*title("Figura 1: Potencia como funcion del tamaño de muestra")*/ ; #delimit cr

*-------------------------------------* * 4.CURVA DE PODER: Cambios en Efecto * *-------------------------------------* *ICC scalar rho=0.17

15   

*Aucorrelacion scalar auto_cluster=0.3 scalar auto_ind=0.45 *Numero de observaciones por cluster scalar m=10 * r (Teerenstra et al 2012) scalar r=[m*rho/(1+(m-1)*rho)]*auto_cluster+[(1-rho)/(1+(m-1)*rho)]*auto_ind display r quietly sampsi 0 0.2, sd(1) alpha(.0167) power(.9) scalar N_clusterDD=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r)] quietly sampsi 0 0.1, sd(1) alpha(.0167) power(.9) scalar N_clusterDD_ES_l=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r)] quietly sampsi 0 0.3, sd(1) alpha(.0167) power(.9) scalar N_clusterDD_ES_h=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r)] display N_clusterDD display N_clusterDD_ES_l display N_clusterDD_ES_h * Calculo Muestra quietly clear quietly set mem 900m quietly set obs 1000000 quietly gen power = . quietly gen sampsize=. quietly replace sampsize= 0 in 1 quietly gen sampsize_ES_l=. quietly replace sampsize_ES_l= 0 in 1 quietly gen sampsize_ES_h=. quietly replace sampsize_ES_h= 0 in 1 local flag = 0 local n=2 while `flag' < 5300 { quietly replace power=`n'/100 in `n' local p=`n'/100 quietly sampsi 0 0.2 , sd1(1) sd2(1) power(`p') ratio(1) alpha(.0167) scalar N_clusterDD=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r)] quietly replace sampsize=N_clusterDD in `n'

16   

quietly local flag=N_clusterDD quietly local n=`n'+1 } local flag = 0 local n=2 while `flag' < 5500 { quietly replace power=`n'/100 in `n' local p=`n'/100 quietly sampsi 0 0.1 , sd1(1) sd2(1) power(`p') ratio(1) alpha(.0167) scalar N_clusterDD_ES_l=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r)] quietly replace sampsize_ES_l=N_clusterDD_ES_l in `n' quietly local flag=N_clusterDD_ES_l quietly local n=`n'+1 } local flag = 0 local n=2 while `flag' < 2500 { quietly replace power=`n'/100 in `n' local p=`n'/100 quietly sampsi 0 0.3 , sd1(1) sd2(1) power(`p') ratio(1) alpha(.0167) scalar N_clusterDD_ES_h=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r)] quietly replace sampsize_ES_h=N_clusterDD_ES_h in `n' quietly local flag=N_clusterDD_ES_h quietly local n=`n'+1 } #delimit ; twoway (line power sampsize, mlcolor(navy) lcolor(navy)) (line power sampsize_ES_h, mlcolor(black) lcolor(black) lpattern(longdash_dot)) (line power sampsize_ES_l, mlcolor(green) lcolor(green) lpattern(dash_dot)) , ylabels(0(.1)1) xlabels(0 (500) 5000) ytitle("Potencia") xtitle("Muestra Total" , height(5)) graphregion(fcolor(white)) plotregion(style(none)) /*title("Figura 2: Analisis de Sensibilidad del Tamaño del Efecto")*/ legend(lab(1 "TE=0.20") lab(2 "TE=0.30") lab(3 "TE=0.10")) ; #delimit cr

*----------------------------------* * 5.CURVA DE PODER: Cambios en ICC * *----------------------------------* *ICC scalar rho=0.17 scalar rho_l=0.1 scalar rho_h=0.45

17   

*Aucorrelacion scalar auto_cluster=0.3 scalar auto_ind=0.45 *Numero de observaciones por cluster scalar m=10 * r (Teerenstra et al 2012) scalar r=[m*rho/(1+(m-1)*rho)]*auto_cluster+[(1-rho)/(1+(m-1)*rho)]*auto_ind scalar r_l=[m*rho_l/(1+(m-1)*rho_l)]*auto_cluster+[(1-rho_l)/(1+(m-1)*rho_l)]*auto_ind scalar r_h=[m*rho_h/(1+(m-1)*rho_h)]*auto_cluster+[(1-rho_h)/(1+(m-1)*rho_h)]*auto_ind

display r display r_l display r_h quietly sampsi 0 0.2, sd(1) alpha(.0167) power(.9) scalar N_clusterDD=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r)] sampsi 0 0.2, sd(1) alpha(.0167) power(.9) scalar N_clusterDD_l=[r(N_1)+r(N_2)]*[1+(m-1)*rho_l]*[2*(1-r_l)] sampsi 0 0.2, sd(1) alpha(.0167) power(.9) scalar N_clusterDD_h=[r(N_1)+r(N_2)]*[1+(m-1)*rho_h]*[2*(1-r_h)] display N_clusterDD display N_clusterDD_l display N_clusterDD_h * Calculo Muestra quietly clear quietly set mem 900m quietly set obs 1000000 quietly gen power = . quietly gen sampsize=. quietly replace sampsize= 0 in 1 quietly gen sampsize_l=. quietly replace sampsize_l= 0 in 1 quietly gen sampsize_h=. quietly replace sampsize_h= 0 in 1 local flag = 0

18   

local n=2 while `flag' < 5000 { quietly replace power=`n'/100 in `n' local p=`n'/100 quietly sampsi 0 0.2 , sd1(1) sd2(1) power(`p') ratio(1) alpha(.0167) scalar N_clusterDD=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r)] quietly replace sampsize=N_clusterDD in `n' quietly local flag=N_clusterDD quietly local n=`n'+1 } local flag = 0 local n=2 while `flag' < 5000 { quietly replace power=`n'/100 in `n' local p=`n'/100 quietly sampsi 0 0.2 , sd1(1) sd2(1) power(`p') ratio(1) alpha(.0167) scalar N_clusterDD_l=[r(N_1)+r(N_2)]*[1+(m-1)*rho_l]*[2*(1-r_l)] quietly replace sampsize_l=N_clusterDD_l in `n' quietly local flag=N_clusterDD_l quietly local n=`n'+1 } local flag = 0 local n=2 while `flag' < 5000 { quietly replace power=`n'/100 in `n' local p=`n'/100 quietly sampsi 0 0.2 , sd1(1) sd2(1) power(`p') ratio(1) alpha(.0167) scalar N_clusterDD_h=[r(N_1)+r(N_2)]*[1+(m-1)*rho_h]*[2*(1-r_h)] quietly replace sampsize_h=N_clusterDD_h in `n' quietly local flag=N_clusterDD_h quietly local n=`n'+1 }

#delimit ; twoway (line power sampsize, mlcolor(navy) lcolor(navy)) (line power sampsize_h, mlcolor(black) lcolor(black) lpattern(longdash_dot)) (line power sampsize_l, mlcolor(green) lcolor(green) lpattern(dash_dot)) , ylabels(0(.1)1) xlabels(0 (500) 5000) ytitle("Potencia") xtitle("Muestra Total" , height(5)) graphregion(fcolor(white)) plotregion(style(none)) /*title("Figura 3: Analisis de Sensibilidad del CCI")*/ legend(lab(1 "CCI=0.17") lab(2 "CCI=0.45") lab(3 "CCI=0.10")) ; #delimit cr

*-----------------------------------------------------------------*

19   

* 6.CURVA DE PODER: Cambios en Autocorrelacion a nivel individual * *-----------------------------------------------------------------* *ICC scalar rho=0.17 *Aucorrelacion scalar auto_cluster=0.3 scalar auto_ind=0.45 scalar auto_ind_l=0.15 scalar auto_ind_h=0.60 *Numero de observaciones por cluster scalar m=10 * r (Teerenstra et al 2012) scalar r=[m*rho/(1+(m-1)*rho)]*auto_cluster+[(1-rho)/(1+(m-1)*rho)]*auto_ind scalar r_ai_l=[m*rho/(1+(m-1)*rho)]*auto_cluster+[(1-rho)/(1+(m-1)*rho)]*auto_ind_l scalar r_ai_h=[m*rho/(1+(m-1)*rho)]*auto_cluster+[(1-rho)/(1+(m-1)*rho)]*auto_ind_h

display r display r_ai_l display r_ai_h

quietly sampsi 0 0.2, sd(1) alpha(.0167) power(.9) scalar N_clusterDD=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r)] sampsi 0 0.2, sd(1) alpha(.0167) power(.9) scalar N_clusterDD_ai_l=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r_ai_l)] sampsi 0 0.2, sd(1) alpha(.0167) power(.9) scalar N_clusterDD_ai_h=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r_ai_h)] display N_clusterDD display N_clusterDD_ai_l display N_clusterDD_ai_h * Calculo Muestra quietly clear quietly set mem 900m quietly set obs 1000000 quietly gen power = .

20   

quietly gen sampsize=. quietly replace sampsize= 0 in 1 quietly gen sampsize_l=. quietly replace sampsize_l= 0 in 1 quietly gen sampsize_h=. quietly replace sampsize_h= 0 in 1 local flag = 0 local n=2 while `flag' < 5000 { quietly replace power=`n'/100 in `n' local p=`n'/100 quietly sampsi 0 0.2 , sd1(1) sd2(1) power(`p') ratio(1) alpha(.0167) scalar N_clusterDD=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r)] quietly replace sampsize=N_clusterDD in `n' quietly local flag=N_clusterDD quietly local n=`n'+1 } local flag = 0 local n=2 while `flag' < 5000 { quietly replace power=`n'/100 in `n' local p=`n'/100 quietly sampsi 0 0.2 , sd1(1) sd2(1) power(`p') ratio(1) alpha(.0167) scalar N_clusterDD_ai_l=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r_ai_l)] quietly replace sampsize_l=N_clusterDD_ai_l in `n' quietly local flag=N_clusterDD_ai_l quietly local n=`n'+1 } local flag = 0 local n=2 while `flag' < 5000 { quietly replace power=`n'/100 in `n' local p=`n'/100 quietly sampsi 0 0.2 , sd1(1) sd2(1) power(`p') ratio(1) alpha(.0167) scalar N_clusterDD_ai_h=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r_ai_h)] quietly replace sampsize_h=N_clusterDD_ai_h in `n' quietly local flag=N_clusterDD_ai_h quietly local n=`n'+1 }

#delimit ; twoway (line power sampsize, mlcolor(navy) lcolor(navy)) (line power sampsize_h, mlcolor(black) lcolor(black) lpattern(longdash_dot)) (line power sampsize_l, mlcolor(green) lcolor(green) lpattern(dash_dot)) , ylabels(0(.1)1) xlabels(0 (500) 5000)

21   

ytitle("Potencia") xtitle("Muestra Total" , height(5)) graphregion(fcolor(white)) plotregion(style(none)) /*title("Figura 4: Analisis de Sensibilidad de Aucorrelacion Indiv.")*/ legend(lab(1 "AI=0.45") lab(2 "AI=0.60") lab(3 "AI=0.15")) ; #delimit cr

*--------------------------------------------------------------* * 7.CURVA DE PODER: Cambios en Autocorrelacion a nivel cluster * *--------------------------------------------------------------* *ICC scalar rho=0.17 *Aucorrelacion scalar auto_cluster=0.3 scalar auto_ind=0.45 scalar auto_cluster_l=0.10 scalar auto_cluster_h=0.50 *Numero de observaciones por cluster scalar m=10 * r (Teerenstra et al 2012) scalar r=[m*rho/(1+(m-1)*rho)]*auto_cluster+[(1-rho)/(1+(m-1)*rho)]*auto_ind scalar r_ac_l=[m*rho/(1+(m-1)*rho)]*auto_cluster_l+[(1-rho)/(1+(m-1)*rho)]*auto_ind scalar r_ac_h=[m*rho/(1+(m-1)*rho)]*auto_cluster_h+[(1-rho)/(1+(m-1)*rho)]*auto_ind

display r display r_ac_l display r_ac_h

quietly sampsi 0 0.2, sd(1) alpha(.0167) power(.9) scalar N_clusterDD=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r)] sampsi 0 0.2, sd(1) alpha(.0167) power(.9) scalar N_clusterDD_ac_l=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r_ac_l)] sampsi 0 0.2, sd(1) alpha(.0167) power(.9) scalar N_clusterDD_ac_h=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r_ac_h)] display N_clusterDD display N_clusterDD_ac_l

22   

display N_clusterDD_ac_h * Calculo Muestra quietly clear quietly set mem 900m quietly set obs 1000000 quietly gen power = . quietly gen sampsize=. quietly replace sampsize= 0 in 1 quietly gen sampsize_l=. quietly replace sampsize_l= 0 in 1 quietly gen sampsize_h=. quietly replace sampsize_h= 0 in 1 local flag = 0 local n=2 while `flag' < 5000 { quietly replace power=`n'/100 in `n' local p=`n'/100 quietly sampsi 0 0.2 , sd1(1) sd2(1) power(`p') ratio(1) alpha(.0167) scalar N_clusterDD=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r)] quietly replace sampsize=N_clusterDD in `n' quietly local flag=N_clusterDD quietly local n=`n'+1 } local flag = 0 local n=2 while `flag' < 5000 { quietly replace power=`n'/100 in `n' local p=`n'/100 quietly sampsi 0 0.2 , sd1(1) sd2(1) power(`p') ratio(1) alpha(.0167) scalar N_clusterDD_ac_l=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r_ac_l)] quietly replace sampsize_l=N_clusterDD_ac_l in `n' quietly local flag=N_clusterDD_ac_l quietly local n=`n'+1 } local flag = 0 local n=2 while `flag' < 5000 { quietly replace power=`n'/100 in `n' local p=`n'/100 quietly sampsi 0 0.2 , sd1(1) sd2(1) power(`p') ratio(1) alpha(.0167) scalar N_clusterDD_ac_h=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r_ai_h)] quietly replace sampsize_h=N_clusterDD_ac_h in `n' quietly local flag=N_clusterDD_ac_h quietly local n=`n'+1 }

23   

#delimit ; twoway (line power sampsize, mlcolor(navy) lcolor(navy)) (line power sampsize_h, mlcolor(black) lcolor(black) lpattern(longdash_dot)) (line power sampsize_l, mlcolor(green) lcolor(green) lpattern(dash_dot)) , ylabels(0(.1)1) xlabels(0 (500) 5000) ytitle("Potencia") xtitle("Muestra Total" , height(5)) graphregion(fcolor(white)) plotregion(style(none)) /*title("Figura 5: Analisis de Sensibilidad de Aucorr. Cluster")*/ legend(lab(1 "AC=0.30") lab(2 "AC=0.50") lab(3 "AC=0.10")) ; #delimit cr

*--------------------------------* * 8.CURVA DE PODER: Cambios en n * *--------------------------------* *ICC scalar rho=0.17 *Aucorrelacion scalar auto_cluster=0.3 scalar auto_ind=0.45 *Numero de observaciones por cluster scalar m=10 scalar m_l=6 scalar m_h=20 * r (Teerenstra et al 2012) scalar r=[m*rho/(1+(m-1)*rho)]*auto_cluster+[(1-rho)/(1+(m-1)*rho)]*auto_ind scalar r_l=[m_l*rho/(1+(m_l-1)*rho)]*auto_cluster+[(1-rho)/(1+(m_l-1)*rho)]*auto_ind scalar r_h=[m_h*rho/(1+(m_h-1)*rho)]*auto_cluster+[(1-rho)/(1+(m_h-1)*rho)]*auto_ind

display r display r_l display r_h quietly sampsi 0 0.2, sd(1) alpha(.0167) power(.9)

24   

scalar N_clusterDD=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r)] sampsi 0 0.2, sd(1) alpha(.0167) power(.9) scalar N_clusterDD_l=[r(N_1)+r(N_2)]*[1+(m_l-1)*rho]*[2*(1-r_l)] sampsi 0 0.2, sd(1) alpha(.0167) power(.9) scalar N_clusterDD_h=[r(N_1)+r(N_2)]*[1+(m_h-1)*rho]*[2*(1-r_h)] display N_clusterDD display N_clusterDD_l display N_clusterDD_h * Calculo Muestra quietly clear quietly set mem 900m quietly set obs 1000000 quietly gen power = . quietly gen sampsize=. quietly replace sampsize= 0 in 1 quietly gen sampsize_l=. quietly replace sampsize_l= 0 in 1 quietly gen sampsize_h=. quietly replace sampsize_h= 0 in 1 local flag = 0 local n=2 while `flag' < 5000 { quietly replace power=`n'/100 in `n' local p=`n'/100 quietly sampsi 0 0.2 , sd1(1) sd2(1) power(`p') ratio(1) alpha(.0167) scalar N_clusterDD=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r)] quietly replace sampsize=N_clusterDD in `n' quietly local flag=N_clusterDD quietly local n=`n'+1 } local flag = 0 local n=2 while `flag' < 5000 { quietly replace power=`n'/100 in `n' local p=`n'/100 quietly sampsi 0 0.2 , sd1(1) sd2(1) power(`p') ratio(1) alpha(.0167) scalar N_clusterDD_l=[r(N_1)+r(N_2)]*[1+(m_l-1)*rho]*[2*(1-r_l)] quietly replace sampsize_l=N_clusterDD_l in `n' quietly local flag=N_clusterDD_l quietly local n=`n'+1 } local flag = 0 local n=2

25   

while `flag' < 5000 { quietly replace power=`n'/100 in `n' local p=`n'/100 quietly sampsi 0 0.2 , sd1(1) sd2(1) power(`p') ratio(1) alpha(.0167) scalar N_clusterDD_h=[r(N_1)+r(N_2)]*[1+(m_h-1)*rho]*[2*(1-r_h)] quietly replace sampsize_h=N_clusterDD_h in `n' quietly local flag=N_clusterDD_h quietly local n=`n'+1 }

#delimit ; twoway (line power sampsize, mlcolor(navy) lcolor(navy)) (line power sampsize_h, mlcolor(black) lcolor(black) lpattern(longdash_dot)) (line power sampsize_l, mlcolor(green) lcolor(green) lpattern(dash_dot)) , ylabels(0(.1)1) xlabels(0 (500) 5000) ytitle("Potencia") xtitle("Muestra Total" , height(5)) graphregion(fcolor(white)) plotregion(style(none)) /*title("Figura 6: Analisis de Sensibilidad de n")*/ legend(lab(1 "n=10") lab(2 "n=20") lab(3 "n=6")) ; #delimit cr

26