EVALUACIÓN MEDIANTE MATCHING DE LA FORMACIÓN OCUPACIONAL: UN ESTUDIO DE CASO PARA ESPAÑA
Begoña Cueto, F. Javier Mato Universidad de Oviedo
Dirección: Departamento de Economía Aplicada Avda. del Cristo, s/n 33007 – Oviedo Spain E-mail:
[email protected] (Begoña Cueto)
[email protected] (F. Javier Mato) Teléfono: + (34) 985 10 4996 (Begoña Cueto) + (34) 985 10 3767 (F. Javier Mato) Fax: + (34) 985 10 5050
1
EVALUACIÓN MEDIANTE MATCHING DE LA FORMACIÓN OCUPACIONAL: UN ESTUDIO DE CASO PARA ESPAÑA
Abstract: Los programas de formación son la política activa de mercado de trabajo que más ha aumentado en términos de gasto durante los últimos veinte años en España. En esta investigación se estiman los efectos de un programa de formación ocupacional utilizando como grupo de control a participantes no admitidos en los cursos. Se utiliza como técnica de análisis el propensity score matching, cuyos resultados señalan que el efecto de la intención de tratar es positivo aunque el efecto del tratamiento es menor e, incluso, resulta negativo. Las posibles explicaciones sugieren la presencia de un efecto bloqueo y un efecto creaming.
Clasificación JEL: J24, J68
Keywords: formación ocupacional, evaluación no experimental, propensity score matching
2
1. Introducción La formación ocupacional es una de las políticas activas de mercado de trabajo más utilizadas y, como indica Malo (2003), podría considerarse el componente más relevante de las PAMT en el discurso político. De hecho, en ocasiones se identifican las PAMT con la formación, excluyendo o dejando en un lugar secundario al resto de medidas. La formación es un componente clave en las políticas de mercado de trabajo desarrolladas por los gobiernos de la mayor parte de los países de la Unión Europea. Asimismo es probablemente la medida más evaluada puesto que, en muchos casos, las evaluaciones de PAMT son evaluaciones de acciones formativas. En el caso español, la formación no es la política activa que supone un mayor porcentaje del gasto pero sí la que ha experimentado un mayor crecimiento (el porcentaje de PIB dedicado a formación se multiplicó por diez en los últimos veinte años). Asimismo las escasas evaluaciones realizadas corresponden principalmente a acciones formativas. El objetivo de este trabajo es llevar a cabo una evaluación de un programa de formación ocupacional desarrollado en Asturias durante el año 1999. Nos centramos en la formación dirigida a desempleados y, por tanto, la formación continua, destinada a trabajadores ocupados, no será objeto de análisis. Nuestro objetivo principal es determinar si la formación mejora la probabilidad de empleo de los participantes respecto a un grupo de control de desempleados no formados. Para conseguir este objetivo recurrimos al análisis matching, técnica que es posible utilizar gracias a la disponibilidad de datos muy completos sobre los solicitantes. Asimismo estos datos permiten el cálculo de diferentes estimadores para tener en cuenta que algunos solicitantes admitidos no participaron en la formación y otros que no fueron admitidos se formaron por otras vías.
2. Resultados de algunas evaluaciones de formación ocupacional La formación ocupacional es una política activa del mercado de trabajo que constituye un apoyo a la incorporación de los desempleados al mercado de trabajo mediante la mejora de su cualificación. La literatura sobre este tema es más abundante que la de evaluaciones de otras políticas activas –incluso en los países menos desarrollados– por lo que a continuación se revisan algunas de las investigaciones más recientes. Las evaluaciones de acciones formativas dirigidas a desempleados se centran principalmente en los efectos de la participación sobre las transiciones del desempleo al empleo o sobre los ingresos. En el Cuadro 1.1 se resumen algunos resultados para programas desarrollados en Suecia, Noruega, Dinamarca, Alemania, Suiza y España. La formación para desempleados ha experimentado en Suecia un fuerte crecimiento desde 1985 como consecuencia de la pérdida de confianza en los programas de empleo público (public relief work). Entre las abundantes evaluaciones realizadas destacamos a Richardson y Berg (2001) y a Regnér (2002). Los primeros analizan el efecto de participar en programas de formación sobre las transiciones del desempleo al empleo. Sus resultados son positivos y “substancialmente elevados”, siendo menores una vez trascurridas varias semanas desde el fin de los cursos. Los autores manifiestan la necesidad de estudiar con mayor detalle el porqué de esta rápida pérdida de efectividad del programa, sugiriendo como posibles causas un mayor esfuerzo de búsqueda de empleo durante la formación
3
(no habría efecto bloqueo) o un intento de evitar un efecto estigma si los participantes no encuentran trabajo al finalizar la misma. Respecto al estudio de Regnér, se desarrolla a partir de una base de datos diseñada para realizar evaluaciones de políticas de formación y se refiere al periodo 1987-1992. Los resultados de distintos métodos no experimentales varían pero se puede concluir que la formación no tiene efecto o incluso puede tener un efecto negativo sobre los ingresos de los participantes. Entre las razones que pueden explicar estos resultados está el hecho de que la participación en las acciones formativas da derecho a recibir prestaciones, de forma que algunas personas toman parte en los programas con el objetivo de obtener estas prestaciones y no para mejorar sus posibilidades de acceder a un empleo. Raaum y Torp (2002) evalúan un programa de formación ocupacional en Noruega utilizando como grupo de comparación a solicitantes no aceptados, hecho que presenta ventajas respecto a otras formas de construir el grupo de control1. Además, en una parte de los cursos la asignación al grupo de tratamiento o al grupo de control se llevó a cabo de forma aleatoria. La disponibilidad de estos datos junto con otro grupo de control formado por desempleados no solicitantes de formación permite a los autores obtener diversas conclusiones. La participación en las acciones formativas presenta efectos positivos sobre los salarios, siendo estos efectos menores en los cursos en los que la asignación fue aleatoria. Asimismo el efecto es mayor si el grupo de control está formado por desempleados no solicitantes de formación, lo que refleja la importancia de la auto-selección y de elegir un grupo de control adecuado. Es decir, el efecto de la formación se sobreestima si no se tiene en cuenta el interés mostrado por las personas formadas. Rosholm y Skipper (2003) realizan una evaluación experimental de un programa de formación desarrollado en Dinamarca en 1994. La asignación al grupo de tratamiento o al grupo de control fue aleatoria pero un 48% de las personas que formaban el grupo de tratamiento no recibieron formación (no-shows) mientras que un 22% de las que pertenecían al grupo de control sí se formaron (cross-overs). La presencia de estos subgrupos da lugar a sesgos en los parámetros que, por tanto, es preciso tener en cuenta. Los resultados del análisis señalan que la formación aumenta la tasa de desempleo de los participantes, efecto que desaparece con el paso del tiempo. La explicación propuesta por los autores es la existencia de un efecto bloqueo, es decir, los participantes disminuyen su esfuerzo de búsqueda de empleo durante la participación en las acciones formativas. Hujer et al. (2004) evalúan programas de formación ocupacional en AlemaniaEste y encuentran un efecto negativo –aunque no significativo– sobre la duración del desempleo debido a la existencia de un efecto bloqueo. Uno de los resultados más interesantes de este trabajo es que los autores relacionan dicho efecto con la duración de los programas. Así, las acciones formativas que tienen una mayor duración presentan un mayor efecto bloqueo. Por último es interesante destacar el estudio de Falk et al. (2005) dado lo novedoso de su metodología. Estos autores evalúan un programa de formación cuyo objetivo era mejorar los conocimientos de informática básica de los participantes. El
1
Véase Bell et al. (1995). Sobre este punto se volverá más adelante.
4
proceso de evaluación consistía en, una vez seleccionados los participantes, enviar solicitudes de trabajo a empresas y volver a realizar esta acción después de realizar el curso –cuya duración era de dos o tres semanas– incluyendo en la solicitud el certificado de asistencia. El impacto del programa se mide a partir de la respuesta de las empresas antes y después de haber realizado la formación, obteniendo un resultado negativo pero no significativo. La posible explicación es que las vacantes requerían conocimientos avanzados de informática, de manera que el título del curso reflejaba la falta de los mismos. En España, se pueden citar dos evaluaciones de programas de formación ocupacional: Mato (2002) y Arellano (2005). El profesor Mato lleva a cabo una evaluación de un programa regional de formación utilizando como grupo de comparación a solicitantes no aceptados. Los resultados muestran efectos positivos sobre la tasa de acceso al empleo y sobre el tiempo trabajado mientras que no se aprecian efectos sobre la tasa de ocupación ni sobre los ingresos de los participantes. Respecto al estudio del profesor Arellano, se trata de una evaluación del Plan Nacional de Formación e Inserción Profesional desarrollado por el Instituto Nacional de Empleo en 2000, encontrando efectos positivos sobre la probabilidad de lograr un empleo, especialmente para las mujeres. En resumen, los principales resultados de estas y otras evaluaciones permiten concluir que, en general, la participación en programas de formación presenta efectos positivos sobre el acceso a un empleo y, sin embargo, no tiene efectos sobre los ingresos o incluso pueden llegar a ser negativos. Asimismo los efectos suelen ser mayores en el corto plazo que en el medio y largo plazo. Entre las causas que explican los efectos negativos de algunas evaluaciones cabe citar, por una parte, la vinculación con el derecho a recibir prestaciones de forma que el incentivo a participar se relaciona más con el acceso a dichas prestaciones que con el interés en mejorar las probabilidades de encontrar empleo. Y, por otra parte, con una reducción del esfuerzo de búsqueda de trabajo durante la participación en las acciones formativas, es decir, con la existencia de un efecto bloqueo. Para concluir se puede señalar que Martin (2000) y Fay (1996), tras una revisión de varias evaluaciones de políticas formativas, destacan tres factores que pueden mejorar la efectividad de los programas de formación: establecer claramente a quien se dirigen, mantener la política en pequeña escala y que la formación tenga un fuerte contenido en aspectos relacionados con el mercado de trabajo de manera que se puedan establecer relaciones con las empresas (on-the-job). Estos rasgos pueden contribuir a la reducción de los efectos negativos citados en el párrafo anterior.
5
Cuadro 2.1. Resultados de algunas evaluaciones de programas de formación ocupacional Autor
País
Richardson y Berg (2001)
Suecia
+ sobre el acceso al empleo durante las primeras semanas.
Regnér (2002)
Suecia
= o − sobre los salarios. Una de las causas es la participación con objeto de recibir prestaciones y no para mejorar las posibilidades de encontrar empleo.
Raaum y Torp (2002)
Noruega
Rosholm y Skipper (2003)
Resultado de la participación respecto al grupo de control
+ sobre los salarios.
− sobre el acceso al empleo. Dinamarca Desaparece con el paso del tiempo. Evidencia de efecto bloqueo.
Hujer, Thomsen y Zeiss (2004)
Alemania
Falk, Lalive y Zweimüller (2005)
Suiza
Mato (2002)
España
− pero no significativo sobre la duración del desempleo. Evidencia de efecto bloqueo. − pero no significativo sobre la posibilidad de tener entrevistas de trabajo. + sobre el acceso al empleo y el tiempo trabajado. = sobre la ocupación y los salarios.
Arellano España + sobre el acceso al empleo, sobre todo para las mujeres (2005) +: efecto positivo; −: efecto negativo.
3. Datos y fuentes para el análisis empírico Los datos que se utilizan en esta investigación se refieren al programa de formación ocupacional desarrollado por la Consejería de Trabajo y Promoción de Empleo durante el año 1999 en Asturias. Dicha formación se caracteriza por su provisión descentralizada puesto que la realizan distintos centros formativos mediante convenios o convocatorias públicas; por su carácter gratuito para los participantes; y por su acceso totalmente voluntario para las personas a quienes se dirigen. Los datos utilizados corresponden a un programa evaluado previamente, en la anualidad 1995, en el análisis ya citado del profesor Mato. La continuidad de la evaluación permitirá, en su caso, confirmar las conclusiones obtenidas y también ampliar algunos resultados gracias, por una parte, al mayor detalle de los datos y, por otra parte, al uso de una técnica de análisis diferente, como es el matching. 3.1.
Características de los participantes
Los datos que proporcionan los registros administrativos de la Consejería de Trabajo y Promoción de Empleo se refieren principalmente a las características de la formación y no a las de los participantes, de quienes apenas se dispone información. Durante el año 1999 participaron en las acciones formativas 2.913 personas, con una presencia mayoritaria de mujeres (57,5%).
6
Una de las variables clave en el análisis de la formación es el tipo de cursos realizados, esto es, su carácter genérico o específico. Para llevar a cabo este estudio se han clasificado los cursos en familias profesionales en función de sus contenidos, obteniéndose la distribución que se muestra en el Cuadro 3.1. Los cursos más numerosos son aquellos que se agrupan bajo el epígrafe de Informática básica (23,7%), que comprende las acciones formativas cuyo objetivo es proveer de unos conocimientos básicos a los participantes. Se trata de habilidades que podríamos calificar de necesarias para acceder a un puesto de trabajo, aunque quizá no suficientes, y complementarias de la formación adquirida en el sistema educativo reglado. Informática aplicada y Gestión de empresas suponen más de un 10% de los participantes cada una mientras que el resto de familias tienen una menor importancia cuantitativa y, así, la mayoría agrupan a menos del 5% de los participantes. Cuadro 3.1. Formación ocupacional: distribución de los participantes según sexo y familia profesional del curso Familia profesional
Participantes
% sobre el total
% participación femenina
Informática básica
693
23,8
71,0
Informática aplicada
401
13,8
38,4
Gestión de empresas
343
11,8
72,9
Otros servicios
279
9,6
73,1
Soldadura y calderería
221
7,6
0,9
Salud
184
6,3
91,8
Técnicas de venta
130
4,5
76,9
Recursos humanos
117
4,0
43,6
Idiomas
115
3,9
73,0
Cocina
94
3,2
60,6
106
3,6
31,1
Acabado de construcciones y artesanía
82
2,8
11,0
Industrias alimentarias
60
2,1
91,7
Agricultura
46
1,6
47,8
Automoción
42
1,4
0,0
2.913
100,0
57,7
Otra industria
Total
Por otra parte, se puede observar una fuerte segregación por sexos. Así, las mujeres participan principalmente en cursos de contenido genérico (Informática básica, Idiomas) o relacionados con los servicios (Salud, Gestión de empresas, Técnicas de venta) mientras que su presencia es muy reducida en formación relativa a industria y construcción (Soldadura, Acabado de Construcciones). Esta segregación es un factor a
7
tener en cuenta en el análisis de los resultados que se lleva a cabo en el siguiente apartado. La información de los registros administrativos se refiere únicamente a la formación solicitada, por lo que para llevar a cabo una descripción más extensa de los participantes, así como para realizar la evaluación, es preciso utilizar los datos obtenidos a partir de una encuesta que recoge la edad, el nivel de estudios, la experiencia laboral previa y posterior a la formación, así como la situación laboral de la persona en la semana anterior a la encuesta. Con estos datos podemos hacer una descripción más detallada de las características de los participantes. Como se puede ver en el Cuadro 3.2 se trata de personas jóvenes puesto que, en promedio, no superan los treinta años de edad. De hecho sólo un 13,7% son mayores de treinta y cinco años. Respecto a los estudios, predominan las personas con estudios universitarios, especialmente en el caso de las mujeres. Así, el 39,3% de los participantes ha obtenido una titulación universitaria, porcentaje que asciende al 43,5% para las mujeres. Para este colectivo se trata principalmente de carreras en la rama de ciencias jurídico-sociales (un 56,5% diplomaturas y un 17,2% licenciaturas) mientras que en el caso de los hombres predominan las ingenierías (un 29,8% técnicas y un 16% de grado superior). Respecto a la experiencia laboral con anterioridad a la participación en las acciones formativas, más de la mitad de los participantes ha trabajado previamente, porcentaje menor en el caso de las mujeres y mayor para los hombres (49,1% frente a 55,0%). La edad a la que han empezado a trabajar se sitúa en torno a los 22 años tanto para unas como para otros. Cuadro 3.2. Formación ocupacional: características de los participantes Mujer
Hombre
Total
28,9
27,0
28,1
Básicos
12,1
16,1
13,9
Medios
19,2
20,8
19,9
Ciclos formativos o FP
25,2
29,2
27,0
Universitarios
43,5
33,9
39,3
Experiencia laboral previa (% sí)
49,1
55,0
51,7
Edad a la que empezó a trabajar (años)
22,8
21,6
22,2
Edad (años) Estudios (%)
3.2.
El exceso de demanda de formación
Como ya se ha mencionado, el programa de formación analizado es gratuito y voluntario. Dadas estas características y las circunstancias del mercado laboral en el año
8
considerado, no sorprende que exista un exceso de demandantes con respecto a los puestos formativos ofertados2. Por ello se ha elaborado un indicador de dicho exceso de demanda, que nos muestra cuáles son las carencias formativas percibidas por los desempleados o qué tipo de cursos consideran que les van a ayudar a acceder a un empleo. Las bases de datos de la Consejería de Trabajo y Promoción de Empleo disponen de información sobre solicitantes en un 72% de los cursos ofertados. A partir de dichos datos la fórmula utilizada para calcular el indicador del exceso de demanda es la siguiente:
Exceso de demanda =
Número de solicitantes no admitidos Número de solicitantes admitidos en el curso
En los cursos para los que se dispone de información se ofertaban 2.125 puestos formativos, que fueron solicitados por 4.083 personas, es decir, el exceso de demanda se sitúa en un 92,1%, de manera que el número de solicitantes casi duplica la cifra de participantes de los cursos de formación realizados. En el Gráfico 3.1 se puede observar este indicador para cada una de las familias profesionales en las que se clasifican los cursos de formación ocupacional. Las ramas con un exceso de demanda superior a la media incluyen tanto cursos de contenido específico (Soldadura y calderería, Industria alimentaria, Otra industria) como formación de contenido genérico (Recursos humanos, Gestión de empresas, Informática básica). El hecho de que en la mayor parte de los cursos el número de plazas disponibles sea inferior al número de solicitantes obligó a los centros ejecutores a realizar una selección. La especialidad y el nivel educativo y la relación del curso con el puesto de trabajo son los criterios que emplean habitualmente la mitad de los centros y en muchas ocasiones se realiza un examen a los solicitantes. Los criterios menos utilizados son la realización de un sorteo o el orden de llegada. Otros criterios que pueden servir para seleccionar a los participantes de un curso son la antigüedad en el desempleo, la motivación y el objetivo profesional3.
2
La ampliación de la oferta formativa junto con la mejora del mercado laboral (la tasa de paro se ha reducido desde 1999 en cinco puntos en España y en siete en Asturias) ha reducido los excesos de demanda que, en algunos casos, se han transformado en excesos de oferta. 3
Estos datos se obtuvieron de una encuesta realizada a los centros ejecutores de formación (véase Mato et al., 2001).
9
Gráfico 3.1. Formación ocupacional: exceso de demanda según familia profesional del curso 165,7
Soldadura y calderería
136,8
Recursos humanos
115,6
Industria alimentaria
101,2
Gestión de empresas
97,0
Otra industria
94,7
Informática basica Informática aplicada
86,6
Salud
85,3
Otros servicios
83,7
Cocina
71,4
Acabado de construcciones
56,1
Automoción
36,0
T écnicas de venta
28,0
Idiomas
17,9
Agricultura
10,0 0
20
40
60
80
100
120
140
160
180
%
4. Resultados brutos de la formación La formación dirigida a personas en situación de desempleo tiene como principal objetivo el acceso de los participantes a la ocupación. Para evaluar la consecución de estos objetivos se ha realizado una encuesta a 383 personas que participaron en los cursos de formación, trascurridos aproximadamente doce meses desde el fin de dichas acciones formativas. Esta encuesta ha permitido elaborar indicadores de empleo, de ingresos y de satisfacción con la formación recibida. En la Figura 4.1 se muestran las posibles trayectorias seguidas por las personas que han participado en la formación ocupacional. Una de las posibilidades es que, una vez finalizada dicha participación, accedan a un empleo (o a varios), el cual pueden mantener hasta el momento en que se ha realizado la encuesta. En este caso, hablaremos de acceso al empleo y ocupación. También es posible que la persona acceda a un empleo pero lo pierda durante el periodo trascurrido hasta la encuesta, en cuyo caso hablamos exclusivamente de acceso al empleo. La tercera posibilidad es que tras la participación, los asistentes a la formación no accedan a ningún empleo, sino que se encuentren en una situación de desempleo o inactividad.
10
Figura 4.1. Formación ocupacional: posibles trayectorias laborales tras la participación
Formación
Encuesta 12 meses Ocupación Acceso al empleo
Pérdida del empleo Desempleo Desempleo / inactividad
A partir de la información de la encuesta se han calculado dos tasas de empleo: la tasa de acceso al empleo, que se calcula como la proporción de participantes que han tenido al menos un empleo desde la finalización del curso hasta el momento de la encuesta y la tasa de ocupación, que se define como la proporción de participantes que tenían empleo en la semana anterior a la encuesta. La tasa de colocación se eleva al 69,5%, revelando que casi 7 de cada 10 participantes han tenido alguna experiencia laboral entre la formación y el momento de la encuesta. La tasa de ocupación de los participantes de 1999 asciende al 48,6%, lo que indica que casi la mitad de los participantes se encontraban trabajando en el momento de la encuesta. La diferencia entre una y otra tasa refleja la temporalidad y la rotación del mercado de trabajo. Los resultados por sexo muestran la existencia de diferencias favorables a los varones tanto en acceso al empleo como en ocupación, situándose ambas en torno a los diez puntos (65% y 44,9% para las mujeres frente a 75,1% y 53,3% para los hombres). Estas diferencias ponen de manifiesto la mayor dificultad que tienen las mujeres para acceder y mantener un empleo. En cuanto a la experiencia laboral, las personas que habían trabajado previamente presentan tasas de acceso al empleo y de ocupación en torno a quince puntos superiores a las de los participantes sin experiencia laboral. Esta diferencia oculta diferencias según sexo y, así, la brecha es mayor para las mujeres que para los hombres (20,2 puntos frente a 9,8). La familia profesional del curso realizado conduce a diferencias relevantes en las tasas de empleo, más amplias en el caso de la tasa de acceso al empleo que en la de ocupación. Como se puede observar en el Gráfico 4.1 los mejores resultados corresponden a las familias relacionadas con la industria, tales como Soldadura, Otra Industria o Informática Aplicada. Por el contrario, las tasas más bajas se obtienen en Informática Básica, Gestión de Empresas e Idiomas. Asimismo, estos resultados contribuyen a explicar la menor inserción laboral de las mujeres, dada su escasa presencia en cursos relacionados con la industria, los cuales, como ya se ha puesto de manifiesto, presentan los mejores resultados en términos de
11
acceso al empleo. La elevada tasa de acceso al empleo de las personas con estudios básicos probablemente se explique también por su mayor presencia en este tipo de cursos. Gráfico 4.1. Formación ocupacional: tasa de acceso al empleo y de ocupación según familia profesional del curso Soldadura
Otra industria
Informática aplicada
Otros servicios
Salud
Idiomas
Gestión de empresas
Informática basica 0%
20%
40%
Ocupación
60%
80%
100%
Acceso al empleo
5. Análisis matching Los resultados que se han presentado hasta el momento describen la situación laboral de los participantes en la formación una vez trascurrido aproximadamente un año. Sin embargo, no se ha probado causalidad, es decir, no sabemos hasta qué punto haber participado en las acciones formativas ha sido la razón que explica el logro del puesto de trabajo. El objetivo que nos planteamos en este apartado es saber cuál ha sido el cambio en la situación laboral del participante en el programa que se puede atribuir exclusivamente a su participación en dicho programa. Para ello disponemos de un grupo de control de solicitantes no admitidos en la formación evaluada. Si una persona participa en una determinada medida, se conoce cuál es el resultado de dicha participación y no es posible saber qué habría ocurrido si no hubiera participado. Este es el principal problema de la evaluación. Si se denomina 1 a la
12
participación en un programa, es decir, al tratamiento4 y 0 a la no participación, el resultado, Y, asociado a cada uno de los estados es el siguiente: Y0 = µ 0 ( X ) + U 0 Y1 = µ1 ( X ) + U 1
La ganancia derivada de la participación sería: ∆ = Y1 − Y0 . El problema de la evaluación surge porque si la persona participa en el programa, Y1 es conocido y, si no participa, se conoce Y0, pero es imposible conocer ambos resultados. Los distintos métodos de evaluación tratan de construir el contrafactual. Los avances en las técnicas econométricas registrados en los últimos años han permitido la utilización de nuevos métodos y modelos que proporcionan diferentes alternativas para construir el contrafactual. La principal clasificación de los métodos de evaluación los divide en experimentales y no experimentales. Ambos tipos de métodos tratan de eliminar o, al menos, minimizar el sesgo de selección. Este problema aparece porque el grupo de participantes en el programa a evaluar y el grupo de control no son exactamente comparables y pueden existir diferencias en, por ejemplo, las tasas de empleo o los ingresos, que no se deben a la participación en el programa sino a las diferentes características de unos y otros. Por tanto existe un sesgo de selección. El método experimental soluciona el problema de la evaluación construyendo un grupo de control de forma aleatoria, es decir, dado un grupo de posibles participantes en un programa de empleo, la participación efectiva en el mismo se decide aleatoriamente, de forma que dicha participación es independiente de su efecto. El grupo de tratamiento y el de control son estadísticamente equivalentes en todos los aspectos excepto el tratamiento y, por tanto, se deben a éste las diferencias en los resultados de ambos grupos. El enfoque experimental ha sido utilizado principalmente en Estados Unidos mientras que en Europa son escasas las evaluaciones que han utilizado esta técnica5. Lo más frecuente es utilizar métodos no experimentales. En estos casos, no existe un grupo de control, por lo que se sustituye por un grupo de no participantes asumiendo determinados supuestos que permitan aislar el efecto de la participación en el programa evaluado y eliminar el sesgo de selección. Los métodos no experimentales más utilizados en la evaluación de políticas de formación son el matching, diferencia-en-diferencias y el método de variables instrumentales. Cada uno trata de eliminar el sesgo de selección, es decir, las diferencias entre el grupo de participación y el grupo de control, de diferentes formas. En el matching se supone que las diferencias se producen en características observables (el nivel de estudios, el número de años trabajados, etc.); cuando se trata de características
4
La literatura tradicional sobre evaluación se centra en los efectos directos, es decir, el efecto de la participación en un programa definido como el efecto del programa sobre los participantes. No tiene en cuenta, por tanto, los efectos indirectos, derivados de factores ajenos a la participación directa (por ejemplo, impuestos pagados para llevar a cabo los programas). De esta forma, el tratamiento se entiende como el resultado de la participación, Y1, y el no tratamiento como el resultado de la no participación, Y0.
5
En Björklund y Regnér (1996) se revisan las principales evaluaciones de tipo experimental llevadas a cabo en Estados Unidos y Europa.
13
inobservables (deseo de formarse o de trabajar, entre otros) se utiliza el método de diferencia-en-diferencias mientras que en el caso de variables instrumentales, existe una variable (denominada instrumento) que identifica el efecto del tratamiento para una determinada población y que está relacionada con el tratamiento pero no con el resultado del mismo. Como ya se ha explicado, la formación que se evalúa en este estudio presentaba excesos de demanda, lo que ha permitido formar un grupo de control a partir de personas no admitidas en las acciones formativas. El análisis que se va a realizar no puede definirse como experimento puesto que no ha existido una asignación aleatoria de las personas solicitantes de los cursos, pero sí podemos aplicar un método no experimental. Una de las características del programa de formación que se evalúa es su voluntariedad, es decir, no es necesario acudir a estos cursos para mantener el derecho a recibir prestaciones u otro tipo de ayuda. Este rasgo es importante puesto que todos los solicitantes han acudido voluntariamente a solicitar su participación en el curso, mostrando con ello su deseo de formarse. De esta forma se reduce un posible sesgo de selección basado en las características inobservables del grupo de comparación y del grupo de control, cuya importancia se ha destacado anteriormente en el trabajo de Raaum y Torp (2002), entre otros. No obstante, la selección de los participantes se ha realizado de acuerdo con el nivel educativo o la nota de un examen, entre otras variables. Es decir, existen diferencias en características observables de los individuos, por lo que para estimar el efecto de la formación se utiliza el método matching, el cual se explica a continuación. Posteriormente se describen las características de las personas que forman el grupo de control y el grupo de tratamiento, para finalmente presentar las estimaciones obtenidas. 5.1.
El matching como método no experimental de evaluación de políticas activas del mercado de trabajo
Los métodos matching son métodos no experimentales de evaluación en los que se trata de reproducir las condiciones de un análisis experimental. Los parámetros objeto de interés pueden ser varios. Uno de los más interesantes es el efecto medio del tratamiento (average treatment effect, ATE), efecto derivado de seleccionar aleatoriamente una persona con determinadas características y cambiarla del estado 0 al estado 1, es decir, E (Y1 − Y0 X ) = E (∆ X ) . Sin embargo, en muchos casos se estima el efecto medio del tratamiento sobre los tratados (average treatment on the treated effect, ATT)6:
6
Si la respuesta al tratamiento es la misma para todos los individuos, ambos parámetros son iguales. Sin embargo, lo más habitual es suponer que las personas responden de manera diferente ante la participación en una determinada medida, por lo que los parámetros estimados tendrán un valor diferente (Blundell y Costa Dias, 2002). Cuando la respuesta al tratamiento es diferente en función de los individuos que participan en el programa evaluado, la selección de los participantes es relevante en la interpretación de los resultados. El parámetro que obtenemos mide el efecto de la participación sobre los participantes y este efecto no es extrapolable a toda la población, sino solamente a aquellas personas que pueden ser elegidas para entrar a formar parte del programa. Por tanto, en el análisis de las políticas y en las posibles recomendaciones que se realicen debe tenerse en cuenta esta condición.
14
E (Y1 − Y0 X , D = 1) = E (∆ X , D = 1) ,
donde D es una variable dummy que indica la participación en el programa (1) o no (0). Este parámetro mide la ganancia media para las personas que eligieron participar en un programa respecto de la situación que habrían experimentado sin participar. En el cálculo del efecto medio del tratamiento sobre los tratados, el resultado para las personas que participaron en el programa, E (Y1 X , D = 1) , es conocido; pero para poder calcular el efecto del tratamiento sobre los tratados también es necesario saber cuál habría sido el resultado si no hubieran participado, E (Y0 X , D = 1) . Para ello se precisa construir el contrafactual, es decir, tener un grupo de comparación o de control adecuado, a partir del cual estimar el resultado sin participación. Como ya se ha mencionado, los avances en las técnicas econométricas registrados en los últimos años han permitido el uso de nuevos métodos y modelos que proporcionan diferentes alternativas para construir el contrafactual, eliminando o, al menos, minimizando el sesgo de selección. Este problema aparece porque el grupo de tratamiento y el grupo de control no son exactamente comparables y, por tanto, las diferencias en los resultados pueden deberse a las diferentes características de unos y otros. El objetivo es estimar el efecto medio del tratamiento sobre los tratados, ATT= E [Y1 − Y0 D = 1], sin embargo, la comparación entre el grupo de participantes y el grupo de control permite obtener: E [Y D = 1] − E [Y D = 0] = E [Y1 D = 1] − E [Y0 D = 0] = E [Y1 − Y0 D = 1] + {E [Y0 D = 1] − E [Y0 D = 0] }
Es decir, se obtiene el efecto medio del tratamiento más un sesgo de selección derivado de las diferentes características de participantes y no participantes. Si reformulamos el problema de la evaluación para tener en cuenta las variables X –independientes de la participación en el programa evaluado, D–, tenemos que el resultado para los participantes es E (Y1 D = 1, X ) y ante la imposibilidad de conocer E (Y0 D = 1, X ) , se aproxima por la expresión E (Y0 D = 0, X ) . El sesgo de selección
derivado de asumir esta aproximación es: B ( X ) = E (Y0 D = 1, X ) − E (Y0 D = 0, X )
El objetivo del método matching es restablecer las condiciones de un experimento construyendo un grupo de comparación adecuado al grupo de tratamiento, siendo ambos grupos lo más similares posible en términos de sus características observables. Este método puede ser utilizado tanto con datos de corte transversal como longitudinales, pero siempre que los datos utilizados proporcionen información detallada sobre la situación de los individuos antes de la participación en el programa evaluado. La hipótesis básica es que el sesgo de selección se elimina si se condiciona en las variables observables X (Heckman et al., 1998a). Por tanto, el resultado de la participación en un programa de empleo es el mismo para participantes y no participantes, una vez que se ha controlado por dichas variables observables:
15
Pr( D = 1Y0 , Y1 , X ) = Pr( D = 1 X ) , es decir, (Y0 , Y1 ) ⊥ D X .
El sesgo de selección se deriva de las diferencias entre los individuos del grupo de tratamiento y del grupo de control y puede clasificarse en tres tipos:
Sesgo derivado de comparar individuos no comparables, es decir, con diferentes características observables,
Sesgo derivado de una diferente distribución de las características observables en los dos grupos, y
Sesgo derivado de características no observables.
El matching trata de reducir estos sesgos de la siguiente forma: ¾ Se comparan individuos comparables, para lo que se restringe la comparación a la denominada región común (common support), ¾ Para tener en cuenta la diferente distribución de las características observables en el grupo de tratamiento y el grupo de control, se pondera cada individuo de manera que los dos grupos tengan la misma distribución de variables, y ¾ Para reducir el sesgo basado en variables inobservables, los datos de los que se disponga deben ser lo más completos que se pueda. En este sentido, como señala Smith (2000), “mejores datos ayudan mucho”.
De forma muy sencilla se puede decir que el método matching consiste en hacer pares (matches) de unidades del grupo de tratamiento y el grupo de control que tengan las mismas características, de forma que se asigne a cada observación del grupo de tratamiento el resultado de una observación con las mismas características pero que pertenece al grupo de control. El efecto medio del tratamiento sobre los tratados se estima como la media de las diferencias entre los resultados de las observaciones del grupo de tratamiento y del grupo de control de los pares realizados. En la práctica, una de las decisiones que se debe tomar al aplicar este método es el número de unidades con las que se realiza cada par, es decir, si se permite reemplazamiento o no. Si no se permite, cada unidad del grupo del grupo de control se utiliza sólo una vez mientras que si se lleva a cabo el matching con reemplazamiento cada unidad del grupo de control puede actuar como pareja de varias unidades del grupo de tratamiento. La decisión de permitir el reemplazamiento o no es importante puesto que determina las propiedades de los estimadores. Abadie e Imbens (2002, 2004) señalan que el matching con reemplazamiento permite reducir los sesgos y mejora la calidad de los pares realizados, ya que aumenta el número de pares posibles7. Estos autores indican que si las variables X incluidas en el matching son continuas el sesgo aumenta por lo que han desarrollado un estimador que corrige dicho sesgo. En este estimador corregido
7
El matching sin reemplazamiento dificulta la realización de empates o pares exactos (con el mismo valor de todas las variables X) puesto que una unidad del grupo de control puede ser el mejor par para varias unidades del grupo de tratamiento. Esto lleva a aumentar el número de pares inexactos y, por tanto, a aumentar el sesgo.
16
la diferencia dentro de cada par se ajusta con una regresión de la diferencia en los valores de las variables X8. 5.1.1. Propensity Score Matching
El método matching puede ser difícil de llevar a cabo si se condiciona en muchas variables (implicaría encontrar pareja para todos los participantes entre los no participantes con las mismas características –sexo, edad, nivel de estudios, experiencia laboral, tiempo en desempleo, etc.). Para evitar este problema derivado de la dimensionalidad, Rosenbaum y Rubin (1983) propusieron condicionar en el propensity score (puntuación de asignación), demostrando que si (Y0 , Y1 ) ⊥ D X y 0< P(X) chi2 0,0217 0,0003 * significatividad al 10%. ** significatividad al 5%; *** significatividad al 1%.
30
351 41,61 -163,861 0,0047
Cuadro 5.4. Formación ocupacional: estimación del propensity score (probit) (continuación)
Sexo (hombre) Edad Hasta 25 De 26 a 30 De 31 a 35 Ref: más de 35 Nivel de estudios Ciclos formativos Estudios medios Diplomados Licenciados Ref: básicos Experiencia laboral (sí) Cursaba estudios (sí) Exceso de demanda Número de solicitudes Centro: Centro 1 Centro 2 Centro 3 Centro 4 Ref: Otros Familia profesional: Gestión de empresas Informática básica Informática aplicada Soldadura Industria y construcción Ref: otros servicios
D
E
F
participantes vs. aceptados no participantes
participantes “titulados” vs. no aceptados no formados
participantes “titulados” vs. no aceptados formados
coef 0,422**
Err st 0,190
coef 0,043
Err st 0,202
coef 0,334*
Err st 0,202
-0,561* -0,480* -0,301
0,302 0,282 0,328
0,580* 0,680** 0,217
0,315 0,295 0,311
-0,009 -0,080 -0,131
0,341 0,313 0,354
0,355 -0,098 -0,002 0,007
0,260 0,260 0,284 0,293
0,335 0,544* 0,164 0,290
0,281 0,308 0,323 0,331
-0,083 -0,530 -0,585 -0,686
0,403 0,399 0,420 0,417
-0,253 -0,168 -0,017** 0,227*
0,172 0,175 0,008 0,119
0,278 0,288 -0,009 0,340**
0,192 0,219 0,009 0,143
0,286 0,109 -0,018** 0,389**
0,206 0,225 0,009 0,151
-1,349*** -1,192*** -1,211*** -0,039
0,299 0,316 0,326 0,467
-0,972*** -1,080*** -0,120 -0,746**
0,297 0,350 0,449 0,342
-0,637* -0,613** -0,179 -0,101
0,281 0,307 0,344 0,407
0,745** 1,209*** 0,615 2,096* 0,767*
0,345 0,449 0,465 1,143 0,423
0,019 0,350 -0,257 0,713 -0,167
0,380 0,479 0,505 1,208 0,405
0,382 0,543 0,315 2,315* -0,249
0,381 0,471 0,505 1,257 0,410
n 383 313 303 LR chi2(20) 70,22 44,98 38,79 Log likelihood -193,63 -152,133 -140,686 Prob > chi2 0,0000 0,0017 0,0104 * significatividad al 10%. ** significatividad al 5%; *** significatividad al 1%.
Los programas utilizados permiten estimar el efecto medio del tratamiento con varios métodos. Para simplificar la exposición de los resultados, y teniendo en cuenta que las estimaciones obtenidas son similares, se presentan únicamente las de uno de los métodos utilizados (Cuadro 5.5). Las cifras permiten realizar consideraciones similares a las ya expresadas previamente a partir del matching calculado con el programa de Abadie et al. Así, los resultados son similares tanto en la magnitud de los efectos estimados como en su significatividad. Ello nos sirve para confirmar las conclusiones obtenidas respecto a la utilidad de la formación evaluada para favorecer la inserción laboral de los
31
desempleados. Únicamente en el caso F se obtiene un resultado positivo y significativo de mayor magnitud. No obstante, debemos tener en cuenta que el tamaño del grupo de control es pequeño y puede haber mayores variaciones, por lo que los resultados deberían tomarse con cautela. Cuadro 5.5. Formación ocupacional: efecto medio del tratamiento sobre los tratados (propensity score matching, método Kernel)
Acceso al empleo
Ocupación
Tiempo trabajado
A
B
C
D
E
F
aceptados vs. no aceptados
participantes vs. no aceptados
participantes vs. no aceptados no formados
participantes vs. aceptados no participantes
participantes “titulados” vs. no aceptados no formados
participantes “titulados” vs. no aceptados formados
0,101**
0,130**
-0,011
-0,067
-0,006
0,222***
(0,054)
(0,064)
(0,075)
(0,059)
(0,081)
(0,084)
0,078*
0,069
-0,039
-0,161**
-0,037
0,124
(0,056)
(0,064)
(0,081)
(0,070)
(0,096)
(0,088)
1,31**
1,21**
-0,27
-0,61
-0,27
2,01**
(0,630)
(0,696)
(0,988)
(0,824)
(1,060)
(0,811)
Error estándar entre paréntesis. * significatividad al 10%. ** significatividad al 5%; *** significatividad al 1%.
Para finalizar se puede indicar que, a partir de las estimaciones en las que también se incluye como variable explicativa tener unos ingresos inferiores a 150 euros mensuales antes de iniciar el curso, se pueden obtener resultados similares a los explicados previamente. Así, el efecto de la intención de tratar y del tratamiento (casos A y B) también son positivos y significativos. Podemos indicar que, en general, la magnitud de los efectos es mayor a la obtenida en las estimaciones sin la variable ingresos, aunque también aumentan los errores estándar. En el caso C se observa que el coeficiente no es significativo pero hay un cambio en el signo del coeficiente que pasa a tomar un valor negativo. Es decir, el efecto de la participación sería negativo si comparamos los participantes con los solicitantes no aceptados que no se han formado. No obstante, este resultado debe tomarse con cautela puesto que es necesario recordar que, debido a la no respuesta, se pierde el 12,4% de las observaciones y, concretamente, en este grupo de control el tamaño se reduce a la mitad. En los casos D y E las estimaciones son similares a las ya explicadas. Respecto al caso F, se obtienen resultados positivos y significativos, lo que parece indicar que la formación evaluada es más válida para la inserción laboral que otras alternativas formativas o que las personas excluidas tienen menores probabilidades de inserción.
32
6. Recapitulación La formación es la política activa de empleo que ha experimentado un mayor crecimiento en los últimos veinte años. Tanto la formación ocupacional como la formación continua generan opiniones favorables entre los agentes sociales y en la opinión pública presuponiendo, en ocasiones, efectos más favorables que los que realmente se consiguen. En este trabajo se lleva a cabo la evaluación de un programa regional de formación para desempleados, caracterizado por la gestión descentralizada, el acceso gratuito y el carácter voluntario. Los dos últimos rasgos sumados a la situación del mercado laboral en 1999 (año de referencia para el análisis), caracterizada por altas tasas de paro, dieron lugar a un exceso de demanda de formación, que ha permitido construir un grupo de control a partir del cual estimar el efecto medio del tratamiento sobre los tratados, esto es, estudiar qué efecto tiene la formación sobre los participantes. Construir el grupo de control a partir de un grupo de solicitantes no aceptados presenta ventajas respecto a otras alternativas, puesto que, además de cumplir las condiciones de Heckman et al. (1998b), permite que el sesgo de selección derivado de variables inobservables sea reducido (todos los solicitantes han manifestado su deseo de formarse). Además, la disponibilidad de datos muy ricos sobre la trayectoria de los solicitantes en relación a la participación en las acciones formativas nos permite saber que entre los aceptados hubo personas que no participaron (un 28,8%) y entre los participantes algunos no terminaron (13,5%). Asimismo, entre los no aceptados un 45,4% se formó por otras vías. Con esta información hemos utilizado el matching y el propensity score matching para llevar a cabo varias estimaciones considerando distintos grupos de tratamiento y de control, obteniendo de esta forma resultados completos sobre la eficacia del programa de formación evaluado. Así, podemos concluir que el efecto de la intención de tratar y el efecto del tratamiento son positivos, es decir, la formación contribuye a aumentar las posibilidades de acceder a un empleo de los participantes. Sin embargo, al tener en cuenta el hecho de que hay solicitantes aceptados en la formación que la abandonan antes de empezar o antes de acabar y solicitantes no aceptados que se forman por otras vías, la eficacia se reduce e incluso el efecto llega a ser negativo, señalando la posibilidad de efecto bloqueo y de efecto creaming. Es decir, algunos participantes reducen su esfuerzo de búsqueda de empleo durante la participación en las acciones formativas y, por otra parte, la selección de los participantes refleja que los centros tienden a elegir a las personas con mayores probabilidades de encontrar empleo.
33
Referencias ABADIE, A., DRUKKER, D, LEBER HERR, J. E IMBENS, G.W. (2004): “Implementing matching estimators for average treatment effects in Stata.” The Stata Journal, vol. 4, nº 3, pp. 290-311. ABADIE, A., E IMBENS, G.W. (2002): “Simple and bias-corrected matching estimators for average treatment effects.” Technical report, Department of Economics, University of California, Berkeley. http://emlab.berkeley.edu/users/imbens/ –––– (2004): “Large sample properties of matching estimators for average treatment effects.” Technical report, Department of Economics, University of California, Berkeley. http://emlab.berkeley.edu/users/imbens/ ARELLANO, A. (2005): “Do training programmes get the unemployed back to work?: A look at the Spanish experience.” Working Paper 05-25, Economic Series 05, Abril, Universidad Carlos III de Madrid. BECKER, S.O. E ICHINO, A. (2002): “Estimation of average treatment effects based on propensity scores.” The Stata Journal, vol. 2, nº 4, pp. 358-377. BELL, S.H., ORR, L.L., BLOMQUIST, J.D. Y CAIN, G.G. (1995): Program applicants as a comparison group in evaluating training programs. W.E. Upjohn Institute for Employment Research, Kalamazoo, Michigan. BJÖRKLUND, A. Y REGNÉR, H. (1996): “Experimental evaluation of European labour market policy” en SCHMID, G., O’REILLY, J. Y SCHÖMANN, K. (eds.): International Handbook of Labour Market Policy and Evaluation. Cheltenham, Edward Elgar, pp. 89-114. BLUNDELL, R. Y COSTA DIAS, M. (2002): “Alternative approaches to evaluation in empirical microeconomics.” Centre for Microdata Methods and Practice, working paper CWP10/02 . BLUNDELL, R., DEARDEN, L. Y SIANESI, B. (2003): “Evaluating the impact of education on earnings in the UK: models, methods and results from the NCDS.” Institute for Fiscal Studies, working paper WP03/20. DEHEJIA, R.H. (2005): “Practical propensity score matching: a reply to Smith and Todd.” Journal of Econometrics, vol. 125, nº 1-2, pp. 355-364. DEHEJIA, R.H. Y WAHBA, S. (2002): “Propensity score matching methods for nonexperimental causal studies.” The Review of Economics and Statistics, vol. 84, nº 1, pp. 151-161. FALK, A., LALIVE, R. Y ZWEIMÜLLER, J. (2005): “The success of job applications: a new approach to program evaluation.” Labour economics (en prensa). FAY, R.G. (1996): “Enhancing the effectiveness of active labour market policies: evidence from programme evaluations in OECD countries.” Labour Market and Social Policy, Occasional papers, nº 18. OECD. París. HECKMAN, J.J., ICHIMURA, H. Y TODD, P. (1997): “Matching as an econometric evaluation estimator: evidence from evaluating a job training programme.” Review of Economic Studies, vol. 64, nº 4, pp. 605-654.
34
–––– (1998a): “Matching as an econometric evaluation estimator.” Review of Economic Studies, vol. 65, nº 2, pp. 261-294. HECKMAN, J.J., ICHIMURA, H., SMITH, J. Y TODD, P. (1998b): “Characterizing selection bias using experimental data.” Econometrica, vol. 66, nº 5, pp. 1.017-1.098. HUJER, R., THOMSEN, S.L. Y ZEISS, C. (2004): “The effects of vocational training programmes on the duration of unemployment in Eastern Germany.” IZA Discussion Paper, nº 1117. ICHINO, A., MEALLI, F. Y NANNICINI, T. (2005): “Sensitivity of matching estimators to unconfoundedness. An application to the effect of temporary work on future employment.” http://www.iue.it/Personal/Ichino/newspring24.pdf IMBENS, G.W. (2004): “Nonparametric estimation of average treatment effects under exogeneity: a review.” The Review of Economics and Statistics, vol. 86, nº 1, pp. 4-29. LALONDE, R.J. (1986): “Evaluating the econometric evaluations of training programs with experimental data.” American Economic Review, vol. 76, nº 4, pp. 604620. LEUVEN, E. Y SIANESI, B. (2003): “PSMATCH2: Stata module to perform full Mahalanobis and propensity score matching, common support graphing, and covariate imbalance testing.” http://ideas.repec.org/c/boc/bocode/ s432001.html MALO, M.A. (2003): “Javier Mato. La formación para el empleo: una evaluación cuasi-experimental”, Recensión en Revista de Economía Aplicada, nº 32, vol. XI, pp. 135-142. MARTIN, J.P. (2000): “What works among active labour market policies: evidence from OECD countries’ experiences.” OECD Economic Studies, nº 30, pp. 79113. MATO, F.J. (2002): La formación para el empleo: una evaluación cuasiexperimental. Madrid, Consejería de Trabajo y Promoción de Empleo del Principado de Asturias y Civitas Ediciones. RAAUM, O. Y TORP, H. (2002): “Labour market training in Norway – effect on earnings.” Labour Economics, vol. 9, nº 2, pp. 207-247. REGNÉR, H. (2002): “A nonexperimental evaluation of training programs for the unemployed in Sweden.” Labour Economics, vol. 9, nº 2, pp. 187-206. RICHARDSON, K. Y VAN DER BERG, G.J. (2001): “The effect of vocational employment training on the individual transition rate form unemployment to work.” Swedish Economic Policy Review, vol. 8, nº 2, pp. 175-213. ROSENBAUM, P.R. Y RUBIN, D.B. (1983): “The central role of the propensity score in observational studies for causal effects.” Biometrika, vol. 70, nº 1, pp. 41-55. ROSHOLM, M. Y SKIPPER, L. (2003): “Is labour market training a curse for the unemployed? Evidence from a social experiment.” IZA Discussion Paper, nº 716.
35
SMITH, J. (2000): “A critical survey of empirical methods for evaluating active labour market policies.” Swiss Journal for Economics and Statistics, vol. 136 nº 3, pp. 1-22. SMITH, J. Y TODD, P. (2005a): “Does matching overcome LaLonde’s critique of nonexperimental estimators?” Journal of Econometrics, vol. 125, nº 1-2, pp. 305-353. –––– (2005b): “Rejoinder.” Journal of Econometrics, vol. 125, nº 1-2, pp. 365-375.
36