Hacienda Pública Española / Review of Public Economics, 212-(1/2015): 67-96 © 2015, Instituto de Estudios Fiscales DOI: 10.7866/HPE-RPE 15.1.3

¿Son las TIC un factor clave en la adquisición de competencias? Un análisis con evaluaciones por ordenador* ** MauRO MEDIavIlla Universitat de València & IEB JOsEP-ORIOl EscaRDíbul Universitat de Barcelona & IEB Recibido: Junio 2014 Aceptado: Noviembre 2014 Resumen Este artículo analiza los efectos de la tenencia y uso de las tecnologías de la información y la comuni­ cación (TIc) en la adquisición de competencias (evaluadas por ordenador en la prueba de PIsa de 2012). los principales resultados son los siguientes. En primer lugar, se constata que las variables TIc inciden en mayor medida en la adquisición de matemáticas que en el resto de competencias evaluadas (comprensión lectora y ciencias). En segundo lugar, resulta relevante la variable TIc utilizada, ya que no todas inciden del mismo modo. Finalmente, existen algunos resultados dispares por género. Palabras clave: Evaluación por ordenador, Género, PIsa 2012, TIc. Clasificación JEL: I21, I28.

1. Introducción a partir del denominado “Informe coleman” (coleman et al., 1966) los economistas han estudiado qué factores que inciden en la calidad de la educación, definida en función del logro educativo (principalmente la obtención de buenos resultados en pruebas de conoci­ mientos o de competencias), mediante el uso de una función de producción educativa (véase Hanushek, 1979), en la que unos inputs (recursos materiales y humanos) generan un output (el rendimiento de los estudiantes). como se expone en el siguiente apartado, las Tecnologías de la Información y la comunicación (TIc) constituyen uno de los elementos recientemente incluidos en el estudio de dicha función, a partir de su aparición en las escuelas y hogares de *

Queremos reconocer la colaboración recibida de todos los miembros del Instituto Nacional de Evaluación Edu­ cativa (del MEcD), en especial, de Ismael sanz labrador, Ruth Martín Escanilla, Francisco García crespo y luis sanz san Miguel. asimismo, queremos agradecer los comentarios de los dos revisores de la revista que nos han permitido mejorar la primera versión del trabajo. Todos los errores u omisiones son responsabilidad de los autores. ** los autores agradecen la financiación recibida del proyecto “Identificación de políticas educativas eficaces en la mejora de la calidad educativa” (EDu2013-42480-R), en el marco del Programa estatal de investigación, desarrollo e innovación orientada a los retos de la sociedad del Ministerio de Economía y competitividad.

68

mauro mediavilla y josep-oriol escardíbul

los estudiantes en muchos países, así como el impulso, por parte de los gobiernos, de pro­ gramas de implantación de dichas tecnologías en los centros escolares para mejorar la adqui­ sición de competencias y el rendimiento escolar de los estudiantes. En este sentido, y en el contexto español, durante estos últimos años se ha implementado el Plan de cultura Digital en la Escuela, a iniciativa del Ministerio de Educación, cultura y Deporte (MEcD) y con acuerdo de las comunidades autónomas (cc.aa.) que se comple­ menta con los propios programas de los diferentes entes autonómicos (por ejemplo, los por­ tales averroes y Educastur en andalucía y asturias, los proyectos Medusa y siega, en cana­ rias y Galicia; los programas althia y Xtec, en castilla-la Mancha y cataluña o el plan Educamadrid en la comunidad de Madrid). los objetivos del plan se basan en la conectividad de los centros escolares, el establecimiento de estándares en el ámbito de las TIc educativas, el diseño de un repositorio común de contenidos educativos y el desarrollo de las competen­ cias digitales del profesorado. En este sentido, el Instituto Nacional de Tecnologías Educativas y de Formación del Profesorado, dependiente del MEcD colabora en la formación y el desa­ rrollo de la tecnología necesaria para permitir la inserción efectiva de las TIc en la educación. conviene resaltar la realidad social en que estas políticas públicas están inmersas. EuROsTaT (2014) muestra que en España, en el año 2013, el 70% de los hogares españoles contaba con acceso a Internet, 9 puntos porcentuales por debajo de la media de la uE-28. Tal guarismo está a una considerable distancia de otros países de nuestro entorno como Francia (82%), alemania (88%) y Reino unido (88%) y muestra amplias diferencias según el origen socioeconómico de las familias (INE, 2014). con respecto al uso de las TIc en las escuelas, para el curso 2012/2013, las cifras del MEcD (2014) indican que el 70,7% de los centros no universitarios tenían conexión a Inter­ net superior a 2Mb. asimismo, para el total de estos centros, un 50,8% de los ordenadores se ubicaban en las aulas de clase, seguido por un 25,9% en las aulas de informática. además, existía una media de 3,1 alumnos por ordenador destinado a tareas de enseñanza y aprendi­ zaje, con un valor inferior en el caso de la escuela pública (2,8) que en la privada (4,2). la evaluación de PIsa (Programme for International Student Assessment) analiza com­ petencias de alumnos de 15 años de edad (normalmente, en cuarto de EsO) en diversos ámbitos, tanto en pruebas en papel como por ordenador. En la edición de 2012 se evalúa en profundidad la competencia matemática. En el formato digital de evaluación, en la que han participado 19 países (16 de la OEcD), se ha analizado la adquisición de competencias en matemáticas, comprensión lectora y resolución de problemas. la información que se recoge en torno a las TIc se refiere a su tenencia y uso, por parte de los alumnos evaluados, tanto en los hogares como en los centros escolares. En consecuencia, dicha base de datos resulta ideal para el estudio que se presenta, que tiene como objetivo central conocer el impacto de las variables TIc en el rendimiento educativo (definido como adquisición de competencias en la evaluación de PIsa). Para ello se introducen diferentes variables relacionadas con las TIc que permiten constatar los efectos diferenciales de cada una de ellas. como objetivo secundario, dada la distinta actitud hacia las TIc y las diferencias en el uso (como se mues­ tra más adelante) se plantea realizar un análisis diferenciado por género, un ámbito novedo­ so en este tipo de investigaciones. El presente artículo realiza diversas aportaciones. En primer lugar, introduce muchas variables relacionadas con las TIc (y no sólo alguna como resulta habitual), de modo que

¿son las TIc un factor clave en la adquisición de competencias? un análisis con evaluaciones por ordenador

69

permite diferenciar los efectos de las TIc según el concepto analizado; en segundo lugar, considera una evaluación de competencias por ordenador, un ámbito apenas evaluado en nuestro país; finalmente, desarrolla un análisis discriminando por género para conocer si el efecto de las TIc en el rendimiento académico es diferenciado para chicos y chicas. No se trata de analizar el distinto acceso y/o aproximación a las TIc por género (véanse, por ejem­ plo, European commission, 2010 y selwyn y Facer, 2007), sino evaluar si existe un efecto diferenciado de dicha herramienta en el aprendizaje de los estudiantes. los principales resultados son los siguientes. En primer lugar, se constata que las varia­ bles TIc inciden en mayor medida en la adquisición de matemáticas que en el resto de competencias evaluadas. En segundo lugar, resulta relevante la variable TIc utilizada; así, se constata una incidencia positiva de los factores asociados a la posesión de TIc (en el hogar o en la escuela) en alguna competencia, pero negativa de las variables referidas a su uso y tiempo de uso de las mismas. En tercer lugar, las variables que recogen la relación de los estudiantes con las TIc sí resultan significativas: el disfrute del uso de ordenadores (como entretenimiento) y un pronto inicio en el uso de las TIc se relacionan positivamente con los resultados en las pruebas realizadas por ordenador. Finalmente, existen algunos resultados dispares por género (la edad de inicio en el uso de las TIc y el tiempo de uso de los ordena­ dores incide más en las mujeres). la estructura del artículo es la siguiente. En el siguiente apartado se revisan los princi­ pales estudios empíricos (internacionales y nacionales) sobre el impacto de las TIc en el rendimiento académico de los estudiantes. En el apartado 3 se presenta la muestra de datos y la metodología aplicada para desarrollar el estudio. En el apartado 4 se muestran los resul­ tados. Finalmente, se exponen las conclusiones.

2. El efecto de las TIC sobre el rendimiento educativo En este apartado se consideran, en primer lugar, estudios que analizan el efecto sobre el rendimiento de los estudiantes de políticas de implantación de las TIc en las escuelas; en segundo lugar, dicho efecto derivado de evaluaciones internacionales de competencias; en tercer lugar, se muestran análisis que tienen en cuenta las condiciones en que deben implan­ tarse las TIc en los centros; finalmente, se reflexiona en torno al efecto de evaluar compe­ tencias mediante papel u ordenador. los estudios que analizan los efectos de políticas concretas no muestran resultados con­ cluyentes. así, mientras que un grupo de autores señala que dicha tecnología incide positi­ vamente sobre dicho rendimiento, otro grupo muestra que no tiene efecto alguno (y en menor medida que incide de manera negativa). Del grupo de análisis que muestran efectos positivos de la inversión en TIc sobre el rendimiento escolar podemos destacar los siguientes: Machin et al. (2007) en Inglaterra, barrow et al. (2009) en Estados unidos y banerjee et al. (2007) en India. El estudio de Machin et al. (2007) muestra que, en alumnos de educación primaria, un incremento del gasto en TIc mejora los resultados en determinadas asignaturas (inglés y ciencias) pero no en matemáticas. asimismo, barrow et al. (2009) revelan el éxito de un programa informático para aprender matemáticas en varios distritos de los Ángeles, de modo que, en su estudio, los alumnos (seleccionados de manera aleatoria) asistidos por or­ denador obtuvieron mejores resultados que aquellos que siguieron métodos de enseñanza

70

mauro mediavilla y josep-oriol escardíbul

tradicional. Finalmente, banerjee et al. (2007) enfatizan el efecto positivo sobre el rendi­ miento escolar de alumnos, en escuelas urbanas en la India, de la utilización de un programa de aprendizaje de las matemáticas asistido por ordenador. un segundo grupo de estudios muestra mayoritariamente la inexistencia de impacto de las TIc sobre el rendimiento académico (y en menor medida resultados negativos). así, leuven et al. (2007) evalúan un programa de ayuda para comprar ordenadores y programas informáticos en escuelas desaventajadas de educación primaria en los Países bajos y no constatan efecto alguno sobre los resultados de los estudiantes en lenguaje y matemáticas. Por su parte, Goolsbee y Guryan (2006) analizan los subsidios a los distritos escolares para que las escuelas inviertan en Internet y comunicaciones en Estados unidos y observan que dicha inversión no tiene impacto alguno significativo en ninguna medida analizada relacio­ nada con el logro académico. Tampoco Rouse y Krueger (2004), en su evaluación de los efectos de un programa educativo informático sobre el conocimiento del lenguaje y la lectu­ ra, encuentran resultados satisfactorios para el conjunto del alumnado ni para aquellos con dificultades de aprendizaje. En colombia, barrera-Osorio y linden (2009) revelan que el programa de introducción de ordenadores en escuelas no ha mejorado el rendimiento en matemáticas y lenguaje de los alumnos, si bien la falta de éxito se asocia al propio uso de los ordenadores, que se dedicaron más a enseñar a los alumnos a utilizarlos que a la propia en­ señanza de materias. Finalmente, en la evaluación de un programa de dotación de recursos para adquirir ordenadores en escuelas que imparten educación primaria o secundaria en Is­ rael, angrist y lavy (2002) concluyen que dichos recursos no inciden en los resultados de los alumnos en matemáticas en secundaria, e incluso que el efecto resulta negativo en los resultados de los estudiantes de primaria. En el ámbito español no se constatan estudios de evaluaciones de políticas públicas re­ lacionadas con la implantación de las TIc en los centros escolares. sin embargo, tanto Gó­ mez-crespo (1994) como cañizares (2005) muestran algunas experiencias existentes en es­ cuelas de educación secundaria y destacan que la implantación de ordenadores mejora la motivación del alumnado y su autonomía en el proceso de aprendizaje. como se ha indicado anteriormente, otro tipo de investigaciones relacionan la presencia de recursos TIc en los centros escolares y su uso sobre los resultados de las evaluaciones internacionales de adquisición de competencias (PIsa principalmente). los resultados tam­ bién son dispares. así, con datos de PIsa 2000, Fuchs y Woessman (2004) muestran que el uso de ordenador no tiene un impacto en el rendimiento de los alumnos. sin embargo, en la evaluación de 2006, spiezia (2010) señala que existe un efecto positivo y significativo del uso de ordenadores en la escuela en el rendimiento en ciencias de los estudiantes y, asimismo, que dicho efecto es mayor en los alumnos con un nivel socioeconómico mayor. ahora bien, inci­ de más el uso de ordenadores si éste se produce en casa que en el centro escolar. En cuanto a los estudios españoles, con datos que provienen de las evaluaciones internacionales de com­ petencias de los estudiantes, calero y Escardíbul (2007) y cordero et al. (2012), con muestras de distintas evaluaciones de PIsa, señalan la no incidencia de la ratio ordenadores por alum­ no en el rendimiento académico. asimismo, choi y calero (2013) apuntan la existencia de un efecto negativo. sin embargo, el reciente análisis de cabras y Tena (2013), con datos de PIsa 2012, muestra cierta evidencia del efecto positivo del uso de ordenadores sobre la adquisición de competencias matemáticas de los alumnos. En su estudio, dicha incidencia resulta signifi­ cativamente mayor en estudiantes de grupos socioeconómicos más desfavorecidos. Finalmen­ te, en su análisis de la evaluación de distintas competencias llevada a cabo por la comunidad

¿son las TIc un factor clave en la adquisición de competencias? un análisis con evaluaciones por ordenador

71

de Madrid, entre 2006 y 2009, anghel y cabrales (2014) concluyen que la variable asociada a las TIc no es significativa para explicar los resultados de los estudiantes. En resumen, las investigaciones presentan resultados dispares, si bien en el caso español apenas se constata evidencia empírica sobre el efecto positivo de las TIc en la escuela en el rendimiento de los estudiantes. al respecto, resulta relevante destacar que los estudios suelen considerar una sola variable asociada a dicho tipo de tecnología. un tercer grupo de estudios consideran que la integración de los ordenadores en los sistemas de enseñanza es un proceso complejo y que excede la mera acumulación de tecno­ logía en los centros escolares (cuban, 2001; Ringstaff y Kelley, 2002; area, 2005; entre otros). un aspecto singular lo incorpora el trabajo de Inan y lowther (2010) al demostrar la relación directa entre las capacidades del docente y su confianza en los beneficios de la in­ troducción de las TIc con la integración de las mismas en su plan pedagógico. al respecto, los meta-análisis de estudios sobre políticas y programas educativos que utilizan las TIc en el aprendizaje muestran que es determinante el diseño y puesta en práctica de las políticas desarrolladas ya que las intervenciones mediante TIc no son homogéneas sino que represen­ tan una variedad de modalidades, herramientas y estrategias de aprendizaje (Tamim et al., 2011). En este ámbito, blok et al. (2002) señalan la eficacia de los programas de instrucción asistida por ordenador para aprender a leer en edades tempranas. En el caso español, existen algunas experiencias con respecto a la implantación de las TIc en las escuelas. así, a partir de una encuesta a gran escala de centros docentes de edu­ cación primaria y secundaria obligatoria, sigalés et al. (2008) concluyen que, si bien el personal docente está altamente familiarizado con las TIc y las utilizan frecuentemente en sus actividades cotidianas, menos de la mitad del profesorado cree que sus competencias docentes con las TIc le permiten aprovechar en alto grado el potencial educativo de estas tecnologías. El resultado más llamativo, sin duda, es que una gran parte de la comunidad escolar no cree que la utilización de las TIc como herramientas para el estudio y el aprendi­ zaje mejore los resultados escolares, siendo los más escépticos los propios alumnos (un as­ pecto también señalado por sancho et al., 2008). asimismo, area (2010) realiza un estudio de casos de cuatro centros educativos en canarias que aplican el Proyecto Medusa, destina­ do a dotar de tecnologías digitales a todas las escuelas, y concluye que las TIc han compor­ tado cambios organizativos pero no necesariamente una innovación pedagógica en las prác­ ticas docentes. De hecho, area (2005) ya indica las condiciones básicas para implantar una política educativa destinada a la incorporación masiva de las TIc en las escuelas, referidas a aspectos organizativos y de recursos (personales y materiales) en los centros, así como a la existencia de un clima y cultura organizativa favorable a la innovación. En esta línea, Do­ mingo y Marqués (2013) evalúan una experiencia realizada en diez centros educativos de primaria y secundaria en España, que contemplaba una formación inicial (tecnológica y pedagógica) de los docentes, su experimentación en el aula y posteriores reuniones donde se socializan las buenas prácticas. la mayoría del profesorado y alumnado involucrado consi­ deraron que las TIc mejoraron los procesos de aprendizaje e incrementaron la motivación de los estudiantes. Finalmente, santiago et al. (2014) presentan los resultados de una investiga­ ción centrada en el análisis del Programa Escuela 2.0 en los centros educativos de la Rioja donde queda clara la necesidad formativa expresada por el profesorado investigado con re­ lación a los aspectos pedagógicos de las TIc.

72

mauro mediavilla y josep-oriol escardíbul

Por último, un elemento a tener en cuenta es la posible variación en los resultados obte­ nidos de las evaluaciones debido a la herramienta utilizada para su resolución. En este sen­ tido, existen evidencias sobre qué método de evaluación resulta más adecuado. así, mientras que butters y Walstad (2011) encuentran que los estudiantes tienen un mejor rendimiento con la prueba en ordenador que con una prueba de igual dificultad en papel, bennett et al. (2008) y Jeong (2014) muestran una diferencia mínima, pero significativa, a favor del papel en Estados unidos y corea del sur. asimismo, en su amplia revisión de la literatura para el período 1997-2007, Kingston (2009) concluye que el modo de administración de la prueba (papel u ordenador) no afecta de manera sensible el rendimiento de los estudiantes para los diferentes grados analizados para Estados unidos. Finalmente, Mason et al. (2001) conclu­ yen que si las condiciones de la prueba son equivalentes (entre ordenador y papel) no hay diferencias entre las puntuaciones obtenidas por los examinados.

3. Datos y metodología la evaluación de PIsa 2012 para España contiene información respecto a las caracte­ rísticas socioeconómicas, demográficas y cognitivas de un total de 25.313 estudiantes. la característica especial de este año fue la inclusión de pruebas que debieron realizarse con el apoyo de un soporte informático, denominado con las siglas cba (Computer-Based As­ sessment), que se añaden a las tradicionales evaluaciones con lápiz y papel (véase una deta­ llada descripción en Marcenaro, 2014). De los 35 alumnos seleccionados en cada centro escolar para hacer la prueba en papel se eligió aleatoriamente una sub-muestra de 14 alum­ nos que harían la prueba en ambos formatos. Por tanto, la muestra final en el caso de la evaluación PIsa realizada con ordenador fue de 10.175 adolescentes (INEE, 2014a). uno de los objetivos fue centrar la evaluación de las estrategias y actitudes que demues­ tran los estudiantes de 15 años ante la resolución de problemas, destacando entre ellas el interés, la motivación extrínseca, la perseverancia y la facilidad para enfrentarse a los pro­ blemas que se presentan o pueden presentarse en la vida cotidiana (Méndez, 2014). Esta aptitud fue evaluada sólo mediante ordenador. asimismo, por este medio fueron administra­ das las pruebas de matemáticas y lectura (INEE, 2014a). 3.1. Estrategia econométrica En las evaluaciones de PIsa los datos relacionados con los alumnos están “anidados” a nivel de centro escolar, de modo que no pueden aplicarse técnicas de regresión lineal simple, ya que la elección de estudiantes es aleatoria, pero se efectúa una vez han sido seleccionadas las escuelas. Por tanto, la distribución global del alumnado no es aleatoria (cabe esperar un mayor nivel de semejanza entre los estudiantes del mismo centro). En este contexto, la es­ trategia econométrica adecuada es el uso de modelos jerárquicos (multinivel) en los que se distinguen dos categorías: alumnos (primer nivel) y escuelas (segundo nivel). asimismo, los resultados de la evaluación se obtienen utilizando la metodología denomi­ nada “Teoría de Respuesta al ítem” (TRI), que permite comparar los resultados obtenidos por cada alumno a pesar de que no todos los estudiantes responden las mismas preguntas. En concreto, en PIsa se proporcionan cinco valores plausibles como resultados de cada alumno

¿son las TIc un factor clave en la adquisición de competencias? un análisis con evaluaciones por ordenador

73

en cada ámbito de análisis. Ello conlleva que en el cálculo de estimadores deban utilizarse los cinco valores señalados de un determinado modo: se llevan a cabo los cálculos de los estadís­ ticos para cada valor plausible y, con posterioridad, se considera el promedio de los valores resultantes. En realidad, para el cálculo de los estadísticos se utilizan los cinco valores plau­ sibles y 80 réplicas que proporciona PIsa, que permiten obtener estimadores eficientes. las variables explicativas se refieren a estudiantes y escuelas. con respecto a los prime­ ros, los evaluados proporcionan información relacionada con aspectos personales y familia­ res. con referencia a los centros educativos, los directores informan sobre sus características (materiales y de personal), así como sobre los métodos de gestión de los centros y los pro­ cesos de enseñanza-aprendizaje. las variables explicativas son de tres tipos: cuantitativas, que provienen de las respuestas a los cuestionarios; índices que resultan de la transformación de una o más variables; e índices escalados, mediante la metodología TRI. una vez realiza­ das las consideraciones anteriores, el modelo de análisis multinivel que se estima en este estudio se expone en las ecuaciones (1) a (3): Yij = b0j +

n

eij ~ N(0,s2)

(1)

b0j = g00 + ∑ g0l Zlj + m0j

m0j ~ N(0,t0)

(2)

b1j = g10

m1j ~ N(0,t1)

(3)

∑

b1j Xkij + eij

k =1

l

donde Yij se refiere a los resultados esperados en matemáticas del estudiante “i” en la escuela “j”; Xkij es un conjunto de “k” características del estudiante “i” en la escuela “j” (variables explicativas del nivel 1) y Zlj es un vector de “l” características de la escuela “j” (variables del nivel 2). los efectos aleatorios son mj (a nivel de escuela) y eij, (a nivel de alumno). los parámetros esti­ mados se anotan como b. la ecuación (4), que permite presentar todo el modelo en una sola ecuación, se obtiene al introducir las ecuaciones (2) y (3) en (1). De este modo, se distingue una serie de efectos fijos (g00 + g10Xkij+ g01Zlj) de los efectos aleatorios o estocásticos (m0j+eij). Yij= ɣ00 + ɣ10 Xkij+ɣ0l Zlj +m0j +eij

(4)

asimismo, en el análisis empírico se aborda el problema de la falta de respuestas de los individuos en algunas variables (missings values). a este respecto, los valores perdidos se han estimado mediante el método de imputación por regresión recomendado por la OEcD (2008). ahora bien, el porcentaje de valores missing es reducido (no superior al 5% en la mayoría de variables utilizadas, alcanzando un máximo del 9,8%). Finalmente, todas las estimaciones se han realizado con el software HlM 6, que permite estimaciones que tienen en cuenta todos los elementos señalados con anterioridad y que pro­ porciona errores estándar de los coeficientes de la regresión robustos (Willms y smith, 2005). asimismo, las variables del estudio no presentan problemas de multicolinealidad (analizados mediante el método del factor de inflación de la varianza).

74

mauro mediavilla y josep-oriol escardíbul

3.2. Variables TIC utilizadas la mayoría de variables relacionadas con las TIc utilizadas en este análisis son un índi­ ce escalado mediante la “Teoría de Respuesta al ítem”, de modo que se transforman las va­ riables para que, en el conjunto de países de la OEcD tengan un valor promedio cero y desviación estándar igual a uno (véase OEcD, 2013). un mayor valor del índice muestra un mayor uso del recurso analizado o una mayor tenencia de elementos vinculados con el mismo. Dentro de este tipo de variables se definen las siguientes: actitud hacia los ordena­ dores; disponibilidad de TIc en el hogar; recursos TIc en el hogar; disponibilidad de TIc en la escuela; uso de TIc como entretenimiento; uso de TIc en el hogar para hacer tareas esco­ lares; uso de TIc en la escuela; uso de TIc en clases de matemáticas. asimismo, se definen como continuas (a partir de la información recogida en los cuestionarios sin transformar) las siguientes variables: edad de inicio en TIc; ratio ordenadores/número de estudiantes y tiem­ po de uso diario de ordenadores. En la tabla 1 se describen las características de los elementos TIc utilizados en el análisis empírico. Dichas variables pueden considerarse en tres grupos: las personales (que definen la relación de los alumnos con las TIc); variables de tenencia de elementos de tecnologías de la información y la comunicación; y, finalmente, las referidas al uso de las TIc. En el primer caso se considera tanto la actitud hacia los ordenadores (si para el estudiante son una herramienta para aprender en la escuela) como la edad de inicio en su uso. En el segundo, se tienen en cuenta la existencia y disponibilidad de TIc en el hogar, la disponibilidad en la escuela y la ratio de ordenadores respecto al número de estudiantes en el curso donde hay más estudiantes de 15 años. En este grupo debe señalarse que, tanto la variable que indica la disponibilidad de TIc en el hogar como aquella que define la existencia de recursos TIc en el mismo se incluyen en la regresión de manera separada, ya que en ambas se incorporan algunos factores repetidos. la disponibilidad en el hogar de TIc tiene en cuenta el acceso del alumno a los siguientes elementos: ordenador; por­ tátil; conexión a Internet; consola para juegos; móvil; reproductor de MP3-MP4 o similar; impresora y memoria usb. En cuanto a la existencia de recursos TIc, la misma tiene relación con la presencia en el hogar de ordenador, software educativo y conexión a In­ ternet. Finalmente, se agregan al estudio variables relacionadas con el uso de las TIc, ya sean como entretenimiento, para hacer tareas escolares en el hogar, uso en la escuela (y el caso particular de las clases de matemáticas), así como el tiempo de utilización de los ordenadores. En la tabla 2 se muestran los principales descriptivos para las variables TIc de la base de datos, así como las diferencias que existen para cada género. Teniendo en cuenta las va­ riables de actitud hacia las TIc y sobre su uso (las únicas variables que dependen de los propios alumnos) podemos comentar los siguientes resultados (donde las diferencias son significativas). los chicos valoran en mayor medida los ordenadores como herramienta de aprendizaje y emplean más las TIc como entretenimiento. las chicas utilizan más las TIc para realizar tareas escolares en el hogar y pasan un mayor número de horas delante del or­ denador. como se indicaba en la introducción, estos resultados han justificado en buena medida nuestra intención de conocer si existen efectos diferenciales del impacto de las TIc en el rendimiento educativo entre chicos y chicas.

¿son las TIc un factor clave en la adquisición de competencias? un análisis con evaluaciones por ordenador

75

Tabla 1

DEfInICIón DE laS VaRIablES TIC EmplEaDaS En El análISIS EmpíRICo

Variable

Definición

Variables personales relacionadas con las TIC actitud hacia los ordenadores: herramienta de aprendizaje (variable TRI)

Edad inicio en TIc (variable continua)

Grado de acuerdo (muy de acuerdo; de acuerdo; en desacuerdo; muy en desacuerdo) con las siguientes afirmaciones: el ordena­ dor es una herramienta muy útil para realizar las tareas escola­ res; los deberes con un ordenador son más divertidos; Internet es un gran recurso para obtener información que puedo utilizar en mis tareas escolares; es un problema usar el ordenador para el aprendizaje; como cualquiera puede subir información a Internet, en general éste no resulta adecuado para el trabajo escolar; la información obtenida a través de Internet es general­ mente demasiado poco fiable para ser usada en tareas escolares Edad en la que el alumno usó por primera vez un ordenador

Existencia de TIC Disponibilidad de TIc en el hogar (variable TRI)

Disponibilidad en el hogar para el uso del alumno de los si­ guientes elementos: ordenador; portátil; conexión a Internet; consola para juegos; móvil; reproductor de MP3-MP4 o simi­ lar; impresora; memoria usb Recursos TIc en el hogar En el hogar hay software educativo; existe conexión a Internet; (variable TRI) ordenadores (se debe indicar la cantidad) Disponibilidad de TIc en la escuela Disponibilidad en la escuela para el uso del alumno de los (variable TRI) siguientes elementos: ordenador; portátil; conexión a Internet; impresora; memoria usb Ratio ordenadores/número Número de ordenadores disponibles en la escuela para la edu­ de estudiantes (variable continua) cación respecto al número de estudiantes (en el curso modal nacional de 15 años de edad) Uso de las TIC uso de TIc como entretenimiento (variable TRI)

unión de diversas respuestas (nunca o casi nunca; una o dos veces al mes; una o dos veces a la semana; casi cada día; cada día) a las siguientes preguntas relacionadas con el uso de ordenadores para el entretenimiento: juegos (individuales o en grupo); uso del correo electrónico; chatear; participar en redes sociales; visionado de videos; leer noticias por Internet; obtener información práctica por Internet; subir contenidos propios para compartir

76

mauro mediavilla y josep-oriol escardíbul

Variable

Definición

uso de TIc en el hogar para hacer tareas escolares (variable TRI)

uso de TIc en la escuela (variable TRI)

uso de TIc en matemáticas (variable TRI) Tiempo de uso de ordenadores (variable continua)

Frecuencia (nunca o casi nunca; una o dos veces al mes; una o dos veces a la semana; casi cada día; cada día) en la que el alumno realiza las siguientes tareas escolares: navegar por Internet para trabajo escolar; usar el correo electrónico para comunicarse con compañeros o profesores; descargar o subir material a la página web de la escuela; revisar la web de la escuela para obtener información; hacer deberes en el ordena­ dor; compartir materiales escolares con alumnos Frecuencia de uso de un ordenador (nunca o casi nunca; una o dos veces al mes; una o dos veces a la semana; casi cada día; cada día) para realizar las siguientes actividades en la escuela: chatear; utilizar el correo electrónico; navegar por la red para realizar tareas escolares; descargar o subir materiales escolares de Internet; poner el trabajo en la página web de la escuela; hacer simulaciones; hacer ejercicios y prácticas (en lengua extranjera o matemáticas); hacer deberes en un ordenador de la escuela; usar los ordenadores de la escuela para trabajos en grupo y comunicarse con otros alumnos uso de TIc en clase de matemáticas Tiempo de uso de los ordenadores (en minutos en un día típico) Tabla 2

DESCRIpTIVoS DE laS VaRIablES TIC

Variable

media

Desviación típica

media chicos

media chicas

Diferencia chicoschicas

1,305

0,085

0,934

0,109

0,062

0,047**

Tamaño mínimo máximo muestral

actitud hacia los ordenadores: herra­ mienta de aprendizaje

9.181 -2,899

Edad inicio en TIc

9.644

5,000

16,000

7,755

2,357

7,647

7,862 -0,215**

Disponibilidad de TIc en el hogar

9.741 -4,018

2,783

0,172

0,869

0,235

0,109

Recursos TIc en el hogar

0,126**

10.038 -3,160

1,150 -0,009

0,812 -0,038

Disponibilidad de TIc en la escuela

9.691 -2,804

2,826 -0,092

0,969 -0,069 -0,116

0,047**

Ratio ordenadores/nú­ mero de estudiantes

9.928

8,000

0,720

0,533

0,724

0,717

0,007**

uso TIc como entretenimiento

9.518 -3,975

4,432 -0,025

0,810

0,089 -0,139

0,228**

0,039

0,021 -0,059**

¿son las TIc un factor clave en la adquisición de competencias? un análisis con evaluaciones por ordenador

Variable

Tamaño mínimo máximo muestral

media

Desviación típica

media chicos

media chicas

77 Diferencia chicoschicas

uso TIc en el hogar para hacer tareas escolares

9.388 -2,444

3,733

0,080

0,868

0,052

0,108 -0,056**

uso de TIc en la escuela

9.439 -1,610

4,109

0,278

0,868

0,307

0,251

0,056**

uso de TIc en matemáticas

9.211 -0,775

2,801

0,024

1,029

0,078 -0,030

0,108**

Tiempo de uso de los ordenadores

9.632

0,000 206,000 55,627

40,805 53,278 57,972 -4,696**

** Test de diferencia de medias significativo al 95%.

3.3. Resto de variables las variables de control utilizadas se refieren a las características de los alumnos y sus familias, así como a las escuelas (véase tabla a.1 del anexo). El primer tipo de información lo proporcionan los estudiantes, mientras que los datos referidos a las variables escolares provienen de la información dada por los directores de los centros educativos. las variables individuales son las siguientes: edad del alumno, si el estudiante es nativo o inmigrante (de primera o segunda generación), si ha cursado educación infantil más de un año (respecto a menos de un año o no haber cursado), si ha repetido curso (se distingue entre primaria, secun­ daria o ambas) y grado de absentismo escolar. las variables familiares comprenden los si­ guientes factores: índice de estatus ocupacional del padre y de la madre y si el hogar es mo­ noparental. los factores escolares incluidos en el análisis son: titularidad del centro (público, privado-concertado, privado-independiente), localización (tamaño del municipio en función del número de habitantes), autonomía en la administración del centro (se considera la fijación de salarios y aumentos salariales, establecimiento y distribución del presupuesto, gestión del centro y gestión curricular), porcentaje de alumnos inmigrantes, nivel educativo medio de los padres de los alumnos del centro, número de estudiantes por aula, número de alumnos por profesor, porcentaje de chicas en la escuela, tamaño escolar (número de estudiantes) y un índice de falta de profesorado en el centro. Finalmente, también se incluyen variables dum­ mies que indican la comunidad autónoma donde está localizado el centro escolar. En relación a esta variable conviene destacar que la propia limitación de la muestra impide un análisis robusto por comunidades, dado que la misma sólo es representativa para cataluña y el País vasco.

4. Resultados los resultados en las pruebas realizadas por ordenador, para las tres competencias eva­ luadas, muestran un mayor rendimiento en resolución de problemas (476,8 de media), segui­ do por el resultado en matemáticas (474,9) y comprensión lectora (466,2), en los tres casos

78

mauro mediavilla y josep-oriol escardíbul

los resultados son significativamente inferiores a la media de la OEcD (con valores de 500 en resolución de problemas y 497 en matemáticas y comprensión lectora, respectivamente). En cuanto a las diferencias por género, en resolución de problemas y matemáticas se obser­ va una mayor puntuación para los chicos (1,5 y 12,5 puntos respectivamente). En el caso de comprensión lectora son las chicas las que tienen un mayor rendimiento (26,9 puntos más en la evaluación de media) (INEE, 2014b). a continuación se presentan los resultados referidos a la incidencia de las variables re­ lacionadas con las TIc en la adquisición de las tres competencias evaluadas por ordenador en PIsa 2012: matemáticas (tabla 3), resolución de problemas (tabla 4) y comprensión lectora (tabla 5). En los tres casos se ha dividido la muestra según género. la tabla 6 resume los principales resultados referidos a las TIc. con respecto a la competencia matemática, las variables personales relacionadas con las TIc muestran que los resultados se ven incrementados, en el caso de las chicas, si éstas tienen una actitud positiva hacia los ordenadores como herramienta de trabajo y cuanto antes se hayan iniciado en el uso de ordenadores. En cuanto a los factores relacionados con la existencia de TIc resulta relevante la variable que se utiliza en su definición, tanto en el hogar como en la escuela. así, en el hogar sólo la variable que considera recursos informá­ ticos (definición reducida), más cercana a incluir instrumentos vinculados con el aprendiza­ je, aparece como positivamente significativa, tanto en chicos como en chicas. Para el caso de la escuela, la variable referida a la disponibilidad de recursos incide positivamente en el rendimiento de todos los estudiantes pero no la ratio ordenadores por alumno. las variables de uso de las TIc, en general, así como de tiempo de uso muestran unos resultados negativos sobre la adquisición de competencias, salvo para el caso del uso de ordenadores como entretenimiento. a nuestro entender, la interpretación de estos resulta­ dos es la siguiente: un mayor uso de las TIc como entretenimiento (proxy de su mayor dominio y disfrute) incrementa los resultados, en línea con el efecto positivo parcial de la actitud hacia los ordenadores, de modo que aquellos más familiarizados con los mismos, o que les gustan más este tipo de tecnologías obtienen mejores resultados. sin embargo, el signo negativo del mayor uso de las TIc en cuanto a las tareas escolares, en la escuela o en casa (en este caso sólo para los chicos) puede deberse a dos motivos. Por un lado, la existencia de causalidad inversa: los que obtienen peores resultados usan más los ordena­ dores para este tipo de tareas porque precisan más tiempo en la realización de deberes y el estudio; por otro lado, es posible que los alumnos menos familiarizados con las TIc, o con actitudes más negativas a dichas tecnologías encuentren dificultades en el propio uso de las TIc y tengan que dedicar más tiempo a la utilización de la herramienta que a los con­ tenidos del aprendizaje en sí, de forma que el mayor tiempo dedicado a las TIc redundaría en un menor tiempo dedicado al estudio de las materias a través de otros medios y, en consecuencia, en unos peores resultados en la evaluación de sus competencias a través de pruebas de ordenador. asimismo, en la evaluación de matemáticas puede analizarse también si un mayor uso de las TIc en clase de esta materia incide sobre la adquisición de competencias. los resul­ tados no muestran significatividad estadística alguna. Por último el tiempo de uso de los ordenadores muestra un efecto negativo (en línea con los resultados referidos a la frecuencia de uso), si bien sólo en el caso de las chicas.

¿son las TIc un factor clave en la adquisición de competencias? un análisis con evaluaciones por ordenador

79

Tabla 3

EfECTo DE laS TIC y oTRaS VaRIablES DE ConTRol SobRE la aDqUISICIón

DE CompETEnCIaS En maTEmáTICaS

Variables constante

Chicos1

Chicas1

Chicos2

Chicas2

458,46*** (91,70)

617,79*** (81,16)

459,84*** (91,81)

620,12*** (81,06)

1,72 (1,48) -0,50 (0,57)

2,72** (1,35) -1,67*** (0,51)

5,52*** (1,80) 3,30** (1,44) 7,21 (6,34) 3,51* (1,79) -3,22* (1,72) -4,80*** (1,64) -0,64 (1,51) -0,05 (0,04)

4,11** (1,66) 4,72*** (1,56) 6,72 (5,36) 4,04* (2,07) -3,02 (2,08) -5,87*** (2,01) 0,25 (1,27) -0,14*** (0,03)

Variables TIC actitud hacia ordenadores Edad inicio en TIc Disponibilidad TIc en el hogar

1,70 (1,46) -0,51 (0,59) 2,65 (1,65)

2,63* (1,36) -1,61*** (0,52) 2,68 (1,92)

Recursos TIc en el hogar Disponibilidad TIc en escuela Ratio ordenadores/ número de estudiantes uso de TIc como entreteni­ miento uso de TIc en hogar para ta­ reas escolares uso de TIc en la escuela uso de TIc en matemáticas Tiempo de uso de los ordena­ dores

3,01** (1,44) 7,22 (6,34) 3,43* (1,78) -3,09* (1,74) -4,71*** (1,63) -0,73 (1,50) -0,04 (0,03)

4,48*** (1,56) 6,59 (5,35) 3,89* (2,12) -3,12 (2,06) -6,13*** (2,02) 0,30 (1,27) -0,14*** (0,03)

Variables personales y familiares Educación infantil > 1 año Repetir primaria Repetir secundaria Repetir primaria y secundaria absentismo 1-2 veces absentismo > 2 veces

11,66*** (3,78)

14,48*** (3,63)

11,63*** (3,74)

14,66*** (3,64)

-73,67*** (4,07) -44,28*** (3,63) -106,16*** (6,62) -18,65*** (3,28) -23,46*** (6,69)

-72,07*** (4,12) -38,22*** (4,50) -95,60*** (5,76) -13,15*** (3,00) -0,54 (6,38)

-73,18*** (4,03) -44,53*** (3,65) -105,88*** (6,69) -17,99*** (3,32) -22,68*** (6,66)

-71,41*** (4,12) -37,70*** (4,53) -94,51*** (5,86) -12,97*** (3,01) -1,13 (6,43)

80

mauro mediavilla y josep-oriol escardíbul

Variables Edad Estatus socioecon. y cultural Familia monoparental Inmigrante 1ª generación Inmigrante 2ª generación

Chicos1

Chicas1

Chicos2

Chicas2

0,65 (4,35) 9,85*** (1,77) 13,12*** (4,03) -34,04*** (5,48) -43,06*** (8,97)

-6,83 (4,58) 10,74*** (1,37) 12,98*** (4,08) -43,83*** (3,94) -30,44*** (11,15)

0,53 (4,35) 8,74*** (1,84) 13,72*** (4,15) -33,60*** (5,49) -43,48*** (9,04)

-7,00 (4,58) 9,85*** (1,43) 13,59*** (4,09) -43,38*** (3,95) -30,09** (11,06)

Variables escolares c. Independiente c. concertado compite con un centro compite con uno o más autonomía salarial autonomía presupuesto autonomía gestión autonomía curricular % inmigrantes centro % chicas centro años escolariz. padres centro alumnos por aula alumnos en escuela alumnos por profesor Falta de profesorado

5,33 (12,28) 7,40 (9,62) -17,66 (13,09) -9,19 (11,04) 4,84 (8,86) 8,61 (12,56) -17,20* (8,72) 36,96 (46,01) 6,11 (26,27) -4,95 (21,59)

8,72 (10,94) 10,25 (9,16) -15,32 (11,75) -3,05 (9,21) 2,98 (8,33) 5,61 (11,42) 13,35* (8,02) -22,97 (23,09) -16,48 (22,43) 7,24 (20,25)

6,19 (12,27) 7,96 (9,55) -17,76 (13,12) -9,42 (11,04) 4,83 (8,83) 8,72 (12,53) -17,20** (8,67) 37,42 (46,11) 8,76 (26,60) -5,93 (21,68)

9,09 (10,94) 10,17 (9,15) -14,64 (11,66) -2,72 (9,15) 3,42 (8,35) 5,88 (11,55) 13,43* (8,01) -23,50 (23,62) -16,83 (22,20) 6,28 (20,30)

2,91 (2,38) 0,41 (0,63) -0,003 (0,009) -1,74* (0,99) 4,81 (5,18)

2,12 (2,00) -0,07 (0,52) -0,004 (0,009) -1,91** (0,92) 6,28 (4,30)

2,97 (2,39) 0,42 (0,63) -0,003 (0,009) -1,77* (0,98) 4,59 (5,21)

2,17 (2,00) -0,07 (0,52) -0,004 (0,009) -1,93** (0,91) 6,35 (4,29)

¿son las TIc un factor clave en la adquisición de competencias? un análisis con evaluaciones por ordenador

Variables

Chicos1

Chicas1

Chicos2

Chicas2

81

Variables de localización Población 15-100 mil habit. Población 100 mil-1 millón h. Población > 1 millón h. andalucía aragón asturias baleares cantabria castilla y león cataluña Extremadura Galicia Madrid Murcia Navarra País vasco la Rioja Número observaciones

15,80 (10,79) 17,87* (9,68) 16,75 (14,14) -31,49*** (10,17) 14,04 (26,55) -41,44 (25,15) -50,46* (27,31) -78,85*** (25,14) 26,81** (12,90) -12,46 (10,87) -21,62 (26,15) -30,24 (21,46) 4,43 (12,39) -25,54 (18,99) -18,10 (18,10)

13,80 (9,40) 14,87* (8,21) 14,14 (12,44) -25,17*** (8,98) -1,47 (21,87) -22,72 (29,40) -40,66 (25,31) -96,87*** (30,23) 28,09*** (9,05) -11,06 (9,46) -3,38 (20,00) -6,11 (19,29) 11,84 (11,11) -39,72** (18,57) -17,96 (18,64)

15,38 (10,79) 17,35* (9,69) 16,37 (14,13) -31,89*** (10,21) 15,27 (26,63) -39,54 (25,33) -50,76* (27,01) -77,92*** (24,78) 27,50** (12,88) -13,31 (10,94) -22,62 (26,41) -28,38 (21,29) 4,29 (12,41) -26,02 (19,22) -18,27 (18,49)

13,54 (9,33) 14,53* (8,13) 14,38 (12,37) -26,08*** (8,99) -0,88 (21,87) -22,27 (29,64) -40,19 (25,05) -96,12*** (30,20) 28,54*** (9,02) -12,20 (9,49) -3,58 (19,71) -6,08 (19,20) 11,50 (11,10) -39,17** (18,47) -17,26 (18,51)

-18,19* (10,32) -24,40 (26,40)

-14,25 (9,45) -9,42 (20,68)

-18,18* (10,36) -26,11 (27,10)

-14,40 (9,45) -9,61 (21,00)

4.798

4.812

4.798

4.812

*** denota variable significativa a nivel 1%; ** al 5%; * al 10%.

Nota: categorías de referencia: educación ≤ 1 año; no repetir curso; no absentismo; nativo; centro público; no compite

con ningún centro; municipio hasta 15.000 habitantes; otras cc.aa. (c. valenciana, castilla-la Mancha y canarias).

Fuente: elaboración propia a partir de microdatos de PIsa-2012.

82

mauro mediavilla y josep-oriol escardíbul

En el ámbito de la resolución de problemas, como se expone en la tabla 4, respecto a los factores personales relacionados con las TIc la variable asociada a la actitud hacia los orde­ nadores como herramienta para aprender no es significativa, mientras que la edad en la que el alumnado se ha iniciado en el uso de las TIc sí incide negativamente tanto en las chicas como en los chicos. los factores relacionados con la existencia de TIc en el hogar y en la escuela no son significativos. Por último, en cuanto a las variables de uso de las TIc, sí resulta posi­ tivo el uso de ordenadores como entretenimiento, si bien es negativo el uso para tareas esco­ lares (en el caso del hogar), así como el tiempo de uso (para el caso de las chicas). Tabla 4

EfECTo DE laS TIC y oTRaS VaRIablES DE ConTRol SobRE la aDqUISICIón

DE CompETEnCIaS En RESolUCIón DE pRoblEmaS

Variables constante

Chicos1

Chicas1

Chicos2

Chicas2

397,03*** (118,12)

535,95*** (112,74)

395,00*** (118,01)

536,43*** (112,61)

-0,83 (1,99) -2,02** (0,86)

-2,77 (1,97) -2,19*** (0,77)

1,88 (2,35) 3,55 (2,28) 7,03 (6,38)

Variables TIC actitud hacia ordenadores Edad inicio en TIc Disponibilidad TIc en el hogar

-0,58 (1,98) -2,28** (0,89) -4,15 (2,81)

-2,76 (1,98) -2,21*** (0,79) -0,02 (2,36)

0,31 (2,36) 1,61 (7,59)

3,58 (2,25) 7,01 (6,40)

1,81 (3,21) 0,56 (2,35) 1,75 (7,56)

14,68*** (2,69) -12,09*** (2,45) -4,45 (2,83) -0,01 (0,05)

12,41*** (3,07) -9,13*** (2,67) -4,92 (2,99) -0,12*** (0,04)

13,92*** (2,59) -12,47*** (2,44) -4,46 (2,68) -0,02 (0,05)

12,16*** (3,04) -9,37*** (2,75) -4,80 (3,00) -0,13*** (0,04)

7,17 (6,29) -99,56*** (6,61)

15,96*** (5,41) -92,47*** (7,59)

Recursos TIc en el hogar Disponibilidad TIc en escuela Ratio ordenadores/ número de estudiantes uso de TIc como entreteni­ miento uso de TIc en hogar para ta­ reas escolares uso de TIc en la escuela Tiempo de uso de los ordena­ dores

Variables personales y familiares Educación infantil > 1 año Repetir primaria

6,99 (6,33) -99,22*** (6,74)

15,89*** (5,39) -92,74*** (7,47)

¿son las TIc un factor clave en la adquisición de competencias? un análisis con evaluaciones por ordenador

Variables Repetir secundaria Repetir primaria y secundaria absentismo 1-2 veces absentismo > 2 veces Edad Estatus socioecon. y cultural Familia monoparental Inmigrante 1ª generación Inmigrante 2ª generación

Chicos1

Chicas1

Chicos2

Chicas2

-59,46*** (6,41) -146,47*** (9,62) -8,29 (5,32) -48,45*** (10,45) 8,32 (6,10) 7,00*** (2,27) 3,06 (5,93) 5,27 (7,61) 2,93 (12,60)

-53,52*** (8,60) -127,52*** (9,48) 0,60 (4,38) -11,62 (10,22) -1,12 (6,18) 7,74*** (2,11) -1,13 (5,81) -11,08 (7,62) -10,84 (17,40)

-59,19*** (6,37) -146,25*** (9,67) -8,36 (5,37) -48,55*** (10,43) 8,34 (6,09) 7,74*** (2,11) 4,00 (5,96) 6,43 (7,57) 3,28 (12,43)

-53,34*** (8,57) -127,01*** (9,56) 0,64 (4,38) -11,82 (10,26) -1,18 (6,16) 7,08*** (2,05) -0,65 (5,79) -10,58 (7,54) -10,45 (17,44)

Variables escolares c. Independiente c. concertado compite con un centro compite con uno o más autonomía salarial autonomía presupuesto autonomía gestión autonomía curricular % inmigrantes centro % chicas centro años escolariz. padres centro

83

9,78 (14,76) -10,73 (10,81) -28,52** (13,89) -9,44 (13,84)

12,56 (13,44) -9,17 (8,99) -29,12** (12,53) -11,52 (12,92)

9,48 (14,76) -11,05 (10,75) -27,90** (13,83) -9,10 (13,77)

12,50 (13,50) -9,20 (8,99) -28,93** (12,48) -11,42 (12,89)

-3,87 (12,63) 23,80 (20,04) 58,43*** (18,98) -88,78 (56,05) -99,34*** (32,44) -16,28 (29,07) 3,70 (2,60)

-11,15 (10,63) 35,98 (22,34) 48,60*** (12,57) -110,29** (43,95) -71,84** (31,82) 45,39* (26,27) 4,94** (2,45)

-3,21 (12,66) 23,43 (20,10) 59,09*** (19,03) -90,54 (56,69) -99,26*** (33,07) -15,92 (29,18) 3,77 (2,61)

-10,92 (10,66) 35,94 (22,35) 49,11*** (12,50) -110,79** (44,20) -72,03** (31,68) 45,00* (26,26) 4,99** (2,45)

84

mauro mediavilla y josep-oriol escardíbul

Variables alumnos por aula alumnos en escuela alumnos por profesor Falta de profesorado

Chicos1

Chicas1

Chicos2

Chicas2

-0,33 (0,69) 0,002 (0,01) 0,01 (1,36) -2,29 (6,33)

-0,80 (0,62) 0,01 (0,01) -0,56 (0,97) 5,23 (5,31)

-0,35 (0,69) 0,002 (0,01) 0,09 (1,36) -2,19 (6,31)

-0,80 (0,62) 0,01 (0,01) -0,56 (0,97) 5,30 (5,31)

Variables de localización Población 15-100 mil habit. Población 100 mil-1 millón h. Población > 1 millón h. andalucía aragón asturias baleares cantabria castilla y león cataluña Extremadura Galicia Madrid Murcia Navarra País vasco

1,26 (12,84) -4,48 (12,47) 17,75 (20,66) -48,53*** (10,71) -28,26 (27,14) -66,76* (39,47) -15,10 (22,44) -90,53** (36,54) 0,29 (15,07)

3,60 (11,54) -0,04 (11,36) 18,96 (18,73) -43,37*** (8,80) -34,78* (19,50) -46,65 (40,22) -14,75 (20,04) -88,23*** (26,62) -4,95 (10,42)

0,32 (12,80) -5,14 (12,49) 17,11 (20,76) -49,02*** (10,68) -27,33 (27,07) -67,42* (39,12) -14,86 (22,77) -91,73** (36,73) -0,06 (14,98)

3,45 (11,52) -0,03 (11,33) 19,21 (18,69) -43,74*** (8,82) -34,52* (19,40) -46,47 (40,29) -14,58 (19,92) -88,04*** (26,56) -4,85 (10,43)

-17,70 (13,37) -82,63** (32,87) -39,63** (16,80) 20,08 (15,74) -14,24 (21,28) -9,08 (38,69) -7,96 (10,71)

-17,25* (10,32) -72,42*** (23,25) -30,11* (16,62) 17,15 (13,65) -30,17 (31,48) -30,14 (28,18) -10,11 (9,29)

-18,11 (13,46) -82,32** (32,91) -38,95** (16,62) 19,45 (15,72) -13,64 (21,33) -7,83 (38,19) -8,32 (10,67)

-17,76* (10,38) -72,46*** (23,32) -30,01* (16,56) 16,84 (13,68) -29,68 (31,30) -29,96 (28,22) -10,21 (9,30)

¿son las TIc un factor clave en la adquisición de competencias? un análisis con evaluaciones por ordenador

Variables la Rioja Número observaciones

Chicos1

Chicas1

Chicos2

Chicas2

22,69 (29,35)

32,36 (19,12)

22,75 (29,32)

31,99 (19,02)

4.798

4.812

4.798

4.812

85

*** denota variable significativa a nivel 1%; ** al 5%; * al 10%.

Nota: categorías de referencia: educación ≤ 1 año; no repetir curso; no absentismo; nativo; centro público; no com­ pite con ningún centro; municipio hasta 15.000 habitantes; otras cc.aa. (c. valenciana, castilla-la Mancha y

canarias).

Fuente: elaboración propia a partir de microdatos de PIsa-2012.

Finalmente, se considera el efecto de las TIc en la adquisición de competencias en com­ prensión lectora (tabla 5). En este caso, en cuanto a las variables personales sólo incide posi­ tivamente en la adquisición de competencias iniciarse en las TIc a una temprana edad (en el caso de las chicas). En la disponibilidad de recursos tecnológicos también sólo incide (y con signo negativo) una variable (su disponibilidad en el hogar). con respecto a las variables de uso de las TIc, afecta positivamente en los resultados su utilización como entretenimiento. como en las otras competencias analizadas, en general, las variables de uso de las TIc (y tiempo de uso) presentan una significatividad negativa en su utilización para tareas escolares tanto en el hogar como en la escuela. Tabla 5

EfECTo DE laS TIC y oTRaS VaRIablES DE ConTRol SobRE la aDqUISICIón

DE CompETEnCIaS En CompREnSIón lECToRa

Variables constante

Chicos1

Chicas1

Chicos2

Chicas2

478,77*** (105,18)

552,11*** (99,26)

474,52*** (105,40)

549,71*** (99,90)

2,68 (1,89) -0,66 (0,74)

-0,74 (1,72) -1,28* (0,65)

1,85 (2,46) -0,92 (1,82) 2,81 (6,37) 6,79*** (2,27)

1,25 (1,86) 2,12 (2,08) 2,34 (6,28) 7,55*** (2,76)

Variables TIC actitud hacia ordenadores Edad inicio en TIc Disponibilidad TIc en el hogar

2,94 (1,89) -1,12 (0,75) -8,10*** (2,36)

-0,52 (1,72) -1,49** (0,66) -5,40** (2,31)

Recursos TIc en el hogar Disponibilidad TIc en escuela Ratio ordenadores/ número de estudiantes uso de TIc como entreteni­ miento

0,72 (1,78) 2,55 (6,28) 8,17*** (2,32)

2,76 (2,07) 2,39 (6,34) 9,05*** (2,78)

86

mauro mediavilla y josep-oriol escardíbul

Variables uso de TIc en hogar para ta­ reas escolares uso de TIc en la escuela Tiempo de uso de los ordena­ dores

Chicos1

Chicas1

Chicos2

Chicas2

-7,00*** (2,04) -4,44** (2,20) 0,06 (0,04)

-6,73*** (2,21) -2,79 (2,29) -0,07** (0,04)

-7,64*** (2,09) -4,23* (2,21) 0,05 (0,04)

-7,20*** (2,24) -2,73 (2,28) -0,08** (0,04)

Variables personales y familiares Educación infantil > 1 año Repetir primaria Repetir secundaria Repetir primaria y secundaria absentismo 1-2 veces absentismo > 2 veces Edad Estatus socioecon. y cultural Familia monoparental Inmigrante 1ª generación Inmigrante 2ª generación

16,47*** (4,98) -86,12*** (5,46) -65,36*** (5,35) -113,70*** (8,31) -2,45 (4,39) -35,61*** (8,67) -4,77 (4,81) 12,26*** (2,06) 4,22 (4,87)

22,11*** (4,55) -78,26*** (5,10) -66,90*** (6,37) -112,74*** (10,35) 1,23 (3,64) 1,75 (8,56) -4,50 (5,09) 11,98*** (1,98) 3,81 (5,19)

16,82*** (4,92) -86,87*** (5,36) -65,82*** (5,37) -113,38*** (8,47) -2,74 (4,44) -35,97*** (8,62) -4,69 (4,77) 9,77*** (2,13) 5,74 (4,99)

22,12*** (4,60) -78,16*** (5,15) -66,94*** (6,31) -112,36*** (10,49) 1,08 (3,66) 1,93 (8,44) -4,44 (5,14) 10,46*** (2,00) 4,99 (5,21)

-20,11*** (6,40) -39,42*** (14,76)

-38,34*** (7,03) -44,14*** (15,77)

-18,11*** (6,16) -38,67*** (14,80)

-36,73*** (7,08) -42,82*** (15,88)

12,20 (14,34) 3,36 (10,78) -12,77 (13,59) -2,21 (13,82) -2,01 (11,51)

12,08 (11,12) 4,22 (9,14) -18,39 (11,72) -3,23 (13,03) 3,70 (11,22)

Variables escolares c. Independiente c. concertado compite con un centro compite con uno o más autonomía salarial

12,96 (14,37) 4,12 (10,81) -13,91 (13,59) -2,89 (13,86) -3,21 (11,53)

13,09 (11,02) 4,19 (9,16) -17,99 (11,73) -3,06 (12,99) 3,43 (11,19)

¿son las TIc un factor clave en la adquisición de competencias? un análisis con evaluaciones por ordenador

Variables autonomía presupuesto autonomía gestión autonomía curricular % inmigrantes centro % chicas centro años escolariz. padres centro alumnos por aula alumnos en escuela alumnos por profesor Falta de profesorado

Chicos1

Chicas1

Chicos2

Chicas2

29,86** (14,67) -33,81** (13,25) 22,18 (56,71) -23,00 (29,18) 5,47 (25,66) 4,59 (2,79) 0,73 (0,65) 0,002 (0,01) 0,30 (1,18) -4,88 (5,24)

33,45*** (10,61) -27,84 (26,38) 26,03 (49,62) -10,23 (27,07) 21,08 (23,16) 3,55 (2,59) 0,73 (0,59) 0,01 (0,01) -0,81 (0,90) 3,04 (4,78)

29,18** (14,62) -32,64** (13,11) 18,92 (57,85) -23,56 (29,49) 5,11 (25,89) 4,68* (2,79) 0,70 (0,65) 0,001 (0,01) 0,45 (1,17) -4,64 (5,24)

32,75*** (10,71) -27,33 (26,06) -27,52 (49,71) -10,37 (27,00) 21,04 (23,16) 3,69 (2,59) 0,71 (0,59) 0,01 (0,01) -0,79 (0,90) 3,23 (4,78)

Variables de localización Población 15-100 mil habit. Población 100 mil-1 millón h. Población > 1 millón h. andalucía aragón asturias baleares cantabria castilla y león cataluña

-12,88 (11,65) -11,79 (11,90)

-7,78 (10,93) 1,59 (11,64)

-14,46 (11,79) -12,83 (11,98)

-8,07 (10,96) 1,89 (11,69)

-13,73 (16,66) -38,69*** (11,07) -19,51 (21,26) -32,23** (14,68) 11,84 (17,63) -77,16*** (28,86) 9,29 (23,50) -0,52 (13,14)

7,53 (15,37) -41,43*** (10,06) -28,64* (14,95) -6,03 (13,85) 0,73 (16,18) -64,27*** (18,73) -0,44 (13,44) -8,89 (11,00)

-14,79 (16,79) -39,48*** (11,09) -18,15 (21,19) -33,94** (14,61) 12,38 (17,68) -79,61*** (28,44) 8,46 (23,78) -1,06 (13,19)

8,23 (15,46) -41,55*** (10,07) -28,53* (15,14) -6,10 (13,66) 0,65 (16,25) -64,88*** (18,77) -0,92 (13,36) -9,24 (11,08)

87

88

mauro mediavilla y josep-oriol escardíbul

Variables Extremadura Galicia Madrid Murcia Navarra País vasco la Rioja Número observaciones

Chicos1

Chicas1

Chicos2

Chicas2

-71,52*** (23,60) -22,91 (21,53) 3,43 (13,19) -33,96 (24,59) -11,10 (27,27) -13,54 (11,89) -30,69 (50,49)

-63,26*** (13,70) 4,10 (15,17) -5,08 (12,04) -50,98 (34,67) -35,17 (24,09) -16,41 (10,39) -34,16 (38,32)

-70,73*** (23,59) -22,27 (21,11) 2,31 (13,21) -32,77 (24,63) -8,85 (26,78) -14,20 (11,90) -30,11 (50,34)

-63,12*** (13,85) 4,45 (15,24) -5,95 (12,10) -49,58 (34,47) -35,70 (23,67) -16,62 (10,42) -35,81 (38,90)

4.798

4.812

4.798

4.812

*** denota variable significativa a nivel 1%; ** al 5%; * al 10%.

Nota: categorías de referencia: educación ≤ 1 año; no repetir curso; no absentismo; nativo; centro público; no com­ pite con ningún centro; municipio hasta 15.000 habitantes; otras cc.aa. (c. valenciana, castilla-la Mancha y

canarias).

Fuente: elaboración propia a partir de microdatos de PIsa-2012.

un resumen de los resultados se muestra en la tabla 6 (se expone el signo del efecto de cada factor sobre la adquisición de competencias sólo si resulta estadísticamente significati­ vo; se resalta en negrita si la significatividad es al 1% ó 5%). como se constata en dicha tabla, entre las variables personales, mientras que la actitud hacia los ordenadores como instrumento de trabajo apenas incide en la adquisición de com­ petencias, una pronta edad de inicio en el uso de las TIc sí resulta positivamente significati­ va en todas las competencias en las chicas (y en resolución de problemas en los chicos). la disponibilidad de recursos de TIc en el hogar y en la escuela sólo incide de manera positiva en el caso de la evaluación de matemáticas (y dicha significatividad depende de la variable considerada). En cuanto al uso de TIc para tareas escolares en el hogar o trabajo en la es­ cuela se constata una incidencia negativa en la mayoría de casos (especialmente en el prime­ ro). asimismo, también muestra un signo negativo (en las chicas) el tiempo de uso de los ordenadores. El estudio no analiza las causas de dicho signo, pero puede deberse a la ya ci­ tada existencia de causalidad inversa (los que obtienen peores resultados usan más los orde­ nadores para este tipo de tareas), o bien que los alumnos menos familiarizados o con actitu­ des más negativas hacia las TIc deben dedicar más tiempo al uso de la herramienta que a los contenidos del aprendizaje y, en consecuencia, obtienen peores resultados en la evaluación de competencias por ordenador. sin embargo, el uso de TIc como entretenimiento, que puede reflejar una mayor predisposición a su uso y grado de dominio, incide positivamente en la adquisición de competencias en los tres ámbitos analizados.

89

¿son las TIc un factor clave en la adquisición de competencias? un análisis con evaluaciones por ordenador

Tabla 6

SIgnoS DE loS EfECToS DE laS TIC En la aDqUISICIón

DE CompETEnCIaS EValUaDaS

Variables

matemáticas Chicos

actitud hacia ordenadores Edad inicio en TIc Disponibilidad TIc en el hogar Recursos TIc en el hogar Disponibilidad TIc en escuela Ratio ordenadores/número de estudiantes

uso de TIc como entretenimiento uso de TIc en hogar tareas escolares uso de TIc en la escuela uso de TIc en matemáticas Tiempo de uso de los ordenadores

Resolución de problemas

Chicas

Chicos

Chicas

+

–

–

–

+ +

+

+

+ – –

+

+ –

+ –

N/a

N/a –

– –

Comprensión lectora Chicos

Chicas

–

–

–

+ – –

N/a

+

–

N/a

–

Notas: N/a: no aplica. Pregunta específica para la prueba de matemáticas. se destacan aquellos resultados que, en alguno de los análisis expuestos en las tablas 3 a 5 son significativos al 1% ó 5%. los demás son significativos al 10%.

En suma, resulta claramente relevante para mejorar la adquisición de competencias eva­ luadas por ordenador un pronto inicio en el uso de las TIc, así como realizar un uso como entretenimiento (que puede reflejar un mayor disfrute y capacidad de uso de dicha herramien­ ta). No parece muy relevante (salvo en matemáticas) la dotación existente de recursos ni en el hogar ni en los centros educativos. asimismo, las variables asociadas a un mayor uso de las TIc en el aprendizaje muestran un signo negativo. En cuanto al género, tanto la edad de inicio en el uso de las TIc como el tiempo de uso de los ordenadores incide más en el ren­ dimiento de las chicas que en el de sus compañeros. con respecto al resto de variables, los resultados destacan la incidencia de las variables personales y familiares sobre la adquisición de competencias, como es habitual en este tipo de estudios, por encima de los efectos de las variables escolares –véase calero y Escardíbul (2007), salinas y santín (2012) y cordero et al. (2013)–. Por destacar algunos resultados, inciden positivamente en todas (o prácticamente todas) las regresiones haber cursado educa­ ción infantil más de un año y el estatus ocupacional y cultural familiar; en negativo, la repe­ tición de curso, el absentismo escolar o la condición de inmigrante. En el análisis territorial, la residencia en las comunidades de andalucía, cantabria y Extremadura repercute negati­ vamente en todas o la mayoría de evaluaciones de competencias. ahora bien, dicho resultado debe relativizarse ya que la muestra es sólo representativa para el País vasco y cataluña.

5. Conclusiones Debido a la gran penetración de las Tecnologías de la Información y la comunicación (TIc) en las escuelas y los hogares de los estudiantes nos parece relevante conocer si la implantación

90

mauro mediavilla y josep-oriol escardíbul

actual se asocia positivamente con su rendimiento académico. además, la distinta actitud y uso de las TIc por género nos lleva a desarrollar dicho análisis separadamente para chicos y chicas. así, este trabajo analiza la influencia de variables relacionadas con las tecnologías de la información y la comunicación (TIc) en la adquisición de competencias de estudiantes de 15 años de edad, a partir de la información disponible en la evaluación de PIsa de 2012 desarrollada por la OEcD. Debe destacarse como novedad, en este tipo de estudios, que se tienen en cuenta evaluaciones por ordenador, se incluyen múltiples variables TIc y se desa­ rrolla un análisis separado por género. los principales resultados, obtenidos mediante una metodología jerárquica multinivel, para las tres competencias analizadas (matemáticas, comprensión lectora y resolución de problemas) son los siguientes. En primer lugar, las variables TIc inciden en mayor medida en la evaluación de matemáticas que en el resto de competencias evaluadas. En segundo lugar, resulta relevante el tipo de elemento TIc incluido en el análisis, de modo que no todas las variables inciden del mismo modo. a este respecto, en general, la incidencia positiva que muestran las variables asociadas a la existencia de TIc (en el hogar o en la escuela) en algu­ na competencia (como las matemáticas), no se corresponde con el tiempo de uso de las mismas para realizar tareas escolares (que tiene signo negativo). Este último resultado puede asociarse a la existencia de causalidad inversa, de modo que los estudiantes con un menor nivel de competencias precisan un mayor tiempo de uso de las TIc para el aprendizaje, o bien que los alumnos menos familiarizados o a quienes les gustan menos las TIc tienen di­ ficultades en su uso y deben dedicar más tiempo a la herramienta que a los contenidos del aprendizaje. En tercer lugar, el disfrute del uso de ordenadores (como entretenimiento), así como un pronto inicio (en cuanto a la edad) se relacionan positivamente con los resultados en las pruebas realizadas. Por tanto, los alumnos que se relacionan con las TIc porque les gusta y desde hace más tiempo obtienen mejores resultados en las pruebas por ordenador vinculadas a la adquisición de competencias. los resultados de uso de las TIc (y la edad de inicio) están en consonancia con otros análisis para el caso español. sin embargo, el efecto positivo de la tenencia de TIc (en casa o en la escuela), circunscrito a las matemáticas en nuestro estudio, representa una novedad con respecto a estudios anteriores con datos de PIsa. Nuestro análisis muestra la relevancia de utilizar diversas variables asociadas con las TIc, así como una distinción por género, ya que no todas las variables inciden del mismo modo en el rendimiento de chicos y chicas. a este respecto, precisamente, la edad de inicio en el uso de las TIc y el tiempo de uso de los ordenadores inciden de mayor modo en el rendimiento de las mujeres. Finalmente, aunque la metodología utilizada impide establecer relaciones de causalidad, los resultados sugieren que, en el ámbito de las políticas públicas, pueden plantearse dos tipos de actuaciones. En primer lugar, finalizar la implantación de TIc en las escuelas, en especial en las socialmente más desfavorecidas, para que los alumnos en entornos socioeco­ nómicos y culturales desfavorecidos puedan acercarse a este tipo de tecnología lo antes po­ sible. En segundo lugar, y dada la no incidencia positiva de las TIc en todas las competencias analizadas, debe tenerse en cuenta que la mera implantación de este tipo de tecnologías no garantiza una mejora en los resultados de los estudiantes. Por tanto, debe explorarse qué cambios didácticos se han de producir para aprovechar esta herramienta de enseñanzaaprendizaje, así como involucrar a toda la comunidad educativa en la implantación de las TIc, que no debería quedarse sólo en un cambio de soporte físico. Disponemos en las aulas de un instrumento que gusta a los estudiantes y debe aprovecharse su potencialidad para

¿son las TIc un factor clave en la adquisición de competencias? un análisis con evaluaciones por ordenador

91

mejorar el aprendizaje y la adquisición de competencias. En este sentido, la incidencia dife­ rencial de las TIc por género debe ser considerada en el diseño de las prácticas pedagógicas.

Referencias anghel, b., y cabrales, a. (2014), “The determinants of success in primary education in spain”, Re­ vista de Evaluación de Programas y Políticas Públicas, 2: 22-53. angrist, J., y lavy, v. (2002), “New evidence on classroom computers and pupil learning”, Economic Journal, 112: 735-765. area, M. (2005), “Tecnologías de la información y comunicación en el sistema escolar. una revisión de las líneas de investigación”, RELIEVE, 11: 3-25. area, M. (2010), “El proceso de integración y uso pedagógico de las TIc en los centros educativos. un estudio de casos”, Revista de Educación, 352: 77-97. banerjee, a.; cole, s.; Duflo, E., y linden l. (2007), “Remedying education: Evidence from two ran­ domized experiments in India”, Quarterly Journal of Economics, 122: 1235-1264. barrera-Osorio, F., y linden, l. (2009), “The use and misuse of computers in education: Evidence from a randomized experiment in colombia”, The World Bank Human Development Network Edu­ cation Team, Policy Research Working Paper 4836. barrow, l.; Markman, l., y Rouse, c. (2009), “Technology’s edge: The educational benefits of com­ puter-aided instruction”, American Economic Journal: Economic Policy, 1: 52-74. bennett, R.; braswell, J.; Oranje, a.; sandene, b.; Kaplan, b., y Yan, F. (2008), “Does it matter if i take my mathematics test on computer? a second empirical study of mode effects in NaEP”, Journal of Technology, Learning, and Assessment, 6: 1-38. blok, H.; Oostdam, M.; Otter, E., y Overmaat, M. (2002), “computer-assisted instruction in support of beginning reading instruction: a review”, Review of Educational Research, 72: 101-130. butters, R., y Walstad, W. (2011), “computer versus paper testing in precollege economics”, The Jour­ nal of Economic Education, 42: 366-374. cabras, s., y Tena, J. (2013), “Estimación del efecto causal del uso de ordenadores en los resultados de los estudiantes en el test PIsa 2012”, en INEE (ed.), PISA 2012: Programa para la evaluación inter­ nacional de los alumnos. Informe español. Volumen II: Análisis secundario, Madrid: INEE, 67-87. calero, J., y Escardíbul, J. O. (2007), “Evaluación de servicios educativos: el rendimiento en los cen­ tros públicos y privados medido en PIsa-2003”, Hacienda Pública Española, 183: 33-66. cañizares, M. (2005), “una experiencia de utilización de simulación informática en la educación se­ cundaria”, Educatio Siglo XXI, 23: 141-170. choi, Á., y calero, J. (2013), “Determinantes del riesgo de fracaso escolar en España en PIsa-2009 y propuestas de reforma”, Revista de Educación, 362: 562-593. coleman, J.; campbell, E.; Hobson, c.; Mc Partland, J.; Mood, a.; Weinfeld, F., y York, R. (1966). Equality of Educational Opportunity. Washington, D.c.: Government Printing Office.

92

mauro mediavilla y josep-oriol escardíbul

cordero, J.; Manchón, c., y simancas, R. (2012), “análisis de los condicionantes del rendimiento educativo de los alumnos españoles en PIsa 2009 mediante técnicas multinivel”, Presupuesto y Gasto Público, 67: 71-96. cordero, J.; crespo, E., y Pedraja, F. (2013), “Rendimiento educativo y determinantes según PIsa: una revisión de la literatura en España”, Revista de Educación, 362: 273-293. cuban, l., (2001), Oversold and underused: computers in the classroom, london: Harvard university. Domingo, M., y Marqués, P. (2013), “Práctica docente en aulas 2.0 de centros de educación primaria y secundaria en España”, Píxel-Bit. Revista de Medios y Comunicación, 42: 115-128 European commission (2010), Women and ICT status report 2009, brussels: European commission. Information society and Media. EuROsTaT (2014) [en línea]. [consulta: 15 de febrero de 2014]. Disponible en web: http://epp.eurostat.ec.europa.eu Fuchs, T., y Woessmann, l. (2004), “computers and student learning: bivariate and multivariate evi­ dence on the availability and use of computers at home and at school”, Brussels Economic Review, 47: 359-385. Gómez-crespo, M. (1994), “Influencia de la enseñanza asistida por ordenador en el rendimiento y las ideas de los alumnos en electricidad”, Enseñanza de las Ciencias, 12: 355-360. Goolsbee, a., y Guryan, J. (2006), “The impact of internet subsidies in public schools”, The Review of Economics and Statistic, 88: 336-347. Hanushek, E. a. (1979), “conceptual and empirical issues in the estimation of educational production functions”, Journal of Human Resources, 14: 351-388. INE (2014) [en línea]. [consulta: 15 de febrero de 2014]. Disponible en web: http://www.ine.es INEE (2014a), PISA 2012: Resolución de problemas de la vida real. Resultados de matemáticas y lectura por ordenador. Informe español: análisis secundario. Madrid: Ministerio de Educación, cultura y Deporte, Instituto Nacional de Evaluación Educativa. INEE (2014b), PISA 2012: Resolución de problemas de la vida real. Resultados de matemáticas y lectura por ordenador. Informe español. Madrid: Ministerio de Educación, cultura y Deporte, Insti­ tuto Nacional de Evaluación Educativa. Inan, F., y lowther, D. (2010), “Factors affecting technology integration in K-12 classrooms: a path model”, Education Technology Research Development, 58: 137-154. Jeong, H. (2014), “a comparative study of scores on computer-based tests and paper-based tests”, Behaviour & Information Technology, 33: 410-422. Kingston, N. (2009), “comparability of computer- and paper-administered multiple choice test for K-12 populations: a synthesis”, Applied Measurement in Education, 22: 22-27. leuven, E.; lindahl, M.; Oosterbeek, H., y Webbink, D. (2007). “The effect of extra funding for disad­ vantaged pupils on achievement”, Review of Economics and Statistics, 89: 721-736.

¿son las TIc un factor clave en la adquisición de competencias? un análisis con evaluaciones por ordenador

93

Machin, s.; McNally, s., y silva, O. (2007), “New technology in schools: is there a payoff?”, Economic Journal, 117: 1145-1167. Marcenaro, O. (2014), “Del lápiz al ordenador: ¿diferentes formas de evaluar las competencias del alumnado?”, en INEE (ed.), PISA 2012: Resolución de problemas de la vida real. Resultados de matemáticas y lectura por ordenador. Informe español: análisis secundario, Madrid: Ministerio de Educación, cultura y Deporte, Instituto Nacional de Evaluación Educativa, 126-157. Mason, b.; Patry, M., y berstein, D. (2001), “an examination of the equivalence between non-adaptive computer based and traditional testing”, Journal of Education Computing Research, 24: 29-39. MEcD (2014) [en línea]. [consulta: 24 de septiembre de 2014]. Disponible en web: http://www.mecd.gob.es/dms/mecd/servicios-al-ciudadano-mecd/estadisticas/educacion/no-univer­ sitaria/centros/sociedad-informacion/2012-2013/Nota-resumen12-13.pdf Méndez, I. (2014), “Factores determinantes del rendimiento en resolución de problemas”, en INEE (ed.), PISA 2012: Resolución de problemas de la vida real. Resultados de matemáticas y lectura por ordenador. Informe español: análisis secundario, Madrid: Ministerio de Educación, cultura y De­ porte, Instituto Nacional de Evaluación Educativa, 180-209. OEcD (2008), Handbook on constructing composite indicators. Methodology and user guide, Paris: Organization for Economic co-operation and Development (OEcD). OEcD (2013), PISA 2012 Assessment and analytical framework: mathematics, reading, science, pro­ blem solving and financial literacy. OEcD Publishing. [en línea]. [consulta: 20/09/2014]. Disponi­ ble en web: http://dx.doi.org/10.1787/9789264190511-en Ringstaff, c., y Kelley, l. (2002), The learning return on our educational technology investment. A review of findings from research. WestEd RTEc, san Francisco. [en línea]. [consulta: 22/09/2014]. Disponible en web: http://www.wested.org/online_pubs/learning_return.pdf Rouse, c., y Krueger, a. (2004), «Putting computerized instruction to the test: a randomized evaluation of a ‘scientifically-based’ reading program», Economics of Education Review, 23: 323-338. salinas, J., y santín, D. (2012), “selección escolar y efectos de la inmigración sobre los resultados académicos españoles en PIsa 2006”, Revista de Educación, 358: 382-405. sancho, J.; Ornellas, a.; sánchez, J.; alonso, c., y bosco, a. (2008), “la formación del profesorado en el uso educativo de las TIc: una aproximación desde la política educativa”, Praxis educativa, 12: 10-22. santiago, R.; Navaridas, F., y Repáraz, R. (2014), “la escuela 2.0: la percepción del docente en torno a su eficacia en los centros educativos de la Rioja”, Educación XX1, 17: 243-270. selwyn, N., y Facer, K. (2007), beyond the digital divide. Rethinking digital inclusion for the 21st century. bristol: Futurelab. sigalés, c.; Mominó, J.; Meneses, J., y badia, a. (2008), la integración de Internet en la educación escolar española: situación actual y perspectivas de futuro, barcelona: universitat Oberta de cata­ lunya. spiezia, v. (2010), “Does computer use increase educational achievements? student‐level evidence from PIsa”, OECD Journal: Economic Studies, 1: 1-22.

94

mauro mediavilla y josep-oriol escardíbul

Tamim, R.; bernard, R.; borokhovski, E.; abrami, P., y schmid, R. (2011), “What forty years of re­ search says about the impact of technology on learning a second-order meta-analysis and validation study”, Review of Educational Research, 81: 4-28. Willms, J., y smith, T. (2005), “a manual for conducting analyses with data from TIMMs and PIsa”, Report prepared for the uNEscO Institute for statistics. [en línea]. [consulta: 10/01/2014]. Disponible en web: http://www.docstoc.com/docs/69599706/a-Manual-for-conducting-analyseswith-data-from-TIMss-and-PIsa.

abstract We examine the effects that the possession and use of information and communication technologies (IcT) have on the acquisition of skills assessed in the computer-based evaluation of PIsa 2012. The main results are as follows. Firstly, IcT variables are more relevant on mathematics than on reading and problem solving. secondly, the type of IcT factor included in the analysis is relevant. Finally, a few different results by gender are observed. Keywords: Computer-Based Assessment, Gender, ICT, PISA 2012. JEL Classification: I21, I28.

95

¿son las TIc un factor clave en la adquisición de competencias? un análisis con evaluaciones por ordenador

anEXo Tabla a.1

DESCRIpTIVoS DE laS VaRIablES DE ConTRol

muestra de alumnos

muestra de chicos

muestra de chicas

Variable

Tipo

media

Desv. Típ.

media

Desv. Típ.

Educación infantil más de un año No repetición de curso Repetición primaria Repetición secundaria Rep. Primaria-secundaria No absentismo un día en 2 semanas absentismo 1-2 veces absentismo más de 2 veces Edad (años) Estatus económico, social y cultural Familia monoparental Nativo Inmigrante primera generación Inmigrante segunda generación andalucía aragón asturias baleares cantabria castilla y león cataluña Extremadura Galicia Madrid Murcia Navarra País vasco la Rioja Otras cc.aa. (canarias, c.-Mancha y c. valenciana)

D D D D D D D D c I D D D D D D D D D D D D D D D D D D

0,825 0,725 0,128 0,099 0,048 0,795 0,173 0,032 15,874 -0,037 0,094 0,908 0,081 0,011 0,092 0,014 0,013 0,010 0,012 0,019 0,148 0,013 0,017 0,059 0,015 0,014 0,462 0,006

0,380 0,447 0,334 0,299 0,214 0,404 0,379 0,176 0,287 0,978 0,291 0,289 0,273 0,105 0,289 0,116 0,111 0,101 0,107 0,135 0,355 0,115 0,130 0,236 0,120 0,116 0,499 0,078

0,837 0,794 0,097 0,074 0,035 0,784 0,184 0,031 15,871 -0,056 0,103 0,909 0,080 0,011 0,087 0,018 0,011 0,009 0,010 0,021 0,135 0,016 0,023 0,057 0,013 0,013 0,469 0,011

0,370 0,405 0,296 0,262 0,184 0,411 0,388 0,174 0,287 0,994 0,304 0,288 0,272 0,105 0,282 0,132 0,104 0,097 0,101 0,143 0,341 0,126 0,149 0,232 0,114 0,113 0,499 0,103

D

0,108

0,310

0,108

0,310

96

mauro mediavilla y josep-oriol escardíbul

muestra de escuelas

muestra total

Variable

Tipo

media

Desv. Típica

Escuela pública Escuela concertada Escuela privada independiente Municipio hasta 15 mil habitantes Entre 15 mil y 100 mil habitantes Entre 100 mil y 1 millón habitantes Más de 1 millón de habitantes Escuela no compite con otras compite con 1 centro compite con más de 1 centro autonomía fijación salario y/o aumento salarial autonomía fijación presupuesto y/o su distribución autonomía en la gestión del centro: disciplina, evaluación y admisión de alumnado autonomía curricular: libros de texto, contenidos y cursos ofrecidos Porcentaje de chicas en el centro Porcentaje de alumnos inmigrantes años escolarización promedio padres de los alumnos alumnos en el centro alumnos por aula alumnos por profesor Falta de profesorado

D D D D D D D D D D D D D

0,554 0,393 0,053 0,271 0,317 0,355 0,057 0,115 0,156 0,729 0,109 0,959 0,986

0,498 0,489 0,224 0,445 0,466 0,479 0,233 0,320 0,364 0,445 0,312 0,198 0,116

D c c c c c c I

0,995 0,459 0,101 12,976 688,567 25,245 11,868 -0,732

0,074 0,144 0,151 1,703 424,128 7,226 4,619 0,647

Notas: D=dicotómica; c=continua; I=índice escalado según la “Teoría de Respuesta al ítem (TRI)”.