LOS ESTÁNDARES PARA LA EVALUACIÓN DEL APROVECHAMIENTO DE LAS ACTIVIDADES FORMATIVAS EN EL INSTITUTO VASCO DE ADMINISTRACIÓN PÚBLICA

Escola d’Administració Pública de Catalunya Barcelona, 20 de noviembre de 2009

1

Índice I. II. III. IV. V. VI.

Presentación del IVAP Antecedentes Definición de los Estándares Aplicación de los Estándares: Instrumento de verificación Resultados de la aplicación de los Estándares en el año 2009 Conclusiones 2

I. IVAP, Instituto Vasco de Administración Pública (1) Misión: mejorar la organización y el desarrollo de las personas de las Administraciones Públicas de Euskadi, con el fin de lograr una administración más eficaz, eficiente y bilingüe, sobre la base de unos valores compartidos de servicio público, mediante: Sede principal: Vitoria-Gasteiz Otras sedes: Oñati, Bilbao y Donostia-San Sebastián

• La selección y la formación permanente del personal al servicio de las AAPP vascas. • El impulso a la normalización del uso del euskara en la Administración. • La traducción oficial y la terminología jurídico- administrativa en euskara. • El asesoramiento lingüístico, jurídico y organizativo y la investigación en materia 3 administrativa.

I. IVAP, Instituto Vasco de Administración Pública (2) 1. Organización administrativa: 100 personas • Secretaría General (coordinación y gestión) • Subdirección de RR.HH. (selección y formación) • Subdirección de Euskara • Organismos adscritos: EVETU e IZO PROYECTO IVAP - Sistemática de gestión basada en el Modelo Europeo de Excelencia 25 aniversario en 2008

4

II. Antecedentes Servicio de Formación 2008 AGCAE: - 75% de las acciones formativas programadas son de aprovechamiento -

83% de ellas se llevaron a cabo Personas involucradas: ±3.000

Otros Servicios del IVAP relacionados con la evaluación: - Servicio de Euskaldunización (Unidades de capacitación lingüística y evaluación) - Servicio de Estudios y Publicaciones - EVETU - Servicio de Selección

5

II. Antecedentes The Joint Committee on Standards for Educational Evaluation: “The Student Evaluation Standards: How To Improve Evaluations Of Students” Corwin Press, 2003 EE.UU.

Una adaptación a nuestro contexto, con ejemplos de aplicación de Villa, A.; Sarasola, M. y Cabra, F.: “Estándares para la evaluación de los aprendizajes de los estudiantes” Ed. Mensajero, 2007 Bilbao.

6

III. Definición de los Estándares (1) Colaboración IVAP- Fundación Horrêum, en 2008, para: establecer el marco teórico de los Estándares; adecuarlos al sistema de evaluación del aprovechamiento; y, elaborar un instrumento de verificación del cumplimento de los estándares.

7

III. Definición de los Estándares (2) ¿Qué son los Estándares? Son una guía para desarrollar, valorar y mejorar el sistema de evaluación del aprovechamiento de las actividades de formación del IVAP.

8

III. Definición de los Estándares (3) -

ESTÁNDARES DE ADECUACIÓN (7)

para velar porque cada alumno/a sea respetado en términos éticos y legales. -

ESTÁNDARES DE UTILIDAD (5)

para que las evaluaciones realmente informen, sean oportunas y produzcan efecto.

26 -

ESTÁNDARES DE VIABILIDAD (3)

para tener en cuenta los factores ambientales que intervienen en la evaluación -

ESTÁNDARES DE PRECISIÓN (11)

para comprobar que la evaluación ha producido información razonable y bien fundada, valoraciones 9 sólidas.

III. Definición de los Estándares (4)

ESTÁNDARES DE ADECUACIÓN (7): para velar porque cada alumno/a sea respetado en términos éticos y legales. A1A2A3A4-

Satisfacción Políticas y procedimientos apropiados Acceso a los resultados de la evaluación Tratamiento del personal de la Administración A5- Derechos del personal de la Administración A6- Evaluación equilibrada A7- Conflicto de intereses 10

III. Definición de los Estándares (5)

ESTÁNDARES DE UTILIDAD (5): para que las evaluaciones realmente informen, sean oportunas y produzcan efecto. U1U2U3U4U5-

Identificación de usuarios y usos Foco y selección de la información Credibilidad del evaluador Identificación de principios Informes efectivos 11

III. Definición de los Estándares (6)

ESTÁNDARES DE VIABILIDAD (3): para tener en cuenta los factores ambientales que intervienen en la evaluación. V1- Procedimientos prácticos V2- Viabilidad política V3- Apoyo a la evaluación

12

III. Definición de los Estándares (7)

ESTÁNDARES DE PRECISIÓN (11): para comprobar que la evaluación ha producido información razonable y bien fundada, valoraciones sólidas. P1- Procedimientos claros de evaluación P2- Procedimientos descritos P3- Fuentes de información P4- Uso válido de la información P5- Información fiable P6- Manejo de la información y control de calidad P7- Análisis de la información cuantitativa P8- Análisis de la información cualitativa P9- Conclusiones justificadas P10- Control de sesgo P11- Meta-evaluación

13

IV. Aplicación de los Estándares: Instrumento de verificación (1) Paso 1: Determinar las áreas de valor, a criterio del IVAP, relacionadas con las evaluaciones de los cursos. Esas áreas son: 123456-

El objetivo de la evaluación Los métodos de evaluación Los instrumentos de evaluación La calificación El momento de la evaluación La información proporcionada: el informe 7- Informar al alumno/a 14

IV. Aplicación de los Estándares: Instrumento de verificación (2) Paso 2: Asociar áreas y Estándares, definiendo los indicadores pertinentes. 1-El objetivo de la evaluación: A2/U2/V1/ P1/P9 2-Los métodos de evaluación: U2/U3/P1/P2/ 17 P3/P10 indicadores 3-Los instrumentos de evaluación: A4/P1/P4 4-La calificación: U3/V1/P5/P7/P8 5-El momento de la evaluación: P2 6-La información proporcionada: el informe U3/U5/P1/P6/P10 15 7-La información al alumno/a: P1/P2/P11

IV. Aplicación de los Estándares: Instrumento de verificación (3)

16

IV. Aplicación de los Estándares: Instrumento de verificación (4)

Paso 3: Identificar del total de los 17 indicadores, los críticos (acción formativa). 5

indicadores

17

IV. Aplicación de los Estándares: Instrumento de verificación (5)

18

V. Resultados de la aplicación de los Estándares en el año 2009 Tareas planificadas: „ Criterios

de selección de los cursos „ Cursos seleccionados „ Conclusiones y pasos a seguir

19

V. Resultados de la aplicación de los Estándares en el año 2009

Criterios de selección de los cursos:

„ „ „ „

Número de ediciones o alumnado. Costes económicos altos o especiales dificultades en su organización. Según características de los destinatarios/as (directivos/as, grupos A, B, C, D, E ...) Cursos específicos por distintas razones (por ser innovadores, por el profesorado, por sus aplicaciones concretas, etc.) 20

V. Resultados de la aplicación de los Estándares en el año 2009

Cursos seleccionados Modalidad FOAC

Curso seleccionado . Metodología 5S en la Administración Pública

. Gestión de pequeño almacén Presencial . Gestor de portales básico On-line

. Excel básico

Mixto

. Conceptos Básicos sobre la Protección de Datos de carácter personal . El Procedimiento Administrativo: el interesado, el silencio y sus fases 21

VI. Conclusiones (1)

1- EVIDENCIAS PARA LA MEJORA DE LA EVALUACIÓN 2- REVISAR Y ACORDAR LA ADECUACIÓN DE LOS ESTÁNDARES - Los 5 indicadores críticos se consideran adecuados, excepto uno: la utilización de más de un método de evaluación para mejorar la consistencia. - Entre los 12 restantes, el indicador que hace referencia a la justificación escrita de la fiabilidad de las pruebas, a fecha de hoy, requiere de un trabajo previo con los evaluadores/profesorado. - Modificar la escala de medición del grado de cumplimiento de los indicadores. 22

VI. Conclusiones (2) 3-PASOS A SEGUIR „

Profundizar en el campo de la evaluación

„

Continuar avanzando en la aplicación de los estándares y la continua revisión de su adecuación.

„

Planificar anualmente los cursos sujetos a la aplicación de los estándares

„

Evaluar los resultados sobre el cumplimiento de los estándares (Informe anual).

„

Difundir los resultados y conclusiones obtenidas (los informes de evaluación serán publicados en la web del IVAP) 23

“ESTANDARES PARA LA EVALUACIÓN DEL APROVECHAMIENTO DE LAS ACTIVIDADES DE FORMACIÓN DEL PERSONAL DE LA ADMINISTRACIÓN PÚBLICA” IVAP, SERVICIO DE ESTUDIOS Y PUBLICACIONES Avenida de la Universidad, s/n 20560 Oñati (Gipuzkoa) Tel. 943 782000 fax: 943 783177 [email protected] Fundación Horrêum Aurelio Villa Sánchez Marcos Sarasola Bonetti María Díaz de Haro, 10 bis 3ª Planta. Dpto.9 48013 BILBAO Tel. 94 442 25 86 24

Eskerrik asko

IVAP, Instituto Vasco de Administración Pública Servicio de Formación Tel. 945-017660 [email protected]

25