Dra. Victoria Wurcel Lic. Giselle Balaciano

Calidad de una GPC  Confianza en que los sesgos potenciales del desarrollo de la guía han sido señalados de forma adecuada. 

Las recomendaciones son válidas tanto interna como externamente, y se pueden llevar a la práctica3.

 Valorar beneficios, daños, costos y aplicabilidad de las recomendaciones3.  Utilizar una sistemática específica validada en la generación de una GPC nueva.  Evaluar una GPC ya existente mediante la misma sistemática para decidir adaptarla al contexto local.

3 Colaboración AGREE. OSTEBA.Evaluación de GPC.Instrumento AGREE.2001

.

Instrumento AGREE  Instrumento para la evaluación e

investigación de la calidad de las GPC (Appraisal of Guidelines Research and Evaluation)  Valora de forma objetiva la calidad de la evidencia sobre la cual se basa la GPC.  Valora el proceso de armado de la GPC y las recomendaciones.  Elaborado por investigadores de varios países que tienen amplia experiencia y conocimiento sobre guías de práctica clínica.

Concepto base  Debe estar explícito el nexo entre

cada recomendación y la evidencia científica que la sostiene.  La evidencia científica y el juicio clínico deben anteponerse a las opiniones de expertos4.

4 Scottish Intercollegiate Guideline Network. SIGN 50.A guideline developers handbook.Jan. 2008.

¿Por qué evaluar guías? Una guía es una forma de intervención sanitaria Puede afectar a una gran cantidad de pacientes.

Los usuarios de las guías necesitan tener confianza en sus recomendaciones

Los grupos profesionales y organismos oficiales deben asegurar que las guías son confiables antes de recomendarlas.

¿Por qué la colaboración internacional? Las GPC’s juegan un papel cada vez más importante en la práctica clínica de la mayoría de los países.

Asegurar su calidad es una preocupación compartida. Es necesaria un acuerdo internacional para la

elaboración de GPC’s. ‘El conjunto es superior a la suma de sus partes’.

Antecedentes Desarrollo en R.U. Instrumento de evaluación desarrollado y validado en R.U. (financiado por el programa nacional de I+D) Usado en R.U., Europa y Canadá.

Financiación de la U.E. Financiación obtenida del 4º Programa Marco de la U.E. para tres años (1998-2001)

LA COLABORACIÓN AGREE

FINLANDIA

ESCOCIA DINAMARCA

INGLATERRA & GALES

HOLANDA

ALEMANIA FRANCIA

SUIZA

ITALIA ESPAÑA



EEUU



Canada



Nueva Zelanda

Objetivos Desarrollar aproximaciones compatibles para la elaboración de GPC’s.

Establecer un modelo para la evaluación y monitorización de las GPC’s.

Definir criterios de calidad relevantes para las guías. Promover y estimular la difusión de esos criterios

mediante intercambios y relaciones de colaboración.

Propósito del Instrumento AGREE Aportar un marco sistemático para la evaluación de la calidad de las GPC’s. Ayudar a quienes elaboran guías a seguir una metodología estructurada y sistemática. Ayudar a los proveedores de cuidados de salud a evaluar guías antes de adoptar sus recomendaciones en la práctica clínica. Ayudar a los decisores de diferentes niveles y organismos a recomendar guías para su uso en la práctica.

Definición de Calidad

Se entiende por calidad de una GPC, cuando: hay confianza en que se han evitado los sesgos potenciales producidos en su desarrollo

y las recomendaciones son válidas interna y externamente y son útiles para la práctica clínica.

Proceso de desarrollo Subgrupo de revisión de literatura Circulación del primer borrador para comentarios

Primera reunión de trabajo: modificación del instrumento Primer estudio de validación

Segunda reunión de trabajo: revisión del instrumento Estudio de validación final

Proceso de Validación (1) Fase 1 El instrumento fue aplicado a 100 guías de 11 países

Todos los países siguieron el mismo protocolo Cada guía fue evaluada independientemente por

cuatro evaluadores (194 en total) El instrumento fue utilizado en inglés

Proceso de Validación (2) Fase 2 El instrumento refinado fue testado en 33 guías seleccionadas aleatoriamente del primer estudio Participaron los mismos países

Se reclutó un nuevo grupo de evaluadores (70) Cada país evaluó 3 guías

Resultados El tiempo medio de evaluación (leer y completar el instrumento) fue de 1,5 horas. Tras el análisis de componentes principales la versión final del instrumento refinado contuvo 23 ítems en 6 áreas. La fiabilidad fue satisfactoria para cada área: - Cronbach’s Alpha 0.64 - 0.88 - ICC 0.57 -0.91 El instrumento fue útil para un 95% y la guía de uso para un 98% de los evaluadores

Mejores resultados con mayor nº de evaluadores

Estructura Seis áreas  

23 criterios Escala de 4 puntos de Lickert

Alcance y Objetivo (3) Participación de los implicados (4)

Evaluación global

Rigor en la elaboración (7)

Guía del Usuario

Aplicabilidad (3)

Claridad y presentación (4) Independencia editorial (2)

Instrumento AGREE  A cada ítem se le puede asignar un puntaje

4 Muy de acuerdo

1 Muy en desacuerdo

A mayor valor , más probabilidades de que sea seleccionada la guia, por su mayor puntaje

Alcance y objetivo (3)

1.

Los objetivos generales de la guía están específicamente descritos.

2.

Los aspectos clínicos están específicamente descritos

3.

Los pacientes a quienes se pretende aplicar la guía están específicamente descritos

Participación de los implicados (4)

4.

El grupo de desarrollo incluye todas las profesiones relevantes

5.

Se han tenido en cuenta los puntos de vista y preferencias de los pacientes

6.

Los usuarios diana de la guía están claramente definidos

7.

La guía ha sido probada por los usuarios finales.

Rigor en la elaboración (7)

8.

Se han utilizado métodos sistemáticos para la búsqueda de la evidencia

9.

Se han descrito con claridad los criterios para seleccionar la evidencia

10.

Los métodos para formular recomendaciones están claramente descritos

Rigor en la elaboración (7) 11.

Al formular las recomendaciones se han tenido en cuenta los beneficios, los efectos secundarios y los riesgos

12.

Relación explícita entre las recomendaciones y las evidencias en que se basan

13.

La guía ha sido revisada por expertos externos antes de su publicación

14.

Se incluye un procedimiento para actualizar la guía

Claridad y presentación (4)

15.

Las recomendaciones son específicas y no son ambiguas

16.

Las distintas opciones de manejo están claramente presentadas

17.

Las recomendaciones clave son fácilmente identificables

18.

La guía se apoya en herramientas para su aplicación

Aplicabilidad (3)

19.

Se han discutido las barreras potenciales a la hora de aplicar las recomendaciones.

20.

Han sido considerados los costes potenciales de la aplicación de las recomendaciones.

21

La guía ofrece una relación de criterios clave con el fin de realizar monitorización y/o auditoría.

Independencia editorial (2)

22.

La guía es editorialmente independiente de la entidad financiadora

23.

Se han registrado los conflictos de los intereses de los miembros del grupo de elaboración.

Puntuación de las áreas: Las puntuaciones de las distintas áreas pueden calcularse sumando todos los puntos de los ítems individuales de un área y estandarizando el total, como porcentaje sobre la máxima puntuación posible de ése área. Ejemplo: 4 evaluadores dan las siguientes puntuaciones a los ítems del área 1, Alcance y objetivo

Ítem 1

Ítem 2

Ítem 3

Total

Evaluador 1

2

3

3

8

Evaluador 2

3

3

4

10

Evaluador 3

2

4

3

9

Evaluador 4

2

3

4

9

Total

9

13

14

36

Máxima puntuación posible = 4 (Muy de acuerdo) x 3 (ítems) x 4 (evaluadores) = 48 Mínima puntuación posible = 1 (Muy en desacuerdo) x 3 (ítems) x 4 (evaluadores) = 12 La puntuación estandarizada del área será: Puntuación obtenida – mínima puntuación posible

= Máxima puntuación posible – mínima puntuación posible

36-12 48-12

=

Nota: Las puntuaciones de las seis áreas son independientes y no deben ser agregadas en una única puntuación de calidad.

24 36

= 0,67

Cálculo de la puntuación de las áreas La puntuación estandarizada del Área en una guía se calcula:

sumando todas las puntuaciones de los criterios individuales de un Área

y estandarizando el total como un porcentaje de la máxima puntuación posible en ese Área.

Ejemplo de puntuación de un área (1)

Evaluador 1 Evaluador 2 Evaluador 3 Evaluador 4 Total

Criterio 1 2 3 2 2 9

Criterio 2 3 3 4 3 13

Criterio 3 3 4 3 4 14

Total 8 10 9 9 36

Max. punt. posible =4(muy de acuerdo)x 3(criterios)x4(evaluadores)= 48 Min. Punt. posible = 1(muy en desacuerdo)x3(criterios)x4(evaluadores)= 12

Ejemplo de puntuación de un área (2) La puntuación estandarizada del área será: Puntuación obtenida – mínima puntuación posible Máxima puntuación posible – mínima puntuación posible =

36-12

48-12

=

24

36

x 100 = 67%

Instrumento AGREE Puntajes estandarizado

Puntaje real / Puntaje ideal = 63%

Cuanto más cercano a 100% mejor es el puntaje para la GPC.

Instrucciones para la evaluación global Balance entre:

Los criterios AGREE que evalúan principalmente la calidad en la elaboración

y en la publicación de la GPC Y El contenido clínico de las recomendaciones aplicadas al contexto local y su impacto en los resultados en pacientes

Puede ser interpretado como un juicio ponderado entre el rigor científico de proceso de elaboración y las consideraciones prácticas de su aplicación

Guía para la evaluación global

Muy recomendada: Cuando la guía puntúa alto (3 a 4) la mayoría de los ítems y la mayoría de las puntuaciones de las áreas son superiores a 60. Esto indica que la guía tiene una alta calidad general y que podría ser considerada para su uso en la práctica sin tener que modificarla.

Guía para la evaluación global

Recomendada (con condiciones o modificaciones): La guía puntúa alto (3 a 4) o bajo (1 o 2) en un número similar de ítems y la mayoría de las puntuaciones de las áreas se encuentran entre 30 y 60%. Esto indica que la guía tiene una moderada calidad general.

(Podría ser debido a

una insuficiente información sobre los ítems). Se considera que introduciendo algunas modificaciones siempre que la información sobre el método

de elaboración esté bien descrito esta guía podría ser considerada para su uso, especialmente cuando no hay otras disponibles sobre el mismo contenido clínico.

Guía para la evaluación global

No recomendada: La guía puntúa bajo (1 o 2) en la mayoría de los ítems y la mayoría de las puntuaciones de las áreas son inferiores a 30%. Esto indica que la guía tiene una baja calidad general y serias deficiencias. Por tanto no debería ser recomendada para su uso en la práctica.

Evaluación global

¡No agregar las puntuaciones de las seis áreas en una única puntuación de calidad! Tomar en cuenta cada uno de los criterios de evaluación. Naturalmente, ¡usar el sentido común!

Instrumento AGREE Puntajes estandarizado

Al ser una puntuación estandarizada nos permite comparar este puntaje con el puntaje obtenido en otra GPC sobre el mismo tema.

Conclusiones

AGREE es el primer instrumento de evaluación para GPC’s que

ha sido desarrollado y testado internacionalmente Puede ser usado consistentemente por un amplio rango de

profesionales que procedan de diferentes entornos culturales. Para cada Guía son necesarios varios evaluadores.

Diseminación

El Instrumento AGREE ha sido traducido a 7 idiomas. La UE ha propuesto que todos los proyectos financiados evalúen las GPC’s con el Instrumento AGREE. La OMS ha suscrito el Instrumento AGREE. El Consejo de Europa ha recomendado formalmente su uso.

Diseminación Osteba ha sido responsable de la traducción y edición al español. El AGREE trust gestiona la web de AGREE:

http://www.agreetrust.org

Se ha recibido financiación adicional de la UE para diseminar el Instrumento AGREE en 22 países Europeos. Se ha establecido la International Guidelines Network (GIN): www.g-i-n.org Pautas para la incorporación de GPC al PNGCAM

Recomendaciones

La jerarquía de la evidencia científica para cuestiones terapéuticas calidad de la evidencia

alta

Revisiones sistemáticas / Meta-análisis

Ensayos Clínicos Aleatorizados Revisiones sistemáticas de estudios observacionales

Estudios controlados no aleatorizados Estudios de cohorte Casos-controles

Est. de corte transversal / Serie de casos/ ecológicos Serie de casos Estudios fisiológicos / Observaciones no sistemáticas baja

Niveles de Evidencias:Protección de Sesgos Ia: evidencia desde meta-análisis de ICCAs Ib: evidencia desde al menos una ICCA IIa: evidencia desde al menos un ensayo clínico controlado no aleatorizado (cohorte prospectiva) IIb: evidencia desde al menos un ensayo clínico cuasialeatorizado

III: evidencia desde estudios observacionales (casocontrol, comparativos, descriptivos y de correlación)

IV: evidencia generada en comités de expertos, opiniones, experiencia clínica no controlada

Graduación de la Evidencia Niveles de Evidencias Nivel de Evidencia

Grado de Recomendación

Basada en evidencias de Nivel I

A

Basada en evidencias Nivel II o extrapolada de la anterior

B

Basada en evidencias Nivel III o extrapolada de las anteriores

C

Basada en evidencias Nivel IV o extrapolada de las anteriores

D

Graduación de la Evidencia Grado de recomendación

Nivel de Intervenciones evidencia

3b

Revisión sistemática de RCTs Un ensayo randomizado controlado Revisión sistemática de cohortes Cohorte individual Revisión sistemática de estudios casocontrol Caso-control individual

C

4

Series de casos

D

5

Opinión de expertos sin análisis crítico

A

B

1a 1b 2a 2b 3a

Dra. Victoria Wurcel Lic. Giselle Balaciano

[email protected]