Documento descargado de http://www.gacetasanitaria.org el 10/10/2016. Copia para uso personal, se prohíbe la transmisión de este documento por cualquier medio o formato.

REVISIONES

METAANÁLISIS EN EPIDEMIOLOGIA (Primera parte): CARACTERISTICAS GENERALES Miguel Delgado Rodrigu8z*'" 1 Maria Sillero Arenas· '" I Ramón Gálvez Vargas· • Cátedra de Medicina Preventiva. Facultad de Medicina. Granada ** Hospital Virgen de las Nieves. Granada . ... Delegación Provincial de Salud y Consumo. Jaén .

META·ANAlYSIS IN EPIDEMIOlOGY: GENERAL CHARACTERIS· TICS (Firsl part) Resumen

Summary

En el presente trabajo se resumen las pnncipales características del melaanalisis en salud pUblica. asi como sus objetivos y utitidades. Tam· bién se establecen las directnces generales en la realización de este tipo de técnicas. A 10 largo de la revisión se detallan las distintas etapas en la ejecución de un metaanálisis, comentándose con ejemplos las ventajas e inconvenientes de las distintas opciones que se presen· tan en el disei'lo.

In the present work the general charactellstlcs, aims and applrca' tlons 01meta-analysis in public heallh are described. The general rules and the relevant steps lar Ihe development 01 this Iype 01 sludies are considered. These points are illustrated with a number 01 leal exampies and the advanlages and limilatlons 01 the dlflerent methodological options are commented.

Palabras clave: Metaanahsls. Métodos epidemiológicos. Revisiones.

Key words: Meta-analysis Eprdemiologlcal Methods. Reviews.

Introducción

ello su uso aun no es recomendado de manera rutinaria para la \laloración glol término metaanalisis (MA) lue bal de un hecho o una asociación. 3 . acuñado por vez primera por Glass Los científicos piensan que la investi· en 1976 1, para describir la inter· gación reciente es mejor que la antigua pretación estadística de datos pro- por una razón bastante sencilla: la invescedentes de varias experiencias simila- tigación moderna aprende de las lecciores. Nosotros lo entendemos como un nes enseñadas por la del pasaoo Pero los análisis sistemático del principio de con- últimos hallazgos sólo tienen sentido sistencia en las diferentes investigaciones cuando se comparan con los producidos que han hecho una valoración de una de- con anterioridad. En este sentido, para terminada relación causal. En el MA la que la ciencia se acumule se necesita un unidad de estudio es cada investigación escalón intermediario entre el pasado y realizada con anterioridad sobre el tópi- el futuro. Las IIRevisiones» son por ello neo co que nos interesa. En el terreno de la cesarias. No sólo cumplen una función medicina, los primeros autores que he- de iniciación en la investigación de un temos encontrado Que utilizaran técnicas ma, también tienen una indiscutible utilide metaanálisis fueron MacMahoo y dad en la enseñanza. Sin embargo, las Hutchison 2 , que combinaron resultados -revisiones clásicas- tienen una serie de de exposición intrauterina a radiaciones defectos ya que intentan integrar de may subsiguiente riesgo de leucemia. En el nera no sistemática esludios realizados momento presente asistimos a un aumen· de muy diversas formas. Los problemas lo creciente de realización y publicación principales que presentan este tipo de rede MA en la literatura médica. A pesar de visiones son 4 :

E

ya que el pro- Su carácter ｳｵ｢ｪ･ｴｩｾＬ＠ ceso de revisión prácticamente carece de cualquier regla formal y es poco proba· ble que dos estudiosos independientes del mismo tema coincidan a la hora de entresacar de un mismo universo dos re· visiones -clásicas •. - No lienen carácter científico. Con gran frecuencia. cuando los autores encuentran a lo largo de su búsqueda biblio· gráfica estudios con resultados conlradictorios, recurren a un «recuento de votos- (tantos a favor, tantos en con· tra , tantos nulos). De esta manera, los as· pectos metodológicos de cada invesligación son ignorados. - Las revisiones tradicionales ofre· cen un camino poco eficaz en la extracción de información útil. Esto se produce sobre todo cuando el n(¡mero de estudios originales es grande. La forma de obviar estos inconvenientes es la utilización de una melodologia que permita combinar cuant itativamente

GCffespondencia: M. Delgado Rodríguez. FacuH&d de Medicina. Oepartamefito de MediCina ｐｲＦｖ･ｮｴｩｾ｡Ｎ＠ Avda. de Madrid, 11. t8012 Granada. Este articulo rue recibido el 6 de marzo de 1991 Yacep/ado . tras revisión. el 30 de septiembre de 1991 .

G ACETA SANITARrA/ NoVIEMBRE-DICIEMBRE. 1991. N.

265

27. VOL. s

Documento descargado de http://www.gacetasanitaria.org el 10/10/2016. Copia para uso personal, se prohíbe la transmisión de este documento por cualquier medio o formato.

resultados procedentes de varios estu· dios, Esla es la razón de ser del metaa· nálisls. DeHnición El metaanálisis consiste en un conjunto de técnicas que se utilizan para cuantifi· car la información contenida en estudios similares. Glass 110 definió como «el aná· lisis estadistico de una colección amplia de resultados procedenles de varios ex· perimentos con el propósito de integra r los hallazgosn, Der Simonian y Lai rd 5 lo han definido de manera similar: «el aná· lisis estadistico de una colección de re· sultados analilicos con el propósito de integrar los hallazgos•. Preferimos la de· finición de DerSimonian y Laird ya que no limitan a priori su ámbito de aplicación: para Glass el metaanálisis sólo es utili· zable en estudios experimentales y no en otro tipo de disenos. Con Glass coinciden otros auloresS. 7, aunque irónicamente al· gunos de ellos, tras su primera opinión? hayan realizado metaanálisis sobre estu· dios observaciooalesB. El metaanálisis se lleva a cabo para aumentar el poder de una prueba estadis· lica y para obtener información que no puede ser derivada de manera fiable de los experimentos individuales. Esto es adecuado para fenómenos de baja freo cuencia o cuando se valoran electos pe· queños, pero nunca es un sustituto para un estudio bien diseñado. realizado y ana· lizado con un tamaño muestral adecuado.

Objetivo s Los objetivos principales de un metaa· nálisis son 4 · 9-10 : 1) Investigar la re lación entre dos variables que pueden mantener relaciones de causalidad (un factor de nesgo y una enfermedad, un tratamiento y la curación de una enfermedad, etc.) y su magnitud: y 2) aumentar la precisión de las estimaciones del efecto que se es· tudia, Esta metodologia permite además la consecución de otros objetivos concre· tos: 1) valoración de la consistencia en· tre diferentes estudios que anal izan las mismas variables. y de la consistencia en· tre distintos niveles de la variable expo· siclOo (un factor de riesgo. un tratamiento.

4. Valoración de Iratamientos. Este ha sido una de sus aplicac iones más clási· cas , ya que la mayoria de ellas han neo cesitado de ensayos clin icos para su puesta en práctica, Ejemplos de ellos le· nemas el ya clásico metaanálisis de yusuf el al 20 sobre betabloqueantes en la terapia de infarto agudo de miocardio o la valoración de las soluciones coloideas frente a las cristaloideas en la resucitación 21 . . 5. Ident ifi cación de subgrupos espe· ciales (para un faclor de riesgo, una prueba diagnóstica o un tratamiento). Como Utilidades ejemplo, en el análisis de los anticoncep· ¡i'-X)s Ofales como faclor de riesgo del cán· Las aplicaciones del metaanálisis se cer de mama. el riesgo parece recaer derivan de los objetivos que acabamos de especialmente en las mujeres que con· exponer. sumieron el preparado a edades jóvenes 1. Descripción de un determinado fe· (antes del primer embarazo o antes de los nómeno: 25 años de edad) y que luego desarrolla· a) Valoración de errores de metadolo· ron un tumor premenopaúsic0 17 . gia en la investigación de una asociación . 6. Valoración de la heterogeneidad Ejemplos de el los son la valorac ión de (consistencia) de diferentes invest igac io· errores y de los patrones de publicación nes. Se pretende con ello justificar el por en la asociación de anticonceptivos ora· qué dislintas investigaciones han produ· les con los tumores de mama y cuello cido diferentes resu!taoos. Un ejemplo de uterino 11·12 o la valoración metodológica ello lo constituye el metaanálisis de Ewert· que Tirosh y Rabino 13 realizaron sobre zet a122 , en el que se ana lizan las incon· los estudios que analizaron el valor de la sistencias encontradas en 8 estudios fisioterapia en los niños con parálisis ce· realizados en los países nórdicos con res· rebral . pecIo a considerar a la edad al primer par· b) Descripción simple de lo que ocu· to y a la par idad como predictores rre en un cierto colectivo, como por ejem· independientes de cáncer de mama, Cu · plo, la descripción de los problemas riosamente los autores concluyen que una encontrados en las personas que atien· razón puede ser la falla de potencia es· den a enfermos dementes14 . tadística sin ofrecer ninguna estimación cl Aumento de la precisión de un esti· de la misma, cuando ello es bastante mador, como el cálculo de la prevalencia factible 23·24 de un delerminado proceso en la colecti· vidad. Ejemplo de ello seria la valoración de la prevalencia de inlección por el VIH en ciertos grupos de riesgo de la pobla· Protocolo ción española 15· 16 2, Análisis de presuntos faclores de Un metaanálisis debe realizarse con ri· riesgo frente a una determinada enferme· gor cientifico (que 00 siempre se cumple). dad. Ejemplos de ellos son las valoracio- En la tabla 1 se resumen las característi· nes de los anticonceptivos orales y el cas generales que todo metaanálisis de· riesgo de cáncer de mama o de cuello bería reunir. Se debe constatar en él la uterino 17• 18. existencia de los siguientes aspectos: 3. Valoración de pruebas diagnósticas, 1. Una hipótesis de trabajo. como el realizado por Gianrossi el al19 al 2. Selecc ión de la población de estu· valorar la eficacia de la depresión del seg· dio: Criterios de búsqueda de la informa· mento ST en el electrocardiograma reali· ción , especificando ellipo de fuentes y zado durante el ejercic io frente a la el método de búsqueda (faltan, por ejem· coronariografia en el diagnóstico de la en· . plo, en el análisis realizado por Prentice lermedad coronaria. y Thomas25 de los anticonceptivos ora·

etc.); 2) obtención un mejor estimador global de la relación entre las variables que se anali zan; 3) identificación de subgr u· pos que son particularmente susceptibles a la variable exposición que se estudia; 4) valoración de la calidad de la metodologia empleada en cada una de las inves· tigaciones individuales, y elaboración, Iras el análisis de la consistencia entre los distintos resullados. de propuestas metodológicas a segu ir en futuras inves· tigaciones,

R e VIS IONES

266

Documento descargado de http://www.gacetasanitaria.org el 10/10/2016. Copia para uso personal, se prohíbe la transmisión de este documento por cualquier medio o formato.

probabilidad de encontrar falsos positivos (asociaciones significativas que en rea· lidad se deben al azar). Aparte de poder dividir los estudios a combinar en dos muestras. como en el caso anterior, en esta situación, el investigador podría ser más estricto con el nivel de significación para asf disminuir la proporción de falsos positivos. Esto se puede alcanzar median· te el uso de análisis multivariables. Tam· bién se puede renunciar a la estadística interencia!. Se usan entonces medidas descriptivas (medias, coeficientes de correlac ión, etc.) que sugieran una posible hipótesis. A partir de ese momento se apli· can las pruebas estadísticas.

Tabla 1. Protocolo de un melaanalisis 1. Hipótesis de trabajo SELECCION DE LA POBLACION DE ESTUDIO

2. BusQueda de la información - Tipo de fuentes - Métodos de bUSQueda 3. Criterios de inclusión - Idioma - Tipo de efecto - Tipo de diseño - Tipo de datos (ej. morbilidad o mortalidad) - ¿Toda la información o sólo la metodológicamente aceptable? METAANALlSIS CUALITATIVO

4. Cuestionario de evaluación de los estudios - Valoración de la calidad - Extracción de los datos cuantitativos pertinentes METAANALlSIS CUANTITATIVO

2. Estudios

5. Valoración del sesgo de publicación 6. Métodos esladisticos para la combinaciÓIl de resultados 7. Análisis de la heterogeneidad

les con numerosos efectos; Criterios de inclusión de una investigación, con decla· ración expresa de la exposición yefeclo que se investiga, entre otros puntos. 3. Metaanálisis cualitativo: Método seguida para la ･ｾｲ｡｣ｩￓｦｬ＠ de la informaciÓfl relevante y pertinente de cada investiga· ción (falta, por ejemplo, en un metaanálisis de los anticonceptivos ora les y el riesgo de malformaciones congénitas en la descendencia 25 ). 4. Metaanálisis cuantitativo: Valoración del sesgo de publicación (no existe, por ejemplo, en las referencias 8 y 25); Métodos estadísticos empleados para la combinación de resultados (fallan, por ejemplo. en el anál isis de Fasoli el a1 26 , sobre anliconcepciÓll pclstcoital); Metodología empleada para tratar el problema de la heterogeneidad (ausente en numerosos estudios: sirvan de ejemplo los dos últi· mas comentados 25 .26 ). La no constataciOO de los anteriores hechos dificulta el que la evidencia pueda ser valorada correctamente por 01ros 3. A continuación se describe más ampliamente los distintos puntos enumerados.

Origen de las hipótesis 1. Estudios exploratorios El primer punto que debería dejar cia· ro un investigador en el metaanálisis es

si tiene una hipótesis de trabajo, o por el contrario, intenta explorar el conocimiento existente sobre una asociación. En el primer caso. el anátisis de la informacm disponible intenta comprobar una idea previamenle elaborada. En el segunOO, sucede lo opuesto. Un ejemplo de ello es la revisión crítica de la literatura realiza· da por Her.rera y Lynch 21 para valorar si la calvicie es un factor de riesgo para la cardiopatía ｩｳｱｵ￩ｭ｣ｾＮ＠ Si se observa una asociación Iras la combinación de resul· lados, se elabora una hipótesis que los justifique. En este caso, el análisis no puede concluir nada. ya que no es científico utilizar los misroos dalos que sugieren una hipótesis para corroborarla. En este ca· so, y dado que se va a ulilizar lada la información disponible, una estrategia sensata seria utilizar la mitad de los estudios para generar una hipótesis y el resto para confirmarla. una postura similar resulta adecuada cuando la hipótesis de trabajo ha sido sugerida tras la revisión no cuantitativa de troa la información 9 . El problema se agudiza cuando se busca la asociación entre un efecto conc reto y variables múltiples. En esta situación se examinan múltiples asociaciones a lo largo de varios estudios. La probabi lidad de encontrar relaciones sign ificativas (p sición y un efecto; si un MA de varios estudios, de los que al menos uno alcanzó significación estadística, ootiene un re· sultado estadísticamente significativo, el MA fortalece la evidencia global; Si un MA de varios estudios, de los que ninguno alcanzó significación estadística, obtiene un resultado estadísticamente significativo, no es recomendable actuar en base a su resultado. Quizás sea necesario es· ludios de mayor tamaño: si un MA de va· rios estudios, de los que al menos uno alcanzó sígnificación estadística, obtiene un resullado estadísticamente no signifi· cativo, habrán de ser reconsiderados los criterios de selección de los distintos es· tudios o rea lizar nuevos estudios. Por úl· timo no debe olvidarse su posible contribución en la enseñanza de la epidemiología y de las ciencias de la salud.

Bibliografia 1. Glass ey. Pnmary. secondary. and melunalysrs 01 res eareh. Eouc Res 1976. 5: 3-9 2. Macl-.lal"oo B. HulehlSOl'l GB_ Prenatal ＩＨｾ｡ｹ＠ ano chikllood cancer a reYleW 1m J Gancel 1954. 20 1172-1174. l . Woolf SH. Ba11151a RN, AA:telson GI-.I. lDgan tJ3, Wang E. and lile Canadian Task Force on lhe Periodic Heal1ll Examina\lon. Assessing Ihe cli!lleal ellectiveness 01 prevenllve maneuvers: anatytie principies and sysle· matie melhod5 In reviewmg evidence and dewloping clinieal praclice recommendalions. J CJin Epidemiot 1990; 43: 891·905. 4. lIghl RJ. Prllemer Da. Summll1g ｾ｟＠ The sClence 01 rev. ewlflg research Cambndge lMA)' Har'(3rd UnlVer· sily Press. 1984. S. DerSimonian R. Lalrd N. Mela-analysls in clmical tllats. COiltrol CIm TrlalS 1986: 7: m ·I88. S. Bulpl11 CJ. Mela·analysis. ｵｮ｣･ ｴ ｾ Ｚ＠ 93-9' . 7. Saeks H5. Belller J. Rel!man O. Ancona·Ber-k YA. Chalmers lC. l-.leta·analyses 01 randcmlled conlrotled 11131s. N Engl J MM 1981: 316: 150-155. 8. longnecker MP. Berlm JA, Orza MJ. ChalmersTC. A meta-analysl s01 alCOhol consumplion In relatoo 10 rlsk 01 breasl eancer. JAMA 1988: 260: 652-656. 9. Borssel J.p, Blanchard J. Panak ｅ Ｎ ｬ＿Ｈｲ ｩ･ｵ ｾ＠ J.C. Sacks H CO'lsiderations tor Ihe meta·analyslSo/ ranóomized cllnlC3llriats IS\JM"lary 01 apanel discusslon). CooJro. IIed Clfn Trrals 1969: 10: 25,H81.

10. Jeruce/; M. Meta·analyseen médicille Ouébec: EOi·

sem. IgS7 _

11. Delgado Rodríguez M. RodIiguel-Conlreras R. Si· lIero ATenas M. Laroelb Clarel P. BlleIIo Gavanillas A. Gatvez Vargas R. CO!11racepuvos Ofales y canceres de mama y cuello UlellllO. MelaanalisiS cualilall'1O. btofin Prácl 19'JJ: 46: 336-344

27.

V OL S

,

Documento descargado de http://www.gacetasanitaria.org el 10/10/2016. Copia para uso personal, se prohíbe la transmisión de este documento por cualquier medio o formato.

12. SilleroAIen o:s M, Rodríguez·Contreras A, Delgado Rodriguez M. BuenoGavanillas A. Gálvez Varga s R. Oral conlraceplives and cancer oItMe cerVlx uten. F'allerns 01 research. Acla Obstel Ginecol Scand 1991 (en prensa), 13. Tirosh, E, RabillOS, Physiolherapy 01 children with cerebral palsy. AlOC 1989; 149: 552-555 14. Baumgarten M. The heallh 01 persollS glving care 10 Ihe demented elderly: a CIItical revlew 01 the litera· lure. J Glin Eprdeml/ 1989 ; 42: 1137·11 48. 15. Gómez Olmedo M, Fernández Sierra MA, Delgado Rodriguez M, Galvez Vargas R. Infección por VIH en la pOOlacioo española. 1. Metaanálisis cualitatll'O MedGlin (Salc) 1990: 95: 286-291, 16. Fernandez Sierra MA. Gómez Olmedo MR. Delgado Rodríguez M, Gálvez Vargas A.lnfe cclón por VIH en la población española. Ir. MetaanáliSIS de las terldenclas temporales y geográhcas. MOO Glln (Bare) 1990: 95: 366·371 17. Delgado-Rodríguez M, Sillero-AIenas M, ACdríguezConlreras R, López R, Galvez·Vargas R. Oral contracep· lIves and breast cancer. A mela·analysis. Rev Epidém Sante Pub/1991; 39: 165·181, 18. Delgado-Rodríguez M. SiUero-AIenas M, Roo ríguez· Conlreras R, Martín·Moreno JM. ｇ｡ｬｾ･ｺ Ｍ ｖ｡ｲＹｳＬ＠ R. Oral conlraceplives and cancer 01 the cervix ulerr. Ametaanalysis. Eur J Epidemiol 1991 (In press), 19. GlanrOSSI R, Delrano R. Mulvihlll DF. Lehmann, K, Dubach p. Colombo A, McArthur D, Froelicher V Exercice·induce ST depression in the diagnosis 01coronary aflery diseasa Amela·analysis. Circulation 1989' 80: 87·98. 20. Yusul S, Peto R, l ewis J. CoIlins R, Slerghl P_ Bela blockade during and afler m)'OCardial lnlarction: an overo Vlew 01 tlle randomized Irials. Pror; Cardiovas Dis 1985 ; 27: 335·371. 21. Velal1O'licll V. ｃｲｾｳｴ｡ ｬｯ ｩ､＠ versus collOld fluid resus· citatlon: a mela·analyslS01 morlalil)'. SlJlgery 1989: 105: 65·71. 22. Ewerlz M, Dul1y SW. Adami H·O, Kvale G. Lund E. Meilik O. Mellemgaard A. Súini 1, Tulinius H. Age at lirsl

blrth, parity and rlsk 01 breast cance r: a meta·analysis 018 sllIdies Irom lile nord!c counlries, 1m JCancel l900; 46: 597-603. 23. Rodríguez-Coronado R, Delgado Rodrí9uez M. SI' llera Arenas M. lardelli Clarel p. Gálvez Vargas R. Con· traceplivos orales 1 cáncer de cuello ulerino: análisis del poder de la asociación, Rev San Hig Públ 1991 (en prensa) 2·(, Delgado Rodríguez M, SilleroAIenas M, Rooriguez· Contreras R, Bueno Cavanillas A. Martín Moreno JM. Galvez Vargas R. AnticonceptiVos orales y cáncer de mama: análiSIS de la ¡x¡tencia estadística de asoc tación. Gac $amt 1991: S' 59-67. 25. Bracken MB Oral conlraceptloo and congenilalmallormations In ollspring: a rev iew and meta-analysis 01 lhe prospeClrve sludies. Obstet Gynecol. 76 552·557 26. Fasoli M, Parazziní F. Cecchení G, l a Vecchia e, ｾｓｬ ﾷ ｣ｯ￭ｬ｡ ｬ＠ cootraceplion: anoverview 01publlshed Slu· dies_ Conlracep/lon 1989: 39: ＴＵＹ Ｍ ｾＶＸ＠ 27. Herrera CR,lynch C.ls baldness a IIsk factor lor coronary ｡ ｲｴ ･ｲｾ＠ disease?A rev¡ew oltne literatura JGlln Epidemio/ 1990: 43: 1255·1260. 28. l lghl AJ, Accumulating evidence flOm Independent sllJdies: what we can win and what we can lose? sla/ Mea 1987: 6: 221-228. 29. Chalmers TC, levin H. Sacks HS, Reilman D. Se· Hler J, Nagalingam R, Mela-anafysis 01 clinrcallllals as a scientilic discipline 1: ContlOl 01 bias and comparr· son wllh large co,ooeratlve trials. 5181 MOO 1987: 6: 315-326. 30. Begg CB, Serlin JA. Publicalion bias and di sseml' nalion 01clinical researeh, J NatlCancer /nsI 19S9; 81: 107·115, 31. Koren G. Graham K, Shear H. Eínarson 1 Bias agarn sl llle null Mypotl1esis: the reproductÍ\'e Mazards 01 cacama Lilnce11989; ii: 1440·1442. 32. Howe GR. Hirohata T, Hislop TG, Iscovich JM, Yuan J·M, Katsou yanni K. lubin F, Marubini E. Modan B, Rohan T. Toníolo ｾ＠ Schunzhang Y. Dlcl ary lactors and risk 01 breast cancer eombined analysis 0112 case·conlrol studies. JNGI 1990: 82: 561·569

R EVISIONES

272

33. Dickersin K, Chalmers TC, Simes AJ. Boissel JP. Meinerl Cl _Report Irom Ihe panel 011 the case lar re· gislers 01 clinlcal lrials. Conlwlled G/m Tna/s 1988: 9: 76·81. 34. Dickersin K, Hlggms K. Meinerl CL Identlfrc atlOfl 01mela·analyses. 1he need lor standard lermlnoklgy. Con/rolled G/in Tiials 1900; 11: 52·66 35. Ozm¡nkowski RJ, ｾ Ｇ ｉｯｲｬ ｭ ｡ｮ＠ PM, Inbornloulborn sla· tus and neonalal sur'iÍval' a meta-analysls 01 nonrandomized sludies. Slat MOO 1988: 7: 1207·1221 36. Shinton R. Beevers G. Mela-analysls 01 relat lon bet· ween cigarene smoking andstroke,BI MeaJ 1989: 298: 79S·794. 37. Berlin JA. Coldilz GA. A Meta·analysis 01 pMyslcal 1 aClivity In the preventlon 01coronary hear! disease, Am J Epidemial 1900: 132: 612·628, lB. DelgadO Rodriguez M. Sillero Arenas M. Rodríguez· Contreras R, Gálvez Vargas R. PertinenCia y normaspar3 la realizacrÓ!1 de un esludiosobre anticonceptivos ora· les y cancer de mama en España. Toko·GmPráCI I991 (en prensa). 39. Chalmers re, Smilh H Jr. Blackburn B. Silverman B, Scilloeder B. Reltman D. Ambroz A Amelhod lO! as· sessrng Ihe Qualily 01 a random ized COnlrol tnal, Con· tlol Clin Tlials 1981; 2: 31·49. 40. Relsch JS, Tyson JE. Mlze SG. Ald 10 Ihe evalua!Ion 01tnerapevlic studies. AMia/flcs 1989: 84' 815-827. 41. Riel Gler, Kleljnen J. Knipschild P. Acupunlure and chronlCpain: a cll1eria·based mela·analysls, J Glin Ep¡· demiol l990; 43: 1191·1199. 42. Elwood JM. Casual relatioo ships In medicine: a practical appraisal. Odord: Oxlord Univers ily Press, 19B8, 43. Reallnl JP. Goldzieh er JW Oralcontraceptlves and C3ro ovascula¡ dlsease a crlflque 01 the epldemlolo· glc sludies Am J OOSlel Gynecol1 98J: 152 729·798 44. Delgado Rodríguez M. SilteroAIenas M. Rodríguez· Contreras R, Gálvez Vargas A. Melaan¡ilisls en eprde· milogia, 11. Mélodos cuant itatIVOS,Gac SaM(en pre nsal, 45. Vandenbroucke JP. Passwe smoking and lung can· cer: a publicalron bias? 81 Med J 1988: 296: 391·392