La nueva normalidad en la investigación médica: replicabilidad y reproducibilidad

José Manuel González-Rayas1*, Ana Lilia Rayas-Gómez2, José Manuel González-Yáñez2, José Juan García-González3, José Ascención Hernández-Hernández1, Rosa del Carmen López-Sánchez1

1Tecnológico de Monterrey, Escuela de Medicina y Ciencias de la Salud, Monterrey, N.L., México. 2Hospital San José de Querétaro, Querétaro, México. 3Coordinación Auxiliar Médica de Investigación en Salud, Instituto Mexicano del Seguro Social, Querétaro, México

http://creativecommons.org/licenses/by/4.0/

*Autor para correspondencia: José Manuel González-Rayas , Tecnológico de Monterrey, Escuela de Medicina y Ciencias de la Salud. 3000 Ignacio Morones Prieto, Col. Los Doctores, C.P. 64710, Monterrey, N.L., México.

E-mail: contact.jmgr@gmail.com

http://revistabiomedica.mx.

La medicina es uno de los campos científicos líderes en cuanto a investigación sin precedentes se refiere. Año con año, se presentan nuevos descubrimientos tanto a nivel molecular como clínico, dando respuesta a las grandes preguntas de la biología y ofreciendo terapias efectivas para las enfermedades antes consideradas como intratables. Es justamente sobre este terreno fértil, y dentro del contexto de la pandemia por COVID-19, que los científicos de todo el mundo se han unido para proveer las respuestas que tanto necesitamos acerca de este fenómeno emergente. Lo anterior ha ocasionado una explosión de artículos científicos relacionados con el COVID-19, dos de los cuales merecen una mención especial. El primero, “Hidroxicloroquina o cloroquina con o sin un macrólido para el tratamiento del COVID-19: análisis de un registro multinacional”, comparó 4 modalidades de tratamiento (cloroquina, cloroquina más un macrólido, hidroxicloroquina e hidroxicloroquina más un macrólido) con un grupo control (1). Los principales hallazgos fueron un incremento significativo en la mortalidad intrahospitalaria y en la cantidad de arritmias ventriculares nuevas con cada uno de los cuatro regímenes de tratamiento. El segundo artículo, “Enfermedad cardiovascular, terapia farmacológica y mortalidad en el Covid-19”, encontró que las comorbilidades cardiovasculares (como edad < 65 años, enfermedad arterial coronaria, falla cardíaca, arritmias cardíacas, enfermedad pulmonar obstructiva crónica y tabaquismo) se correlacionaron con un riesgo incrementado de muerte intrahospitalaria. De manera contraria, los inhibidores de la ECA (enzima convertidora de angiotensina) y los bloqueadores del receptor de angiotensina no se relacionaron con este desenlace (2).

Los dos artículos, publicados en revistas médicas líderes, han tenido un impacto significativo sobre la respuesta global a la pandemia por COVID-19. Por ejemplo, debido a los hallazgos del primer artículo, la Organización Mundial de la Salud decidió suspender temporalmente el uso de hidroxicloroquina de su estudio clínico “Solidaridad” (el cual intenta encontrar un tratamiento efectivo contra el COVID-19). No obstante, tras la publicación de los dos artículos mencionados, surgieron preocupaciones acerca de la validez de sus datos, los cuales fueron proveídos por la Corporación “Surgisphere”, un consorcio obscuro y previamente desconocido, dedicado al análisis de datos. Específicamente, el hecho de que esta pequeña compañía hubiera podido generar un registro intercontinental de 96,000 pacientes (usado en el artículo de la hidroxicloroquina) resultaba desconcertante. En consecuencia, se comisionó una auditoría independiente de los datos de Surgisphere. Sin embargo, la compañía se negó a proveer las bases de datos completas, alegando que los contratos con sus clientes y los problemas de confidencialidad le impedían compartir los registros completos. Como resultado de lo anterior, tras la difusión de “expresiones de preocupación” por parte de las dos revistas, los artículos fueron retractados. Desafortunadamente, a parte de los dos artículos anteriores, la compañía Surgisphere también proveyó datos para un tercer artículo, el cual discutía los beneficios de la ivermectina en pacientes que requerían ventilación mecánica. El estudio en cuestión fue publicado en un servidor de preprints (prepublicaciones) pero no fue revisado por pares (o formalmente publicado en una revista científica) y fue luego retractado. Aun así, el estudio logró popularizar a la ivermectina como un tratamiento para el COVID-19 en los países latinoamericanos, lo que ha llevado a problemas de automedicación y a casos de personas que han usado la versión veterinaria del fármaco (3).

Consideramos que el fenómeno de Surgisphere debe marcar el inicio de una transformación en la publicación médica e, incluso, en la propia forma de hacer investigación. Aunque este proceso deberá estar sustentado principalmente en los principios de la ética y la integridad, creemos que los conceptos de replicabilidad y reproducibilidad se convertirán en la columna vertebral de lo que podríamos llamar la nueva normalidad en el campo de la publicación médica.

Replicabilidad y reproducibilidad se usan frecuentemente como sinónimos, aunque no son lo mismo. Por un lado, la replicabilidad se refiere a la característica de los artículos de investigación que permite a terceros investigadores repetir los métodos de los autores y obtener resultados similares (4). Lo anterior implica la elaboración de un nuevo estudio, con el objetivo de validar las conclusiones del primero. Por otro lado, la reproducibilidad significa que los datos originales obtenidos en el primer estudio son reanalizados, con el objetivo de confirmar sus conclusiones (4). En consecuencia, no hay necesidad de llevar a cabo un nuevo estudio para evaluar la reproducibilidad de un trabajo de investigación. Adicionalmente, es importante enfatizar que ambos conceptos, replicabilidad y reproducibilidad, son críticos para la credibilidad de la ciencia y, por lo tanto, son tenidos muy en cuenta al evaluar investigaciones en campos como la física, la química y la fisiología (5,6). Sin embargo, este no es el caso en la medicina, principalmente porque las muestras de pacientes son altamente variables y debido a que replicar un estudio en este campo es costoso. Esto es especialmente cierto para el caso de los estudios clínicos y los grandes estudios de cohorte. Como resultado de lo anterior, la práctica de validar los estudios previamente publicados no es tan común en medicina como lo es en las ciencias naturales. Esto ha dejado la puerta abierta para casos de mala conducta científica, lo que ha opacado la credibilidad del campo médico. En consecuencia, consideramos que la investigación médica debe progresivamente avanzar hacia un esquema más riguroso para evaluar nuevos estudios antes de que se publiquen.

Nosotros creemos que este nuevo paradigma en el proceso de publicación debería estar idealmente basado en 4 pilares, los cuales asegurarán la replicabilidad y la reproducibilidad de los nuevos estudios (Figura 1). De acuerdo con nuestro modelo, el primer paso deberá ser el establecimiento de comités intra-institucionales de reproducibilidad, los cuales decidirán si la investigación presentada es válida. Para lograr lo anterior, se podrán llevar a cabo reanálisis independientes de los datos originales obtenidos por los autores. Tras esta fase inicial, todos los datos deberán estar disponibles durante la etapa de revisión por pares, lo que también aseguraría la reproducibilidad de la investigación. En algunos casos, cuando se detecten problemas con los datos, se podrán llevar a cabo ensayos externos de replicación por parte de investigadores independientes, bajo un modelo doble ciego. Finalmente, todos los datos utilizados en los estudios deberán presentarse junto con la versión final de los artículos por publicar. Lo anterior es con el cometido de permitir que los lectores tengan la oportunidad de evaluar la reproducibilidad de las conclusiones de los autores.

Figura 1. Los pilares sugeridos de la replicabilidad y la reproducibilidad para la evaluación de nuevas publicaciones en el campo de la investigación médica. Esta figura fue creada con Biorender.com

Cabe destacar que, aun cuando la implementación del presente modelo será a expensas de ralentizar el proceso de publicación, una evaluación más rigurosa de los estudios se traducirá en literatura médica más creíble y valiosa y ciertamente hubiera prevenido que ocurriera el fenómeno de Surgisphere. Adicionalmente, y como efecto secundario de una evaluación más minuciosa de los manuscritos potenciales, las simulaciones por computadora (tal como las empleadas en los campos de la biofísica y la bioinformática) se volverán cada vez más comunes. La razón es que este formato de estudio puede ser más fácilmente reproducido, a diferencia de los experimentos de laboratorio. En síntesis, muchos aspectos del proceso de publicación están a punto de cambiar debido a la pandemia por COVID-19, por lo que es importante comprender que la ética, la replicabilidad y la reproducibilidad serán la guía para lograr una investigación médica más transparente y sólida.

Referencias

1. 1. Mehra MR, Desai SS, Ruschitzka F, Patel AN. Hydroxychloroquine or chloroquine with or without a macrolide for treatment of COVID-19: a multinational registry analysis. Lancet. En prensa.
2. 2. Mehra MR, Desai SS, Kuy S, Henry TD, Patel AN. Cardiovascular Disease, Drug Therapy, and Mortality in Covid-19. N Engl J Med. En prensa.
3. 3. Offord C. Surgisphere Sows Confusion About Another Unproven COVID-19 Drug. The Scientist. 2020 June 16. News & Opinion. Available from: https://www. the-scientist.com/news-opinion/surgisphere-sowsconfusion-about-another-unproven-covid19-drug-67635
4. 4. National Academies of Sciences, Engineering, and Medicine. Reproducibility and Replicability in Science. Washington (D C): National Academies Press; 2019.
5. 5. Petersen OH. Reproducibility – again. J Physiol. 2019 Feb; 597(3): 657–8. doi: 10.1113/JP277486
6. 6. Wagner PD. Cores of Reproducibility in Physiology (CORP): Advancing the corpus of physiological knowledge. J Appl Physiol. 2017 Ene; 122(1): 89–90. doi: 10.1152/japplphysiol.01046.2016