ANOVA, comparaciones múltiples y FDR

Al finalizar este tema

Podrá distinguir entre la pregunta general y las comparaciones por pares al comparar tres o más grupos. Podrá explicar cómo definir la familia en las comparaciones múltiples y que la corrección de los valores p no sustituye la consideración del tamaño del efecto ni del diseño del estudio.

A medida que aumenta el número de comparaciones, también lo hace el número de preguntas

Al comparar tres condiciones (A, B y C), la pregunta general (“¿Son iguales las medias de todas las condiciones?”) difiere de la pregunta por pares (“¿Difieren A y B?”). Realizar múltiples comparaciones por pares acumula la oportunidad de obtener resultados extremos por azar.

La ANOVA es una forma de pregunta modelística que compara varias medias simultáneamente. Que la prueba general sea significativa indica la posibilidad de que exista al menos una diferencia, pero no especifica qué par difiere ni cómo. Las comparaciones posteriores y la gestión de la multiplicidad requieren atención separada.

Definir primero la familia

El inicio del ajuste por multiplicidad no es la función de corrección, sino la familia. Se debe registrar previamente qué conjunto de hipótesis se interpretará conjuntamente en este estudio y cómo se agruparán los resultados, tiempos, condiciones o conjuntos de genes. La decisión de ampliar o restringir el alcance de la familia cambia el ámbito de interpretación de los resultados.

El FDR es un criterio destinado a gestionar la proporción esperada de falsos descubrimientos entre múltiples pruebas. No persigue el mismo objetivo que el error por familia; la elección del criterio depende del propósito del estudio y de los costos asociados a los errores.

El papel de la API de corrección en Python

La API de pruebas múltiples de statsmodels recibe un arreglo de valores p y un método de corrección, devolviendo los resultados corregidos. La API no crea la familia de hipótesis ni determina qué comparaciones son significativas.

from statsmodels.stats.multitest import multipletests

raw_p = [0.001, 0.012, 0.031, 0.20]
reject, adjusted_p, _, _ = multipletests(
    raw_p, method="fdr_bh", alpha=0.05
)

El conjunto de datos numéricos en este ejemplo es solo para fines educativos y no representa resultados reales de investigación. Cada posición en raw_p debe vincularse a una hipótesis predefinida específica mediante un manifiesto aparte. Un valor p corregido pequeño no implica necesariamente un tamaño del efecto grande.

Separar la exploración de la confirmación

En la fase exploratoria, donde se examinan muchas condiciones y resultados, surgen naturalmente múltiples comparaciones. Los patrones descubiertos deben registrarse como preguntas de confirmación posteriores y no presentarse como evidencia confirmatoria al mismo nivel que la familia primaria definida desde el inicio. La corrección no es un procedimiento que prohíba la exploración, sino uno que expresa de manera transparente el alcance de los hallazgos y el riesgo de error.

Cada hipótesis debe incluir el grupo de comparación, el resultado, la unidad de análisis, la dirección y el ID de la familia. Incluso con el mismo conjunto de valores p sin procesar, diferentes familias pueden dar lugar a resultados de corrección y rangos de interpretación distintos. Por lo tanto, no se deben copiar únicamente los resultados; es necesario conservar junto con ellos el manifiesto de hipótesis, el método de corrección y el alfa.

Leer los resultados en una tabla

El reject en la tabla representa solo la decisión bajo los criterios de corrección correspondientes y no indica la importancia biológica del efecto. Sin el tamaño del efecto y sus intervalos, faltan datos necesarios para juicios posteriores.

Volver a la pregunta de investigación para interpretar

El ajuste por multiplicidad es una herramienta para gestionar los criterios de error al considerar múltiples hipótesis simultáneamente. Un valor p corregido pequeño no confirma la importancia biológica ni la causalidad. Se deben informar conjuntamente el tamaño del efecto, la incertidumbre, las unidades de medición y la definición de la familia para cada resultado.

Relación entre la prueba global y las comparaciones posteriores

Aunque se haya observado una señal de diferencia en la prueba global, es necesario definir por separado el número de comparaciones posteriores por pares y su familia. No se asume que los resultados de las comparaciones posteriores respondan a la misma pregunta que la prueba global. La prueba global cuestiona la existencia de diferencias generales, mientras que las comparaciones por pares cuestionan entre qué condiciones existe una diferencia y en qué dirección.

Se debe decidir en la fase de planificación si aplicar el mismo criterio de corrección a todos los resultados y puntos temporales, o distinguir entre el resultado primario y los secundarios. Cambiar la familia después de observar los resultados dificulta explicar el significado de la gestión del error global, incluso si existen números corregidos.

En el informe se deben registrar conjuntamente el valor p original, el método de corrección y el ID de la familia. Proporcionar únicamente los resultados corregidos impide al lector verificar en qué conjunto de hipótesis se calcularon. La corrección debe utilizarse junto con registros que aumenten la transparencia del análisis.

Errores comunes y cómo corregirlos

• No presente múltiples comparaciones como si fueran una única prueba.
• No modifique la familia después de observar los resultados para obtener resultados más favorables.
• No utilice el FDR y la tasa de error familiar bajo el mismo criterio.
• No se limite a informar el valor p corregido, omitiendo el tamaño del efecto.
• No afirme que los resultados generales del ANOVA indican automáticamente la dirección y la magnitud de pares específicos.

Resumen clave

• La pregunta sobre las comparaciones generales es diferente de la pregunta sobre las comparaciones por pares.
• Para gestionar la multiplicidad, primero debe definir la familia.
• El FDR es un criterio para controlar el error y no indica el tamaño o la importancia del efecto.
• La API realiza los cálculos de corrección, pero no determina la significación de las hipótesis.

Próximo tema

En la siguiente entrega, planificaremos de forma prospectiva la potencia estadística y el tamaño de la muestra, teniendo en cuenta el efecto, la variabilidad y la desviación.

Referencias

• API de pruebas múltiples de statsmodels: https://www.statsmodels.org/stable/generated/statsmodels.stats.multitest.multipletests.html
• Declaración de la ASA sobre el valor p: https://www.amstat.org/asa/files/pdfs/p-valuestatement.pdf
• Referencia de estadística de SciPy: https://docs.scipy.org/doc/scipy/reference/stats.html

La lista de hipótesis y los valores de esta sección son una configuración educativa creada de forma independiente por BioStatPy.