Intervalos de confianza, bootstrap y permutación

Al finalizar este tema

Podrás explicar cómo los intervalos de confianza expresan la incertidumbre de un estimador. Distinguirás entre bootstrap y permutación, evitando agruparlos indistintamente bajo el término de remuestreo, y aclararás qué pregunta aborda cada uno y qué supuesto de intercambiabilidad utiliza.

No ocultar la incertidumbre en un solo valor

La diferencia o la media calculadas a partir de una muestra son un único número. Sin embargo, si se obtuviera una nueva muestra, es posible que no se obtenga el mismo valor. Un intervalo es una forma de expresar esta variabilidad muestral. Al interpretar el significado de un intervalo, se debe especificar junto con el procedimiento, el estimador, la unidad de muestreo y los supuestos utilizados.

No se debe traducir simplistamente un intervalo de confianza como "la probabilidad de que el parámetro esté dentro de este intervalo". Deben separarse las oraciones que describen la propiedad de cobertura a largo plazo del procedimiento bajo remuestreos repetidos, de aquellas que interpretan el intervalo actual en la práctica.

Bootstrap: Remuestreo a partir de la muestra observada

El bootstrap es un método que construye la variabilidad del estimador de interés repitiendo muestras con reemplazo, utilizando la muestra observada como si fuera una población empíica. Se calcula la estadística relevante para el objetivo analítico en cada repetición, como la media, la mediana o la diferencia.

Lo importante es la unidad de remuestreo. Aunque existan múltiples réplicas técnicas, si las réplicas biológicas son la unidad independiente, un bootstrap que no preserve la estructura de las unidades independientes puede expresar incorrectamente la incertidumbre.

Permutación: Mezclar etiquetas bajo la estructura nula

La permutación construye cómo varía una estadística bajo una estructura nula específica al mezclar las etiquetas condicionales o intercambiar los roles de las observaciones. Esto requiere el supuesto de intercambiabilidad, es decir, que las etiquetas puedan intercambiarse. En datos de medidas repetidas, agrupados o temporales, mezclar las etiquetas arbitrariamente puede destruir la estructura del diseño.

El bootstrap se utiliza principalmente para responder a la pregunta de estimar la variabilidad de la muestra, mientras que la permutación se utiliza principalmente para construir una base de comparación bajo la hipótesis nula. No son el mismo método solo porque ambos impliquen "un procedimiento de mezcla repetida mediante computadora".

Crear la distribución bootstrap de la diferencia con Python

import numpy as np

def mean_difference(x, y):
    return np.mean(x) - np.mean(y)

rng = np.random.default_rng(20260806)
x = rng.normal(10, 1, size=20)
y = rng.normal(10.5, 1, size=20)
boot = []
for _ in range(2000):
    bx = rng.choice(x, size=len(x), replace=True)
    by = rng.choice(y, size=len(y), replace=True)
    boot.append(mean_difference(bx, by))

interval = np.quantile(boot, [0.025, 0.975])
print(mean_difference(x, y), interval)

Este ejemplo es una simulación creada bajo el supuesto de que dos arreglos provienen de unidades de análisis independientes. Si existe una estructura de repetición, los elementos de x y y deben agruparse en unidades acordes al diseño para realizar el remuestreo, en lugar de tratarlos como valores individuales. No se debe interpretar el intervalo de los resultados automáticamente como la respuesta universal correcta; en su lugar, se debe registrar el procedimiento de percentil utilizado y la semilla.

Verificar la intercambiabilidad

Antes del remuestreo, plantear las siguientes preguntas:

• ¿Qué se está remuestreando o mezclando?
• ¿Es independiente esa unidad?
• ¿El intercambio de etiquetas de condición está permitido según el diseño?
• ¿Se han conservado las estructuras temporal, de agrupamiento o de emparejamiento?
• ¿Qué procedimiento se utilizó para resumir la incertidumbre de los resultados?

Si no se responde a estas preguntas y simplemente se aumenta el número de repeticiones, el cálculo puede volverse más sofisticado, pero el error en la estructura de los datos persistirá.

Interpretar los intervalos junto con los resultados

Al presentar intervalos bootstrap, registrar simultáneamente la estimación puntual y los extremos del intervalo. Si el intervalo es amplio, examinar si la variabilidad de la muestra es grande, si la unidad de análisis es insuficiente o si las colas y la distribución de los datos influyen en la estimación. Si el intervalo es estrecho, podría indicar que los datos son suficientemente estables, pero también se debe verificar la posibilidad de haber realizado el remuestreo a un nivel demasiado bajo o de haber incluido duplicados de ciertas unidades.

Los resultados de permutación se interpretan de manera similar. Se compara la distribución de los estadísticos generados bajo la hipótesis nula con la posición del estadístico observado; sin embargo, si el supuesto de intercambiabilidad de la permutación no es válido según el diseño, el significado del valor p cambia. En la tabla de resultados, anotar la unidad de remuestreo, el número de repeticiones, la semilla, el nombre del método y el estado de los supuestos.

En datos con emparejamiento o agrupamiento, en lugar de mezclar todas las filas, puede ser necesario un procedimiento que conserve los pares o los grupos. Indicar en el esquema y en el código qué regla de conservación se utilizó para que el lector pueda reproducirlo.

Volver a la pregunta de investigación para la interpretación

Los intervalos permiten observar simultáneamente la magnitud de la diferencia y su incertidumbre. Sin embargo, no se debe determinar la importancia biológica o la nulidad únicamente basándose en si el intervalo incluye el cero. Informar conjuntamente la dirección y magnitud del efecto, el diseño de la investigación, la unidad de medición y el propósito del análisis.

Registrar la selección de los intervalos bootstrap

Al construir intervalos, pueden existir varios procedimientos, como el de percentil, el básico o el de Student. La razón por la que no se declara un único procedimiento como la respuesta universal correcta es que las propiedades del procedimiento pueden variar según el estimador y la estructura de los datos. Registrar el método utilizado, el número de repeticiones, la semilla y la unidad de remuestreo junto con los resultados.

Aumentar el número de repeticiones puede ayudar a reducir la variación de Monte Carlo de los cuantiles calculados, pero no corrige el sesgo de la muestra de los datos originales ni una selección incorrecta de las unidades. Al verificar si los intervalos parecen estables, revisar nuevamente la estructura de medición y asignación de los datos originales.

Permutación y preguntas iniciales

La permutación no parte de la pregunta “¿qué diferencia surge al mezclar las etiquetas?”, sino de “¿es válido intercambiar las etiquetas bajo la estructura nula?”. En los datos emparejados, puede ser más adecuado cambiar el signo de las diferencias por pares; en los datos agrupados, puede ser necesario preservar los grupos. Un valor p cuya estructura elegida no ha sido descrita tiene una interpretación incompleta.

Errores comunes y cómo corregirlos

• No se debe llamar al bootstrap y a la permutación como si fueran el mismo procedimiento.
• No se deben remuestrear de forma independiente las mediciones subordinadas a la unidad de observación.
• No se deben romper los pares en los datos emparejados para mezclar las etiquetas.
• No se deben expresar los intervalos de confianza como la probabilidad posterior de un parámetro.
• No se debe afirmar que aumentar únicamente el número de repeticiones soluciona un supuesto de intercambiabilidad incorrecto.

Resumen clave

• El bootstrap construye la distribución del estimador a partir de la variabilidad de la muestra observada.
• La permutación establece un criterio de comparación bajo una estructura nula intercambiable.
• La unidad de remuestreo y la intercambiabilidad se determinan en el diseño del estudio.
• Los intervalos son herramientas para interpretar conjuntamente la magnitud del efecto y la incertidumbre.

Próximo tema

En la siguiente entrega, separaremos el tamaño del efecto, la incertidumbre y el valor p como fuentes de información distintas.

Referencias

• SciPy statistics reference: https://docs.scipy.org/doc/scipy/reference/stats.html
• NIST/SEMATECH e-Handbook: https://www.itl.nist.gov/div898/handbook/

La muestra y los ejemplos de remuestreo de esta edición son ejemplos educativos sintéticos creados de forma independiente por BioStatPy.