Selección de características y ajuste anidado
Al finalizar este tema
Podrá explicar la fuga de información que ocurre al realizar la selección de características y el ajuste de hiperparámetros fuera de los pliegues de evaluación. Comprenderá la validación cruzada anidada como una separación entre el proceso de selección y el proceso de evaluación final.
La selección también es aprendizaje
Seleccionar características con baja varianza, elegir columnas con alta correlación con la variable objetivo o determinar los hiperparámetros del modelo son procesos que aprenden información de los datos. Si se utiliza información de prueba o validación para realizar la selección, el rendimiento puede parecer optimista.
Estructura anidada
El pliegue exterior evalúa el rendimiento generalizado final, mientras que el pliegue interior realiza la selección de características y el ajuste. El pliegue de prueba exterior no debe ser visible para el proceso de selección interior. Cuando se requiere una división por grupos o por tiempo, tanto el lado interior como el exterior deben preservar estas unidades.
Orden de ejecución de la evaluación anidada
- Separe entrenamiento y prueba dentro del pliegue exterior.
- Realice únicamente la validación cruzada interior dentro del entrenamiento exterior.
- Para cada pliegue interior, ajuste nuevamente el preprocesamiento, la selección de características y el ajuste del modelo.
- Ajuste la configuración seleccionada en todo el entrenamiento exterior.
- Evalúe una vez en la prueba exterior.
Repita este orden para todos los pliegues exteriores para obtener la distribución del rendimiento. Si modifica el espacio de búsqueda interior basándose en los resultados de la prueba exterior, la evaluación final quedará nuevamente expuesta al proceso de selección.
Estabilidad de la selección
En datos de alta dimensión, las características seleccionadas pueden variar entre pliegues. Registrar la frecuencia de selección y la dirección de los coeficientes permite separar el rendimiento del modelo de la estabilidad de las características. No asuma automáticamente que las características poco seleccionadas son irrelevantes; examine conjuntamente la variación muestral y la estructura de correlación.
Una vez creada la lista final de características, verifique su rendimiento en datos independientes no utilizados para la selección, o indique claramente en qué pliegues y rango de ajuste se generó dicha lista.
Volver a la pregunta de investigación para interpretar
La lista de características seleccionadas no implica que sean biomarcadores biológicos estables. La selección puede variar si cambian las muestras o los pliegues; por lo tanto, la estabilidad de la selección y la validación externa deben evaluarse por separado.
Errores frecuentes
- No seleccionar primero las características en todos los datos.
- No modificar las reglas de selección de características basándose en la puntuación de prueba.
- No perder las unidades de grupo/tiempo dentro de la estructura anidada.
- No interprete las características seleccionadas directamente como variables causales.
Resumen clave
- La selección de características y el ajuste son parte del proceso de aprendizaje.
- La selección debe realizarse dentro de los pliegues de evaluación.
- La validación cruzada anidada separa la selección del ajuste y la evaluación final.
Próximo tema
En la siguiente entrega, se tratarán la calibración, el desequilibrio y la incertidumbre.
Referencias
- Errores comunes en scikit-learn: https://scikit-learn.org/stable/common_pitfalls.html
- GroupKFold: https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GroupKFold.html
- Métricas de scikit-learn: https://scikit-learn.org/stable/modules/model_evaluation.html
La estructura anidada y la explicación de esta sección fueron escritas de forma independiente por BioStatPy.