¿No resulta en un ajuste excesivo? ¿Serían mis resultados más confiables si agregara un procedimiento de cuchillo de arranque o arranque como parte del análisis?
¿No resulta en un ajuste excesivo? ¿Serían mis resultados más confiables si agregara un procedimiento de cuchillo de arranque o arranque como parte del análisis?
Respuestas:
Creo que construir un modelo y probarlo son cosas diferentes. La eliminación hacia atrás es parte de la construcción de modelos. Jack Knife y Bootstrap son más utilizados para probarlo.
Ciertamente, puede tener estimaciones más confiables con bootstrap y Jack Knife que la simple eliminación hacia atrás. Pero si realmente desea probar el sobreajuste, la prueba final es una muestra dividida, entrenar en algunos, probar en otros. Leave-one-out es demasiado inestable / poco confiable para este propósito: http://www.russpoldrack.org/2012/12/the-perils-of-leave-one-out.html
Creo que al menos el 10% de los sujetos deben estar fuera para obtener estimaciones más estables de la solidez del modelo. Y si tiene 20 asignaturas, 2 asignaturas siguen siendo muy pocas. Pero entonces la pregunta es si tiene una muestra lo suficientemente grande como para construir un modelo que pueda aplicarse al resto de la población.
Espero que haya respondido tu pregunta al menos en parte.