Eliminar factores de una tabla ANOVA de 3 vías

En un artículo reciente, instalé un modelo de efectos fijos de tres vías. Como uno de los factores no era significativo (p> 0.1), lo eliminé y volví a instalar el modelo con dos efectos fijos y una interacción.

Acabo de recibir comentarios de los árbitros, para citar:

Ese tiempo no fue un factor significativo en el ANOVA de 3 vías no es en sí mismo un criterio suficiente para agrupar el factor tiempo: el texto estándar sobre este tema, Underwood 1997, argumenta que el valor p para un efecto no significativo debe ser mayor que 0.25 antes de que se puedan agrupar los niveles de tratamiento de un factor. Los autores deben dar el valor p relevante aquí, y justificar su agrupación con referencia a Underwood 1997.

Mis preguntas son:

1. Nunca he oído hablar de la regla 0.25. ¿Alguien más? Puedo entender no eliminar el factor si el valor p estaba cerca del límite, pero tener una "regla" parece un poco extremo.
2. Este árbitro afirma que Underwood 1997 es el texto estándar. ¿Es realmente? Nunca antes lo había escuchado. ¿Cuál sería el texto estándar (existe tal cosa)? Desafortunadamente, no tengo acceso a este Underwood, 1997.
3. Cualquier consejo al responder a los árbitros.

Antecedentes: este documento se envió a una revista no estadística. Al ajustar el modelo de tres vías, verifiqué los efectos de interacción.

Supongo que Underwood en cuestión es Experimentos en Ecología (Cambridge Press 1991). Es una referencia más o menos estándar en las ciencias ecológicas, quizás tercera detrás de Zar y Sohkol y Rohlf (y, en mi opinión, la más 'legible' de las tres)

Si puede encontrar una copia, la sección relevante que está citando su árbitro está en 9.7 en p.273. Allí, Underwood sugiere un procedimiento de agrupación recomendado (por lo que no es una 'regla' per se ) para factores no significativos. Es un procedimiento de 2 pasos que, francamente, no entiendo del todo, pero el resultado es que p = 0.25 se sugiere para reducir la probabilidad de error de Tipo I al agrupar el factor no significativo (por lo que nada tiene que ver con el "tiempo" en su ejemplo, podría ser cualquier factor que no sea sig).

El procedimiento en realidad no parece ser de Underwood, él mismo cita a Winer et al 1991 ( Procedimientos estadísticos en diseño experimental McGraw-Hill). Puede intentarlo allí si no puede encontrar una copia de Underwood.

Odio este tipo de reglas basadas en límites. Creo que depende del diseño y cuáles fueron sus hipótesis y expectativas a priori . Si espera que el resultado varíe con el tiempo, le diría que debe mantener el tiempo, como lo haría con cualquier otro factor de 'bloqueo'. Por otro lado, si estaba replicando los mismos experimentos en diferentes momentos y no tenía ninguna razón para pensar que el resultado variaría con el tiempo, pero deseaba verificar que ese fuera el caso, lo hizo y encontró poca o ninguna evidencia de que varía con tiempo, yo diría que es bastante razonable entonces perder el tiempo.

Nunca he oído hablar de Underwood antes. Puede ser un texto estándar para 'Experimentos en Ecología' (el título del libro), pero no hay una razón obvia para que los experimentos en ecología se traten de manera diferente a cualquier otro experimento a este respecto, para verlo como " el texto estándar sobre este problema "parece injustificado.

por favor lea el texto de Underwood y las referencias allí, no es una regla, por favor lea. De hecho, este enfoque es controlar el error tipo II al eliminar (o agrupar) un término "no significativo" en el modelo. ¿Qué sucede si el término que elimina tiene un nivel de significación de 0.06? ¿Está realmente seguro de que la EM esperada no incluye un efecto adicional debido al factor? Si elimina ese término, está asumiendo que la MS esperada no incluye el efecto adicional debido a ese tratamiento, ¡PERO DEBE estar algo protegido contra el error tipo II! por favor disculpe mi pobre y apresurado inglés!