¿La corrección de Benjamini-Hochberg es más conservadora a medida que aumenta el número de comparaciones?

¿Cuán conservadora es la corrección de pruebas múltiples de Benjamini-Hochberg en relación con el número total de comparaciones? Por ejemplo, si tengo una lista de 18,000 funciones para dos grupos y realizo una prueba de Wilcoxon para obtener un valor p. Ajuste ese valor p usando Benjamini-Hochberg y casi nada resulta tan significativo.

Sé que la corrección de Bonferroni puede ser bastante conservadora a medida que aumenta el número de comparaciones, ¿Benjamini-Hochberg tiene la misma propiedad?

Primero, debe comprender que estos dos procedimientos de prueba múltiples no controlan lo mismo. Usando su ejemplo, tenemos dos grupos con 18,000 variables observadas, y usted hace 18,000 pruebas para identificar algunas variables que son diferentes de un grupo a otro.

• La corrección de Bonferroni controla la tasa de error de Familywise , que es la probabilidad, suponiendo que todas las 18,000 variables tengan una distribución idéntica en los dos grupos, que usted está afirmando falsamente "aquí tengo algunas diferencias significativas". Por lo general, decide que si esta probabilidad es <5%, su reclamo es creíble.

• La corrección de Benjamini-Hochberg controla la tasa de descubrimientos falsos , es decir, la proporción esperada de falsos positivos entre las variables para las cuales usted afirma la existencia de una diferencia. Por ejemplo, si con FDR controlado al 5%, 20 pruebas son positivas, "en promedio" solo 1 de estas pruebas será un falso positivo.

Ahora, cuando el número de comparación aumenta ... bueno, depende del número de hipótesis nulas marginales que sean verdaderas. Pero básicamente, con ambos procedimientos, si tiene algunos, digamos 5 o 10, variables verdaderamente asociadas, tiene más posibilidades de detectarlas entre 100 variables que entre 1,000,000 de variables. Eso debería ser lo suficientemente intuitivo. No hay forma de evitar esto.