¿Cómo cuantificar la insignificancia estadística?

Soy relativamente nuevo en estadísticas y entiendo que mi pregunta puede estar completamente equivocada. Estoy probando mi propio algoritmo versus otro. Si bien los resultados no son idénticos, quiero mostrar que las diferencias son "estadísticamente insignificantes". ¿Cómo puedo cuantificar esto, para hacer mi punto?

correlation statistical-significance dataset

— Adam_G
fuente

Eso dependerá de qué tipo de datos esté tratando y qué tan grandes sean sus muestras. ¿Puedes editar tu publicación para incluir una respuesta más detallada?

— nada101

La prueba de equivalencia tiene el poder de rechazar la no equivalencia. Te obliga a elegir el tamaño de muestra lo suficientemente grande como para tener potencia. Sin invertir la hipótesis nula y alternativa en muestras pequeñas, tendría muy pocos cambios al rechazar la hipótesis nula de no diferencia. Pero no rechazar no es lo mismo que aceptar debido a la falta de poder. Es por eso que Blackwelder hace que la no equivalencia sea la hipótesis nula y mostrar equivalencia requiere rechazar lo nulo.

— Michael R. Chernick

Tenga en cuenta que la hipótesis nula es que la diferencia en las medias es mayor que un delta especificado (la ventana de equivalencia).

— Michael R. Chernick

Si está comparando dos grupos y no quiere mostrar una diferencia significativa, esto se llama prueba de equivalencia. Esencialmente invierte las hipótesis nulas y alternativas. La idea es definir un intervalo de insignificancia llamado la ventana de equivalencia. Esto se usa mucho cuando se intenta demostrar que un medicamento genérico es un reemplazo adecuado para un medicamento comercializado. Una buena fuente para leer sobre esto es el artículo de William Blackwelder titulado "Probar la hipótesis nula" en ensayos clínicos .

— Michael R. Chernick
fuente

Gracias Michael. Supongo que necesito trabajar un poco más antes de poder declarar los datos "significativos" o "insignificantes". Comenzaré a investigar esto y les haré saber si tengo alguna pregunta de seguimiento, lo cual estoy seguro de que tendré.

— Adam_G

Solo un último comentario. La versión unilateral de equivalencia se llama no inferioridad. A menudo, los fabricantes de medicamentos pueden llevar al mercado un medicamento denominado "yo también" que ni siquiera tiene que ser tan eficaz como el competidor comercializado, siempre que no sea mucho peor (definido por un delta que es una ventana para la no inferioridad Esto se puede hacer porque el producto ofrece alguna otra ventaja para el consumidor, como menos dosis por día o como en el caso de un anticoagulante que no necesita monitorización de INR.

— Michael R. Chernick