¿Cuál es la hipótesis nula? ¿Conflicto entre teoría científica, lógica y estadística?

Tengo dificultades para comprender la lógica subyacente al establecer la hipótesis nula . En esta respuesta, la proposición obviamente aceptada en general se afirma que la hipótesis nula es la hipótesis de que no habrá ningún efecto, todo permanece igual, es decir, nada nuevo bajo el sol, por así decirlo.

La hipótesis alternativa es entonces lo que intenta probar, por ejemplo, que un nuevo medicamento cumple sus promesas.

Ahora, a partir de la teoría de la ciencia y la lógica general, sabemos que solo podemos falsificar proposiciones, no podemos probar algo (ningún número de cisnes blancos puede demostrar que todos los cisnes son blancos, pero un cisne negro puede refutarlo). Es por eso que tratamos de refutar la hipótesis nula, que no es equivalente a probar la hipótesis alternativa, y aquí es donde comienza mi escepticismo. Daré un ejemplo fácil:

Digamos que quiero averiguar qué tipo de animal hay detrás de una cortina. Desafortunadamente no puedo observar directamente al animal, pero tengo una prueba que me da la cantidad de patas de este animal. Ahora tengo el siguiente razonamiento lógico:

Si el animal es un perro, tendrá 4 patas.

Si realizo la prueba y descubro que tiene 4 patas, esto no es prueba de que sea un perro (puede ser un caballo, un rinoceronte o cualquier otro animal de 4 patas). Pero si me entero que tiene no 4 patas esto es una prueba definitiva de que puede no ser un perro (suponiendo un animal sano).

Traducido a la efectividad del medicamento Quiero saber si el medicamento detrás de la cortina es efectivo. Lo único que obtendré es un número que me da el efecto. Si el efecto es positivo, no se prueba nada (4 patas). Si no hay ningún efecto, refuto la efectividad del medicamento.

Al decir todo esto, creo, contrariamente a la sabiduría común, la única hipótesis nula válida debe ser

El medicamento es efectivo (es decir: si el medicamento es efectivo, verá un efecto).

porque esto es lo único que puedo refutar, hasta la próxima ronda donde trato de ser más específico, etc. Por lo tanto, es la hipótesis nula la que establece el efecto y la hipótesis alternativa es la predeterminada ( sin efecto ).

¿Por qué las pruebas estadísticas parecen tenerlo al revés?

PD : Ni siquiera puede negar la hipótesis anterior para obtener una hipótesis equivalente válida, por lo que no puede decir "El medicamento no es efectivo" como una hipótesis nula porque la única forma lógicamente equivalente sería "si no ve ningún efecto, el medicamento no será eficaz "que no te lleva a ninguna parte porque ahora la conclusión es lo que quieres descubrir.

PPS : Solo para aclarar después de leer las respuestas hasta el momento: si acepta la teoría científica, que solo puede falsificar declaraciones pero no probarlas, lo único que es lógicamente consistente es elegir la hipótesis nula como la nueva teoría, que luego puede ser falsificado. Porque si falsificas el status quo te quedas con las manos vacías (¡el status quo es refutado pero la nueva teoría está lejos de ser probada!). Y si no lo falsificas, tampoco estás en una mejor posición.

En estadística hay pruebas de equivalencia, así como la prueba más común del Nulo y decide si hay evidencia suficiente en su contra. La prueba de equivalencia le da la vuelta a esto y postula que los efectos son diferentes como Nulo y determinamos si hay evidencia suficiente en contra de este Nulo.

No tengo claro tu ejemplo de drogas. Si la respuesta es un valor / indicador del efecto, entonces un efecto de 0 indicaría que no es efectivo. Uno establecería eso como Nulo y evaluaría la evidencia en contra de esto. Si el efecto es suficientemente diferente de cero, concluiríamos que la hipótesis de no efectividad es inconsistente con los datos. Una prueba de dos colas contaría con valores de efecto suficientemente negativos como evidencia contra el Nulo. Una prueba de una cola, el efecto es positivo y suficientemente diferente de cero, podría ser una prueba más interesante.

Si desea probar si el efecto es 0, entonces tendríamos que darle la vuelta y usar una prueba de equivalencia donde H0 es el efecto no es igual a cero, y la alternativa es que H1 = el efecto = 0. Eso evaluaría la evidencia contra la idea de que el efecto era diferente de 0.

Creo que este es otro caso en el que las estadísticas frecuentistas no pueden dar una respuesta directa a la pregunta que realmente desea hacer, por lo que responde una pregunta (no tan) sutilmente diferente, y es fácil malinterpretar esto como una respuesta directa a la pregunta pregunta que realmente quería hacer.

Lo que realmente nos gustaría preguntar es, por lo general, cuál es la probabilidad de que la hipótesis alternativa sea cierta (o quizás, ¿cuánto más probable es que sea cierta que la hipótesis nula)? Sin embargo, un análisis frecuentista fundamentalmente no puede responder a esta pregunta, ya que para un frecuentista una probabilidad es una frecuencia de largo plazo, y en este caso estamos interesados ​​en la verdad de una hipótesis particular, que no tiene una frecuencia de largo plazo, ya sea cierto o no lo es. Por otro lado , un Bayesiano puede responder esta pregunta directamente, ya que para un Bayesiano una probabilidad es una medida de la plausibilidad de alguna proposición, por lo que es perfectamente razonable en un análisis Bayesiano asignar una probabilidad a la verdad de una hipótesis particular.

La forma en que los frecuentadores manejan eventos particulares es tratarlos como una muestra de alguna población (posiblemente ficticia) y hacer una declaración sobre esa población en lugar de una declaración sobre la muestra particular. Por ejemplo, si desea saber la probabilidad de que una moneda en particular esté sesgada, después de observar N lanzamientos y observar h caras y colas, un análisis frecuente no puede responder a esa pregunta, sin embargo, podrían decirle la proporción de monedas de una distribución de monedas imparciales que darían h o más caras cuando se voltea N veces. Como la definición natural de una probabilidad que usamos en la vida cotidiana es generalmente bayesiana, en lugar de frecuente, es muy fácil tratar esto como la posibilidad de que la hipótesis nula (la moneda es imparcial) sea cierta.

Las pruebas de hipótesis esencialmente frecuentistas tienen un componente bayesiano subjetivista implícito que acecha en su corazón. La prueba frecuente puede decirle la probabilidad de observar una estadística al menos tan extrema bajo la hipótesis nula, sin embargo, la decisión de rechazar la hipótesis nula por esos motivos es completamente subjetiva, no hay ningún requisito racional para que lo haga. La experiencia esencial ha demostrado que generalmente estamos en terreno razonablemente sólido para rechazar el valor nulo si el valor p es suficientemente pequeño (nuevamente el umbral es subjetivo), por lo que esa es la tradición. AFAICS no encaja bien en la filosofía o teoría de la ciencia, es esencialmente una heurística.

Sin embargo, eso no significa que sea algo malo, a pesar de sus imperfecciones, las pruebas de hipótesis frecuentas proporcionan un obstáculo que nuestra investigación debe superar, lo que nos ayuda como científicos a mantener nuestro autoescepticismo y no dejarnos llevar por el entusiasmo por nuestras teorías. Entonces, aunque soy bayesiano de corazón, sigo usando pruebas de hipótesis de los frecuentistas de forma regular (al menos hasta que los revisores de revistas se sientan cómodos con las alternativas de Bayesain).

Para agregar a la respuesta de Gavin, un par de cosas:

Primero, escuché esta idea de que las proposiciones solo pueden ser falsificadas, pero nunca probadas. ¿Podría publicar un enlace a una discusión sobre esto, porque con nuestra redacción aquí no parece aguantar muy bien? Si X es una propuesta, entonces (X) tampoco es una propuesta. Si es posible refutar proposiciones, entonces refutar X es lo mismo que probar no (X), y hemos demostrado una proposición.

$test_+$

El medicamento es efectivo (es decir: si el medicamento es efectivo, verá un efecto).

$test_+$$test_+$$H_0$

$test_+$$H_0$$test_+$$H_0$

Entonces, la diferencia entre el caso del perro y el caso de la efectividad radica en la idoneidad de la inferencia desde la evidencia hasta la conclusión. En el caso de los perros, ha observado alguna evidencia que no implica mucho a un perro. Pero en el caso del ensayo clínico, ha observado alguna evidencia que implica una gran eficacia.

Tienes razón en que, en cierto sentido, la prueba de hipótesis frecuentista lo tiene al revés. No digo que ese enfoque sea incorrecto, sino que los resultados a menudo no están diseñados para responder las preguntas que más le interesan al investigador. Si desea una técnica más similar al método científico, pruebe la inferencia bayesiana .

En lugar de hablar de una "hipótesis nula" que puede rechazar o no rechazar, con la inferencia bayesiana comienza con una distribución de probabilidad previa basada en su comprensión de la situación actual. Cuando adquiere nueva evidencia, la inferencia bayesiana le proporciona un marco para actualizar su creencia con la evidencia tomada en cuenta. Creo que así es más parecido a cómo funciona la ciencia.

Creo que tiene un error fundamental aquí (¡no es que toda el área de prueba de hipótesis esté clara!), Pero usted dice que la alternativa es lo que intentamos probar. Pero esto no está bien. Intentamos rechazar (falsificar) lo nulo. Si los resultados que obtenemos serían muy improbables si el nulo fuera verdadero, rechazamos el nulo.

Ahora, como otros dijeron, esta no es la pregunta que queremos hacer: no nos importa cuán probable sea el resultado si el nulo es verdadero, nos importa la probabilidad de que sea nulo, dados los resultados.

Si te entiendo correctamente, estás de acuerdo con el gran Paul Meehl. Ver

Meehl, PE (1967). Pruebas de teoría en psicología y física: una paradoja metodológica . Filosofía de la ciencia , 34 : 103-115.

Ampliaré la mención de Paul Meehl por @Doc:

1) Probar lo contrario de su hipótesis de investigación como la hipótesis nula lo hace para que solo pueda afirmar el consecuente que es un argumento "formalmente inválido". Las conclusiones no necesariamente se derivan de la premisa.

If Bill Gates owns Fort Knox, then he is rich.
Bill Gates is rich.
Therefore, Bill Gates owns Fort Knox.

http://rationalwiki.org/wiki/Affirming_the_consequent

Si la teoría es "Este medicamento mejorará la recuperación" y observa una recuperación mejorada, esto no significa que pueda decir que su teoría es cierta. La aparición de una recuperación mejorada podría haber ocurrido por alguna otra razón. No hay dos grupos de pacientes o animales que sean exactamente iguales al inicio del estudio y cambiarán aún más con el tiempo durante el estudio. Este es un problema mayor para la investigación observacional que experimental porque la aleatorización "defiende" contra desequilibrios severos de factores de confusión desconocidos al inicio del estudio. Sin embargo, la aleatorización realmente no resuelve el problema. Si se desconocen los factores de confusión, no tenemos forma de determinar hasta qué punto la "defensa de aleatorización" ha tenido éxito.

También vea la tabla 14.1 y la discusión de por qué ninguna teoría puede ser probada por sí misma (siempre hay factores auxiliares que lo acompañan) en:

Paul Meehl. "El problema es la epistemología, no las estadísticas: reemplazar las pruebas de significación por intervalos de confianza y cuantificar la precisión de las predicciones numéricas de riesgo" En LL Harlow, SA Mulaik y JH Steiger (Eds.), ¿Qué pasaría si no hubiera pruebas de significación? (págs. 393–425) Mahwah, NJ: Erlbaum, 1997.

2) Si se introduce algún tipo de sesgo (por ejemplo, desequilibrio en algunos factores de confusión), no sabemos en qué dirección se ubicará este sesgo o qué tan fuerte es. La mejor suposición que podemos dar es que hay un 50% de posibilidades de sesgar el grupo de tratamiento en la dirección de una mayor recuperación. A medida que el tamaño de la muestra aumenta, también hay un 50% de posibilidades de que su prueba de significación detecte esta diferencia e interprete que los datos corroboran su teoría.

Esta situación es totalmente diferente del caso de una hipótesis nula de que "este medicamento mejorará la recuperación en un x%". En este caso, la presencia de cualquier sesgo (que diría que siempre existe al comparar grupos de animales y humanos) hace que sea más probable que rechaces tu teoría.

Piense en el "espacio" (Meehl lo llama el "Spielraum") de posibles resultados limitados por las mediciones más extremas posibles. Quizás pueda haber una recuperación del 0-100%, y puede medir con una resolución del 1%. En el caso de prueba de importancia común, el espacio consistente con su teoría será el 99% de los posibles resultados que podría observar. En el caso de que prediga una diferencia específica, el espacio consistente con su teoría será el 1% de los posibles resultados.

Otra forma de decirlo es que encontrar evidencia contra una hipótesis nula de mean1 = mean2 no es una prueba severa de la hipótesis de investigación de que un medicamento hace algo. Un valor nulo de mean1 <mean2 es mejor pero aún no es muy bueno.

Ver las figuras 3 y 4 aquí: (1990). Teorías de evaluación y modificación: la estrategia de defensa lakatosiana y dos principios que justifican su uso . Consulta psicológica, 1, 108-141, 173-180

No todas las estadísticas se basan en el supuesto de que nada es seguro en el mundo natural (a diferencia del mundo artificial de los juegos, etc.). En otras palabras, la única forma en que podemos acercarnos a comprenderlo es midiendo la probabilidad de que una cosa se correlacione con otra y esto varía entre 0 y 1, pero solo puede ser 1 si pudiéramos probar la hipótesis un número infinito de veces en un infinito número de circunstancias diferentes, que por supuesto es imposible. Y nunca podemos saber que fue cero por la misma razón. Es un enfoque más confiable para comprender la realidad de la naturaleza, que las matemáticas, que tratan en términos absolutos y se basan principalmente en ecuaciones, que sabemos que son idealistas porque si, literalmente, el lado LH de una ecuación realmente = el lado RH, los dos lados podría revertirse y no aprenderíamos nada. Estrictamente hablando, se aplica solo a un mundo estático, no a uno 'natural' que es intrínsecamente turbulento. Por lo tanto, la hipótesis nula debería incluso suscribir las matemáticas, siempre que se use para comprender la naturaleza misma.

Creo que el problema está en la palabra "verdadero". La realidad del mundo natural es innatamente desconocida, ya que es infinitamente compleja e infinitamente variable con el tiempo, por lo que la "verdad" aplicada a la naturaleza siempre es condicional. Todo lo que podemos hacer es tratar de encontrar niveles de correspondencia probable entre variables mediante experimentos repetidos. En nuestro intento de dar sentido a la realidad, buscamos lo que parece orden en ella y construimos modelos conceptualmente conscientes de ello en nuestra mente para ayudarnos a tomar decisiones sensatas, PERO es en gran medida un asunto impredecible porque siempre existe el inesperado. La hipótesis nula es el único punto de partida confiable en nuestro intento de dar sentido a la realidad.

Debemos seleccionar la hipótesis nula que queremos rechazar.

Debido a que en nuestro escenario de prueba de hipótesis, hay una región crítica, si la región bajo la hipótesis viene en la región crítica, rechazamos la hipótesis de lo contrario aceptamos la hipótesis.

Supongamos que seleccionamos la hipótesis nula, la que queremos aceptar. Y la región bajo hipótesis nula no viene bajo región crítica, por lo que aceptaremos la hipótesis nula. Pero el problema aquí es que si la región bajo hipótesis nula se encuentra bajo una región aceptable, entonces no significa que la región bajo hipótesis alternativa no entrará bajo una región aceptable. Y si este es el caso, nuestra interpretación sobre el resultado será incorrecta. Entonces, solo debemos tomar esa hipótesis como una hipótesis nula que queremos rechazar. Si podemos rechazar la hipótesis nula, significa que la hipótesis alternativa es verdadera. Pero si no podemos rechazar la hipótesis nula, significa que cualquiera de las dos hipótesis puede ser correcta. Puede ser que podamos tomar otra prueba, en la cual podemos tomar nuestra hipótesis alternativa como hipótesis nula, y luego podemos intentar rechazarlo. Si podemos rechazar la hipótesis alternativa (que ahora es una hipótesis nula), entonces podemos decir que nuestra hipótesis nula inicial era verdadera.