Prueba de proporciones y clasificador binario

Tengo una máquina prototipo que produce piezas.

En una primera prueba, la máquina produce partes y un clasificador binario me dice que partes son defectuosas ( d_1 <N_1 , generalmente d_1 / N_1 <0.01 y N_1 \ approx10 ^ 4 ) y las partes N_1-d_1 son buenas.d 1 d 1 < N 1 d 1 / N 1 < 0.01 N 1 ≈ 10 4 N 1 - d $N_1$$d_1$$d_1 < N_1$$d_1/N_1<0.01$$N_1\approx10^4$$N_1-d_1$

Luego, un técnico realiza algunos cambios en la máquina para disminuir la cantidad de piezas defectuosas.

En una segunda prueba y después, la máquina modificada produce $N_2$ partes y el mismo clasificador binario (sin tocar) me dice que $d_2$ partes d_2 son defectuosas, de todos modos $d_2/N_2$ es bastante similar a $d_1/N_1$ .

Al técnico le gustaría saber si sus cambios son efectivos.

Suponiendo que los clasificadores son perfectos (su sensibilidad es del 100% y su especificidad es del 100%), puedo realizar una prueba de proporciones (con R, simplemente escribo prop.test(c(d1,d2),c(N1,N2))).

Pero el clasificador no es perfecto, entonces, ¿cómo puedo tener en cuenta la sensibilidad y la especificidad, ambas desconocidas, del clasificador para responder adecuadamente al técnico?

Así que estoy derivando esto de los primeros principios, y por lo tanto no estoy seguro de que sea correcto. Aquí están mis pensamientos:

EDITAR: Esto no estaba del todo bien antes. Lo he actualizado

1. Dejemos que denote la diferencia esperada entre el número real de verdaderos positivos d 1 y el número de salida del clasificador binario que llamaremos ^ d 1 . Puede medir esto ejecutando su clasificador en un conjunto con etiquetas conocidas. Reste el número de positivos reales del número de positivos producidos por el clasificador, y luego divida por N para obtener α .$\alpha$$d_1$$\hat{d_1}$$N$$\alpha$

2. Entonces, una estimación puntual de la relación real de partes defectuosas viene dada por: . Es decir, el número observado de partes defectuosas, menos el número esperado de falsos positivos, más el número esperado de falsos negativos.$\hat{\frac{d_1}{N_1}} = \frac{d_1 + \alpha * N_1}{N_1}$

3. Del mismo modo, $\hat{\frac{d_2}{N_2}} = \frac{d_2 + \alpha * N_2}{N_2}$

4. Entonces, ahora hagamos una prueba de utilería. En la prueba de apoyo estándar, primero calculamos la relación agrupada utilizada como valor nulo: . Así que aquí, ponemos nuestras estimaciones puntuales de ^ d $p= \frac{p_1*N_1 + p_2*N_2}{N_1 + N_2}$ y^d$\hat{\frac{d_1}{N_1}}$ para obtener:p=d1+d2+α∗(N1+N2$\hat{\frac{d_2}{N_2}}$$p= \frac{d_1 + d_2 + \alpha * (N_1 + N_2)}{N_1 + N_2}$

5. Y luego el error estándar es el habitual: $\sqrt{p*(1-p)*(\frac{1}{N_1} + \frac{1}{N_2})}$

6. Y la estadística de prueba es la misma: $z = \frac{\frac{d_1}{N_1} - \frac{d_2}{N_2}}{se}$

Algunas reflexiones sobre la interpretación:

• El modelo puede producir valores imaginarios para error estándar. Esto sucederá cuando , que será el caso cuando el número de errores que esperamos que produzcan los clasificadores exceda el número que observamos. Por ejemplo, supongamos que esperamos que nuestro clasificador produzca un promedio de 5 positivos incluso cuando se le da una muestra que no contiene positivos. Si observamos 4 positivos, entonces es como si no hubiera señal: nuestro resultado es indistinguible del ruido producido por el clasificador. En este caso, no deberíamos rechazar la hipótesis nula, creo.$p < 0$

• Otra forma de pensar en esto es que, si el número de partes defectuosas está dentro del margen de error para el clasificador, entonces, por supuesto, no podemos decir si hay una diferencia: ¡ni siquiera podemos decir si alguna parte es defectuosa!

Incorporación de errores en la estimación de :$\alpha$

• Pensé en esto un poco más, y creo que hay varias formas de hacerlo, pero esencialmente desea obtener una estimación de la distribución de . Lo ideal sería hacer esta compra repitiendo su procedimiento para obtener la estimación de α en una muestra representativa de los conjuntos de datos en los que pretende utilizar este método. Si esto no es posible, puede iniciar un único conjunto de datos extrayendo muestras de él, aunque esto no es ideal a menos que su único conjunto de datos sea representativo de todos los conjuntos que le interesan.$\alpha$$\alpha$

Supongamos que queremos calcular un intervalo de confianza con una confianza de .$h$

• Calcular empíricamente la $\frac{h}{2}$$\alpha$$\alpha$$\frac{h}{2}$$low_l, low_r)$$(high_l, high_r)$$\alpha$$(high_l,low_r)$ (que contiene los dos intervalos anteriores) debería ser un (1-h) * 100% CI para la diferencia en las proporciones ... Creo ...

$\alpha$