¿Qué es una distribución log-odds?

11

Estoy leyendo un libro de texto sobre aprendizaje automático (Data Mining de Witten, et al., 2011) y encontré este pasaje:

... Además, se pueden utilizar diferentes distribuciones. Aunque la distribución normal suele ser una buena opción para los atributos numéricos, no es adecuada para los atributos que tienen un mínimo predeterminado pero no un límite superior; en este caso, una distribución "logarítmica normal" es más apropiada. Los atributos numéricos que están acotados arriba y abajo se pueden modelar mediante una distribución "log-odds" .

Nunca he oído hablar de esta distribución. Busqué en Google "distribución de probabilidades de registro" pero no pude encontrar ninguna coincidencia exacta relevante. ¿Alguien me puede ayudar? ¿Cuál es esta distribución y por qué ayuda con los números acotados arriba y abajo?

PD: Soy ingeniero de software, no estadístico.

machine-learning distributions

— stackoverflowuser2010
fuente

14

¿Por qué ayuda con números acotados arriba y abajo?

Una distribución definida en es lo que la hace adecuada como modelo para los datos en . No creo que el texto implique nada más que "es un modelo para datos en " (o más generalmente, en ). $(0,1)$ $(0,1)$ $(0,1)$ $(a,b)$

¿Cuál es esta distribución ...?

El término 'distribución de probabilidades de registro', desafortunadamente, no es completamente estándar (y no es un término muy común incluso entonces).

Discutiré algunas posibilidades de lo que podría significar. Comencemos considerando una forma de construir distribuciones para valores en el intervalo de la unidad.

Una forma común de modelar una variable aleatoria continua, en es la distribución beta , y una forma común de modelar proporciones discretas en es un binomio escalado ( , al menos cuando es un recuento). $P$ $(0,1)$ $[0,1]$ $P=X/n$ $X$

Una alternativa al uso de una distribución beta sería tomar un CDF inverso continuo ( ) y usarlo para transformar los valores en a la línea real (o raramente, la media línea real) y luego usar cualquier distribución relevante ( ) para modelar los valores en el rango transformado. Esto abre muchas posibilidades, ya que cualquier par de distribuciones continuas en la línea real ( ) están disponibles para la transformación y el modelo. $F^{-1}$ $(0,1)$ $G$ $F,G$

Entonces, por ejemplo, la transformación log-odds (también llamado ellogit) sería una tal transformación inversa-cdf (siendo el CDF inversa de un estándarlogística), y luego hay muchas distribuciones podríamos considerar como modelos para. $Y=\log(\frac{P}{1-P})$ $Y$

Entonces podríamos usar (por ejemplo) un modelo logístico para , una familia simple de dos parámetros en la línea real. Transformación de regreso a través de la transformación inversa de probabilidades de registro (es decir, $(\mu,\tau)$ $Y$ $(0,1)$ ) produce una distribución de dos parámetros para, una que puede ser unimodal, o en forma de U, o en forma de J, simétrica o sesgada, en muchos sentidos, como una distribución beta (personalmente, llamaría a esto logit -logístico, ya que su logit es logístico). Aquí hay algunos ejemplos para diferentes valores de: $P=\frac{\exp(Y)}{1+\exp(Y)}$ $P$ $\mu,\tau$

$\hspace{1.5cm}$ ingrese la descripción de la imagen aquí

Al observar la breve mención en el texto de Witten et al, esto podría ser lo que se entiende por "distribución de probabilidades de registro", pero podrían significar fácilmente otra cosa.

Otra posibilidad es que se pretendiera el logit-normal .

$^{[1]}$ $F$ $G$ $(0,1)$ ), en los que parecen gastar mucho esfuerzo. (Parece más fácil evitar el modelo inapropiado, pero tal vez solo soy yo).

$Y$ $P$

$P$ $Y$ $-\infty$ $\infty$

$^{[2]}$

Como puede ver, no es un término con un solo significado. Sin una indicación más clara de Witten o de uno de los otros autores de ese libro, nos queda adivinar lo que se pretende.

[1]: Noel van Erp y Pieter van Gelder, (2008),
"Cómo interpretar la distribución beta en caso de avería",
Actas del 6º Taller internacional de probabilidad , enlace pdf de Darmstadt

[2]: Yan Guo, (2009),
The New Methods on NDE Systems Pod Capability Assessment and Robustness,
Disertación presentada a la Escuela de Graduados de Wayne State University, Detroit, Michigan

— Glen_b -Reinstate a Monica
fuente

1

(+1) Una búsqueda en todo el libro indica que no se realizarán aclaraciones. El contexto sugiere que la "distribución de probabilidades logarítmicas" se refiere a algún modelo particular, así como el "lognormal" se propone en la oración anterior como una distribución universal para todos los valores no negativos (!).

— whuber

1

@whuber Estoy de acuerdo con su caracterización de lo que está en el libro: no tenía la intención de que mis comentarios relacionados con el uso del término en otros contextos para referirse a la distribución de la muestra implicaran que esa era la intención del libro, pero solo como una indicación de que es un término con varios significados. En los pasajes en cuestión, mi consejo para las personas que aprenden este material (como en muchas cosas) sería leer más de un libro.

— Glen_b -Reinstalar Monica

2

Soy un ingeniero de software (no un estadístico) y recientemente leí un libro llamado Introducción al aprendizaje estadístico. Con aplicaciones en R.

Creo que lo que estás leyendo es log-odds o logit. página 132

http://www-bcf.usc.edu/~gareth/ISL/ISLR%20Fourth%20Printing.pdf

Libro brillante: lo leí de principio a fin. Espero que esto ayude

— JasonEdinburgh
fuente

Gracias por el puntero. Suponiendo que la distribución de probabilidades de registro es lo mismo que la "distribución logística", busqué la última en Wikipedia. Parece que su PDF no tiene límite inferior o superior. Así que todavía me pregunto por qué el libro de texto que cité originalmente decía que "los atributos numéricos que están acotados arriba y abajo se pueden modelar" con esta distribución.

— stackoverflowuser2010

Creo que tal vez se trata de la salida de la función donde los límites son 0.0 (imposible) a 1.0 (definido). (Podría estar completamente equivocado aquí)

— JasonEdinburgh

Es posible que su modelo produzca resultados positivos o negativos arbitrariamente grandes. Estos pueden no ser interpretables en términos de un rango acotado, como una probabilidad, pero podrían ser interpretados como log-odds utilizando la función logit y su función logística inversa.

— Henry