Estadísticas y Big Data

La aplicación de la función softmax en un vector producirá "probabilidades" y valores entre y . 000111 Pero también podemos dividir cada valor por la suma del vector y eso producirá probabilidades y valores entre y .000111 Leí la respuesta aquí, pero dice que la razón es porque es diferenciable, …

20 machine-learning  neural-networks  softmax 

En aplicación de la Tensorflow ResNet , encuentro que utilizan la variación de escala inicializador, también encuentro Xavier inicializador es popular. No tengo mucha experiencia en esto, ¿qué es mejor en la práctica?

20 machine-learning  neural-networks  deep-learning  conv-neural-network  tensorflow 

Estaba haciendo algo de trabajo en scipy y surgió una conversación con un miembro del grupo central scipy si una variable aleatoria discreta no negativa puede tener un momento indefinido. Creo que tiene razón, pero no tengo una prueba a mano. ¿Alguien puede mostrar / probar este reclamo? (o si …

20 mathematical-statistics  expected-value 

Tengo dos variables que no muestran mucha correlación cuando se grafican entre sí tal como están, pero una relación lineal muy clara cuando trazo los registros de cada variable contra la otra. Así que terminaría con un modelo del tipo: log(Y)=alog(X)+blog⁡(Y)=alog⁡(X)+b\log(Y) = a \log(X) + b , que es excelente …

20 regression  correlation  log 

He realizado algunas investigaciones sobre el sobreajuste y la falta de adaptación, y he entendido cuáles son exactamente, pero no puedo encontrar los motivos. ¿Cuáles son las principales razones para el sobreajuste y la falta de adaptación? ¿Por qué enfrentamos estos dos problemas al entrenar un modelo?

20 machine-learning  dataset  overfitting 

Estoy tratando de escribir un programa en R que simule números pseudoaleatorios de una distribución con la función de distribución acumulativa: F(x)=1−exp(−ax−bp+1xp+1),x≥0F(x)=1−exp⁡(−ax−bp+1xp+1),x≥0F(x)= 1-\exp \left(-ax-\frac{b}{p+1}x^{p+1}\right), \quad x \geq 0 donde a,b>0,p∈(0,1)a,b>0,p∈(0,1)a,b>0, p \in (0,1) Intenté el muestreo de transformación inversa pero el inverso no parece ser analíticamente solucionable. Me alegraría si …

20 r  random-generation 

La siguiente cita proviene del famoso trabajo de investigación Significación estadística para estudios de genoma amplio de Storey y Tibshirani (2003): Por ejemplo, una tasa de falsos positivos del 5% significa que, en promedio, el 5% de las características verdaderamente nulas en el estudio se denominarán significativas. Un FDR (tasa …

20 hypothesis-testing  false-discovery-rate  type-i-and-ii-errors  confusion-matrix  false-positive-rate 

Me acabo de dar cuenta de que siempre he trabajado el problema de regresión donde las variables independientes siempre fueron numéricas. ¿Puedo usar la regresión lineal en el caso donde todas las variables independientes son categóricas?

20 regression  categorical-data 

Parece que en la probabilidad cotidiana (no en la física cuántica), las probabilidades son realmente solo un sustituto de un desconocido. Tome un lanzamiento de moneda, por ejemplo. Decimos que es "aleatorio", un cambio de cabeza del 50% y una probabilidad del 50% de cruz. Sin embargo, si supiera exactamente …

20 probability  philosophical 

¿Hay algún ejemplo en el que dos pruebas defendibles diferentes con probabilidades proporcionales conducirían a inferencias marcadamente diferentes (e igualmente defendibles), por ejemplo, donde los valores p son orden de magnitud muy separados, pero el poder de las alternativas es similar? Todos los ejemplos que veo son muy tontos, comparando …

20 mathematical-statistics  likelihood  philosophical  likelihood-principle 

Estoy tratando de usar el ejemplo descrito en la documentación de Keras llamada "Stacked LSTM para la clasificación de secuencia" (vea el código a continuación) y no puedo descifrar el input_shapeparámetro en el contexto de mis datos. Tengo como entrada una matriz de secuencias de 25 posibles caracteres codificados en …

20 lstm  keras  shape  dimensions 

Estoy ejecutando un pequeño experimento con la regresión LASSO en R para probar si es capaz de encontrar un par de predictores perfecto. El par se define así: f1 + f2 = resultado El resultado aquí es un vector predeterminado llamado 'edad'. F1 y f2 se crean tomando la mitad …

20 r  regression  feature-selection  lasso  high-dimensional 

Estoy revisando un trabajo que ha realizado> 15 pruebas separadas de 2 x 2 Chi Square. Sugerí que debían corregir las comparaciones múltiples, pero respondieron que todas las comparaciones fueron planificadas y, por lo tanto, esto no es necesario. Siento que esto no debe ser correcto, pero no puedo encontrar …

20 hypothesis-testing  multiple-comparisons 

Estoy tratando con un modelo lineal jerárquico bayesiano , aquí la red que lo describe. YYY representa las ventas diarias de un producto en un supermercado (observado). XXX es una matriz conocida de regresores, que incluye precios, promociones, día de la semana, clima, días festivos. SSS es el nivel de …

20 regression  bayesian  neural-networks  generalized-linear-model  bayesian-network 

Tenemos muchas buenas discusiones sobre la separación perfecta en la regresión logística. Tal como, la regresión logística en R resultó en una separación perfecta (fenómeno de Hauck-Donner). ¿Ahora que? y el modelo de regresión logística no converge . Personalmente, todavía siento que no es intuitivo por qué será un problema …

20 logistic  generalized-linear-model  optimization  intuition  separation