Estadísticas y Big Data

En otras palabras, según lo siguiente, ¿qué es p? Para hacer de esto un problema matemático en lugar de antropología o ciencias sociales, y para simplificar el problema, suponga que los compañeros se seleccionan con la misma probabilidad en toda la población, excepto que los hermanos y primos hermanos nunca …

26 probability  stochastic-processes  genetics 

Estoy ejecutando modelos de regresión LOESS en R, y quiero comparar los resultados de 12 modelos diferentes con diferentes tamaños de muestra. Puedo describir los modelos reales con más detalles si me ayuda a responder la pregunta. Aquí están los tamaños de muestra: Fastballs vs RHH 2008-09: 2002 Fastballs vs …

26 r  regression  loess 

Tengo una matriz de correlación de retornos de seguridad cuyo determinante es cero. (Esto es un poco sorprendente ya que la matriz de correlación de la muestra y la matriz de covarianza correspondiente deberían ser teóricamente definitivas positivas). Mi hipótesis es que al menos un valor depende linealmente de otros …

26 r  correlation  pca  linear-model  svd 

La premisa es esta cita de la viñeta del paquete R betareg1 . Además, el modelo comparte algunas propiedades (como el predictor lineal, la función de enlace, el parámetro de dispersión) con modelos lineales generalizados (GLMs; McCullagh y Nelder 1989), pero no es un caso especial de este marco (ni …

26 generalized-linear-model  beta-regression  dirichlet-regression 

Citando la gran respuesta de Gung Supuestamente, un investigador una vez se acercó a Fisher con resultados "no significativos", preguntándole qué debería hacer, y Fisher dijo: "ve a buscar más datos". Desde una perspectiva de Neyman-Pearson, esto es flagrante ppp -hacking, pero no es un caso de uso donde ir …

26 hypothesis-testing  p-value  intuition  philosophical 

Mi pérdida de entrenamiento baja y luego vuelve a subir. Es muy raro La pérdida de validación cruzada rastrea la pérdida de entrenamiento. Que esta pasando? Tengo dos LSTMS apilados de la siguiente manera (en Keras): model = Sequential() model.add(LSTM(512, return_sequences=True, input_shape=(len(X[0]), len(nd.char_indices)))) model.add(Dropout(0.2)) model.add(LSTM(512, return_sequences=False)) model.add(Dropout(0.2)) model.add(Dense(len(nd.categories))) model.add(Activation('sigmoid')) model.compile(loss='binary_crossentropy', …

26 machine-learning  neural-networks  loss-functions  lstm 

Estoy leyendo sobre la función cuantil, pero no me queda claro. ¿Podría proporcionar una explicación más intuitiva que la que se proporciona a continuación? Como el cdf es una función monotónicamente creciente, tiene una inversa; denotémoslo por . Si es el cdf de , entonces es el valor de tal …

26 distributions  cdf  inverse-cdf  quantile-function 

Tengo una pregunta simple sobre "probabilidad condicional" y "Probabilidad". (Ya he encuestado esta pregunta aquí, pero fue en vano). Comienza desde la página de Wikipedia sobre la probabilidad . Dicen esto: La probabilidad de un conjunto de valores de parámetros, θθ\theta , dados los resultados xxx , es igual a …

26 probability  bayesian  conditional-probability  likelihood  definition 

Al realizar la inferencia bayesiana, operamos maximizando nuestra función de probabilidad en combinación con los antecedentes que tenemos sobre los parámetros. Debido a que la probabilidad de registro es más conveniente, maximizamos efectivamente usando un MCMC o de otro modo que genera las distribuciones posteriores (usando un pdf para la …

26 bayesian  prior 

¿Es posible encontrar el valor p en la correlación de pearson en R? Para encontrar la correlación de Pearson, generalmente hago esto col1 = c(1,2,3,4) col2 = c(1,4,3,5) cor(col1,col2) # [1] 0.8315218 Pero, ¿cómo puedo encontrar el valor p de esto?

26 r  correlation  p-value  pearson-r 

En la regresión lineal, se supone que cada valor predicho se ha elegido de una distribución normal de posibles valores. Vea abajo. Pero, ¿por qué se supone que cada valor predicho proviene de una distribución normal? ¿Cómo utiliza la regresión lineal este supuesto? ¿Qué pasa si los valores posibles no …

26 regression  probability  distributions  normal-distribution  modeling 

Digamos que tengo tres fuentes independientes y cada una de ellas hace predicciones para el clima mañana. El primero dice que la probabilidad de lluvia mañana es 0, luego el segundo dice que la probabilidad es 1, y finalmente el último dice que la probabilidad es 50%. Me gustaría saber …

26 probability  bayesian  pooling  model-averaging  forecast-combination 

Por lo que entiendo, solo podemos construir una función de regresión que se encuentre dentro del intervalo de los datos de entrenamiento. Por ejemplo (solo uno de los paneles es necesario): ¿Cómo predeciría el futuro con un regresor KNN? Nuevamente, parece aproximarse solo a una función que se encuentra dentro …

26 regression  machine-learning  k-nearest-neighbour 

Actualmente estoy ejecutando algunos modelos lineales de efectos mixtos. Estoy usando el paquete "lme4" en R. Mis modelos toman la forma: model <- lmer(response ~ predictor1 + predictor2 + (1 | random effect)) Antes de ejecutar mis modelos, verifiqué la posible multicolinealidad entre los predictores. Hice esto por: Hacer un …

26 r  correlation  mixed-model  lme4-nlme  multicollinearity 

Para la regresión Lasso suponga que la mejor solución (error de prueba mínimo, por ejemplo) selecciona k características, para que \ hat {\ beta} ^ {lasso} = \ left (\ hat {\ beta} _1 ^ {lasso}, \ hat {\ beta} _2 ^ {lasso}, ..., \ hat {\ beta} _k ^ …

26 regression  feature-selection  lasso  regularization