Estadísticas y Big Data

ANTECEDENTES: Salte con seguridad: está aquí como referencia y para legitimar la pregunta. La apertura de este documento dice: "Famosa prueba de contingencia chi-cuadrado de Karl Pearson se deriva de otra estadística, llamada la estadística z, basado en la distribución Normal. Las versiones más simples de χ2χ2\chi^2 se pueden demostrar …

15 chi-squared  proportion  z-test 

Tome los 5 sólidos platónicos de un conjunto de dados de Dungeons & Dragons. Estos consisten en un dado de 4 lados, 6 lados (convencional), 8 lados, 12 lados y 20 lados. Todos comienzan en el número 1 y cuentan hacia arriba en 1 hasta su total. Tira todos a …

15 distributions  dice 

Estoy investigando el uso de una versión LSTM ( memoria a largo plazo ) de una red neuronal recurrente (RNN) para modelar datos de series temporales. A medida que aumenta la longitud de la secuencia de los datos, aumenta la complejidad de la red. Por lo tanto, tengo curiosidad por …

15 neural-networks  deep-learning  lstm 

Para un modelo lineal, la solución OLS proporciona el mejor estimador lineal imparcial para los parámetros. Por supuesto, podemos cambiar un sesgo por una varianza más baja, por ejemplo, regresión de cresta. Pero mi pregunta es sobre no tener prejuicios. ¿Hay otros estimadores que se usan con cierta frecuencia, que …

15 regression  least-squares  linear  unbiased-estimator  blue 

Creo que una buena manera de recordar la fórmula es pensar en la fórmula de esta manera: La probabilidad de que algún evento A tenga un resultado particular dado un resultado independiente del evento B = la probabilidad de que ambos resultados ocurran simultáneamente / lo que digamos, la probabilidad …

15 bayesian  bayes 

He construido algunas redes neuronales (MLP (completamente conectadas), Elman (recurrente)) para diferentes tareas, como jugar Pong, clasificar dígitos escritos a mano y otras cosas ... Además, intenté construir algunas primeras redes neuronales convolucionales, por ejemplo, para clasificar notas manuscritas de varios dígitos, pero soy completamente nuevo para analizar y agrupar …

15 clustering  neural-networks  feature-selection  text-mining  self-organizing-maps 

Estoy tratando de entender el equilibrio entre sesgo y varianza, la relación entre el sesgo del estimador y el sesgo del modelo, y la relación entre la varianza del estimador y la varianza del modelo. Llegué a estas conclusiones: Tendemos a sobreajustar los datos cuando descuidamos el sesgo del estimador, …

15 regression  variance  bias  bias-variance-tradeoff 

Soy consciente del tipo de regularización LASSO, cresta y red elástica en modelos de regresión lineal. Pregunta: ¿Se puede aplicar este tipo (o similar) de estimación penalizada al modelado ARIMA (con una parte MA no vacía)? En la construcción de modelos ARIMA, parece habitual considerar un orden de retraso máximo …

15 time-series  arima  lasso  regularization  ridge-regression 

Un revisor nos pidió que proporcionáramos valores p para comprender mejor las estimaciones del modelo en nuestro modelo bayesiano multinivel. El modelo es un modelo típico de múltiples observaciones por participante en un experimento. Estimamos el modelo con Stan, por lo que podemos calcular fácilmente estadísticas posteriores adicionales. Actualmente, estamos …

15 bayesian  p-value  multilevel-analysis 

Estoy confundido acerca de la suposición de normalidad en medidas repetidas ANOVA. Específicamente, me pregunto qué tipo de normalidad debería satisfacerse exactamente. Al leer la literatura y las respuestas en CV, me encontré con tres palabras distintas de esta suposición. La variable dependiente dentro de cada condición (repetida) debe distribuirse …

15 anova  repeated-measures  assumptions  normality-assumption 

Me gustaría saber si el bosque aleatorio de Breiman (bosque aleatorio en el paquete R randomForest) usa como criterio de división (criterio para la selección de atributos) la ganancia de información o el índice de Gini. Traté de encontrarlo en http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm y en la documentación del paquete randomForest en R. …

15 r  random-forest  entropy  gini 

Soy nuevo en aprendizaje automático. Estoy estudiando un curso de aprendizaje automático (Universidad de Stanford) y no entendí qué significa esta teoría y cuál es su utilidad. Me pregunto si alguien podría detallar esta teoría para mí. Esta teoría se basa en esta ecuación.

15 machine-learning  probability  pac-learning 

Experimenté un poco con diferentes implementaciones de Perceptron y quiero asegurarme de entender las "iteraciones" correctamente. La regla original del perceptrón de Rosenblatt Según tengo entendido, en el clásico algoritmo perceptrón de Rosenblatt, los pesos se actualizan simultáneamente después de cada ejemplo de entrenamiento a través de Δw(t+1)=Δw(t)+η(target−actual)xiΔw(t+1)=Δw(t)+η(target−actual)xi\Delta{w}^{(t+1)} = \Delta{w}^{(t)} …

15 optimization  gradient-descent  perceptron 

¿Cuál es el enfoque frecuente de la historia del voltímetro y sus variaciones? La idea detrás de esto es que un análisis estadístico que apela a eventos hipotéticos tendría que revisarse si luego se supiera que esos eventos hipotéticos no podrían haber tenido lugar como se suponía. La versión de …

15 likelihood  frequentist 

Estoy usando el Análisis de componentes principales (PCA) para crear un índice requerido para mi investigación. Mi pregunta es cómo debo crear un índice único utilizando los componentes principales retenidos calculados a través de PCA. Por ejemplo, decidí retener 3 componentes principales después de usar PCA y calculé los puntajes …

15 pca  factor-analysis  rating  composite  scale-construction