Estadísticas y Big Data

Estoy leyendo sobre MCMC adaptativa (véase, por ejemplo, el Capítulo 4 del Manual de Markov Chain Monte Carlo , ed. Brooks et al., 2011; y también Andrieu & Thoms, 2008 ). nnnp(n)p(n)p(n)limn→∞p(n)=0limn→∞p(n)=0\lim_{n \rightarrow \infty} p(n) = 0 Este resultado es (a posteriori) intuitivo, asintóticamente. Como la cantidad de adaptación tiende …

20 simulation  mcmc  random-generation  metropolis-hastings 

Soy muy consciente de los problemas de selección por pasos / adelante / atrás en los modelos de regresión. Existen numerosos casos de investigadores que denuncian los métodos y apuntan a mejores alternativas. Tenía curiosidad por saber si hay alguna historia donde exista un análisis estadístico: ha usado regresión por …

20 regression  stepwise-regression  history 

No estoy seguro de a dónde pertenece esta pregunta: Cross Validated o The Workplace. Pero mi pregunta está vagamente relacionada con las estadísticas. Esta pregunta (o supongo que preguntas) surgió durante mi trabajo como "pasante de ciencia de datos". Estaba construyendo este modelo de regresión lineal y examinando la gráfica …

20 careers 

Me hicieron esta pregunta en una entrevista. Digamos que tenemos una matriz de correlación de la forma ⎡⎣⎢10.60.80.61γ0.8γ1⎤⎦⎥[10.60.80.61γ0.8γ1]\begin{bmatrix}1&0.6&0.8\\0.6&1&\gamma\\0.8&\gamma&1\end{bmatrix} Me pidieron que encontrara el valor de gamma, dada esta matriz de correlación. Pensé que podría hacer algo con los valores propios, ya que todos deberían ser mayores o iguales a 0. …

20 pearson-r  correlation-matrix 

Un jugador recibe un dado justo de seis lados. Para ganar, debe sacar un número mayor que 4 (es decir, un 5 o un 6). Si saca un 4, debe rodar nuevamente. ¿Cuáles son sus probabilidades de ganar? Creo que la probabilidad de ganar , puede expresarse recursivamente como:PAGS( W)P(W)P(W) …

20 probability 

Leí que estas son las condiciones para usar el modelo de regresión múltiple: los residuos del modelo son casi normales la variabilidad de los residuos es casi constante los residuos son independientes y cada variable está relacionada linealmente con el resultado. ¿Cómo son diferentes 1 y 2? Puedes ver uno …

20 regression  multiple-regression  assumptions 

A la luz de esta pregunta: Prueba de que los coeficientes en un modelo OLS siguen una distribución t con (nk) grados de libertad Me encantaría entender por qué F=(TSS−RSS)/(p−1)RSS/(n−p),F=(TSS−RSS)/(p−1)RSS/(n−p), F = \frac{(\text{TSS}-\text{RSS})/(p-1)}{\text{RSS}/(n-p)}, donde ppp es el número de parámetros del modelo nnn el número de observaciones y TSSTSSTSS la …

20 regression  hypothesis-testing  least-squares  f-distribution  f-statistic 

He estado leyendo Maraun et al. , "Procesos gaussianos no estacionarios en el dominio wavelet: síntesis, estimación y pruebas significativas" (2007) que define una clase de GP no estacionarias que pueden especificarse mediante multiplicadores en el dominio wavelet. La realización de uno de estos GP es: Donde η ( t …

20 normal-distribution  stochastic-processes  gaussian-process  fourier-transform  wavelet 

Esto no es tarea. Estoy interesado en entender si mi lógica es correcta con este simple problema de estadísticas. Digamos que tengo una moneda de 2 caras donde la probabilidad de lanzar una cabeza es y la probabilidad de lanzar una cola es . Supongamos que todos los lanzamientos tienen …

20 probability 

He entendido cómo la regresión de crestas reduce los coeficientes hacia cero geométricamente. Además, sé cómo demostrar eso en el "Caso Ortonormal" especial, pero estoy confundido sobre cómo funciona en el caso general a través de "Descomposición espectral".

20 regression  multiple-regression  regularization  ridge-regression  svd 

Si son densidades conocidas de las cuales puedo simular, es decir, para las cuales hay un algoritmo disponible. y si el producto es integrable, ¿existe un enfoque genérico para simular a partir de la densidad de este producto utilizando el simuladores de los 's?k ∏ i = 1 f i …

20 simulation  monte-carlo  geometric-mean  scalability  finite-mixture-model 

Los trabajos de investigación sobre aprendizaje automático a menudo tratan el aprendizaje y la inferencia como dos tareas separadas, pero no me queda claro cuál es la distinción. En este libro, por ejemplo, usan estadísticas bayesianas para ambos tipos de tareas, pero no proporcionan una motivación para esa distinción. Tengo …

20 machine-learning  terminology 

Estoy entrenando una red neuronal (los detalles no son importantes) donde los datos objetivo son un vector de ángulos (entre 0 y 2 * pi). Estoy buscando consejos sobre cómo codificar estos datos. Esto es lo que estoy intentando actualmente (con éxito limitado): 1) Codificación 1-de-C: pongo los ángulos posibles …

20 neural-networks  circular-statistics 

Desde mi primera clase de probabilidad me he estado preguntando sobre lo siguiente. El cálculo de probabilidades generalmente se introduce a través de la relación de los "eventos favorecidos" al total de eventos posibles. En el caso de lanzar dos dados de 6 lados, la cantidad de posibles eventos es …

20 probability  dice 

Estoy usando un clasificador que devuelve probabilidades. Para calcular el AUC, estoy usando el paquete pROC R. Las probabilidades de salida del clasificador son: probs=c(0.9865780, 0.9996340, 0.9516880, 0.9337157, 0.9778576, 0.8140116, 0.8971550, 0.8967585, 0.6322902, 0.7497237) probsmuestra la probabilidad de estar en la clase '1'. Como se muestra, el clasificador ha clasificado …

20 machine-learning  auc