Estadísticas y Big Data

En febrero de 2016, la Asociación Americana de Estadística emitió una declaración formal sobre significación estadística y valores p. Nuestro hilo al respecto discute estos temas ampliamente. Sin embargo, ninguna autoridad se ha presentado para ofrecer una alternativa efectiva universalmente reconocida, hasta ahora. La American Statistical Society (ASS) ha publicado …

67 hypothesis-testing  statistical-significance  p-value 

Soy nuevo en el análisis de componentes independientes (ICA) y tengo una comprensión rudimentaria del método. Me parece que ICA es similar al Análisis Factorial (FA) con una excepción: ICA supone que las variables aleatorias observadas son una combinación lineal de componentes / factores independientes que no son gaussianos, mientras …

67 multivariate-analysis  factor-analysis  ica 

Dice en Wikipedia que: la matemática [de la probabilidad] es en gran medida independiente de cualquier interpretación de la probabilidad. Pregunta: Entonces, si queremos ser matemáticamente correctos, ¿no deberíamos rechazar cualquier interpretación de la probabilidad? Es decir, ¿tanto el bayesiano como el frecuentismo son matemáticamente incorrectos? No me gusta la …

67 probability  bayesian  frequentist  philosophical  kolmogorov-axioms 

Las redes neuronales recurrentes difieren de las "regulares" por el hecho de que tienen una capa de "memoria". Debido a esta capa, se supone que los NN recurrentes son útiles en el modelado de series temporales. Sin embargo, no estoy seguro de entender correctamente cómo usarlos. Digamos que tengo las …

67 time-series  machine-learning  neural-networks 

Nunca he asimilado la diferencia entre estas dos medidas de convergencia. (O, de hecho, cualquiera de los diferentes tipos de convergencia, pero menciono estos dos en particular debido a las leyes débiles y fuertes de los números grandes). Claro, puedo citar la definición de cada uno y dar un ejemplo …

67 probability  random-variable 

Tengo algunos datos ordinales obtenidos de las preguntas de la encuesta. En mi caso, son respuestas de estilo Likert (Muy en desacuerdo-En desacuerdo-Neutral-De acuerdo-Muy de acuerdo). En mis datos están codificados como 1-5. No creo que los medios signifiquen mucho aquí, entonces, ¿qué resumen de estadísticas básicas se consideran útiles?

67 descriptive-statistics  likert  ordinal-data 

La fórmula para calcular la varianza tiene en el denominador:(n−1)(n−1)(n-1) s2=∑Ni=1(xi−x¯)2n−1s2=∑i=1N(xi−x¯)2n−1s^2 = \frac{\sum_{i=1}^N (x_i - \bar{x})^2}{n-1} Siempre me he preguntado por qué. Sin embargo, leer y ver algunos buenos videos sobre "por qué" es, al parecer, es un buen estimador imparcial de la varianza de la población. Mientras que subestima …

67 variance  unbiased-estimator  proof  history 

¿Alguien sabe por qué se utiliza la compensación en una regresión de Poisson? ¿Qué logras con esto?

67 poisson-regression  offset 

En el análisis de componentes principales (PCA), obtenemos vectores propios (vectores unitarios) y valores propios. Ahora, definamos las cargas comoCargas = Eigenvectores ⋅ Eigenvalores----------√.Cargas=Vectores propios⋅Valores propios.\text{Loadings} = \text{Eigenvectors} \cdot \sqrt{\text{Eigenvalues}}. Sé que los vectores propios son solo direcciones y las cargas (como se definió anteriormente) también incluyen la variación a …

67 pca 

Estaba leyendo sobre kernel PCA ( 1 , 2 , 3 ) con núcleos gaussianos y polinomiales. ¿Cómo separa el núcleo gaussiano aparentemente cualquier tipo de datos no lineales excepcionalmente bien? Realice un análisis intuitivo, así como uno matemáticamente involucrado si es posible. ¿Cuál es una propiedad del núcleo gaussiano …

67 machine-learning  pca  svm  kernel-trick 

Estoy haciendo algunos cálculos en diferentes matrices (principalmente en regresión logística) y comúnmente aparece el error "Matrix is ​​singular", donde tengo que volver y eliminar las variables correlacionadas. Mi pregunta aquí es, ¿qué consideraría una matriz "altamente" correlacionada? ¿Existe un valor umbral de correlación para representar esta palabra? Como si …

66 regression  correlation  matrix  multicollinearity  singular 

Estoy viendo que esta imagen se transmite mucho. Tengo el presentimiento de que la información proporcionada de esta manera es de alguna manera incompleta o incluso errónea, pero no estoy lo suficientemente versado en estadísticas para responder. Me hace pensar en este cómic xkcd , que incluso con datos históricos …

66 probability  interpretation  prediction 

Tengo varios cientos de medidas. Ahora, estoy considerando utilizar algún tipo de software para correlacionar cada medida con cada medida. Esto significa que hay miles de correlaciones. Entre estos debería haber (estadísticamente) una alta correlación, incluso si los datos son completamente aleatorios (cada medida tiene solo unos 100 puntos de …

66 correlation  multiple-comparisons  permutation-test 

Esta no es una pregunta de trabajo a domicilio sino un problema real que enfrenta nuestra empresa. Hace muy poco (hace 2 días) pedimos la fabricación de 10000 etiquetas de productos a un distribuidor. El distribuidor es una persona independiente. Obtiene las etiquetas fabricadas desde el exterior y la empresa …

66 probability  bayesian  model  decision-theory 

En la mayoría de las tareas de aprendizaje automático en las que puede formular alguna probabilidad que debería maximizarse, en realidad optimizaríamos la probabilidad de lugar de la probabilidad de algunos parámetros . Por ejemplo, en el entrenamiento de máxima verosimilitud, generalmente es el log-verosimilitud. Al hacer esto con algún …

66 probability  optimization  log-likelihood