Estadísticas y Big Data

Digamos que tengo algunos datos históricos, por ejemplo, precios de acciones anteriores, fluctuaciones de precios de pasajes aéreos, datos financieros anteriores de la empresa ... Ahora alguien (o alguna fórmula) aparece y dice "tomemos / usemos el registro de la distribución" y aquí es donde voy POR QUÉ ? Preguntas: …

174 distributions  data-transformation  logarithm 

Estoy trabajando con un pequeño conjunto de datos (21 observaciones) y tengo el siguiente gráfico QQ normal en R: Al ver que la trama no admite la normalidad, ¿qué podría inferir sobre la distribución subyacente? Me parece que una distribución más sesgada a la derecha encajaría mejor, ¿no es así? …

173 r  data-visualization  inference  qq-plot 

Últimamente me he dado cuenta de que muchas personas están desarrollando equivalentes de tensor de muchos métodos (factorización de tensor, núcleos de tensor, tensores para modelar temas, etc.) Me pregunto, ¿por qué el mundo de repente está fascinado con los tensores? ¿Hay documentos recientes / resultados estándar que sean particularmente …

171 machine-learning  references  matrix  linear-algebra  tensor 

Digamos que quiero estimar una gran cantidad de parámetros, y quiero penalizar algunos de ellos porque creo que deberían tener poco efecto en comparación con los demás. ¿Cómo decido qué esquema de penalización utilizar? ¿Cuándo es más apropiada la regresión de cresta? ¿Cuándo debo usar el lazo?

167 regression  lasso  ridge-regression 

Bueno, tenemos citas estadísticas favoritas. ¿Qué pasa con los chistes de estadísticas?

166 references  humor 

¿Estoy buscando una distribución de mejor comportamiento para la variable independiente en cuestión, o para reducir el efecto de los valores atípicos, o algo más?

164 regression  distributions  data-transformation  logarithm  regression-strategies 

Si tiene una variable que separa perfectamente ceros y unos en la variable objetivo, R generará el siguiente mensaje de advertencia de "separación perfecta o casi perfecta": Warning message: glm.fit: fitted probabilities numerically 0 or 1 occurred Todavía obtenemos el modelo, pero los coeficientes estimados están inflados. ¿Cómo manejas esto …

163 r  regression  logistic  separation 

Recientemente leí una publicación de R-Bloggers, que se vinculaba a esta publicación de blog de John Myles White sobre un nuevo lenguaje llamado Julia . Julia se aprovecha de un compilador justo a tiempo que le da tiempos de ejecución rápidos y malvados y lo pone en el mismo orden …

161 r  computational-statistics  software  computing  julia 

Hay mucha discusión en este foro sobre la forma correcta de especificar varios modelos jerárquicos utilizando lmer. Pensé que sería genial tener toda la información en un solo lugar. Un par de preguntas para comenzar: Cómo especificar múltiples niveles, donde un grupo está anidado dentro del otro: ¿es (1|group1:group2)o (1+group1|group2)? …

160 r  mixed-model  random-effects-model  fixed-effects-model  lme4-nlme 

Entiendo las diferencias formales entre ellos, lo que quiero saber es cuándo es más relevante usar uno frente al otro. ¿Proporcionan siempre información complementaria sobre el rendimiento de un determinado sistema de clasificación / detección? ¿Cuándo es razonable proporcionarlos a ambos, por ejemplo, en un documento? en lugar de solo …

159 machine-learning  roc  precision-recall 

Después de leer un conjunto de datos: dataset <- read.csv("forR.csv") ¿Cómo puedo hacer que R me dé la cantidad de casos que contiene? Además, ¿incluirá el valor devuelto los casos de exclusión omitidos con na.omit(dataset)?

158 r 

Sé que generativo significa "basado en " y discriminativo significa "basado en ", pero estoy confundido en varios puntos:P(x,y)P(x,y)P(x,y)P(y|x)P(y|x)P(y|x) Wikipedia (+ muchos otros éxitos en la web) clasifican cosas como SVM y árboles de decisión como discriminatorias. Pero estos ni siquiera tienen interpretaciones probabilísticas. ¿Qué significa discriminativo aquí? ¿Discriminativo acaba …

154 machine-learning  generative-models 

¿Cuáles son las principales diferencias entre realizar el análisis de componentes principales (PCA) en la matriz de correlación y en la matriz de covarianza? ¿Dan los mismos resultados?

153 correlation  pca  covariance  factor-analysis 

En la página de Wikipedia sobre clasificadores ingenuos de Bayes , hay esta línea: p(height|male)=1.5789p(height|male)=1.5789p(\mathrm{height}|\mathrm{male}) = 1.5789 (Una distribución de probabilidad sobre 1 está bien. Es el área bajo la curva de campana que es igual a 1.) ¿Cómo puede un valor estar bien? Pensé que todos los valores de …

149 distributions  probability  normal-distribution  pdf 

Me pregunto cómo elegir un modelo predictivo después de hacer la validación cruzada K-fold. Esto puede expresarse de manera incómoda, así que permítanme explicarlo con más detalle: cada vez que ejecuto la validación cruzada K-fold, uso K subconjuntos de los datos de entrenamiento y termino con K diferentes modelos. Me …

149 cross-validation  model-selection