Estadísticas y Big Data

En este documento , que se refiere al comando "establecer semilla", las personas de Stata discuten cuestiones relacionadas con la configuración de semillas al generar números pseudoaleatorios. Un notable "no" es "no use en serie la secuencia de números naturales como semillas, porque tiene un patrón y pone en peligro …

11 random-generation 

Estoy leyendo un libro de texto sobre aprendizaje automático (Data Mining de Witten, et al., 2011) y encontré este pasaje: ... Además, se pueden utilizar diferentes distribuciones. Aunque la distribución normal suele ser una buena opción para los atributos numéricos, no es adecuada para los atributos que tienen un mínimo …

11 machine-learning  distributions 

Estoy realizando la regresión lineal múltiple a continuación en R para predecir los rendimientos del fondo administrado. reg <- lm(formula=RET~GRI+SAT+MBA+AGE+TEN, data=rawdata) Aquí solo GRI y MBA son predictores binarios / dicotómicos; Los predictores restantes son continuos. Estoy usando este código para generar gráficos residuales para las variables binarias. plot(rawdata$GRI, reg$residuals) …

11 r  multiple-regression  categorical-data  heteroscedasticity  residuals 

Debido a que tengo un conjunto de datos muy desequilibrado (resultados positivos del 9%), decidí que una curva de recuerdo de precisión era más apropiada que una curva ROC. Obtuve la medida de resumen análoga del área bajo la curva PR (.49, si está interesado) pero no estoy seguro de …

11 classification  precision-recall  auc 

Un proceso es estrictamente estacionario si la distribución conjunta de es la misma que la distribución conjunta de para todos los , para todos los y para todos los .X t 1 , X t 2 , . . . , X t m X t 1 + k , …

11 time-series  autocorrelation  stochastic-processes  stationarity 

Sigo leyendo sobre la necesidad de verificar la autocorrelación en MCMC. ¿Por qué es importante que la autocorrelación sea baja? ¿Qué mide en el contexto de MCMC?

11 sampling  autocorrelation  mcmc 

Soy consciente de varias preguntas relacionadas aquí (por ejemplo, la terminología de la prueba de hipótesis que rodea nulo , ¿es posible probar una hipótesis nula? ) Pero no sé la respuesta definitiva para mi pregunta a continuación. Supongamos una prueba de hipótesis en la que queremos probar si una …

11 hypothesis-testing 

He supervisado el problema de aprendizaje donde los objetivos son ángulos. Si hiciera una regresión simple, los números 360 y 1 estarían muy lejos para mi modelo, pero en realidad están cerca y predecir las coordenadas x e y no se siente bien, ya que estoy tratando de predecir solo …

11 regression  circular-statistics 

Supongamos que estoy considerando varias variables independientes para una posible inclusión en un modelo ARIMAX que estoy desarrollando. Antes de ajustar diferentes variables, me gustaría descartar variables que exhiben causalidad inversa mediante el uso de una prueba de Granger (estoy usando la granger.testfunción del MSBVARpaquete en R, aunque creo que …

11 lags  granger-causality 

¿Se puede utilizar la regresión para la detección de mentiras? Entiendo que hay formas de mejorar un modelo de regresión eliminando los valores atípicos. Pero el objetivo principal aquí no es ajustar un modelo de regresión, sino descubrir mentirosos usando la regresión

11 regression  outliers 

Según algún artículo que estoy leyendo, la distancia de Jeffries y Matusita se usa comúnmente. Pero no pude encontrar mucha información al respecto, excepto la fórmula a continuación JMD (x, y) = ∑(xi−−√2−yi−−√2)2−−−−−−−−−−−−−√2∑(xi2−yi2)22\sqrt[2]{\sum(\sqrt[2]{x_i}-\sqrt[2]{y_i})^2} Es similar a la distancia euclidiana, excepto por la raíz cuadrada E (x, y) = ∑(xi−yi)2−−−−−−−−−−√2∑(xi−yi)22\sqrt[2]{\sum(x_i-y_i)^2} Se …

11 classification  k-nearest-neighbour  euclidean 

La solución al problema: minmetromi[ | m - XEl | ]minmE[|m−X|] \min_{m} \; E[|m-X|] se sabe que es la mediana de XXX , pero ¿cómo se ve la función de pérdida para otros percentiles? Ej: el percentil 25 de X es la solución para: minmetromi[ L ( m , X) …

11 expected-value  loss-functions 

Necesito estudiar los métodos de Markov Chain Monte Carlo, para ser más específico, necesito estudiar el algoritmo de Metropolis Hastings y todo lo relacionado con los criterios de convergencia. ¿Quién me puede recetar un libro, un documento o un sitio web que explique este argumento usando términos simples, pero sin …

11 references  mcmc 

Puedo entrenar una regresión logística al Rusar glm(y ~ x, family=binomial(logit))) pero, IIUC, esto optimiza la probabilidad de registro. ¿Hay alguna forma de entrenar el modelo utilizando la función de pérdida lineal ( ) (que en este caso es la misma que la distancia de variación total )?L1L1L_1 Es decir, …

11 logistic 

Intenté comprender mejor la covarianza de dos variables aleatorias y entender cómo la primera persona que lo pensó llegó a la definición que se usa habitualmente en estadística. Fui a Wikipedia para entenderlo mejor. Según el artículo, parece que una buena medida o cantidad candidata para Cov(X,Y)Cov(X,Y)Cov(X,Y) debería tener las …

11 correlation  covariance