Estadísticas y Big Data

La prueba de uniformidad es algo común, sin embargo, me pregunto cuáles son los métodos para hacerlo en una nube de puntos multidimensional.

13 hypothesis-testing  uniform 

Quiero calcular coeficientes para una regresión que es muy similar a la regresión logística (En realidad, regresión logística con otro coeficiente: cuandoApodría ser dada). Pensé en usar GMM para calcular los coeficientes, pero no estoy seguro de cuáles son las condiciones de momento que debería usar.A1+e−(b0+b1x1+b2x2+…),A1+e−(b0+b1x1+b2x2+…), \frac{A}{1 + e^{- (b_0 …

13 logistic  generalized-moments 

Si tengo un determinado conjunto de datos, ¿qué tan inteligente sería inicializar los centros de clúster utilizando muestras aleatorias de ese conjunto de datos? Por ejemplo, supongamos que quiero 5 clusters. Supongo que 5 random samplesdel size=20%conjunto de datos original. ¿Podría entonces tomar la media de cada una de estas …

13 clustering  k-means  unsupervised-learning 

La pregunta es simplemente qué se dice en el título: ¿ Cuándo falla la ley de los grandes números? Lo que quiero decir es, ¿en qué casos la frecuencia de un evento no tenderá a la probabilidad teórica?

13 probability  mathematical-statistics  law-of-large-numbers 

Siéntase libre de sustituir las 'revistas' por cualquier otro portal útil de conocimiento. Estoy interesado en vigilar los nuevos desarrollos en el aprendizaje automático, con miras a aplicaciones prácticas. No soy un académico que busca publicar mi propio trabajo (al menos no en este campo), pero sí quiero estar al …

13 machine-learning  references 

Me gustaría obtener una comprensión conceptual del error cuadrático medio (RMSE) y la desviación media del sesgo (MBD). Después de calcular estas medidas para mis propias comparaciones de datos, a menudo me he quedado perplejo al descubrir que el RMSE es alto (por ejemplo, 100 kg), mientras que el MBD …

13 standard-deviation  bias 

Supongamos .Xβ=YXβ=YX\beta =Y No sabemos exactamente, sólo su correlación con cada predictor, .X t YYYYXtYXtYX^\mathrm{t}Y La solución de mínimos cuadrados ordinarios (OLS) es y no hay ningún problema.β=(XtX)−1XtYβ=(XtX)−1XtY\beta=(X^\mathrm{t} X)^{-1} X^\mathrm{t}Y Pero supongamos que es casi singular (multicolinealidad), y necesita estimar el parámetro óptimo de cresta. Todos los métodos parece necesitar …

13 regression  multicollinearity 

Estoy tratando de hacer predicciones usando un modelo de bosque aleatorio en R. Sin embargo, obtengo errores ya que algunos factores tienen valores diferentes en el conjunto de prueba que en el conjunto de entrenamiento. Por ejemplo, un factor Cat_2tiene valores 34, 68, 76, etc., en el conjunto de prueba …

13 r  categorical-data  random-forest 

Hay varios documentos matemáticos que describen el lazo bayesiano, pero quiero probar el código JAGS correcto que puedo usar. ¿Alguien podría publicar código BUGS / JAGS de muestra que implemente la regresión logística regularizada? Cualquier esquema (L1, L2, Elasticnet) sería genial, pero se prefiere Lasso. También me pregunto si hay …

13 bayesian  logistic  lasso  jags  regularization 

En respuesta a una pregunta sobre la selección de modelos en presencia de multicolinealidad , Frank Harrell sugirió : Ponga todas las variables en el modelo pero no pruebe el efecto de una variable ajustada por los efectos de las variables competidoras ... Las pruebas fragmentarias de las variables competidoras …

13 r  model-selection  multicollinearity 

Me preguntaba cómo generaría datos a partir de una ecuación de regresión de Poisson en R? Estoy un poco confundido sobre cómo abordar el problema. Entonces, si supongo que tenemos dos predictores y X 2 que se distribuyen N ( 0 , 1 ) . Y la intersección es 0 …

13 r  regression  poisson-distribution  simulation 

¿Hay algún método directo para transformar los datos de nivel ordinal en nivel de intervalo (al igual que para hacerlo al revés)? ¿Y realizable en Excel o SPSS? Teniendo los datos, digamos: 10 preguntas en el nivel ordinal (digamos escala 0-5, donde 0 = "en absoluto", 5 = "todo el …

13 categorical-data  ordinal-data  scales  psychometrics 

Me gustaría realizar algunas pruebas bidimensionales de Kolmogorov-Smironov para determinar si una distribución bidimensional se ajusta a una referencia. ¿Hay algún paquete o aplicación que pueda usar de una manera relativamente sencilla? ¿O hay un algoritmo diferente que es preferible? Solo tengo un conocimiento estadístico básico.

13 kolmogorov-smirnov 

¿Hay alguna alternativa rápida al algoritmo EM para aprender modelos con variables latentes (especialmente pLSA)? Estoy de acuerdo con sacrificar la precisión en favor de la velocidad.

13 machine-learning  optimization  expectation-maximization  lsa 

En la mayoría de los ejemplos que he visto hasta ahora de las redes neuronales, la red se usa para la clasificación y los nodos se transforman con una función sigmoidea. Sin embargo, me gustaría usar una red neuronal para generar un valor real continuo (de manera realista, la salida …

13 regression  neural-networks