Estadísticas y Big Data

El AIC se define como , donde θ es el estimador de máxima verosimilitud y p es la dimensión del espacio de parámetros. Para la estimación de θUn yoC= - 2 log( L ( θ^) ) + 2 pUNyoC=-2Iniciar sesión⁡(L(θ^))+2pagAIC=-2 \log(L(\hat\theta))+2pθ^θ^\hat\thetapagpagpθθ\theta, generalmente se descuida el factor constante de la densidad. …

12 model-selection  aic  nested-models 

Tengo datos con un número mínimo de características que no cambian, y algunas características adicionales que pueden cambiar y tener un gran impacto en el resultado. Mi conjunto de datos se ve así: Las características son A, B, C (siempre presente) y D, E, F, G, H (a veces presente) …

12 machine-learning  feature-selection 

Para un conjunto dado de datos, la dispersión a menudo se calcula como la desviación estándar o como el IQR (rango intercuartil). Mientras que a standard deviationestá normalizado (puntajes z, etc.) y, por lo tanto, puede usarse para comparar la propagación de dos poblaciones diferentes, este no es el caso …

12 nonparametric  mathematical-statistics  standard-deviation  descriptive-statistics  normalization 

Según tengo entendido, el bosque aleatorio elige aleatoriamente variables variables para construir cada árbol de decisión. Entonces, si mtry = ncol / 3, cada variable se usará en promedio en 1/3 de los árboles. Y 2/3 de los árboles no los usarán. Pero, ¿y si sé que una sola variable …

12 r  random-forest  parameterization 

Supongamos que tengo una mezcla finita de muchos gaussianos con pesos, medias y desviaciones estándar conocidos. Los medios no son iguales. La desviación media y estándar de la mezcla se puede calcular, por supuesto, ya que los momentos son promedios ponderados de los momentos de los componentes. La mezcla no …

12 normal-distribution  mixture  distance 

Estoy comparando la distribución del tamaño de los árboles en seis pares de parcelas donde una parcela recibió un tratamiento y la otra un control. Usando una prueba de Kolmogorov-Smirnov en cada par de parcelas, encuentro que varía de 0.0003707 a 0.75 . ¿Existen métodos apropiados para tratar todas las …

12 nonparametric  kolmogorov-smirnov 

No pude descubrir cómo realizar una regresión lineal en R para un diseño de medida repetida. En una pregunta anterior (aún sin respuesta) me sugirieron que no usara lmsino que usara modelos mixtos. Utilicé lmde la siguiente manera: lm.velocity_vs_Velocity_response <- lm(Velocity_response~Velocity*Subject, data=mydata) (se pueden encontrar más detalles sobre el conjunto …

12 r  regression  mixed-model  repeated-measures 

¿Hay algún truco técnico para determinar el tercer cuartil si pertenece a un intervalo abierto que contiene más de un cuarto de la población (por lo que no puedo cerrar el intervalo y usar la fórmula estándar)? Editar En caso de que haya entendido mal algo, proporcionaré un contexto más …

12 distributions  histogram  descriptive-statistics 

¿Podemos interpretar la probabilidad posterior obtenida de un clasificador que genera un valor de clase predicho y una probabilidad (por ejemplo, regresión logística o Naive Bayes) como algún tipo de puntaje de confianza que se asigna a ese valor de clase predicho?

12 probability  logistic  naive-bayes 

Estoy tratando de detectar valores anómalos en una serie temporal de datos climáticos con algunas observaciones faltantes. Al buscar en la web encontré muchos enfoques disponibles. De ellos, la descomposición stl parece atractiva, en el sentido de eliminar la tendencia y los componentes estacionales y estudiar el resto. Lectura STL: …

12 r  time-series  outliers  missing-data 

Quiero usar el Criterio de información de Akaike (AIC) para elegir el número apropiado de factores para extraer en un PCA. El único problema es que no estoy seguro de cómo determinar el número de parámetros. Considere una matriz , donde representa el número de variables y el número de …

12 pca  model-selection 

Estoy tratando de descomponer una matriz de covarianza basada en un conjunto de datos dispersos / breves. Me doy cuenta de que la suma de lambda (varianza explicada), según se calcula con svd, se amplifica con datos cada vez más vacíos. Sin huecos, svdy eigenarrojar los mismos resultados. Esto no …

12 r  svd  eigenvalues 

¿Podría darme alguna aclaración sobre la minería de datos y los algoritmos de inteligencia artificial? ¿Para qué base matemática usaron? ¿Podría darme un punto de partida, en matemáticas, para comprender este tipo de algoritmos?

12 mathematical-statistics  references  data-mining  algorithms  artificial-intelligence 

Estoy usando el paquete randomForest en R y usando los datos del iris, el bosque aleatorio generado es una clasificación, pero cuando uso un conjunto de datos con alrededor de 700 características (las características son cada píxel en una imagen de 28x28 píxeles) y la columna de etiqueta se llama …

12 r  random-forest 

¿Consideraría que HBM vs EB son dos alternativas en las cuales los hiperparámetros están "en el juego" de ser muestreados / estimados / etc.? Claramente hay una conexión entre estos dos. ¿Consideraría que HBM es más "completamente bayesiano" que EB? ¿Hay algún lugar donde pueda ver cuáles son las diferencias …

12 bayesian  empirical-bayes