Estadísticas y Big Data

Me encontré con un gran cantidad de literatura que aboga por usar la métrica de información de Fisher como una métrica local natural en el espacio de distribuciones de probabilidad y luego integrarla para definir distancias y volúmenes. Pero, ¿son realmente útiles estas cantidades "integradas" para algo? No encontré justificaciones …

13 model-selection  information-geometry 

¿Alguien sabe de investigaciones que investiguen la efectividad (comprensibilidad?) De diferentes técnicas de visualización? Por ejemplo, ¿con qué rapidez las personas entienden una forma de visualización sobre otra? ¿La interactividad con la visualización ayuda a las personas a recordar los datos? Cualquier cosa en ese sentido. Un ejemplo de visualizaciones …

13 data-visualization  communication 

En las estadísticas circulares, el valor esperado de una variable aleatoria con valores en el círculo S se define como m 1 ( Z ) = ∫ S z P Z ( θ ) d θ (ver wikipedia ). Esta es una definición muy natural, como lo es la definición …

13 mathematical-statistics  moments  intuition  circular-statistics 

Estoy usando la descomposición del valor singular como técnica de reducción de dimensionalidad. Dados los Nvectores de dimensión D, la idea es representar las características en un espacio transformado de dimensiones no correlacionadas, lo que condensa la mayor parte de la información de los datos en los vectores propios de …

13 time-series  machine-learning  pca  data-transformation  multivariate-analysis 

Bloqueado . Esta pregunta y sus respuestas están bloqueadas porque la pregunta está fuera de tema pero tiene un significado histórico. Actualmente no acepta nuevas respuestas o interacciones. ¿Alguien sabe de un buen software de anonimato de datos? ¿O tal vez un paquete para R que hace anonimato de datos? …

13 software 

He escuchado comúnmente que los modelos LME son más sólidos en el análisis de datos de precisión (es decir, en experimentos de psicología), ya que pueden trabajar con distribuciones binomiales y otras distribuciones no normales que los enfoques tradicionales (por ejemplo, ANOVA) no pueden. ¿Cuál es la base matemática de …

13 mixed-model 

Estoy tratando de separar dos grupos de valores de un solo conjunto de datos. Puedo suponer que una de las poblaciones está normalmente distribuida y tiene al menos la mitad del tamaño de la muestra. Los valores del segundo son más bajos o más altos que los valores del primero …

13 dataset  outliers  expectation-maximization 

Esta es una pregunta bastante general: Por lo general, he descubierto que el uso de múltiples modelos diferentes supera a un modelo al intentar predecir una serie de tiempo fuera de la muestra. ¿Hay buenos documentos que demuestren que la combinación de modelos superará a un modelo único? ¿Existe alguna …

13 time-series  modeling  model-comparison 

Esta es una pregunta un poco frívola, pero tengo un gran interés en la respuesta. Trabajo en un hospital psiquiátrico y tengo datos de tres años, recopilados todos los días en cada sala sobre el nivel de violencia en esa sala. Claramente, el modelo que se ajusta a estos datos …

13 time-series  forecasting 

He estado discutiendo con varios miembros del laboratorio sobre este, y hemos recurrido a varias fuentes, pero aún no tenemos la respuesta: Cuando decimos que un GLM tiene una familia de poisson , digamos, ¿estamos hablando de la distribución de los residuos o la variable de respuesta? Puntos de contención …

13 generalized-linear-model  residuals  assumptions 

Recientemente he estado aprendiendo sobre las reglas de puntuación adecuadas para los clasificadores probabilísticos. Varios hilos en este sitio web han hecho hincapié en que la precisión es una regla de puntuación inadecuada y no debe usarse para evaluar la calidad de las predicciones generadas por un modelo probabilístico como …

13 probability  accuracy  scoring-rules 

Mi pregunta: ¿Por qué el bosque aleatorio considera subconjuntos aleatorios de características para dividir a nivel de nodo dentro de cada árbol en lugar de a nivel de árbol ? Antecedentes: esta es una cuestión de historia. Estaño Kam Ho publicó este trabajo en la construcción de "bosques de decisión", …

13 machine-learning  feature-selection  random-forest  importance  history 

Quiero construir un modelo de regresión que sea un promedio de múltiples modelos OLS, cada uno basado en un subconjunto de datos completos. La idea detrás de esto se basa en este documento . Creo k pliegues y construyo k modelos OLS, cada uno con datos sin uno de los …

13 regression  least-squares  ensemble 

Digamos que estoy calculando alturas (en cm) y los números deben ser superiores a cero. Aquí está la lista de muestra: 0.77132064 0.02075195 0.63364823 0.74880388 0.49850701 0.22479665 0.19806286 0.76053071 0.16911084 0.08833981 Mean: 0.41138725956196015 Std: 0.2860541519582141 En este ejemplo, de acuerdo con la distribución normal, el 99.7% de los valores deben …

13 probability  mathematical-statistics  normal-distribution  standard-deviation 

Mientras probaba los modelos de mezcla gaussiana aquí , encontré estos 4 tipos de covarianzas. 'full' (each component has its own general covariance matrix), 'tied' (all components share the same general covariance matrix), 'diag' (each component has its own diagonal covariance matrix), 'spherical' (each component has its own single variance). …

13 covariance-matrix  gaussian-mixture