Estadísticas y Big Data

Hasta ahora, he estado usando la estadística de Shapiro-Wilk para probar los supuestos de normalidad en muestras pequeñas. ¿Podrías recomendarme otra técnica?

22 hypothesis-testing  goodness-of-fit  normality-assumption  small-sample 

He estado tratando de desarrollar una comprensión basada en la intuición del teorema de Bayes en términos de la probabilidad anterior , posterior , de probabilidad y marginal . Para eso utilizo la siguiente ecuación: donde representa una hipótesis o creencia y representa datos o evidencia. He entendido el concepto …

22 bayesian  likelihood  intuition 

He estado trabajando con las redes neuronales convolucionales (CNN) durante algún tiempo, principalmente en datos de imágenes para la segmentación semántica / segmentación de instancias. A menudo he visualizado el softmax de la salida de la red como un "mapa de calor" para ver qué tan altas son las activaciones …

22 probability  deep-learning  conv-neural-network  uncertainty  softmax 

Quiero hacer una regresión de una variable en . ¿Debo hacer esto usando polinomios en bruto u ortogonales? Miré la pregunta en el sitio que se ocupa de estos, pero realmente no entiendo cuál es la diferencia entre usarlos. yyyx,x2,…,x5X,X2,...,X5 5x,x^2,\ldots,x^5 ¿Por qué no puedo simplemente hacer una regresión "normal" …

22 r  regression  polynomial 

Tengo entendido que en el aprendizaje automático puede ser un problema si su conjunto de datos tiene características altamente correlacionadas, ya que codifican efectivamente la misma información. Recientemente, alguien señaló que cuando realiza una codificación de una sola vez en una variable categórica, termina con características correlacionadas, por lo que …

22 regression  machine-learning  categorical-data  discrete-data  categorical-encoding 

Entiendo que el Análisis de componentes principales (PCA) se puede aplicar básicamente para datos de sección transversal. ¿Se puede utilizar PCA para datos de series temporales de manera efectiva especificando el año como variable de serie temporal y ejecutando PCA normalmente? He descubierto que PCA dinámico funciona para datos de …

22 time-series  pca 

¿Cuál es la motivación para introducir un nivel adicional de indirección del descriptivo 'falso positivo' al entero '1'? ¿Es 'falso positivo' realmente demasiado largo?

21 terminology  frequentist  type-i-and-ii-errors 

Algunas fuentes dicen que la función de probabilidad no es una probabilidad condicional, algunas dicen que sí. Esto es muy confuso para mí. Según la mayoría de las fuentes que he visto, la probabilidad de una distribución con el parámetro , debería ser un producto de funciones de masa de …

21 probability  bayesian  conditional-probability  likelihood  frequentist 

Esto se ha preguntado en otros sitios de SE en el contexto de sistemas operativos y álgebra lineal, pero la misma pregunta me molesta con respecto a los métodos de kernel utilizados en estadísticas y aprendizaje automático. A menudo se dice que los núcleos, por ejemplo, en la estimación de …

21 terminology 

Intenté algunas búsquedas habituales en Google, etc., pero la mayoría de las respuestas que encuentro son algo ambiguas o específicas del idioma / biblioteca, como Python o C ++, stdlib.hetc. Estoy buscando una respuesta matemática agnóstica del lenguaje, no los detalles de una biblioteca. Como ejemplo, muchos dicen que la …

21 random-generation 

Digamos que tengo los siguientes números: 4,3,5,6,5,3,4,2,5,4,3,6,5 Muestro algunos de ellos, digamos, 5 de ellos, y calculo la suma de 5 muestras. Luego repito eso una y otra vez para obtener muchas sumas, y trazo los valores de las sumas en un histograma, que será gaussiano debido al Teorema del …

21 central-limit-theorem 

Acabo de llevar a cabo un análisis de mis datos mediante regresión logística, sin embargo, también tengo que tener una parte de Estadística descriptiva en mi informe. Sinceramente, no veo el punto en esto y esperaba que alguien pudiera explicar por qué es necesario. Por ejemplo, si trazo un histograma …

21 descriptive-statistics  reporting 

Si tengo dos valores A y B que se expresan como un porcentaje de C, y quiero expresar la diferencia de magnitud entre A y B como un porcentaje D, ¿es más correcto expresar D como un porcentaje de C, o como un porcentaje de B (o de hecho A)? …

21 terminology  percentage 

Version corta: Sabemos que la regresión logística y la regresión probit pueden interpretarse como una variable latente continua que se discretiza de acuerdo con un umbral fijo antes de la observación. ¿Hay disponible una interpretación variable latente similar para, por ejemplo, la regresión de Poisson? ¿Qué tal para la regresión …

21 logistic  generalized-linear-model  poisson-regression  probit  latent-variable 

En una conferencia escuché la siguiente declaración: 100 mediciones para 5 sujetos proporcionan mucha menos información que 5 mediciones para 100 sujetos. Es bastante obvio que esto es cierto, pero me preguntaba cómo se podría probar matemáticamente ... Creo que se podría usar un modelo lineal mixto. Sin embargo, no …

21 mixed-model  variance  repeated-measures  sample-size  intraclass-correlation