Estadísticas y Big Data

Considere un problema de regresión OLS estándar : Tengo matrices y \ X y quiero encontrar \ B para minimizar L = \ | \ Y- \ X \ B \ | ^ 2. La solución viene dada por \ hat \ B = \ argmin_ \ B \ {L …

16 regression  least-squares  ridge-regression 

Entonces sabemos que una suma de nnn poissons con parámetro λλ\lambda es en sí misma un poisson con nλnλn\lambda . Hipotéticamente, uno podría tomar x∼poisson(λ=1)x∼poisson(λ=1)x \sim poisson(\lambda = 1) y decir que en realidad es ∑n1xi∼poisson(λ=1)∑1nxi∼poisson(λ=1)\sum_1^n x_i \sim poisson(\lambda = 1) donde cada xixix_i es: xi∼poisson(λ=1/n)xi∼poisson(λ=1/n)x_i \sim poisson(\lambda = 1/n) …

16 poisson-distribution  central-limit-theorem  asymptotics 

¿Por qué la prueba F para la diferencia de varianza es tan sensible al supuesto de distribución normal, incluso para grande ?NNN Intenté buscar en la web y visité la biblioteca, pero nada de eso me dio buenas respuestas. Dice que la prueba es muy sensible por la violación del …

16 normality-assumption  f-test 

( Publicado originalmente en MSE). He visto muchas discusiones heurísticas del teorema clásico del límite central que hablan de la distribución normal (o cualquiera de las distribuciones estables) como un "atractor" en el espacio de las densidades de probabilidad. Por ejemplo, considere estas oraciones en la parte superior del tratamiento …

16 probability  mathematical-statistics  convergence  central-limit-theorem  convolution 

Estoy confundido acerca de la ecuación que sirve como la definición de la tasa de riesgo. Tengo la idea de cuál es la tasa de riesgo, pero simplemente no veo cómo la ecuación expresa esa intuición. Si xxx es una variable aleatoria que representa el punto de tiempo de muerte …

16 survival  intuition  hazard 

Necesito un poco de ayuda para recuperar los datos de un cuestionario. Uno de mis colegas aplicó un cuestionario, pero sin darse cuenta, en lugar de utilizar la escala Likert original de 5 puntos (totalmente en desacuerdo para estar totalmente de acuerdo), insertó una sexta respuesta en la escala. Y, …

16 likert  data-imputation 

¿Alguien además de Egon Pearson accedió al informe de William Sealy Gosset de 1904 "La aplicación de la 'Ley del error' al trabajo de la cervecería"? Supongo que es propiedad de Guinness, pero dada su importancia histórica, habría sido una lectura muy interesante, si alguien supiera cómo obtenerla.

16 statistical-significance  history 

El paquete caret es una biblioteca R brillante para construir múltiples modelos de aprendizaje automático y tiene varias funciones para la construcción y evaluación de modelos. Para el ajuste de parámetros y la capacitación de modelos, el paquete caret ofrece 'repetido cv' como uno de los métodos. Como buena práctica, …

16 cross-validation  caret 

Estoy tratando de entender el contexto del famoso libro de Minsky y Papert "Perceptrons" de 1969, tan crítico para las redes neuronales. Hasta donde sé, todavía no había otros algoritmos genéricos de aprendizaje supervisado, excepto el perceptrón: los árboles de decisión comenzaron a ser realmente útiles solo a fines de …

16 classification  neural-networks  history 

Siento que he visto este tema discutido aquí antes, pero no pude encontrar nada específico. Por otra parte, tampoco estoy muy seguro de qué buscar. Tengo un conjunto unidimensional de datos ordenados. Supongo que todos los puntos del conjunto se extraen de la misma distribución. ¿Cómo puedo probar esta hipótesis? …

16 hypothesis-testing  distributions  mixture 

Me encontré con este artículo de 2012 de Gitte Vanwinckelen y Hendrik Blockeel cuestionando la utilidad de la validación cruzada repetida, que se ha convertido en una técnica popular para reducir la variación de la validación cruzada. Los autores demostraron que, si bien la validación cruzada repetida disminuye la varianza …

16 cross-validation 

Tengo una pregunta simple, y posiblemente obviamente trivial: ¿por qué la desviación estándar se llama simplemente eso, " estándar "? ¿Es porque estandariza la comparación de conjuntos de datos y resultados con respecto a su dispersión? Una búsqueda en Stack Exchange no responde a esta pregunta, ni una búsqueda en …

16 standard-deviation  terminology  history  etymology 

Cuando se explica la regresión de LASSO, a menudo se usa el diagrama de un diamante y un círculo. Se dice que debido a que la forma de la restricción en LASSO es un diamante, la solución de mínimos cuadrados obtenida podría tocar la esquina del diamante de modo que …

16 regression  lasso  ridge-regression 

Después de leer esta pregunta sobre arXiv y encontrar un enlace a GitXiv del que no estaba al tanto, me preguntaba, ¿qué sitios web / recursos utilizan las personas para mantenerse al día sobre las últimas investigaciones en su área?

16 academia 

Estoy usando regresión lineal múltiple para describir las relaciones entre Y y X1, X2. Desde la teoría, entendí que la regresión múltiple supone relaciones lineales entre Y y cada una de X (Y y X1, Y y X2). No estoy usando ninguna transformación de X. Entonces, obtuve el modelo con …

16 regression  multiple-regression  python  linear