Estadísticas y Big Data

¿Existe una rama de estadísticas que trate con datos para los cuales no se conocen valores exactos , pero para cada individuo, conocemos un límite máximo o mínimo al valor ? Sospecho que mi problema se debe en gran parte al hecho de que estoy luchando por articularlo en términos …

29 biostatistics  population  bounds  interval-censoring 

No tengo claro el motivo por el que normalizamos la imagen para CNN por (image - mean_image) ¡Gracias!

29 deep-learning  conv-neural-network  image-processing 

Mientras derivaba formalmente el intervalo de confianza de una estimación, terminé con una fórmula que se parece mucho a la forma en que se calcula el valor .ppp De ahí la pregunta: ¿son formalmente equivalentes? Es decir, ¿rechaza una hipótesis con un valor crítico equivalente a no pertenece al intervalo …

29 hypothesis-testing  confidence-interval  p-value 

Por un lado, tengo la regresión a la media y por otro lado tengo la falacia del jugador . Miller y Sanjurjo (2019) definen la falacia del jugador como "la creencia errónea de que las secuencias aleatorias tienen una tendencia sistemática hacia la reversión, es decir, que las rayas de …

29 regression  mean  fallacy  gambling 

Las introducciones a los modelos gráficos los describen como "... un matrimonio entre la teoría de gráficos y la teoría de probabilidad". Obtengo la parte de la teoría de la probabilidad, pero tengo problemas para comprender dónde encaja exactamente la teoría de gráficos. ¿Qué ideas de la teoría de gráficos …

29 graphical-model  graph-theory  distributions 

Fondo Supongamos que tenemos un modelo de mínimos cuadrados ordinarios donde tenemos coeficientes en nuestro modelo de regresión, kkky=Xβ+ϵy=Xβ+ϵ\mathbf{y}=\mathbf{X}\mathbf{\beta} + \mathbf{\epsilon} donde es un vector de coeficientes , es la matriz de diseño definida porββ\mathbf{\beta}(k×1)(k×1)(k\times1)XX\mathbf{X} X=⎛⎝⎜⎜⎜⎜⎜⎜11⋮1x11x21xn1x12…⋱………x1(k−1)⋮⋮xn(k−1)⎞⎠⎟⎟⎟⎟⎟⎟X=(1x11x12…x1(k−1)1x21…⋮⋮⋱⋮1xn1……xn(k−1))\mathbf{X} = \begin{pmatrix} 1 & x_{11} & x_{12} & \dots & x_{1\;(k-1)} \\ 1 & …

29 regression  linear-model  least-squares  t-distribution 

Tengo una distribución observada experimentalmente que se parece mucho a una distribución gamma o lognormal. He leído que la distribución lognormal es la distribución de probabilidad de entropía máxima para una variable aleatoria para la cual se fijan la media y la varianza de ln ( X ) . ¿La …

29 pdf  gamma-distribution  lognormal 

Habiendo estudiado recientemente bootstrap, se me ocurrió una pregunta conceptual que todavía me desconcierta: Tiene una población y desea conocer un atributo de población, es decir, , donde uso para representar a la población. Esta podría ser la media poblacional, por ejemplo. Por lo general, no puede obtener todos los …

29 bootstrap  simulation  resampling 

Quería hacer una demostración de clase donde comparo un intervalo t con un intervalo de arranque y calculo la probabilidad de cobertura de ambos. Quería que los datos provengan de una distribución sesgada, así que elegí generar los datos como exp(rnorm(10, 0, 2)) + 1, una muestra de tamaño 10 …

29 bootstrap  diagnostic 

¿Es posible que el ANOVA unidireccional (con grupos o "niveles") informe una diferencia significativa cuando ninguna de las pruebas t por pares N ( N - 1 ) / 2 lo hace?norte> 2norte>2N>2norte( N- 1 ) / 2norte(norte-1)/ /2N(N-1)/2 En esta respuesta, @whuber escribió: Es bien sabido que una prueba …

29 statistical-significance  anova  t-test  post-hoc 

Me gustaría usar GLM y Elastic Net para seleccionar esas características relevantes + construir un modelo de regresión lineal (es decir, predicción y comprensión, por lo que sería mejor quedarse con relativamente pocos parámetros). La salida es continua. Son genes por 50 casos. He estado leyendo sobre el paquete, pero …

29 r  regularization  glmnet  elastic-net  underdetermined 

Estoy un poco confuso sobre el Área bajo curva (AUC) de ROC y la precisión general. ¿El AUC será proporcional a la precisión general? En otras palabras, cuando tengamos una precisión general mayor, ¿obtendremos definitivamente un AUC más grande? ¿O están por definición positivamente correlacionados? Si están positivamente correlacionados, ¿por …

29 classification  roc 

Cada dimensión de mis características tiene un rango de valores diferente. Quiero saber si es esencial normalizar este conjunto de datos.

29 machine-learning  svm  random-forest  normalization 

Cuando predice un valor ajustado de un modelo de regresión logística, ¿cómo se calculan los errores estándar? Me refiero a los valores ajustados , no a los coeficientes (que implica la matriz de información de Fishers). Solo descubrí cómo obtener los números con R(por ejemplo, aquí en r-help o aquí …

29 r  regression  logistic  mathematical-statistics  references 

Estoy un poco confundido con la diferencia entre un SVM y un perceptrón. Permítanme tratar de resumir mi comprensión aquí, y siéntanse libres de corregir dónde estoy equivocado y completar lo que me he perdido. El Perceptron no intenta optimizar la separación "distancia". Mientras encuentre un hiperplano que separe los …

29 machine-learning  svm  kernel-trick