Estadísticas y Big Data

Sea una secuencia de variables aleatorias iid muestreadas de una distribución estable alfa , con parámetros . α = 1.5 ,X1,X2,…,X3nX1,X2,…,X3nX_1, X_2, \ldots, X_{3n}α=1.5,β=0,c=1.0,μ=1.0α=1.5,β=0,c=1.0,μ=1.0\alpha = 1.5, \; \beta = 0, \; c = 1.0, \; \mu = 1.0 Ahora considere la secuencia , donde , para . Y j + …

10 probability  self-study  monte-carlo  convergence  order-statistics 

¿Es posible entrenar la red neuronal para dibujar en cierto estilo? (Por lo tanto, toma una imagen y la vuelve a dibujar en un estilo para el que fue entrenada). ¿Existe alguna tecnología aprobada para este tipo de cosas? Sé sobre el algoritmo DeepArt. Es bueno llenar la imagen principal …

10 machine-learning  neural-networks  deep-learning 

En mi clase de aprendizaje automático, aprendimos cómo la regresión LASSO es muy buena para realizar la selección de funciones, ya que utiliza la regularización .l1l1l_1 Mi pregunta: ¿las personas normalmente usan el modelo LASSO solo para hacer la selección de funciones (y luego proceden a volcar esas funciones en …

10 feature-selection  lasso  regression-strategies 

Tengo un conjunto de datos de 482 observaciones. data=Populationfull Voy a hacer un análisis de asociación de genotipo para 3 SNP. Estoy tratando de construir un modelo para mi análisis y estoy usando el aov (y ~ x, data = ...). Para un rasgo tengo varios efectos fijos y covariables …

10 r  anova 

En las pruebas de hipótesis, una pregunta común es ¿cuál es la varianza de la población? Mi pregunta es ¿cómo podemos conocer la varianza de la población? Si supiéramos toda la distribución, también podríamos saber la media de toda la población. Entonces, ¿cuál es el punto de prueba de hipótesis?

10 hypothesis-testing  variance  t-test  z-test 

Tengo dos variables categóricas / nominales. Cada uno de ellos puede tomar solo dos valores distintos (por lo tanto, tengo 4 combinaciones en total). Cada combinación de valores viene con un conjunto de valores numéricos. Entonces, tengo 4 conjuntos de números. Para hacerlo más concreto, digamos que tengo male / …

10 hypothesis-testing  p-value  nonparametric  permutation-test 

Traté de implementar una estimación numérica de la divergencia Kullback-Leibler para dos muestras. Para depurar la implementación, extraiga las muestras de dos distribuciones normales y .N ( 1 , 2 )norte( 0 , 1 )N(0,1)\mathcal N (0,1)norte( 1 , 2 )N(1,2)\mathcal N (1,2) Para una estimación simple, generé dos histogramas …

10 estimation  intuition  kullback-leibler  numerics 

¿Hay un equivalente de la fórmula media: mean=1N∑i=1NXimean=1N∑i=1NXi\begin{equation} \mathrm{mean} = \cfrac{1}{N} \sum_{i=1}^{N} X_i \end{equation} por mediana?

10 median  definition 

Como ejemplo, a menudo encuentro estudiantes que saben que Observado es un estimador sesgado de Población . Luego, al escribir sus informes, dicen cosas como:R2R2R^2R2R2R^2 "He calculado observado y se ajustó , y que eran bastante similares, sugiriendo sólo una pequeña cantidad de sesgo en el observado valor que obtuvimos."R2R2R^2R2R2R^2R2R2R^2 …

10 mathematical-statistics  terminology  bias  estimators 

Entiendo que en la regresión lineal se supone que los errores se distribuyen normalmente, condicional al valor predicho de y. Luego miramos los residuos como una especie de proxy para los errores. Se recomienda a menudo para generar una salida como esta: . Sin embargo, no entiendo cuál es el …

10 regression  assumptions 

Estoy tratando de entrenar una red neuronal profunda para la clasificación, utilizando la propagación inversa. Específicamente, estoy usando una red neuronal convolucional para la clasificación de imágenes, usando la biblioteca Tensor Flow. Durante el entrenamiento, estoy experimentando un comportamiento extraño, y me pregunto si esto es típico o si puedo …

10 machine-learning  classification  neural-networks  conv-neural-network  tensorflow 

Breve pregunta: ¿Hay una distribución de dedos gordos? Estoy seguro de que si existe, entonces tiene un nombre diferente. No sé cómo formularlo como una función analítica. ¿Me pueden ayudar a encontrar una versión existente o comenzar a formularla en algo más limpio que una simulación gigante? Es la distribución …

10 distributions  simulation 

En PCA, ¿hace alguna diferencia si elegimos componentes principales de la matriz de covarianza inversa O si eliminamos los vectores propios de la matriz de covarianza correspondientes a valores propios grandes? Esto está relacionado con la discusión en esta publicación .

10 machine-learning  pca  computational-statistics 

Estoy tratando de meterme un poco en las estadísticas, pero estoy atascado con algo. Mis datos son los siguientes: Year Number_of_genes 1990 1 1991 1 1993 3 1995 4 Ahora quiero construir un modelo de regresión para poder predecir la cantidad de genes para un año determinado con base en …

10 regression  count-data  poisson-regression 

Supongamos que son observaciones independientes de una distribución que tiene la media y la varianza , cuando , entoncesX1,...,XnX1,...,XnX_1,...,X_nμμ\muσ2&lt;∞σ2&lt;∞\sigma^2 < \inftyn→∞n→∞n \rightarrow \infty n−−√X¯n−μσ→N(0,1).nX¯n−μσ→N(0,1).\sqrt{n}\frac{\bar{X}_n-\mu}{\sigma} \rightarrow N(0,1). ¿Por qué esto implica que X¯n∼N(μ,σ2n)?X¯n∼N(μ,σ2n)?\bar{X}_n \sim N\left(\mu, \frac{\sigma^2}{n}\right)?

10 probability  central-limit-theorem