Estadísticas y Big Data

Estoy buscando literatura sobre regresión de cresta negativa . En resumen, es una generalización de la regresión lineal de crestas usando negativa en la fórmula del estimador:El caso positivo tiene una buena teoría: como una función de pérdida, como una restricción, como un Bayes anterior ... pero me siento perdido …

12 regression  regularization  ridge-regression 

Si observa una distribución beta con α=β=4α=β=4\alpha=\beta=4 se ve muy similar a una distribución gaussiana . ¿Pero es? ¿Cómo puede probar si una distribución Beta (4,4) es gaussiana o no?

12 normal-distribution  beta-distribution 

Estaba pensando en el significado de familia a escala de ubicación. Entiendo que para cada miembro de una familia de escala de ubicación con parámetros ubicación y una escala , entonces la distribución de no depende de ningún parámetro y es igual para cada pertenece a esa familia.a b Z …

12 probability  distributions  mathematical-statistics  random-variable  moments 

Estoy realizando experimentos en el conjunto de validación EMNIST usando redes con RMSProp, Adam y SGD. Estoy logrando un 87% de precisión con SGD (tasa de aprendizaje de 0.1) y abandono (0.1 problema de abandono), así como la regularización L2 (penalización 1e-05). Al probar la misma configuración exacta con RMSProp …

12 machine-learning  optimization  sgd  adam 

Hasta ahora he visto a ANOVA usado de dos maneras: Primero , en mi texto introductorio de estadística, ANOVA se introdujo como una forma de comparar medias de tres o más grupos, como una mejora sobre la comparación por pares, para determinar si una de las medias tiene una diferencia …

12 hypothesis-testing  anova  model-comparison  f-test  nested-models 

Si quisiéramos calcular el efecto causal de sobre Y en el gráfico causal a continuación, podemos usar los teoremas de ajuste de puerta trasera y de puerta delantera, es decir, P ( y | do ( X = x ) ) = ∑ u P ( y | x , …

12 self-study  causality  graph-theory  dag 

En primer lugar: lo sé, no se requiere un número general de tamaño de muestra para entrenar una red neuronal. Depende de demasiados factores, como la complejidad de la tarea, el ruido en los datos, etc. Y cuantas más muestras de entrenamiento tenga, mejor será mi red. Pero me preguntaba: …

12 neural-networks  overfitting  underdetermined 

Nunca estoy seguro de cuándo usar una codificación única para variables categóricas no ordenadas y cuándo no. Lo uso cuando el algoritmo usa una métrica de distancia para calcular la similitud. ¿Alguien puede dar una regla general sobre qué tipos de algoritmos requerirían que las características categóricas no ordenadas se …

12 machine-learning  categorical-data  categorical-encoding  data-preprocessing 

A mi entender (muy modesto) de la inferencia variacional, uno intenta aproximar una distribución desconocida al encontrar una distribución que optimice lo siguiente:pppqqq KL(p||q)=∑xp(x)logp(x)q(x)KL(p||q)=∑xp(x)logp(x)q(x)KL (p||q) = \sum\limits_{x} p(x)log \frac {p(x)}{q(x)} Cada vez que invierto tiempo en comprender la inferencia variacional sigo aplicando esta fórmula y no puedo evitar sentir que …

12 variational-bayes 

Supongamos que tenemos un problema de clasificación y al principio queremos obtener una idea de los datos y hacemos t-SNE. El resultado de t-SNE separa las clases muy bien. Esto implica que es posible construir un modelo de clasificación que también separe muy bien las clases (si t-SNE no se …

12 classification  tsne 

Antecedentes: estoy estudiando el capítulo 6 de Aprendizaje profundo de Ian Goodfellow y Yoshua Bengio y Aaron Courville. En la sección 6.2.2.2 (páginas 182 de 183 que se pueden ver aquí P(y=1|x)P(y=1|x)P(y=1|x) se motiva el uso de sigmoide para generar P (y = 1 | x) . Para resumir parte …

12 neural-networks  deep-learning 

Si procesamos digamos 10 ejemplos en un lote, entiendo que podemos sumar la pérdida para cada ejemplo, pero ¿cómo funciona la propagación hacia atrás en relación con la actualización de los pesos para cada ejemplo? Por ejemplo: Ejemplo 1 -> pérdida = 2 Ejemplo 2 -> pérdida = -2 Esto …

12 neural-networks  gradient-descent  backpropagation  tensorflow 

Tengo este gran conjunto de datos con 2500 variables y 142 observaciones. Quiero ejecutar una correlación entre la Variable X y el resto de las variables. Pero para muchas columnas, faltan entradas. Traté de hacer esto en R usando el argumento "pairwise-complete" ( use=pairwise.complete.obs) y arrojó un montón de correlaciones. …

12 r  correlation  missing-data  correlation-matrix 

Configuré una búsqueda de cuadrícula para un montón de parámetros. Estoy tratando de encontrar los mejores parámetros para una red neuronal Keras que hace una clasificación binaria. La salida es 1 o 0. Hay alrededor de 200 características. Cuando hice una búsqueda en la cuadrícula, obtuve un montón de modelos …

12 machine-learning  cross-validation  deep-learning  tensorflow  theano 

Aquí hay un ejemplo de código keras que lo usa: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu', kernel_constraint=max_norm(3)))

12 neural-networks  regularization  conv-neural-network  optimization