Estadísticas y Big Data

Esta podría ser una pregunta básica: ¿Cuál es la diferencia entre sesgo y falta de equipamiento? Y, de manera análoga, ¿cuál es la diferencia entre la varianza y el sobreajuste? ¿Los términos de cada par significan lo mismo? Sí no, ¿Cuál es la diferencia?

10 variance  bias  overfitting  model-evaluation 

Estaba trazando datos de retorno (estandarizados) qqplot()en MATLAB contra los cuantiles teóricos de una distribución normal. Sin embargo, la línea en el QQ-Plot no tiene un ángulo de 45 ° pero se rota un poco. Tal vez no entiendo el concepto de un gráfico QQ, pero ¿no se supone que …

10 matlab  qq-plot 

Me preguntaba cuál es la mejor manera de inicializar el estado para LSTM. Actualmente solo lo inicializo a todos ceros. Realmente no puedo encontrar nada en línea sobre cómo inicializarlo. Una cosa que estaba pensando hacer es hacer que el estado inicial sea un parámetro entrenable. ¿Algún consejo?

10 neural-networks  lstm 

Soy nuevo en Keras y necesito tu ayuda. Estoy entrenando una red neuronal en Keras y mi función de pérdida es la salida cuadrada b / n de la red y el valor objetivo. Quiero optimizar esto usando Gradient Descent. Después de pasar por algunos enlaces en la red, he …

10 neural-networks  python  gradient-descent  keras  sgd 

si se observa matriz de datos e es variable latenteXXXYYY X= WY+ μ + ϵX=WY+μ+ϵX=WY+\mu+\epsilon Donde es la media de los datos observados, y es el error / ruido gaussiano en los datos, y se llama subespacio principal.μμ\muϵϵ\epsilonWWW Mi pregunta es cuando se usa PCA normal, obtendríamos un conjunto de …

10 machine-learning  pca  latent-variable  eigenvalues 

Tengo un problema de clasificación donde los píxeles se etiquetarán con etiquetas suaves (que denotan probabilidades) en lugar de etiquetas duras de 0,1. Anteriormente con el etiquetado duro de 0,1 píxeles, la función de pérdida de entropía cruzada (sigmoidCross entropyLossLayer de Caffe) estaba dando resultados decentes. ¿Está bien usar la …

10 classification  loss-functions 

He escuchado el término "estimador consistente" raíz-n "usado muchas veces. De los recursos que me han indicado, pensé que un estimador consistente "raíz-n" significaba que: el estimador converge en el valor verdadero (de ahí la palabra "consistente") el estimador converge a una velocidad de 1/n−−√1/n1/\sqrt{n} Esto me desconcierta, ya que …

10 convergence  estimators  consistency 

Existe mucha literatura sobre el diagnóstico de convergencia de la cadena de Markov Monte Carlo (MCMC), incluido el diagnóstico más popular de Gelman-Rubin. Sin embargo, todos estos evalúan la convergencia de la cadena de Markov y, por lo tanto, abordan la cuestión del quemado. Una vez que he descubierto el …

10 sample-size  mcmc  monte-carlo  markov-process 

Por lo que he estado leyendo, entre otros en el sitio del grupo de consultoría de estadísticas de UCLA, las pruebas de razón de probabilidad y las pruebas de Wald son bastante similares para probar si dos modelos glm muestran una diferencia significativa en el ajuste para un conjunto de …

10 r  regression  likelihood-ratio 

Parece que estoy malentendido una afirmación sobre los métodos de regresión lineal que he visto en varios lugares. Los parámetros del problema son: Entrada: NNN muestras de datos de cantidades de , cada una de las cuales consiste en una cantidad de "respuesta" y p cantidades de "predictor" x_ {ij}p+1p+1p+1yiyiy_ipppxijxijx_{ij} …

10 regression  ridge-regression 

Estoy probando la cointegración usando la prueba de Johansen. He visto preguntas como cómo interpretar los resultados de la prueba, pero cuando interpreto los míos tengo algunas dudas. En mis resultados r = 3desde entonces 4.10 < 10.49, entonces no puedo formar una serie estacionaria. Es lo mismo para r …

10 r  hypothesis-testing  cointegration 

Para la tarea, me dieron datos para crear / entrenar un predictor que usa la regresión de lazo. Creo el predictor y lo entreno usando la biblioteca lasso python de scikit learn. Así que ahora tengo este predictor que cuando se da entrada puede predecir la salida. La segunda pregunta …

10 regression  machine-learning  self-study  confidence-interval  bootstrap 

He llegado hasta dlnLdμ=∑i=1n2(xi−u)1+(xi−u)2dln⁡Ldμ=∑i=1n2(xi−u)1+(xi−u)2\frac{d\ln L}{d\mu}=\sum_{i=1}^n \frac{2(x_i-u)}{1+(x_i-u)^2} Donde es el parámetro de ubicación. Y es función de probabilidad. No entiendo cómo proceder. Por favor ayuda.uuuLLL

10 self-study  maximum-likelihood  cauchy 

Estoy buscando una respuesta que satisfaga a un lector que entienda los valores p frecuentistas pero que solo comprenda los rudimentos de los enfoques bayesianos de las estadísticas. En la actualidad, las búsquedas de Google no revelan una definición ni en una página de Wikipedia ni en ningún otro recurso …

10 bayesian  p-value 

Que y sean eventos independientes, y que y sean eventos independientes. ¿Cómo demuestro que y son eventos independientes?AAABBBAAACCCAAAB∪CB∪CB\cup C Según la definición de eventos independientes, y son independientes si y solo siAAAB∪CB∪CB\cup CP(A∩(B∪C))=P(A)P(B∪C).P(A∩(B∪C))=P(A)P(B∪C).P(A\cap (B\cup C)) = P(A)P(B\cup C). Como y y y son independientes, sé que AAABBBAAACCCP(A∩B)=P(A)P(B)andP(A∩C)=P(A)P(C).P(A∩B)=P(A)P(B)andP(A∩C)=P(A)P(C).P(A\cap B) = P(A)P(B) …

10 probability  self-study  independence