Estadísticas y Big Data

Hay redes neuronales recurrentes y redes neuronales recursivas. Ambos generalmente se denotan con el mismo acrónimo: RNN. Según Wikipedia , los NN recurrentes son de hecho NN recursivos, pero realmente no entiendo la explicación. Además, no parece encontrar cuál es mejor (con ejemplos más o menos) para el procesamiento del …

48 machine-learning  neural-networks  deep-learning  natural-language 

Supongamos que tengo una muestra de la distribución conjunta de X y Y . ¿Cómo pruebo la hipótesis de que X e Y son independientes?(Xn,Yn),n=1..N(Xn,Yn),n=1..N(X_n,Y_n), n=1..NXXXYYYXXXYYY ? No se hace suposición sobre las leyes de distribución conjunta o marginal de e Y (por lo menos de toda la normalidad conjunta, …

48 hypothesis-testing  references  independence 

Un artículo publicado ( pdf ) contiene estas 2 oraciones: Además, los informes erróneos pueden ser causados ​​por la aplicación de reglas incorrectas o por la falta de conocimiento de la prueba estadística. Por ejemplo, el df total en un ANOVA puede tomarse como el error df en el informe …

48 hypothesis-testing  chi-squared 

Entiendo que una vez que graficamos los valores como un gráfico, podemos identificar una distribución bimodal observando los picos gemelos, pero ¿cómo se encuentra programáticamente? (Estoy buscando un algoritmo).

48 distributions 

Me gustaría saber por qué algunos lenguajes como R tienen NA y NaN. ¿Cuáles son las diferencias o son igualmente iguales? ¿Es realmente necesario tener NA?

48 r 

¿Cuál es el mejor blog sobre visualización de datos? Estoy haciendo esta pregunta una wiki comunitaria ya que es muy subjetiva. Limite cada respuesta a un enlace. Tenga en cuenta los siguientes criterios para las respuestas propuestas: [A] las respuestas aceptables a preguntas como esta ... deben proporcionar descripciones adecuadas …

48 data-visualization  references 

Digamos que existe una relación "verdadera" entre y tal que , donde y son constantes y es en ruido normal. Cuando genero datos aleatoriamente a partir de ese código R: y luego me ajusto a un modelo como , obviamente obtengo estimaciones razonablemente buenas para y .yyyxxxy=ax+b+ϵy=ax+b+ϵy = ax + …

48 regression 

Aprendí acerca de la intuición detrás de la divergencia de KL sobre cuánto difiere una función de distribución del modelo de la distribución teórica / verdadera de los datos. La fuente que estoy leyendo pasa a decir que la comprensión intuitiva de 'distancia' entre estas dos distribuciones es útil, pero …

48 distributions  distance  intuition  kullback-leibler 

Entonces, el descenso de gradiente basado en el impulso funciona de la siguiente manera: v = s e l f. m o m e n t u m ∗ m - l r ∗ gv=self.momentum∗m−lr∗gv=self.momentum*m-lr*g donde es la actualización de peso anterior, y g es el gradiente actual con respecto …

48 optimization  gradient-descent 

Estoy tratando de entender las diferencias entre GBM y Adaboost. Esto es lo que he entendido hasta ahora: Hay dos algoritmos de refuerzo, que aprenden de los errores del modelo anterior y finalmente hacen una suma ponderada de los modelos. GBM y Adaboost son bastante similares, excepto por sus funciones …

48 boosting  gbm  adaboost 

Supongo que la respuesta debería ser sí, pero aún siento que algo no está bien. Debería haber algunos resultados generales en la literatura, ¿alguien podría ayudarme?

48 covariance  matrix  covariance-matrix  linear-algebra 

He trazado esto después de hacer una prueba de normalidad de Shapiro-Wilk. La prueba mostró que es probable que la población se distribuya normalmente. Sin embargo, ¿cómo ver este "comportamiento" en esta trama? ACTUALIZAR Un histograma simple de los datos: ACTUALIZAR La prueba de Shapiro-Wilk dice:

48 r  data-visualization  normal-distribution  histogram  qq-plot 

Estoy buscando un buen algoritmo (es decir, cómputo mínimo, requisitos mínimos de almacenamiento) para estimar la mediana de un conjunto de datos que es demasiado grande para almacenar, de modo que cada valor solo se pueda leer una vez (a menos que almacene explícitamente ese valor). No hay límites en …

48 algorithms  median  large-data 

Durante el primer semestre de 2015 hice el curso de Machine Learning (por Andrew Ng, GREAT course). Y aprendí los conceptos básicos del aprendizaje automático (regresión lineal, regresión logística, SVM, redes neuronales ...) También he sido desarrollador durante 10 años, por lo que aprender un nuevo lenguaje de programación no …

47 r  regression  machine-learning  references 

¿Transforme todos mis datos o pliegues (si se aplica CV) al mismo tiempo? p.ej (allData - mean(allData)) / sd(allData) ¿Transforme el conjunto de trenes y el conjunto de pruebas por separado? p.ej (trainData - mean(trainData)) / sd(trainData) (testData - mean(testData)) / sd(testData) ¿O transformo el conjunto de trenes y uso …

47 r  cross-validation  data-transformation  normalization  standardization