Estadísticas y Big Data

No soy un ecologista comunitario, pero en estos días estoy trabajando en datos de ecología comunitaria. Lo que no pude entender, aparte de las matemáticas de estas distancias, es el criterio para cada distancia a usar y en qué situaciones se puede aplicar. Por ejemplo, ¿qué usar con los datos …

11 distance  euclidean 

Quiero asignar diferentes pesos a las variables en mi análisis de clúster, pero mi programa (Stata) no parece tener una opción para esto, así que necesito hacerlo manualmente. Imagine 4 variables A, B, C, D. Los pesos para esas variables deben ser w(A)=50% w(B)=25% w(C)=10% w(D)=15% Me pregunto si uno …

11 clustering  stata 

Me gustaría comprobar Rsi mis datos se ajustan a las distribuciones log-normal o Pareto. ¿Cómo podría hacer eso? Quizás ks.testpodría ayudarme a hacer eso, pero ¿cómo podría obtener los parámetros y para la distribución de Pareto para mis datos?αα\alphakkk

11 r  regression  distributions  lognormal  pareto-distribution 

Actualmente estoy trabajando en un software de reconocimiento de rostros que utiliza redes neuronales de convolución para reconocer rostros. Basado en mis lecturas, he deducido que una red neuronal convolucional ha compartido pesos, para ahorrar tiempo durante el entrenamiento. Pero, ¿cómo se adapta la propagación hacia atrás para que pueda …

11 machine-learning  neural-networks  computer-vision  backpropagation  conv-neural-network 

En este papel: Variables al acecho: algunos ejemplos Brian L. Joiner The American Statistician Vol. 35, N ° 4, noviembre de 1981 227-233 Brian Joiner afirma que "la aleatorización no es una panacea". Esto es contrario a las declaraciones comunes como la siguiente: Un experimento bien diseñado incluye características de …

11 confounding  random-allocation 

Digamos que tengo un conjunto de instancias con etiquetas de clase asociadas. No importa cómo se etiquetaron estas instancias, sino cuán segura es su membresía de clase. Cada instancia pertenece exactamente a una clase. Digamos que puedo cuantificar la certeza de cada membresía de clase con un atributo nominal que …

11 classification  weka  uncertainty 

Estoy tratando de trazar el límite de decisión de un algoritmo de perceptrón y estoy realmente confundido acerca de algunas cosas. Mis instancias de entrada tienen la forma , básicamente una instancia de entrada 2D ( y ) y un valor objetivo de clase binaria ( ) [1 o 0].x …

11 machine-learning  neural-networks  python  decision-theory  perceptron 

Estoy ejecutando una simulación rápida para comparar diferentes métodos de agrupación, y actualmente me encuentro con un problema tratando de evaluar las soluciones de agrupación. Conozco varias métricas de validación (muchas de ellas se encuentran en cluster.stats () en R), pero supongo que es mejor usarlas si el número estimado …

11 clustering  kullback-leibler  gaussian-mixture 

El método con el que estoy familiarizado para construir un bosque aleatorio es el siguiente: (de http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm ) Para construir un árbol en el bosque nosotros: Bootstrap una muestra de tamaño N donde N es el tamaño de nuestro conjunto de entrenamiento. Use esta muestra de arranque como el conjunto …

11 machine-learning  classification  random-forest 

De Wikipedia Hay dos supuestos comunes sobre el efecto específico individual, el supuesto de efectos aleatorios y el supuesto de efectos fijos. La suposición de efectos aleatorios (realizada en un modelo de efectos aleatorios) es que los efectos específicos individuales no están correlacionados con las variables independientes. El supuesto de …

11 random-effects-model  fixed-effects-model 

No sé cómo se llaman tales tramas y, por lo tanto, le di a esta pregunta un título estúpido. Digamos que tengo un conjunto de datos ordenado de la siguiente manera 4253 4262 4270 4383 4394 4476 4635 ... Cada número corresponde a la cantidad de publicaciones que un determinado …

11 r  distributions  data-visualization 

Según el teorema de Bayes, . Pero de acuerdo con mi texto econométrico, dice que P ( θ | y ) ∝ P ( y | θ ) P ( θ ) . ¿Por qué es como este? No entiendo por qué se ignora P ( y ) .PAG( yEl …

11 bayesian  conditional-probability  likelihood 

¿Cómo puede probar que las ecuaciones normales: tienen una o más soluciones sin la suposición de que X es invertible?(XTX)β=XTY(XTX)β=XTY(X^TX)\beta = X^TY Mi única suposición es que tiene algo que ver con el inverso generalizado, pero estoy totalmente perdido.

11 regression  proof 

¿Alguien puede ayudar a dar una explicación conceptual de cómo se hacen las predicciones para los nuevos datos cuando se utilizan suavizados / splines para un modelo predictivo? Por ejemplo, dado un modelo creado usando gamboostel mboostpaquete en R, con p-splines, ¿cómo se hacen las predicciones para los nuevos datos? …

11 regression  machine-learning  predictive-models  splines 

Versión corta: ¿hay una introducción a los escritos (documentos y libros) de Ronald Fisher sobre estadísticas que está dirigida a aquellos con poca o ninguna experiencia en estadísticas? Estoy pensando en algo así como un "lector Fisher anotado" dirigido a los no estadísticos. Expongo la motivación para esta pregunta a …

11 references  history  fiducial  ronald-fisher