Estadísticas y Big Data

Me gustaría encontrar la correlación entre una variable continua (variable dependiente) y una variable categórica (nominal: género, variable independiente). Los datos continuos no se distribuyen normalmente. Antes, lo había calculado usando el de Spearman . Sin embargo, me han dicho que no está bien.ρρ\rho Mientras buscaba en Internet, descubrí que …

42 correlation  categorical-data  descriptive-statistics  biostatistics  spearman-rho 

Estoy tratando de interpretar los pesos variables dados ajustando un SVM lineal. (Estoy usando scikit-learn ): from sklearn import svm svm = svm.SVC(kernel='linear') svm.fit(features, labels) svm.coef_ No puedo encontrar nada en la documentación que indique específicamente cómo se calculan o interpretan estos pesos. ¿El signo del peso tiene algo que …

42 svm  feature-selection  python  scikit-learn 

Me encontré con el término perplejidad que se refiere a la probabilidad inversa promediada logarítmica en datos no vistos. El artículo de Wikipedia sobre perplejidad no da un significado intuitivo para lo mismo. Esta medida de perplejidad se utilizó en pLSA papel . ¿Alguien puede explicar la necesidad y el …

42 measurement  perplexity 

Descubrí que Imagenet y otras CNN grandes utilizan capas de normalización de respuesta local. Sin embargo, no puedo encontrar tanta información sobre ellos. ¿Cuán importantes son y cuándo deben usarse? De http://caffe.berkeleyvision.org/tutorial/layers.html#data-layers : "La capa de normalización de respuesta local realiza una especie de" inhibición lateral "al normalizar las regiones …

41 deep-learning  convolution  conv-neural-network 

Sé que esta pregunta se ha hecho mil millones de veces, por lo que, después de buscar en línea, estoy completamente convencido de que la correlación entre 2 variables no implica causalidad. En una de mis conferencias de estadísticas de hoy, tuvimos una conferencia invitada de un físico sobre la …

41 correlation  mathematical-statistics  causality 

Mire este extracto del "Manual de habilidades de estudio", Palgrave, 2012, de Stella Cottrell, página 155: Porcentajes Aviso cuando se dan porcentajes. Supongamos, en cambio, que la declaración anterior dice: El 60% de las personas preferían las naranjas; El 40% dijo que prefería las manzanas. Esto parece convincente: se dan …

41 statistical-significance  sample-size  percentage 

Momentum se usa para disminuir las fluctuaciones en los cambios de peso en iteraciones consecutivas:αα\alpha dondeE(w)es la función de error,w- el vector de pesos,η- tasa de aprendizaje.Δωi(t+1)=−η∂E∂wi+αΔωi(t),Δωi(t+1)=−η∂E∂wi+αΔωi(t),\Delta\omega_i(t+1) = - \eta\frac{\partial E}{\partial w_i} + \alpha \Delta \omega_i(t),E(w)E(w)E({\bf w})ww{\bf w}ηη\eta La disminución de peso penaliza los cambios de peso:λλ\lambda Δωi(t+1)=−η∂E∂wi−ληωiΔωi(t+1)=−η∂E∂wi−ληωi\Delta\omega_i(t+1) =- \eta\frac{\partial …

41 neural-networks  optimization  regularization  gradient-descent 

Recientemente tuve un desacuerdo con un amigo acerca de minimizar la posibilidad de morir en un avión debido a un accidente. Esta es una pregunta estadística rudimentaria. Dijo que prefiere volar directamente a un destino, ya que disminuye la probabilidad de morir en un accidente aéreo. Su lógica era que …

41 independence  transportation 

EDIT 2: originalmente pensé que necesitaba ejecutar un ANOVA de dos factores con medidas repetidas en un factor, pero ahora creo que un modelo lineal de efectos mixtos funcionará mejor para mis datos. Creo que casi sé lo que debe suceder, pero todavía estoy confundido por algunos puntos. Los experimentos …

41 r  anova  mixed-model  repeated-measures  lme4-nlme 

¿Son Pandas, Statsmodels y Scikit-learn diferentes implementaciones de aprendizaje automático / operaciones estadísticas, o son complementarias entre sí? ¿Cuál de estos tiene la funcionalidad más completa? ¿Cuál se desarrolla y / o apoya activamente? Tengo que implementar la regresión logística. ¿Alguna sugerencia sobre cuál de estos debo usar?

41 machine-learning  python  scikit-learn  statsmodels  pandas 

(Esto se basa en una pregunta que me llegó por correo electrónico; agregué algo de contexto de una breve conversación anterior con la misma persona). El año pasado me dijeron que la distribución gamma tiene una cola más pesada que la lognormal, y desde entonces me dijeron que ese no …

41 distributions  gamma-distribution  lognormal  heavy-tailed 

¿Hay algún juego que haga que el jugador "piense como un estadístico"? Por ejemplo, lightbot te hace "pensar como un programador" (de una manera muy básica). ¿Hay algún juego, diseñado para el entretenimiento o la enseñanza, que pueda ayudarlo a sentirse cómodo con conceptos básicos como correlación, valores p, mínimos …

41 teaching  games  application 

Acabo de jugar un juego con mis hijos que básicamente se reduce a: quien gane cada número al menos una vez en un dado de 6 lados gana. Finalmente gané, y los otros terminaron 1-2 turnos después. Ahora me pregunto: ¿cuál es la expectativa de la duración del juego? Sé …

41 probability  dice  coupon-collector-problem 

¿Puedes sugerir algunas buenas películas que incluyan matemáticas, probabilidades, etc.? Un ejemplo es el 21 . También me interesarían las películas que involucran algoritmos (por ejemplo, descifrado de texto). En general, películas "geek" con famosas teorías científicas pero sin ciencia ficción ni documentales. ¡Gracias por adelantado!

41 probability  references 

Veo que el concepto de 'intercambiabilidad' se usa en diferentes contextos (por ejemplo, modelos bayesianos) pero nunca he entendido muy bien el término. ¿Qué significa este concepto? ¿En qué circunstancias se invoca este concepto y por qué?

41 bayesian  intuition  exchangeability