Estadísticas y Big Data

Tengo experiencia en informática pero estoy tratando de enseñarme ciencia de datos resolviendo problemas en Internet. He estado trabajando en este problema durante las últimas semanas (aproximadamente 900 filas y 10 funciones). Inicialmente estaba usando regresión logística pero ahora me he cambiado a bosques aleatorios. Cuando ejecuto mi modelo de …

41 random-forest  overfitting 

Estoy tratando de realizar un análisis de regresión logística en R. He asistido a cursos que cubren este material usando STATA. Me resulta muy difícil replicar la funcionalidad en R. ¿Es maduro en esta área? Parece que hay poca documentación u orientación disponible. Producir resultados de odds ratio parece requerir …

41 r  logistic  odds-ratio 

Dos variables aleatorias A y B son estadísticamente independientes. Eso significa que en el DAG del proceso: y, por supuesto, . ¿Pero eso también significa que no hay puerta de entrada de B a A?P ( A | B ) = P ( A )( A ⊥⊥ B)(A⊥⊥B)(A {\perp\!\!\!\perp} B)PAGS( …

40 independence  causality  bayesian-network  dag 

¿Por qué la función sigmoide estándar de facto, , es tan popular en las redes neuronales (no profundas) y la regresión logística?11+e−x11+e−x\frac{1}{1+e^{-x}} ¿Por qué no utilizamos muchas de las otras funciones derivables, con un tiempo de cálculo más rápido o una disminución más lenta (por lo que el gradiente de …

40 logistic  neural-networks  least-squares 

Tengo datos que muestran los resultados del examen de ingreso de bomberos. Estoy probando la hipótesis de que los resultados del examen y el origen étnico no son mutuamente independientes. Para probar esto, realicé una prueba de chi-cuadrado de Pearson en R. Los resultados muestran lo que esperaba, pero me …

40 r  categorical-data  chi-squared  small-sample  error-message 

Entonces esta es una pregunta muy simple y estúpida. Sin embargo, cuando estaba en la escuela, presté muy poca atención al concepto completo de simulaciones en clase y eso me dejó un poco aterrorizado de ese proceso. ¿Puedes explicar el proceso de simulación en términos simples? (podría ser para generar …

40 simulation 

Leí algunas definiciones de memoria y precisión, aunque siempre es en el contexto de la recuperación de información. Me preguntaba si alguien podría explicar esto un poco más en un contexto de clasificación y tal vez ilustrar algunos ejemplos. Digamos, por ejemplo, que tengo un clasificador binario que me da …

40 machine-learning  metric 

Me gustaría encontrar predictores para una variable dependiente continua de un conjunto de 30 variables independientes. Estoy usando la regresión Lasso como se implementa en el paquete glmnet en R. Aquí hay un código ficticio: # generate a dummy dataset with 30 predictors (10 useful & 20 useless) y=rnorm(100) x1=matrix(rnorm(100*20),100,20) …

40 r  multiple-regression  lasso  glmnet  communication 

¿Alguien sabe cómo resolver si los puntos 7, 16 y 29 son puntos influyentes o no? Leí en alguna parte que debido a que la distancia de Cook es inferior a 1, no lo son. Estoy bien?

40 r  regression  residuals  diagnostic  cooks-distance 

Me estoy mojando los pies en las estadísticas, así que lamento si esta pregunta no tiene sentido. He utilizado modelos de Markov para predecir estados ocultos (casinos injustos, tiradas de dados, etc.) y redes neuronales para estudiar los clics de los usuarios en un motor de búsqueda. Ambos tenían estados …

40 data-mining  algorithms  neural-networks  markov-process 

Me he estado preguntando sobre esto por un tiempo; Me resulta un poco extraño lo abruptamente que sucede. Básicamente, ¿por qué necesitamos solo tres uniformes para que suavice como lo hace? ¿Y por qué el suavizado ocurre tan rápido?ZnZnZ_n Z2Z2Z_2 : Z3Z3Z_3 : (Imágenes robadas descaradamente del blog de John …

40 normal-distribution  mathematical-statistics  uniform  central-limit-theorem 

Estoy interesado en determinar la cantidad de patrones significativos que surgen de un Análisis de Componentes Principales (PCA) o un Análisis de Función Ortogonal Empírica (EOF). Estoy particularmente interesado en aplicar este método a los datos climáticos. El campo de datos es una matriz MxN con M siendo la dimensión …

40 r  pca  bootstrap  monte-carlo 

Por lo general, hago mis propias elecciones idiosincrásicas cuando preparo trazados. Sin embargo, me pregunto si hay mejores prácticas para generar tramas. Nota: El comentario de Rob a una respuesta a esta pregunta es muy relevante aquí.

40 data-visualization  references 

De Wikipedia: Supongamos que está en un programa de juegos y le dan la opción de tres puertas: detrás de una puerta hay un automóvil; detrás de los demás, cabras. Usted elige una puerta, dice el número 1, y el anfitrión, que sabe lo que hay detrás de las puertas, …

40 probability  intuition  puzzle 

En una distribución normal, la regla 68-95-99.7 imparte mucho significado a la desviación estándar, pero ¿qué significaría la desviación estándar en una distribución no normal (multimodal o sesgada)? ¿Todos los valores de datos seguirían dentro de 3 desviaciones estándar? ¿Tenemos reglas como la 68-95-99.7 para distribuciones no normales?

40 normal-distribution  standard-deviation  skewness