Estadísticas y Big Data

Me preguntaba, ¿es posible tener un coeficiente de correlación muy fuerte (digamos .9 o más), con un valor p alto (digamos .25 o más)? Aquí hay un ejemplo de un coeficiente de correlación bajo, con un valor p alto: set.seed(10) y <- rnorm(100) x <- rnorm(100)+.1*y cor.test(x,y) cor = 0.03908927, …

21 r  hypothesis-testing  correlation 

Me gustaría usar un modelo de regresión logística binaria en el contexto de la transmisión de datos (series temporales multidimensionales) para predecir el valor de la variable dependiente de los datos (es decir, la fila) que acaba de llegar, dadas las observaciones pasadas. Hasta donde sé, la regresión logística se …

21 r  time-series  logistic 

Casi todos los ejemplos de árboles de decisión que he encontrado resultan ser un árbol binario. ¿Es esto bastante universal? ¿La mayoría de los algoritmos estándar (C4.5, CART, etc.) solo admiten árboles binarios? Por lo que deduzco , CHAID no se limita a los árboles binarios, sino que parece ser …

21 machine-learning  data-mining  cart 

Estoy luchando por comprender el concepto de sesgo en el contexto del análisis de regresión lineal. ¿Cuál es la definición matemática de sesgo? ¿Qué es exactamente sesgado y por qué / cómo? ¿Ejemplo ilustrativo?

21 regression  terminology  bias  definition 

Esta pregunta se migró de Stack Overflow porque se puede responder en Cross Validated. Migrado hace 8 años . Tengo 2 variables, ambas de la clase "numérica": > head(y) [1] 0.4651804 0.6185849 0.3766175 0.5489810 0.3695258 0.4002567 > head(x) [1] 59.32820 68.46436 80.76974 132.90824 216.75995 153.25551 Los tracé, y ahora me …

21 r 

Supongamos que . Estoy interesado en la distribución marginal de los elementos diagonales . Hay algunos resultados simples sobre la distribución de submatrices de (al menos algunos listados en Wikipedia). De esto puedo deducir que la distribución marginal de cualquier elemento en la diagonal es Gamma inversa. Pero no he …

21 distributions  probability  pdf 

Contexto Una pregunta popular en este sitio es " ¿Cuáles son los pecados estadísticos comunes? ". Uno de los pecados mencionados es asumir que el enlace "correlación implica causalidad ..." Luego, en los comentarios con 5 votos a favor, se sugiere que: "Google gana $ 65 mil millones al año …

21 machine-learning  causality 

Una regresión de Poisson es un GLM con una función de enlace de registro. Una forma alternativa de modelar datos de recuento no distribuidos normalmente es preprocesar tomando el registro (o mejor dicho, el registro (1 + recuento) para manejar los 0). Si realiza una regresión de mínimos cuadrados en …

21 regression  poisson-distribution  generalized-linear-model 

Bloqueado . Esta pregunta y sus respuestas están bloqueadas porque la pregunta está fuera de tema pero tiene un significado histórico. Actualmente no acepta nuevas respuestas o interacciones. ¿Alguien podría ofrecer algunos consejos sobre cómo usar el weightsargumento en la lmfunción de R ? Digamos, por ejemplo, que estaba tratando …

21 r  regression 

En Modelización estadística: las dos culturas, Leo Breiman escribe La práctica actual aplicada es verificar el ajuste del modelo de datos utilizando pruebas de bondad de ajuste y análisis residual. En un momento, hace algunos años, configuré un problema de regresión simulada en siete dimensiones con una cantidad controlada de …

21 regression  goodness-of-fit 

Necesito implementar un programa que clasifique los registros en 2 categorías (verdadero / falso) en función de algunos datos de entrenamiento, y me preguntaba qué algoritmo / metodología debería considerar. Parece que hay muchos para elegir: red neuronal artificial, algoritmo genético, aprendizaje automático, optimización bayesiana, etc., etc., y no estaba …

21 machine-learning  bayesian  optimization  genetic-algorithms 

He estado usando distribuciones normales de registro como distribuciones anteriores para parámetros de escala (para distribuciones normales, distribuciones t, etc.) cuando tengo una idea aproximada sobre cuál debería ser la escala, pero quiero equivocarme al decir que no sé mucho al respecto. Lo uso porque ese uso tiene un sentido …

21 distributions  bayesian  modeling  prior  maximum-entropy 

¿Cuál es la relación entre estimador y estimación?

21 estimation  terminology  estimators 

De ninguna manera soy estadístico (he tenido un curso de estadística matemática pero nada más que eso), y recientemente, mientras estudiaba teoría de la información y mecánica estadística, conocí esta cosa llamada "medida de incertidumbre" / "entropía". Leí la derivación de Khinchin como una medida de incertidumbre y tenía sentido …

21 entropy  inference 

Estoy interesado en aprender más sobre las técnicas no paramétricas bayesianas (y relacionadas). Mi formación es en informática y, aunque nunca he tomado un curso sobre teoría de la medida o teoría de la probabilidad, he recibido una cantidad limitada de capacitación formal en probabilidad y estadística. ¿Alguien puede recomendar …

21 probability  bayesian  references  theory