Estadísticas y Big Data

Obtuve un modelo de regresión logística (vía train) para una respuesta binaria, y obtuve la matriz de confusión logística a través de confusionMatrixin caret. Me da la matriz de confusión del modelo logístico, aunque no estoy seguro de qué umbral se está utilizando para obtenerlo. ¿Cómo obtengo la matriz de …

13 r  classification  roc  caret  confusion-matrix 

Tengo datos sobre cuántos usuarios publican cuántas preguntas. Por ejemplo, [UserCount, QuestionCount] [2, 100] [9, 10] [3, 80] ... ... Esto significa que 2 usuarios publicaron 100 preguntas cada uno, 9 usuarios publicaron 10 preguntas y así sucesivamente. Entonces, ¿cómo puedo determinar si la UserCount, QuestionCountdistribución sigue una ley de …

13 r  hypothesis-testing  goodness-of-fit  power-law 

En general, me pregunto si es mejor no usar polinomios ortogonales al ajustar una regresión con variables de orden superior. En particular, me pregunto con el uso de R: Si poly()con raw = FALSEproduce los mismos valores ajustados como poly()con raw = TRUE, y polycon raw = FALSEresuelve algunos de …

13 r  regression  polynomial 

Acabo de terminar "Una introducción al aprendizaje estadístico" . Me preguntaba si el uso de la validación cruzada para encontrar los mejores parámetros de ajuste para diversas técnicas de aprendizaje automático es diferente de la indagación de datos. Estamos comprobando repetidamente qué valor del parámetro de ajuste da como resultado …

13 machine-learning  cross-validation 

Antecedentes Estoy tratando de entender el primer ejemplo en un curso sobre modelos de adaptación (por lo que esto puede parecer ridículamente simple). He hecho los cálculos a mano y coinciden con el ejemplo, pero cuando los repito en R, los coeficientes del modelo están desactivados. Pensé que la diferencia …

13 r  regression  self-study  lm 

Recientemente me he encontrado con la distribución bivariada de Poisson, pero estoy un poco confundido sobre cómo se puede derivar. La distribución está dada por: P(X=x,Y=y)=e−(θ1+θ2+θ0)θx1x!θy2y!∑i=0min(x,y)(xi)(yi)i!(θ0θ1θ2)iP(X=x,Y=y)=e−(θ1+θ2+θ0)θ1xx!θ2yy!∑i=0min(x,y)(xi)(yi)i!(θ0θ1θ2)iP(X = x, Y = y) = e^{-(\theta_{1}+\theta_{2}+\theta_{0})} \displaystyle\frac{\theta_{1}^{x}}{x!}\frac{\theta_{2}^{y}}{y!} \sum_{i=0}^{min(x,y)}\binom{x}{i}\binom{y}{i}i!\left(\frac{\theta_{0}}{\theta_{1}\theta_{2}}\right)^{i} De lo que puedo deducir, el término θ0θ0\theta_{0} es una medida de correlación entre XXX …

13 distributions  mathematical-statistics  multivariate-analysis  poisson-distribution  proof 

Acabo de tener un ataque de pánico (intelectual). Una variable aleatoria continua que sigue un uniforme en un intervalo cerrado U(a,b)U(a,b)U(a,b) : un concepto estadístico confortablemente familiar. Un rv uniforme continuo que tiene soporte sobre los reales extendidos (medio o entero): no es un rv propio, sino un concepto bayesiano …

13 probability  distributions  mathematical-statistics  uniform 

Estoy tratando de encontrar información sobre los supuestos de la regresión PLS ( simple ). Estoy especialmente interesado en una comparación de los supuestos de PLS con respecto a los de la regresión de OLS. yyy He leído / hojeado una gran cantidad de literatura sobre el tema de PLS; …

13 regression  assumptions  partial-least-squares 

Después de centrar, se puede suponer que las dos mediciones x y −x son observaciones independientes de una distribución de Cauchy con función de densidad de probabilidad: 1f(x:θ)=f(x:θ)=f(x :\theta) = ,-∞&lt;x&lt;∞1π(1+(x−θ)2)1π(1+(x−θ)2)1\over\pi (1+(x-\theta)^2) ,−∞&lt;x&lt;∞,−∞&lt;x&lt;∞, -∞ < x < ∞ Muestre que si el MLE de θ es 0, pero si x …

13 self-study  distributions  maximum-likelihood  cauchy 

Actualmente estoy tratando de entender algunas cosas relacionadas con el arranque paramétrico. La mayoría de las cosas son probablemente triviales, pero todavía creo que puede haber pasado algo por alto. Supongamos que quiero obtener intervalos de confianza para los datos utilizando un procedimiento de arranque paramétrico. Entonces tengo esta muestra …

13 nonparametric  bootstrap  simulation  monte-carlo  parametric 

¿Se han enmarcado dos pruebas de equivalencia unilateral (TOST) para la prueba de Kolmogorov-Smirnov para probar la hipótesis nula negativista de que dos distribuciones difieren al menos en un nivel específico del investigador? Si no es TOST, ¿alguna otra forma de prueba de equivalencia? Nick Stauner señala sabiamente que (ya …

13 kolmogorov-smirnov  equivalence  tost 

Tengo un conjunto de datos con la suposición de que los vecinos más cercanos son los mejores predictores. Solo un ejemplo perfecto de gradiente bidireccional visualizado Supongamos que tenemos un caso en el que faltan pocos valores, podemos predecir fácilmente según los vecinos y la tendencia. Matriz de datos correspondiente …

13 r  prediction  outliers  data-imputation  multiple-imputation 

De acuerdo con The SAGE Encyclopedia of Social Science Research Methods ... [a] el efecto techo ocurre cuando una medida posee un límite superior distinto para posibles respuestas y una gran concentración de participantes puntúa en o cerca de este límite. La atenuación de escala es un problema metodológico que …

13 distributions  variance  scales  psychometrics  measurement 

Entiendo la causalidad como se usa en microeconomía (en particular, el diseño de discontinuidad IV o regresión) y también la causalidad de Granger como se usa en la econometría de series de tiempo. ¿Cómo me relaciono uno con el otro? Por ejemplo, he visto que ambos enfoques se utilizan para …

13 time-series  econometrics  causality  granger-causality 

Soy bastante nuevo en el aprendizaje automático, las técnicas de CART y similares, y espero que mi ingenuidad no sea demasiado obvia. ¿Cómo maneja Random Forest estructuras de datos jerárquicas o de niveles múltiples (por ejemplo, cuando la interacción entre niveles es de interés)? Es decir, conjuntos de datos con …

13 machine-learning  random-forest  multilevel-analysis  cart