Estadísticas y Big Data

El modelo de regresión lineal hace un montón de suposiciones que la regresión cuantil no cumple y, si se cumplen las suposiciones de la regresión lineal, mi intuición (y alguna experiencia muy limitada) es que la regresión mediana daría resultados casi idénticos a la regresión lineal. Entonces, ¿qué ventajas tiene …

15 regression  multiple-regression  quantile-regression 

El fenómeno de 'sobredispersión' en un GLM surge cada vez que usamos un modelo que restringe la varianza de la variable de respuesta, y los datos exhiben una mayor varianza de la que permite la restricción del modelo. Esto ocurre comúnmente cuando se modelan datos de conteo utilizando un Poisson …

15 generalized-linear-model  poisson-regression  overdispersion  quasi-likelihood 

Estoy tratando de crear una figura que muestre la relación entre las copias virales y la cobertura del genoma (CCG). Así es como se ven mis datos: Al principio, acabo de trazar una regresión lineal, pero mis supervisores me dijeron que eso era incorrecto y que probé una curva sigmoidea. …

15 regression  modeling  curve-fitting  percentage 

Estoy tratando de modelar algunos datos sobre los horarios de llegada del tren. Me gustaría usar una distribución que capture "cuanto más espere, más probabilidades habrá de que el tren aparezca" . Parece que tal distribución debería verse como un CDF, de modo que P (aparición del tren | esperado …

15 distributions  modeling 

Supongamos que tenemos dos árboles de regresión (árbol A y árbol B) que asignan la entrada a la salida . Sea para el árbol A y para el árbol B. Cada árbol usa divisiones binarias, con hiperplanos como funciones de separación.x ∈ RreX∈Rrex \in \mathbb{R}^dy^∈ Ry^∈R\hat{y} \in \mathbb{R}y^= fUN( x …

15 regression  machine-learning  cart 

¿Cómo y por qué son importantes los generadores de números aleatorios (RNG) en las estadísticas computacionales? Entiendo que la aleatoriedad es importante al elegir muestras para muchas pruebas estadísticas para evitar sesgos hacia cualquiera de las hipótesis, pero ¿hay otras áreas de estadística computacional donde los generadores de números aleatorios …

15 hypothesis-testing  monte-carlo  algorithms  random-generation  computational-statistics 

Puedo pensar en al menos un ejemplo ingenuo. Supongamos que quiero estudiar la relación entre X y Z. También sospecho que Y influye en Z, así que controlo para Y. Sin embargo, resulta que, sin que yo lo sepa, X causa Y e Y causa Z. Por lo tanto, controlando …

15 mediation  controlling-for-a-variable 

Supongo que P(A|B)=P(A|B,C)∗P(C)+P(A|B,¬C)∗P(¬C)P(A|B)=P(A|B,C)∗P(C)+P(A|B,¬C)∗P(¬C)P(A|B) = P(A | B,C) * P(C) + P(A|B,\neg C) * P(\neg C) es correcto, mientras que P(A|B)=P(A|B,C)+P(A|B,¬C)P(A|B)=P(A|B,C)+P(A|B,¬C)P(A|B) = P(A | B,C) + P(A|B,\neg C) Es incorrecto. Sin embargo, tengo una "intuición" sobre la última, es decir, considera la probabilidad P (A | B) al dividir dos casos …

15 probability  bayesian 

He leído muchas veces que los efectos aleatorios (BLUP / modos condicionales para, por ejemplo, sujetos) no son parámetros de un modelo de efectos lineales mixtos, sino que pueden derivarse de los parámetros estimados de varianza / covarianza. Por ejemplo, Reinhold Kliegl et al. (2011) estado: Los efectos aleatorios son …

15 mixed-model  intuition  blup 

Estoy interesado en cambiar las hipótesis nulas usando glm()en R. Por ejemplo: x = rbinom(100, 1, .7) summary(glm(x ~ 1, family = "binomial")) prueba la hipótesis de que . ¿Qué pasa si quiero cambiar el valor nulo a = algún valor arbitrario, dentro ? p=0.5p=0.5p = 0.5pppglm() Sé que esto …

15 r  hypothesis-testing  generalized-linear-model  chi-squared  offset 

Entiendo el razonamiento detrás de dividir los datos en un conjunto de prueba y un conjunto de validación. También entiendo que el tamaño de la división dependerá de la situación, pero generalmente variará de 50/50 a 90/10. Construí un RNN para corregir la ortografía y comenzar con un conjunto de …

15 machine-learning  neural-networks  validation 

Soy un novato en estadísticas, así que ¿podrían ayudarme aquí? Mi pregunta es la siguiente: ¿Qué significa realmente la varianza agrupada ? Cuando busco una fórmula para la varianza agrupada en Internet, encuentro mucha literatura usando la siguiente fórmula (por ejemplo, aquí: http://math.tntech.edu/ISR/Mathematical_Statistics/Introduction_to_Statistical_Tests/thispage/newnode19.html ): S2p=S21(n1−1)+S22(n2−1)n1+n2−2Sp2=S12(n1−1)+S22(n2−1)n1+n2−2\begin{equation} \label{eq:stupidpooledvar} \displaystyle S^2_p = \frac{S_1^2 …

15 variance  mean  pooling 

¿Es el promedio de múltiples matrices definidas positivas necesariamente definidas positivamente o semi-definidas positivas? El promedio es el promedio de elementos sabios.

15 mathematical-statistics  matrix  covariance-matrix 

Creo que tengo una confusión fundamental sobre cómo funcionan las funciones en la regresión logística (o tal vez solo funciona en su conjunto). ¿Cómo es que la función h (x) produce la curva que se ve a la izquierda de la imagen? Veo que este es un gráfico de dos …

15 logistic  data-visualization  function 

Me gustaría recibir consejos sobre cómo agrupar los gráficos / estadísticas de calibración después de una imputación múltiple. En el contexto del desarrollo de modelos estadísticos para predecir un evento futuro (p. Ej., Utilizando datos de registros hospitalarios para predecir la supervivencia o eventos posteriores al alta hospitalaria), uno puede …

15 data-visualization  data-imputation  multiple-imputation  pooling  calibration