Estadísticas y Big Data

En este caso particular, me refiero al día en que se congela un lago. Esta fecha de "hielo" solo ocurre una vez al año, pero a veces no ocurre en absoluto (si el invierno es cálido). Entonces, en un año, el lago puede congelarse el día 20 (20 de enero), …

13 regression  time-series  survival  data-transformation  recurrent-events 

Me hicieron esta pregunta con en una entrevista. ¿Hay una respuesta "correcta"?(n,k)=(400,220)(n,k)=(400,220)(n, k) = (400, 220) Suponga que los lanzamientos son iid y la probabilidad de caras es . La distribución de la cantidad de cabezas en 400 lanzamientos debe estar cerca de Normal (200, 10 ^ 2), de modo …

13 probability  hypothesis-testing  self-study  prior 

Actualmente estoy tratando de calcular el BIC para mi conjunto de datos de juguete (ofc iris (:). Quiero reproducir los resultados como se muestra aquí (Fig. 5). Ese documento también es mi fuente para las fórmulas de BIC. Tengo 2 problemas con esto: Notación: ninin_i = número de elementos en …

13 python  k-means  scikit-learn  bic 

Aprendí que al elegir varios grupos, debe buscar un punto de codo para diferentes valores de K.He trazado los valores de withinss para valores de k del 1 al 10, pero no veo un claro codo. ¿Qué haces en un caso como este?

13 clustering  k-means 

Estoy tratando de entender la regresión logística de Firth (método de manejo de separación perfecta / completa o cuasi-completa en regresión logística) para poder explicarlo a otros en términos simplificados. ¿Alguien tiene una explicación tonta de qué modificación está haciendo la estimación de Firth a MLE? Leí, lo mejor que …

13 logistic  maximum-likelihood  separation 

En cuanto al título, la idea es utilizar información mutua, aquí y después de MI, para estimar la "correlación" (definida como "cuánto sé sobre A cuando sé B") entre una variable continua y una variable categórica. Le diré mis pensamientos sobre el asunto en un momento, pero antes de aconsejarle …

13 correlation  information-theory  mutual-information 

Entiendo que el principio básico detrás del algoritmo para LLE consta de tres pasos. Encontrar la vecindad de cada punto de datos por alguna métrica como k-nn. Encuentre pesos para cada vecino que denotan el efecto que tiene el vecino en el punto de datos. Construya la incrustación de baja …

13 machine-learning  model-selection  feature-selection  dimensionality-reduction  nonlinear 

Estoy estudiando modelos gráficos probabilísticos , un libro para el autoaprendizaje. ¿Los bordes en un gráfico acíclico dirigido (DAG) representan relaciones causales? ¿Qué sucede si quiero construir una red bayesiana , pero no estoy seguro de la dirección de las flechas en ella? Todos los datos me dirán las correlaciones …

13 causality  graphical-model  bayesian-network  dag 

Esta es una pregunta de visualización de datos. Espero que esté bien preguntar esto aquí. ¿Cuándo es apropiado usar un relleno debajo de un gráfico lineal para una serie de tiempo, como el gráfico a continuación? (que muestra tiempos de ping durante un día) Supongo que es más común usar …

13 data-visualization 

Me gustaría usar la imputación para reemplazar los valores faltantes en mi conjunto de datos bajo ciertas restricciones. Por ejemplo, me gustaría que la variable imputada x1sea ​​mayor o igual a la suma de mis otras dos variables, digamos x2y x3. También quiero x3ser imputado por cualquiera 0o >= 14y …

13 r  spss  missing-data  multiple-imputation 

He leído algunas explicaciones sobre las propiedades de los modelos lineales frente a los no lineales, pero aún así a veces no estoy seguro de si un modelo disponible es lineal o no lineal. Por ejemplo, ¿el siguiente modelo es lineal o no lineal? yt=β0+β1B(L;θ)Xt+εtyt=β0+β1B(L;θ)Xt+εty_t=\beta_0 + \beta_1B(L;\theta)X_t+\varepsilon_t Con: B(L;θ)=∑k=1Kb(k;θ)LkB(L;θ)=∑k=1Kb(k;θ)LkB(L;\theta)=\sum_{k=1}^{K}b(k;\theta)L^k LkXt=Xt−kLkXt=Xt−kL^kX_t=X_{t-k} …

13 linear-model  nonlinear-regression  nonlinear 

Estoy ejecutando kmeans para identificar grupos de clientes. Tengo aproximadamente 100 variables para identificar grupos. Cada una de estas variables representa el% de gasto de un cliente en una categoría. Entonces, si tengo 100 categorías, tengo estas 100 variables, de modo que la suma de estas variables es del 100% …

13 clustering  data-mining  k-means  multicollinearity  compositional-data 

Diferentes libros de texto citan diferentes condiciones para la existencia de una matriz de información de Fisher. A continuación se enumeran varias de estas condiciones, cada una de las cuales aparece en algunas, pero no en todas, las definiciones de "matriz de información de Fisher". ¿Existe un conjunto estándar de …

13 fisher-information 

La pregunta anterior lo dice todo. Básicamente, mi pregunta es para una función de ajuste genérica (podría ser arbitrariamente complicada) que no será lineal en los parámetros que estoy tratando de estimar, ¿cómo se eligen los valores iniciales para inicializar el ajuste? Estoy tratando de hacer mínimos cuadrados no lineales. …

13 least-squares  nonlinear-regression  starting-values 

Me gustaría comparar modelos seleccionados con cresta, lazo y red elástica. La figura a continuación muestra las rutas de los coeficientes utilizando los 3 métodos: cresta (Fig. A, alfa = 0), lazo (Fig. B; alfa = 1) y red elástica (Fig. C; alfa = 0.5). La solución óptima depende del …

13 r  multiple-regression  modeling  regularization