Estadísticas y Big Data

Mientras leía sobre PCA, me encontré con la siguiente explicación: Supongamos que tenemos un conjunto de datos donde cada punto de datos representa los puntajes de un solo estudiante en una prueba de matemáticas, una prueba de física, una prueba de comprensión de lectura y una prueba de vocabulario. Encontramos …

13 pca 

Tengo dos datos GPS de 2 horas con una frecuencia de muestreo de 1 Hz (7200 mediciones). Los datos se dan en la forma , donde es la incertidumbre de medición.(X,Xσ,Y,Yσ,Z,Zσ)(X,Xσ,Y,Yσ,Z,Zσ)(X, X_\sigma, Y, Y_\sigma, Z, Z_\sigma)NσnorteσN_\sigma Cuando tomo la media de todas las mediciones (por ejemplo, el valor Z promedio …

13 time-series  mean  standard-deviation 

¿Cuáles son los métodos más avanzados en deduplicación de registros? La deduplicación también se denomina a veces: vinculación de registros, resolución de entidad, resolución de identidad, fusión / purga. Sé, por ejemplo, sobre CBLOCK [1]. Agradecería que las respuestas también incluyeran referencias al software existente que implementa los métodos. Sé, …

13 clustering  data-cleaning  record-linkage 

No conozco ninguna distribución multimodal. ¿Por qué todas las distribuciones conocidas son unimodales? ¿Hay alguna distribución "famosa" que tenga más de un modo? Por supuesto, las mezclas de distribuciones son a menudo multimodales, pero me gustaría saber si existen distribuciones "no mixtas" que tengan más de un modo.

13 distributions  mode 

Entiendo el concepto de escalar la matriz de datos para usar en un modelo de regresión lineal. Por ejemplo, en R podrías usar: scaled.data <- scale(data, scale=TRUE) Mi única pregunta es, para nuevas observaciones para las que quiero predecir los valores de salida, ¿cómo se escalan correctamente? ¿Sería scaled.new <- …

13 r  regression  prediction  scales 

¿Por qué la distribución geométrica y la distribución hipergeométrica se denominan "geométrica" ​​e "hipergétrica" ​​respectivamente? ¿Es porque sus pmfs toman alguna forma especial? ¡Gracias!

13 distributions  terminology  history 

El error estándar de la expresión de intercepción ( β 0 ) en y = β 1 x + β 0 + ε está dada por S E ( β 0 ) 2 = σ 2 [ 1β^0β^0\hat{\beta}_0y=β1x+β0+εy=β1x+β0+εy=\beta_1x+\beta_0+\varepsilon dondeˉxes la media de lasxi's.SE(β^0)2=σ2[1n+x¯2∑ni=1(xi−x¯)2]SE(β^0)2=σ2[1n+x¯2∑i=1n(xi−x¯)2]SE(\hat{\beta}_0)^2 = \sigma^2\left[\frac{1}{n}+\frac{\bar{x}^2}{\sum_{i=1}^n(x_i-\bar{x})^2}\right]x¯x¯\bar{x}xixix_i Por lo que entiendo, la …

13 regression  interpretation  standard-error 

DBSCAN es el algoritmo de agrupación más citado de acuerdo con cierta literatura y puede encontrar agrupaciones de formas arbitrarias basadas en la densidad. Tiene dos parámetros eps (como radio de vecindad) y minPts (como vecinos mínimos para considerar un punto como punto central) que creo que depende en gran …

13 clustering  dbscan 

Suponga que tengo una variable cuya distribución está sesgada positivamente en un grado muy alto, de modo que tomar el registro no será suficiente para colocarlo dentro del rango de asimetría para una distribución normal. ¿Cuáles son mis opciones en este momento? ¿Qué puedo hacer para transformar la variable en …

13 data-transformation  skewness 

Para el modelo lineal , podemos tener una buena interpretación geométrica del modelo estimado mediante MCO: y = x β + e . Y es la proyección de y sobre el espacio abarcado por x y residual ey=xβ+ey=xβ+ey=x\beta+ey^=xβ^+e^y^=xβ^+e^\hat{y}=x\hat{\beta}+\hat{e}y^y^\hat{y}e^e^\hat{e} es perpendicular a este espacio atravesado por x. Ahora, mi pregunta es: …

13 regression  model  geometry 

He leído sobre la prueba t de Student, pero parece funcionar cuando podemos suponer que las distribuciones originales se distribuyen normalmente. En mi caso, definitivamente no lo son. Además, si tengo 13 distribuciones, ¿debo hacer 13^2pruebas?

13 r  hypothesis-testing  distributions 

Al estudiar la distancia de Kullback-Leibler, hay dos cosas que aprendemos muy rápidamente es que no respeta ni la desigualdad del triángulo ni la simetría, las propiedades requeridas de una métrica. Mi pregunta es si existe alguna métrica de funciones de densidad de probabilidad que cumpla con todas las restricciones …

13 distributions  distance  metric 

Estoy trabajando en R a través de un excelente tutorial de PCA de Lindsay I Smith y me estoy atascando en la última etapa. La secuencia de comandos R a continuación nos lleva a la etapa (en la p.19) donde los datos originales se están reconstruyendo a partir del Componente …

13 r  pca 

¿Cuándo es preferible utilizar la Estimación de máxima verosimilitud en lugar de los mínimos cuadrados ordinarios? ¿Cuáles son las fortalezas y limitaciones de cada uno? Estoy tratando de reunir conocimientos prácticos sobre dónde usar cada uno en situaciones comunes.

13 regression  maximum-likelihood  least-squares 

Recientemente aprendí sobre el uso del truco Kernel, que mapea datos en espacios dimensionales superiores en un intento de linealizar los datos en esas dimensiones. ¿Hay algún caso en el que deba evitar usar esta técnica? ¿Es solo una cuestión de encontrar la función correcta del núcleo? Por supuesto, para …

13 machine-learning  svm  kernel-trick  heuristic