Estadísticas y Big Data

Hasta donde entiendo, los componentes principales se obtienen al rotar los ejes de coordenadas para alinearlos con las direcciones de máxima varianza. Sin embargo, sigo leyendo sobre "componentes principales no rotados" y mi software de estadísticas (SAS) me da componentes principales rotados varimax, así como los componentes no rotados. Aquí …

13 pca  terminology  factor-rotation 

Estaba leyendo el libro de Yoshua Bengio sobre aprendizaje profundo y dice en la página 224: Las redes convolucionales son simplemente redes neuronales que usan la convolución en lugar de la multiplicación matricial general en al menos una de sus capas. sin embargo, no estaba 100% seguro de cómo "reemplazar …

13 machine-learning  neural-networks  deep-learning  convolution 

Estoy usando una red lstm y feed-forward para clasificar el texto. Convierto el texto en vectores únicos y los introduzco en el lstm para poder resumirlo como una representación única. Luego lo alimento a la otra red. ¿Pero cómo entreno el lstm? Solo quiero clasificar en secuencia el texto, ¿debería …

13 classification  neural-networks  deep-learning  lstm 

¿Qué es una estadística F parcial? ¿Es eso lo mismo que la prueba F parcial? ¿Cuándo calcularías una estadística F parcial? Supongo que esto tiene algo que ver con la comparación de modelos de regresión, pero no estoy siguiendo algo (?)

13 regression  multiple-regression 

Estoy usando kkk significa agrupamiento para agrupar las voces de los hablantes. Cuando comparo un enunciado con datos de altavoces agrupados obtengo una distorsión promedio (basada en la distancia euclidiana). Esta distancia puede estar en el rango de [0,∞][0,∞][0,\infty] . Quiero convertir esta distancia en una puntuación de similitud [0,1][0,1][0,1] …

13 clustering  k-means  distance  euclidean 

En Regression Modeling Strategies de Harrell (segunda edición) hay una sección (S. 20.1.7) que discute los modelos de Cox, incluida una interacción entre una covariable cuyo principal efecto sobre la supervivencia queremos estimar también (edad en el ejemplo a continuación) y un covariable cuyo efecto principal no queremos estimar (género …

13 survival  cox-model  stratification 

¿Cómo se define la varianza a largo plazo en el ámbito del análisis de series temporales? Entiendo que se utiliza en el caso de que haya una estructura de correlación en los datos. ¿Entonces nuestro proceso estocástico no sería una familia de X1,X2…X1,X2…X_1, X_2 \dots iid variables aleatorias sino distribuidas …

13 time-series  variance  references  kernel-smoothing  non-independent 

Al leer el excelente modelo estadístico: Las dos culturas (Breiman 2001) , podemos aprovechar toda la diferencia entre los modelos estadísticos tradicionales (p. Ej., Regresión lineal) y los algoritmos de aprendizaje automático (p. Ej., Ensacado, bosque aleatorio, árboles potenciados ...). Breiman critica los modelos de datos (paramétricos) porque se basan …

13 machine-learning  data-mining  random-forest  boosting  bagging 

Nota: Borel-Cantelli Lemma dice que ∑n=1∞P(An)<∞⇒P(limsupAn)=0∑n=1∞P(An)<∞⇒P(limsupAn)=0\sum_{n=1}^\infty P(A_n) \lt \infty \Rightarrow P(\lim\sup A_n)=0 ∑n=1∞P(An)=∞ and An's are independent⇒P(limsupAn)=1∑n=1∞P(An)=∞ and An's are independent⇒P(limsupAn)=1\sum_{n=1}^\infty P(A_n) =\infty \textrm{ and } A_n\textrm{'s are independent} \Rightarrow P(\lim\sup A_n)=1 Luego, if∑n=1∞P(AnAcn+1)<∞∑n=1∞P(AnAn+1c)<∞\sum_{n=1}^\infty P(A_nA_{n+1}^c )\lt \infty utilizando Borel-Cantelli Lemma Quiero mostrar eso en primer lugar, limn→∞P(An)limn→∞P(An)\lim_{n\to \infty}P(A_n) existe y …

13 probability  self-study  stochastic-processes  probability-inequalities 

Sé que una suma de gaussianos es gaussiana. Entonces, ¿en qué se diferencia una mezcla de gaussianos? Quiero decir, una mezcla de gaussianos es solo una suma de gaussianos (donde cada gaussiano se multiplica por el coeficiente de mezcla respectivo) ¿verdad?

13 normal-distribution  random-variable  mixture  gaussian-mixture 

Estoy analizando la distribución de la latencia de la red. El tiempo medio de carga (U) es 0.5s. El tiempo medio de descarga (D) es 2s. Sin embargo, la mediana del tiempo total (para cada punto de datos, T = U + D) es 4s. ¿Qué conclusiones podrían extraerse sabiendo …

13 random-variable  median  summations 

Estoy trabajando en algunos datos sintéticos para el modelo Error en variable para algunas investigaciones. Actualmente tengo una sola variable independiente, y supongo que sé la varianza para el verdadero valor de la variable dependiente. Entonces, con esta información, puedo lograr un estimador imparcial para el coeficiente de la variable …

13 regression  matlab  unbiased-estimator  errors-in-variables 

Soy relativamente nuevo en estadísticas y agradecería ayuda para entender esto mejor. En mi campo hay un modelo de forma comúnmente utilizado: PAGt= Po( Vt)αPAGt=PAGo(Vt)αP_t = P_o(V_t)^\alpha Cuando las personas ajustan el modelo a los datos, generalmente lo linealizan y ajustan lo siguiente Iniciar sesión( Pt) = log( Po) + …

13 modeling  model  error  curve-fitting  measurement-error 

He preguntado sobre esto antes y realmente he estado luchando para identificar qué hace que un parámetro modelo y qué lo hace una variable latente. Mirando varios hilos sobre este tema en este sitio, la distinción principal parece ser: Las variables latentes no se observan, pero tienen una distribución de …

13 bayesian  modeling  random-variable  latent-variable 

Sé que tanto la selección de características como la reducción de dimensionalidad apuntan a reducir el número de características en el conjunto original de características. ¿Cuál es la diferencia exacta entre los dos si estamos haciendo lo mismo en ambos?

13 machine-learning  pca  feature-selection  dimensionality-reduction