Estadísticas y Big Data

Estoy haciendo un análisis del carrito de la compra. Mi conjunto de datos es un conjunto de vectores de transacción, con los artículos que se compran. Al aplicar k-means en las transacciones, siempre obtendré algún resultado. Una matriz aleatoria probablemente también muestre algunos grupos. ¿Hay alguna manera de probar si …

12 clustering  statistical-significance  binary-data 

¿Existe una regla general o incluso alguna forma de decir qué tan grande debe ser una muestra para estimar un modelo con un número dado de parámetros? Entonces, por ejemplo, si quiero estimar una regresión de mínimos cuadrados con 5 parámetros, ¿qué tan grande debe ser la muestra? ¿Importa qué …

12 sample-size  estimation  least-squares  maximum-likelihood 

Como aplicación de ejemplo, considere las siguientes dos propiedades de los usuarios de Stack Overflow: reputación y recuentos de vistas de perfil . Se espera que para la mayoría de los usuarios esos dos valores sean proporcionales: los usuarios de alta reputación atraen más atención y, por lo tanto, obtienen …

12 ratio 

Soy un principiante y estoy tratando de entender lo que muestra un gráfico de autocorrelación. He leído varias explicaciones de diferentes fuentes, como esta página o la página de Wikipedia relacionada, entre otras, que no estoy citando aquí. Tengo este código muy simple, donde tengo fechas en mi índice durante …

12 python  autocorrelation  pandas 

Me refiero al ajuste de la puerta trasera y al ajuste de la puerta delantera aquí : Ajuste de puerta trasera : el problema epidemiológico arquetípico en las estadísticas es ajustar el efecto de un factor de confusión medido. El criterio de puerta trasera de Pearl generaliza esta idea. Ajuste …

12 causality  dag 

La función softmax, comúnmente utilizada en redes neuronales para convertir números reales en probabilidades, es la misma función que la distribución de Boltzmann, la distribución de probabilidad sobre las energías para un conjunto de partículas en equilibrio térmico a una temperatura T dada en termodinámica. Puedo ver algunas razones heurísticas …

12 machine-learning  neural-networks  softmax 

Me pregunto cuál es el valor intrínseco del uso de la media armónica (por ejemplo, para calcular las medidas F), en oposición a la media aritmética ponderada al combinar precisión y recuperación. Estoy pensando que el promedio aritmético ponderado podría desempeñar el papel de media armónica, ¿o me estoy perdiendo …

12 machine-learning  monte-carlo  precision-recall  harmonic-mean 

He estado mirando las conferencias CS231N de Stanford y estoy tratando de entender algunos problemas en las arquitecturas de CNN. Lo que estoy tratando de entender es si hay algunas pautas generales para elegir el tamaño del filtro de convolución y cosas como avances o ¿es esto más un arte …

12 neural-networks  deep-learning  conv-neural-network 

Entiendo que dado un conjunto de observaciones independientes el Estimador de máxima verosimilitud (o, de manera equivalente, el MAP con anterior plano / uniforme) que identifica los parámetros \ mathbf {θ} que producen la distribución del modelo p_ {modelo} \ izquierda (\, \ cdot \,; \ mathbf {θ} \ right) …

12 maximum-likelihood  deep-learning  cross-entropy 

Han pasado más de 2 años que estoy trabajando en diferentes series de tiempo. He leído en muchos artículos que ACF se usa para identificar el orden del término MA y PACF para AR. Hay una regla general para MA, el retraso donde ACF se apaga repentinamente es el orden …

12 time-series  arima  autoregressive  moving-average 

¿En qué situaciones debemos usar t-SNE (aparte de la visualización de datos)? T-SNE se utiliza para reducir la dimensionalidad. La respuesta a esta pregunta sugiere que t-SNE debería usarse solo para la visualización y que no deberíamos usarlo para la agrupación. Entonces, ¿cuál es el buen uso de t-SNE?

12 data-visualization  dimensionality-reduction  tsne 

Después de un año en la escuela de posgrado, mi comprensión de los "mínimos cuadrados ponderados" es la siguiente: let , sea ​​una matriz de diseño , \ boldsymbol \ beta \ in \ mathbb {R} ^ p sea ​​un vector de parámetros, \ boldsymbol \ epsilon \ in \ …

12 r  linear-model  weighted-regression 

En Bishop's Pattern Recognition and Machine Learning leí lo siguiente, justo después de que se introdujera la densidad de probabilidad :p(x∈(a,b))=∫bap(x)dxp(x∈(a,b))=∫abp(x)dxp(x\in(a,b))=\int_a^bp(x)\textrm{d}x Bajo un cambio no lineal de variable, una densidad de probabilidad se transforma de manera diferente a una función simple, debido al factor jacobiano. Por ejemplo, si consideramos un …

12 machine-learning  probability 

Me di cuenta de que al construir modelos de regresión forestal aleatorios, al menos en R, el valor predicho nunca excede el valor máximo de la variable objetivo que se ve en los datos de entrenamiento. Como ejemplo, vea el código a continuación. Estoy construyendo un modelo de regresión para …

12 r  random-forest 

Estoy leyendo el artículo Propagación de errores por el método Monte Carlo en cálculos geoquímicos, Anderson (1976) y hay algo que no entiendo del todo. Considere algunos datos medidos y un programa que los procese y devuelva un valor dado. En el artículo, este programa se utiliza para obtener primero …

12 bootstrap  monte-carlo  error