Estadísticas y Big Data

Supongamos que tenemos un conjunto A y un subconjunto B. Si sabemos | A |, entonces podemos calcular | B | al encontrar la probabilidad p de que un elemento elegido uniformemente al azar de A pertenece a B. Específicamente | A | p = | B |. Supongamos que …

9 estimation 

Estoy interesado en la distribución de la reducción máxima de una caminata aleatoria: Sea donde . La reducción máxima después de períodos es . Un artículo de Magdon-Ismail et. Alabama. proporciona la distribución para la reducción máxima de un movimiento browniano con deriva. La expresión implica una suma infinita que …

9 distributions  cdf  finance  random-walk 

Estoy tratando de estimar la media de una distribución gaussiana más o menos a través del muestreo. No tengo conocimiento previo sobre su media o su varianza. Cada muestra es costosa de obtener. ¿Cómo decido dinámicamente cuántas muestras necesito para obtener un cierto nivel de confianza / precisión? Alternativamente, ¿cómo …

9 estimation  sample-size 

Necesito actualizar la tasa de falla (dada como determinista) basada en la nueva tasa de falla sobre el mismo sistema (también es determinista). Leí acerca de los conjugados anteriores y la distribución Gamma como conjugado para el proceso de Poisson. Además, puedo igualar el valor medio de Gamma dist. ( …

9 bayesian 

Varios paquetes estadísticos, como SAS, SPSS y R, le permiten realizar algún tipo de rotación de factores después de un PCA. ¿Por qué es necesaria una rotación después de un PCA? ¿Por qué aplicaría una rotación oblicua después de un PCA dado que el objetivo del PCA es producir dimensiones …

9 pca  factor-analysis  factor-rotation 

¿La función de autocorrelación tiene algún significado con una serie de tiempo no estacionaria? Por lo general, se supone que las series temporales son estacionarias antes de utilizar la autocorrelación para fines de modelado de Box y Jenkins.

9 time-series  autocorrelation  box-jenkins 

Una búsqueda superficial revela que los cuadrados latinos se usan bastante ampliamente en el diseño de experimentos. Durante mi doctorado, he estudiado varias propiedades teóricas de los cuadrados latinos (desde un punto de vista combinatorio), pero no tengo una comprensión profunda de lo que tienen los cuadrados latinos que los …

9 experiment-design 

Tengo datos con un pico doble que estoy tratando de modelar, y hay suficiente superposición entre los picos que no puedo tratarlos de forma independiente. Un histograma de los datos podría verse así: He creado dos modelos para esto: uno usa dos distribuciones de Poisson y el otro usa dos …

9 modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio 

Las pruebas de permutación son pruebas de significación basadas en muestras de permutación extraídas al azar de los datos originales. Las muestras de permutación se extraen sin reemplazo, en contraste con las muestras de bootstrap, que se extraen con reemplazo. Aquí hay un ejemplo que hice en R de una …

9 confidence-interval  bootstrap  permutation-test 

por ej. si tengo una calificación crediticia variable de clase con dos clases buenas y malas, donde # (bueno) = 700 y # (malo) = 300. No quiero acortar mis datos. ¿Qué técnica debo usar? Estaba usando SVM pero está dando todo lo malo como bueno en las predicciones.

9 classification  binary-data 

Cuando se realiza una regresión lineal, a menudo es útil hacer una transformación como la transformación logarítmica para que la variable dependiente logre una mejor conformación de distribución normal. A menudo también es útil inspeccionar los beta de la regresión para evaluar mejor el tamaño del efecto / relevancia real …

9 regression  data-transformation  effect-size 

Para la selección de predictores en regresión lineal multivariada con predictores adecuados, ¿qué métodos están disponibles para encontrar un subconjunto 'óptimo' de los predictores sin probar explícitamente todos los subconjuntos de ? En 'Análisis de supervivencia aplicada', Hosmer y Lemeshow hacen referencia al método de Kuk, pero no puedo encontrar …

9 modeling  regression  multivariable  model-selection  feature-selection 

A pesar de varios intentos de leer sobre bootstrapping, siempre parezco golpear una pared de ladrillos. Me pregunto si alguien puede dar una definición razonablemente no técnica de bootstrapping. Sé que no es posible en este foro proporcionar suficientes detalles para permitirme entenderlo completamente, ¡pero un empujón suave en la …

9 nonparametric  bootstrap  intuition 

Tengo dos implementaciones de un algoritmo genético que se supone que se comportan de manera equivalente. Sin embargo, debido a restricciones técnicas que no se pueden resolver, su salida no es exactamente la misma, dada la misma entrada. Aún así, me gustaría mostrar que no hay una diferencia de rendimiento …

9 hypothesis-testing  genetic-algorithms 

Estoy tratando de construir un modelo de pronóstico de regresión de series de tiempo para una variable de resultado, en dólares, en términos de otros predictores / variables de entrada y errores autocorrelacionados. Este tipo de modelo también se llama modelo de regresión dinámica. Necesito aprender a identificar las funciones …

9 time-series  forecasting  dynamic-regression