Estadísticas y Big Data

Estoy usando el paquete nnet en R para intentar construir un ANN para predecir los precios inmobiliarios de condominios (proyecto personal). Soy nuevo en esto y no tengo experiencia en matemáticas, así que por favor, descuida conmigo. Tengo variables de entrada que son binarias y continuas. Por ejemplo, algunas variables …

14 r  machine-learning  data-transformation  neural-networks  nnet 

Estaba leyendo sobre el cálculo de la estimación imparcial de la desviación estándar y la fuente que leí decía (...) excepto en algunas situaciones importantes, la tarea tiene poca relevancia para las aplicaciones de estadísticas, ya que su necesidad se evita mediante procedimientos estándar, como el uso de pruebas de …

14 bayesian  statistical-significance  mathematical-statistics  standard-deviation  standard-error 

Supongamos que deseo retroceder contra una X normalizada , pero me gustaría una solución escasa. Después de la regresión, ¿por qué no se permite descartar los coeficientes de menor magnitud?YYYXXX Para el registro, he oído hablar de los métodos LARS y LASSO, y a menudo los uso. Tengo curiosidad por …

14 regression  regression-coefficients 

Supongamos que son independientes yY=(Y1,…,Yn)′Y=(Y1,…,Yn)′ \textbf{Y} = (Y_1, \dots, Y_n)' Yyo= 0Yyo= kwith probability pi+(1−pi)e−λiwith probability (1−pi)e−λiλki/k!Yi=0with probability pi+(1−pi)e−λiYi=kwith probability (1−pi)e−λiλik/k!\eqalign{ Y_i = 0 & \text{with probability} \ p_i+(1-p_i)e^{-\lambda_i}\\ Y_i = k & \text{with probability} \ (1-p_i)e^{-\lambda_i} \lambda_{i}^{k}/k! } Supongamos también que los parámetros y satisfacenλ=(λ1,…,λn)′λ=(λ1,…,λn)′\mathbf{\lambda} = (\lambda_1, \dots, \lambda_n)'p=(p1,…,pn)p=(p1,…,pn)\textbf{p} …

14 poisson-regression  zero-inflation 

Tengo los siguientes datos y me gustaría ajustarle un modelo de crecimiento exponencial negativo: Days <- c( 1,5,12,16,22,27,36,43) Emissions <- c( 936.76, 1458.68, 1787.23, 1840.04, 1928.97, 1963.63, 1965.37, 1985.71) plot(Days, Emissions) fit <- nls(Emissions ~ a* (1-exp(-b*Days)), start = list(a = 2000, b = 0.55)) curve((y = 1882 * (1 …

14 r  nonlinear-regression  fitting  nls 

Considere un problema de análisis de datos clásico en el que tiene un resultado y cómo se relaciona con varios predictores . El tipo básico de aplicación en mente aquí es que X i 1 , . . . , X i pYiYiY_{i}Xi1,...,XipXi1,...,XipX_{i1}, ..., X_{ip} YiYiY_{i} es un resultado a …

14 regression  measurement-error  errors-in-variables 

Tal vez es solo que estoy cansado, pero tengo problemas para tratar de entender el algoritmo de Regresión progresiva por etapas. De "Elementos del aprendizaje estadístico" página 60: La regresión progresiva hacia adelante (FS) está aún más restringida que la regresión progresiva hacia adelante. Comienza como una regresión progresiva, con …

14 regression  algorithms  feature-selection 

Tengo algunos datos dicotómicos, solo variables binarias, y mi jefe me pidió que realizara un análisis factorial utilizando la matriz de correlaciones tetracóricas. Anteriormente, he podido enseñarme a mí mismo cómo ejecutar diferentes análisis basados ​​en los ejemplos aquí y en el sitio de estadísticas de la UCLA y en …

14 r  factor-analysis  psychometrics  binary-data 

Tengo un conjunto de datos de casos incidentes por temporada de una enfermedad rara. Por ejemplo, digamos que hubo 180 casos en la primavera, 90 en el verano, 45 en el otoño y 210 en el invierno. Me cuesta saber si es apropiado adjuntar errores estándar a estos números. Los …

14 poisson-distribution  standard-error  count-data 

Parece que si tengo un modelo de regresión como yi∼β0+β1xi+β2x2i+β3x3iyi∼β0+β1xi+β2xi2+β3xi3y_i \sim \beta_0 + \beta_1 x_i+\beta_2 x_i^2 +\beta_3 x_i^3Puedo ajustar un polinomio en bruto y obtener resultados poco confiables o ajustar un polinomio ortogonal y obtener coeficientes que no tienen una interpretación física directa (por ejemplo, no puedo usarlos para encontrar …

14 regression  linear-model  regression-coefficients  polynomial 

Realicé un experimento donde crié diferentes familias provenientes de dos poblaciones de origen diferentes. A cada familia se le asignó uno de dos tratamientos. Después del experimento medí varios rasgos en cada individuo. Para probar un efecto del tratamiento o la fuente, así como su interacción, utilicé un modelo lineal …

14 r  anova  variance  lme4-nlme 

Estoy usando libsvm y noté que cada vez que llamo a svmtrain (), creo un nuevo modelo y parece que no hay opción para poner datos en un modelo existente. ¿Es esto posible hacer sin embargo? ¿No estoy viendo este aspecto en libsvm?

14 svm  libsvm 

He desarrollado un sistema de prueba de concepto para el reconocimiento de sonido utilizando mfcc y modelos ocultos de markov. Da resultados prometedores cuando pruebo el sistema en sonidos conocidos. Aunque el sistema, cuando se ingresa un sonido desconocido, devuelve el resultado con la coincidencia más cercana y el puntaje …

14 machine-learning  hidden-markov-model  pattern-recognition 

Estoy analizando datos sobre 300,000 alumnos en 175 escuelas con un modelo logístico lineal de efectos mixtos (intercepciones aleatorias). Cada alumno ocurre exactamente una vez y los datos abarcan 6 años. ¿Cómo divido la varianza entre los niveles de la escuela y el alumno, de manera similar a la VPC …

14 mixed-model  binary-data 

Esto es claramente una cuestión de definición o convención, y casi no tiene importancia práctica. Si se establece en su valor tradicional de 0.05, ¿se considera que un valor p de 0.0500000000000 es estadísticamente significativo o no? ¿La regla para definir la significación estadística generalmente se considera p < α …

14 hypothesis-testing  statistical-significance  definition