Estadísticas y Big Data

Soy un estudiante graduado en psicología y, a medida que realizo más y más estudios independientes en estadística, me sorprende cada vez más la insuficiencia de mi entrenamiento formal. La experiencia tanto personal como de segunda mano sugiere que la escasez de rigor estadístico en la formación de pregrado y …

227 fallacy 

El AIC y el BIC son métodos para evaluar el ajuste del modelo penalizado por el número de parámetros estimados. Según tengo entendido, BIC penaliza más a los modelos por parámetros libres que AIC. Más allá de una preferencia basada en la rigurosidad de los criterios, ¿hay alguna otra razón …

222 modeling  aic  cross-validation  bic  model-selection 

Al entrenar una red neuronal, qué diferencia hace establecer: tamaño del lote a y el número de iteraciones para bunaaasibb vs. tamaño de lote a y número de iteraciones a dCccredd donde ?a b = c dab=cd ab = cd Para decirlo de otra manera, suponiendo que entrenemos la red …

222 neural-networks  train 

Parece que varios de los paquetes estadísticos que uso envuelven estos dos conceptos juntos. Sin embargo, me pregunto si hay diferentes supuestos o "formalidades" de datos que deben ser ciertos para usar uno sobre el otro. Un ejemplo real sería increíblemente útil.

215 pca  factor-analysis 

¿Cuál es la diferencia entre minería de datos, estadísticas, aprendizaje automático e inteligencia artificial? ¿Sería exacto decir que son 4 campos que intentan resolver problemas muy similares pero con enfoques diferentes? ¿Qué tienen exactamente en común y en qué difieren? Si hay algún tipo de jerarquía entre ellos, ¿cuál sería? …

208 machine-learning  data-mining 

Imagine un escenario estándar de aprendizaje automático: Te enfrentas a un gran conjunto de datos multivariado y tienes una comprensión bastante borrosa. Lo que debe hacer es hacer predicciones sobre alguna variable basada en lo que tiene. Como de costumbre, limpia los datos, mira estadísticas descriptivas, ejecuta algunos modelos, los …

207 machine-learning  forecasting  modeling  model-selection  forecastability 

... suponiendo que pueda aumentar su conocimiento sobre la varianza de una manera intuitiva ( Entendiendo la "varianza" intuitivamente ) o diciendo: Es la distancia promedio de los valores de datos de la "media", y dado que la varianza está en cuadrado unidades, tomamos la raíz cuadrada para mantener las …

207 variance  covariance  intuition 

Entonces tenemos media aritmética (AM), media geométrica (GM) y media armónica (HM). Su formulación matemática también es conocida junto con sus ejemplos estereotipados asociados (p. Ej., Media armónica y su aplicación a problemas relacionados con la "velocidad"). Sin embargo, una pregunta que siempre me ha intrigado es "¿cómo decido qué …

197 mean 

Me gustaría implementar un algoritmo para la selección automática de modelos. Estoy pensando en hacer una regresión gradual, pero cualquier cosa servirá (aunque debe basarse en regresiones lineales). Mi problema es que no puedo encontrar una metodología o una implementación de código abierto (estoy trabajando en Java). La metodología que …

193 references  feature-selection  model-selection  aic  stepwise-regression 

¿Cuál es el mejor libro de texto introductorio para las estadísticas bayesianas? Un libro por respuesta, por favor.

192 bayesian  references 

Si tengo datos positivos muy sesgados, a menudo tomo registros. Pero, ¿qué debo hacer con datos no negativos muy sesgados que incluyen ceros? He visto dos transformaciones utilizadas: log(x+1)log⁡(x+1)\log(x+1) que tiene la característica ordenada que 0 se asigna a 0. log(x+c)log⁡(x+c)\log(x+c) donde c se estima o se establece como un …

191 data-transformation  large-data 

Estoy seguro de que muchas personas responderán con enlaces para 'déjame buscar eso en Google', así que quiero decir que he tratado de resolver esto, así que perdona mi falta de comprensión aquí, pero no puedo entender cómo La implementación práctica de una red neuronal realmente funciona. Entiendo la capa …

187 machine-learning  neural-networks  nonlinear-regression 

Tengo un marco de datos R como este: age group 1 23.0883 1 2 25.8344 1 3 29.4648 1 4 32.7858 2 5 33.6372 1 6 34.9350 1 7 35.2115 2 8 35.2115 2 9 35.2115 2 10 36.7803 1 ... Necesito obtener el marco de datos en la siguiente …

181 r  data-transformation 

Después de graduarme recientemente de mi programa de doctorado en estadística, durante los últimos meses comencé a buscar trabajo en el campo de la estadística. Casi todas las compañías que consideraba tenían un puesto de trabajo con un título de " Data Scientist ". De hecho, parecía que habían quedado …

181 terminology  definition  careers 

Estoy usando Python Keras packagepara la red neuronal. Este es el enlace . ¿Es batch_sizeigual al número de muestras de prueba? De Wikipedia tenemos esta información: Sin embargo, en otros casos, evaluar el gradiente de suma puede requerir evaluaciones costosas de los gradientes de todas las funciones de sumando. Cuando …

176 neural-networks  python  terminology  keras