Estadísticas y Big Data

Estoy entrenando una red neuronal pero la pérdida de entrenamiento no disminuye. ¿Cómo puedo arreglar esto? No estoy preguntando sobre el sobreajuste o la regularización. Estoy preguntando cómo resolver el problema donde el rendimiento de mi red no mejora en el conjunto de entrenamiento . Esta pregunta es intencionalmente general, …

148 neural-networks  deep-learning 

Tengo un conjunto de datos que tiene datos continuos y categóricos. Estoy analizando utilizando PCA y me pregunto si está bien incluir las variables categóricas como parte del análisis. Entiendo que PCA solo se puede aplicar a variables continuas. ¿Es eso correcto? Si no se puede utilizar para datos categóricos, …

147 categorical-data  pca  correspondence-analysis  mixed-type-data 

En varios contextos diferentes, invocamos el teorema del límite central para justificar cualquier método estadístico que queramos adoptar (por ejemplo, aproximar la distribución binomial por una distribución normal). Entiendo los detalles técnicos de por qué el teorema es verdadero, pero justo ahora se me ocurre que realmente no entiendo la …

144 intuition  central-limit-theorem 

Aprendí R pero parece que las empresas están mucho más interesadas en la experiencia SAS. ¿Cuáles son las ventajas de SAS sobre R?

143 r  sas 

El estado del arte de la no linealidad es utilizar unidades lineales rectificadas (ReLU) en lugar de la función sigmoidea en la red neuronal profunda. ¿Cuáles son las ventajas? Sé que entrenar una red cuando se usa ReLU sería más rápido, y tiene más inspiración biológica, ¿cuáles son las otras …

141 machine-learning  neural-networks  deep-learning 

Aquí está el artículo que motivó esta pregunta: ¿la impaciencia nos engorda? Me gustó este artículo, y demuestra muy bien el concepto de "controlar otras variables" (IQ, carrera, ingresos, edad, etc.) para aislar mejor la verdadera relación entre solo las 2 variables en cuestión. ¿Puede explicarme cómo controla realmente las …

141 regression  causality  confounding  controlling-for-a-variable  statistics-in-media 

¿Es siempre una buena idea entrenar con el conjunto de datos completo después de la validación cruzada ? Dicho de otra manera, ¿está bien entrenar con todas las muestras en mi conjunto de datos y no poder verificar si este ajuste en particular se sobreajusta ? Algunos antecedentes sobre el …

140 machine-learning  cross-validation  model-selection 

Recibí esta pregunta durante una entrevista con Amazon: 50% de todas las personas que reciben una primera entrevista reciben una segunda entrevista El 95% de tus amigos que obtuvieron una segunda entrevista sintieron que tuvieron una buena primera entrevista El 75% de sus amigos que NO obtuvieron una segunda entrevista …

139 probability  conditional-probability 

Recientemente, este documento ha recibido mucha atención (por ejemplo, de WSJ ). Básicamente, los autores concluyen que Facebook perderá el 80% de sus miembros para 2017. Basan sus afirmaciones en una extrapolación del modelo SIR , un modelo compartimental utilizado con frecuencia en epidemiología. Sus datos se obtienen de las …

138 hypothesis-testing  correlation  epidemiology  social-network 

He estado usando el -fold validación cruzada varias veces para evaluar el rendimiento de algunos algoritmos de aprendizaje, pero siempre he estado intrigados por la forma en que debería elegir el valor de .KKKKKKK A menudo he visto y usado un valor de , pero esto me parece totalmente arbitrario, …

136 machine-learning  classification  cross-validation 

Me preguntaron hoy en clase por qué divide la suma del error cuadrado por n - 1n−1n-1 lugar de con nortenn , al calcular la desviación estándar. Dije que no voy a responderlo en clase (ya que no quería entrar en estimadores imparciales), pero luego me pregunté: ¿hay una explicación …

136 standard-error  intuition  teaching  bessels-correction 

Actualmente estoy usando un SVM con un núcleo lineal para clasificar mis datos. No hay error en el conjunto de entrenamiento. Intenté varios valores para el parámetro ( 10 - 5 , … , 10 2 ). Esto no cambió el error en el conjunto de prueba.CCC10- 5, ... , …

134 machine-learning  svm  libsvm 

¿Cuáles son las funciones de costo comunes utilizadas en la evaluación del rendimiento de las redes neuronales? Detalles (siéntase libre de omitir el resto de esta pregunta, mi intención aquí es simplemente proporcionar una aclaración sobre la notación que las respuestas pueden usar para ayudarlos a ser más comprensibles para …

133 machine-learning  neural-networks 

Tengo un conjunto de datos y me gustaría averiguar qué distribución se ajusta mejor a mis datos. Utilicé la fitdistr()función para estimar los parámetros necesarios para describir la distribución supuesta (es decir, Weibull, Cauchy, Normal). Usando esos parámetros, puedo realizar una prueba de Kolmogorov-Smirnov para estimar si los datos de …

133 r  distributions  goodness-of-fit  kolmogorov-smirnov  distribution-identification 

¿En qué se diferencian PCA y MDS clásico? ¿Qué tal MDS versus MDS no métrico? ¿Hay algún momento en el que preferirías uno sobre el otro? ¿Cómo difieren las interpretaciones?

133 pca  multidimensional-scaling  pcoa