Estadísticas y Big Data

Últimamente he estado leyendo mucho sobre las diferencias entre el método de prueba de hipótesis de Fisher y la escuela de pensamiento de Neyman-Pearson. Mi pregunta es, ignorando las objeciones filosóficas por un momento; ¿Cuándo deberíamos usar el enfoque de Fisher de modelado estadístico y cuándo deberíamos usar el método …

73 hypothesis-testing  p-value  methodology 

Inspirado por un comentario de esta pregunta : ¿Qué consideramos "no informativo" en un previo, y qué información todavía está contenida en un previo supuestamente no informativo? En general, veo lo anterior en un análisis en el que es un análisis de tipo frecuentista que intenta tomar prestadas algunas partes …

73 bayesian  prior 

A pesar de que todas las imágenes en el conjunto de datos MNIST están centradas, con una escala similar y boca arriba sin rotaciones, tienen una variación significativa en la escritura a mano que me desconcierta cómo un modelo lineal logra una precisión de clasificación tan alta. Hasta donde puedo …

73 logistic  image-processing 

Me pregunto cómo calcular las medidas de precisión y recuperación para la clasificación multiclase multicabel, es decir, la clasificación donde hay más de dos etiquetas y cada instancia puede tener varias etiquetas.

72 machine-learning  classification  precision-recall  multi-class 

En el contexto de una propuesta de investigación en ciencias sociales, me hicieron la siguiente pregunta: Siempre he superado los 100 + m (donde m es el número de predictores) al determinar el tamaño mínimo de muestra para la regresión múltiple. ¿Es esto apropiado? Recibo muchas preguntas similares, a menudo …

72 regression  sample-size  power-analysis  rule-of-thumb 

Antecedentes : no tengo una capacitación formal en estadísticas bayesianas (aunque estoy muy interesado en aprender más), pero sé lo suficiente, creo, para entender por qué muchos sienten que son preferibles a las estadísticas frequentistas. Incluso los estudiantes de pregrado en la clase de estadística introductoria (en ciencias sociales) que …

72 bayesian  frequentist  philosophical 

He visto en alguna parte que las distancias clásicas (como la distancia euclidiana) se vuelven débilmente discriminantes cuando tenemos datos multidimensionales y escasos. ¿Por qué? ¿Tiene un ejemplo de dos vectores de datos dispersos donde la distancia euclidiana no funciona bien? En este caso, ¿qué similitud debemos usar?

72 machine-learning  clustering  data-mining  sparse  euclidean 

En el curso de aprendizaje automático de Andrew Ng , introduce la regresión lineal y la regresión logística, y muestra cómo ajustar los parámetros del modelo utilizando el descenso de gradiente y el método de Newton. Sé que el descenso de gradiente puede ser útil en algunas aplicaciones de aprendizaje …

72 regression  machine-learning  logistic  gradient-descent 

Los tiempos de espera para la distribución de Poisson es una distribución exponencial con parámetro lambda. Pero no lo entiendo. Poisson modela el número de llegadas por unidad de tiempo, por ejemplo. ¿Cómo se relaciona esto con la distribución exponencial? Digamos que la probabilidad de que k llegue en una …

72 distributions  poisson-distribution  exponential 

¿Cuáles son los supuestos habituales para la regresión lineal? ¿Incluyen: Una relación lineal entre la variable independiente y la dependiente errores independientes distribución normal de errores homocedasticidad ¿Hay otros?

72 regression  assumptions 

La entropía de Shannon es el negativo de la suma de las probabilidades de cada resultado multiplicado por el logaritmo de probabilidades para cada resultado. ¿Para qué sirve el logaritmo en esta ecuación? ¡Una respuesta intuitiva o visual (a diferencia de una respuesta profundamente matemática) recibirá puntos extra!

72 entropy  intuition  sequence-analysis 

Estimación del coeficiente de regresión de cresta son los valores que minimizan laβ^Rβ^R\hat{\beta}^R RSS+λ∑j=1pβ2j.RSS+λ∑j=1pβj2. \text{RSS} + \lambda \sum_{j=1}^p\beta_j^2. Mis preguntas son: Si , vemos que la expresión anterior se reduce al RSS habitual. ¿Qué pasa si ? No entiendo la explicación del libro de texto del comportamiento de los coeficientes.λ=0λ=0\lambda …

71 ridge-regression  statistical-learning  history 

Parece que la minería de datos y el aprendizaje automático se hicieron tan populares que ahora casi todos los estudiantes de CS saben sobre clasificadores, agrupamiento, PNL estadístico ... etc. Así que parece que encontrar mineros de datos no es algo difícil en la actualidad. Mi pregunta es: ¿Cuáles son …

71 machine-learning  data-mining 

¿Cómo puedo eliminar filas duplicadas de este marco de datos de ejemplo? A 1 A 1 A 2 B 4 B 1 B 1 C 2 C 2 Me gustaría eliminar los duplicados basados ​​en ambas columnas: A 1 A 2 B 4 B 1 C 2 El orden no …

71 r 

La pregunta: ¿Hay algún buen ejemplo de investigación reproducible usando R que esté disponible gratuitamente en línea? Ejemplo ideal: Específicamente, los ejemplos ideales proporcionarían: Los datos en bruto (e idealmente metadatos que explican los datos), Todo el código R, incluida la importación de datos, el procesamiento, los análisis y la …

71 r  references  reproducible-research