Estadísticas y Big Data

(Soy un novato en las estadísticas. Soy matemático y programador y estoy tratando de construir algo así como un ingenuo filtro de spam bayesiano). He notado en muchos lugares que las personas tienden a descomponer el denominador en la ecuación del Teorema de Bayes. Entonces, en lugar de esto: PAGS( …

23 bayesian 

¿Cuál es la forma más fácil de entender el impulso? ¿Por qué no aumenta los clasificadores muy débiles "hasta el infinito" (perfección)?

23 machine-learning  boosting 

¿Cómo puedo encontrar el PDF (función de densidad de probabilidad) de una distribución dada la CDF (función de distribución acumulativa)?

23 distributions  pdf  cdf 

¿Qué métodos puedo usar para inferir una distribución si solo conozco tres percentiles? Por ejemplo, sé que en un determinado conjunto de datos, el quinto percentil es 8.135, el percentil 50 es 11.259 y el percentil 95 es 23.611. Quiero poder pasar de cualquier otro número a su percentil. No …

23 r  regression  quantiles 

Estoy un poco perdido en el proceso de regresión de WLS. Me han dado un conjunto de datos y mi tarea es probar si hay heterocedacidad, y si es así, debería ejecutar la regresión WLS. Llevé a cabo la prueba y encontré evidencia de heterocedacidad, así que necesito ejecutar el …

23 regression  heteroscedasticity  weighted-regression 

¿Cuáles son los estimadores de máxima verosimilitud para los parámetros de la distribución t de Student? ¿Existen en forma cerrada? Una búsqueda rápida en Google no me dio ningún resultado. Hoy estoy interesado en el caso univariante, pero probablemente tendré que extender el modelo a múltiples dimensiones. EDITAR: en realidad …

23 estimation  maximum-likelihood  t-distribution 

En una regresión lineal múltiple con regresores altamente correlacionados, ¿cuál es la mejor estrategia para usar? ¿Es un enfoque legítimo agregar el producto de todos los regresores correlacionados?

23 regression  multicollinearity 

¿Alguien puede explicar estadísticas suficientes en términos muy básicos? Vengo de una formación en ingeniería, y he pasado por muchas cosas, pero no pude encontrar una explicación intuitiva.

23 machine-learning  mathematical-statistics  intuition 

A menudo, en el curso de mi (auto-) estudio de estadística, conocí la terminología " álgebra generada por una variable aleatoria". No entiendo la definición en Wikipedia , pero lo más importante es que no tengo la intuición detrás de ella. ¿Por qué / cuándo necesitamos σ - álgebras generadas …

23 probability  random-variable  sigma-algebra 

He estado tratando de entender la idea de conjugar los antecedentes en las estadísticas bayesianas por un tiempo, pero simplemente no lo entiendo. ¿Alguien puede explicar la idea en los términos más simples posibles, quizás utilizando el "previo gaussiano" como ejemplo?

23 bayesian  conditional-probability  conjugate-prior 

Estoy tratando de aprender aprendizaje de refuerzo y este tema es realmente confuso para mí. He tomado una introducción a las estadísticas, pero no podía entender este tema intuitivamente.

22 variance  simulation  monte-carlo  unbiased-estimator  importance-sampling 

¿Por qué es tan importante la autocorrelación ? He entendido el principio (supongo ...) pero como también hay ejemplos en los que no se produce la autocorrelación, me pregunto: ¿no está todo en la naturaleza de alguna manera autocorrelacionado? El último aspecto apunta más a una comprensión general de la …

22 autocorrelation 

(Disculpas de antemano por el uso de lenguaje laico en lugar de lenguaje estadístico). Si quiero medir las probabilidades de tirar cada lado de un dado físico específico de seis lados dentro de aproximadamente +/- 2% con una confianza razonable de certeza, ¿cuántas muestras de tiradas serían necesarias? es decir, …

22 probability  inference  pdf  dice 

Hay un hilo similar aquí (¿ La función de costo de la red neuronal no es convexa? ) Pero no pude entender los puntos en las respuestas allí y mi razón para preguntar nuevamente con la esperanza de que esto aclare algunos problemas: Si estoy usando la función de suma …

22 machine-learning  neural-networks  optimization  loss-functions  convex 

La Sección 1.7.2 de Descubriendo Estadísticas Usando R por Andy Fields, et all, mientras enumera las virtudes de la media frente a la mediana, establece: ... la media tiende a ser estable en diferentes muestras. Esto después de explicar las muchas virtudes de la mediana, por ej. ... La mediana …

22 mean  median