Estadísticas y Big Data

La probabilidad podría definirse de varias maneras, por ejemplo: la función LLL de Θ × XΘ×X\Theta\times{\cal X} que mapea ( θ , x )(θ,x)(\theta,x) a L ( θ ∣ x )L(θ∣x)L(\theta \mid x) es decir, L : Θ × X→ RL:Θ×X→RL:\Theta\times{\cal X} \rightarrow \mathbb{R} . la función aleatoria L ( …

30 mathematical-statistics  likelihood  likelihood-ratio  parametric 

Estoy pensando en esto desde una perspectiva de requisitos muy básicos y mínimos. ¿Cuáles son las teorías clave que un estadístico de la industria (no académico) debe conocer, comprender y utilizar de manera regular? Una de las grandes que viene a la mente es la Ley de los grandes números …

30 theory  careers  law-of-large-numbers 

Los modelos aditivos generalizados son aquellos donde y=α+f1(x1)+f2(x2)+eiy=α+f1(x1)+f2(x2)+ei y = \alpha + f_1(x_1) + f_2(x_2) + e_i por ejemplo. Las funciones son suaves y se deben estimar. Generalmente por splines penalizadas. MGCV es un paquete en R que lo hace, y el autor (Simon Wood) escribe un libro sobre su …

30 r  nonparametric  interaction  splines  intuition 

La versión tl; dr ¿Qué estrategias exitosas empleas para enseñar la distribución de muestreo (de una media muestral, por ejemplo) en un nivel introductorio de pregrado? El fondo En septiembre, enseñaré un curso introductorio de estadística para estudiantes de segundo año de ciencias sociales (principalmente ciencias políticas y sociología) usando …

30 distributions  sampling  teaching 

Estoy tratando de ponerme al día con R. Finalmente, quiero usar las bibliotecas R para hacer la clasificación de texto. Me preguntaba cuáles son las experiencias de las personas con respecto a la escalabilidad de R cuando se trata de hacer una clasificación de texto. Es probable que me encuentre …

30 r  machine-learning  svm  text-mining  random-forest 

Aprendí que una estadística es un atributo que puede obtener de las muestras. Tomando muchas muestras del mismo tamaño, calculando este atributo para todas ellas y trazando el pdf, obtenemos la distribución del atributo correspondiente o la distribución de las estadísticas correspondientes. También escuché que las estadísticas están hechas para …

30 terminology  estimators  definition 

Tengo una tarea de clasificación en la que tengo varios predictores (uno de los cuales es el más informativo), y estoy usando el modelo MARS para construir mi clasificador (estoy interesado en cualquier modelo simple, y usar glms con fines ilustrativos sería bien también). Ahora tengo un gran desequilibrio de …

30 machine-learning  roc  precision-recall  unbalanced-classes  data-visualization 

¿Existe un modelo de visualización que sea bueno para mostrar la superposición de intersección de muchos conjuntos? Estoy pensando en algo así como los diagramas de Venn, pero que de alguna manera podrían prestarse mejor a un mayor número de conjuntos, como 10 o más. Wikipedia muestra algunos diagramas de …

30 data-visualization  dataset 

Me encontré con este bonito tutorial: Un manual de análisis estadísticos con R. Capítulo 13. Análisis de componentes principales: El hepttatón olímpico sobre cómo hacer PCA en lenguaje R. No entiendo la interpretación de la figura 13.3: Así que estoy trazando el primer vector propio frente al segundo vector propio. …

30 r  pca  data-visualization  interpretation  biplot 

Esta es una pregunta elemental, pero no pude encontrar la respuesta. Tengo dos mediciones: n1 eventos en el tiempo t1 y n2 eventos en el tiempo t2, ambos producidos (por ejemplo) por procesos de Poisson con valores lambda posiblemente diferentes. Esto es en realidad de un artículo de noticias, que …

30 hypothesis-testing  poisson-distribution 

¿Cuál es la diferencia entre la prueba de normalidad de Shapiro-Wilk y la prueba de normalidad de Kolmogorov-Smirnov? ¿Cuándo diferirán los resultados de estos dos métodos?

30 distributions  statistical-significance  normality-assumption  kolmogorov-smirnov 

Si entiendo correctamente, un intervalo de confianza de un parámetro es un intervalo construido por un método que produce intervalos que contienen el valor verdadero para una proporción específica de muestras. Entonces, la "confianza" se trata del método en lugar del intervalo que calculo de una muestra particular. Como usuario …

30 confidence-interval  interpretation 

He utilizado el siguiente código r para estimar los intervalos de confianza de una proporción binomial porque entiendo que eso sustituye a un "cálculo de potencia" al diseñar diseños de curvas características de funcionamiento del receptor que buscan la detección de enfermedades en una población. n es 150, y creemos …

30 confidence-interval  binomial 

¿Qué diferencia hace el centrado (o de-significado) de sus datos para PCA? He oído que facilita las matemáticas o que evita que la primera PC esté dominada por los medios de las variables, pero siento que todavía no he podido comprender el concepto con firmeza. Por ejemplo, la respuesta principal …

30 r  pca  svd  eigenvalues  centering 

Digamos que tengo dos muestras. Si quiero saber si provienen de diferentes poblaciones, puedo ejecutar una prueba t. Pero digamos que quiero probar si las muestras son de la misma población. ¿Cómo se hace esto? Es decir, ¿cómo calculo la probabilidad estadística de que estas dos muestras se extraigan de …

30 statistical-significance