Estadísticas y Big Data

Quiero aprender (deducir) los pesos de los atributos para mi medida de disimilitud que puedo usar para la agrupación. Tengo algunos ejemplos de pares de objetos que son "similares" (deben estar en el mismo grupo), así como algunos ejemplos ( c i , d i ) de pares de objetos …

9 clustering  similarities  supervised-learning  semi-supervised 

En Random Forest, cada árbol se cultiva en paralelo en una muestra boostrap única de los datos. Debido a que se espera que cada muestra de boostrap contenga aproximadamente el 63% de las observaciones únicas, esto deja aproximadamente el 37% de las observaciones, que se pueden usar para probar el …

9 machine-learning  cross-validation  data-mining  random-forest  boosting 

Tengo un conjunto de datos con variable continua y una variable objetivo binaria (0 y 1). Necesito discretizar las variables continuas (para la regresión logística) con respecto a la variable objetivo y con la restricción de que la frecuencia de observación en cada intervalo debe estar equilibrada. Intenté algoritmos de …

9 r  machine-learning  chi-squared  discrete-data  supervised-learning 

Este artículo afirma que en CART, debido a que se realiza una división binaria en una sola covariable en cada paso, todas las divisiones son ortogonales y, por lo tanto, no se consideran las interacciones entre covariables. Sin embargo, muchas referencias muy serias afirman, por el contrario, que la estructura …

9 machine-learning  classification  data-mining  cart 

Dado casos con cáncer de pulmón y controles pareados (sin cáncer de pulmón) (emparejamiento basado en edad, sexo, etc.). Para tratar de encontrar evidencia entre el efecto de fumar en el cáncer de pulmón, utilicé la prueba exacta de Fisher en la tabla de contingencia. Sin embargo, esto no tuvo …

9 contingency-tables  fishers-exact  paired-data  mcnemar-test 

12 maestros están enseñando a 600 estudiantes. Las 12 cohortes impartidas por estos maestros varían en tamaño de 40 a 90 estudiantes, y esperamos diferencias sistemáticas entre las cohortes, ya que los estudiantes graduados fueron asignados desproporcionadamente a cohortes particulares, y la experiencia previa ha demostrado que los estudiantes graduados …

9 teaching  agreement-statistics 

Solo por diversión, quiero registrar mi consumo mensual de energía doméstica año tras año. Sin embargo, deseo incluir alguna referencia a la temperatura mensual para poder determinar si mi hogar o comportamiento está mejorando, empeorando o manteniéndose estable con respecto al uso de kWh. Los datos con los que estoy …

9 data-visualization 

Es bien sabido que una combinación lineal de 2 variables normales aleatorias también es una variable normal aleatoria. ¿Hay alguna familia común de distribución no normal (por ejemplo, Weibull) que también comparte esta propiedad? Parece que hay muchos contraejemplos. Por ejemplo, una combinación lineal de uniformes no suele ser uniforme. …

9 distributions  linear 

Entonces, por diversión, tomo algunos de los datos de las llamadas del centro de atención telefónica en el que trabajo e intento hacer algunas pruebas de hipótesis sobre ellos, específicamente el número de llamadas recibidas en una semana, y uso una distribución de Poisson para ajustarlo. Debido al tema de …

9 hypothesis-testing  poisson-distribution 

Hoy me encontré con el libro "Teoría de la información: una introducción tutorial" de James Stone y pensé por un momento o dos sobre el alcance del uso de la teoría de la información en la ciencia de datos aplicada (si no se siente cómodo con este término todavía algo …

9 information-theory 

Estaba pensando, ya que son de y son independientes, entoncesX,YX,YX, YN(0,1)N(0,1)N(0,1) X−2YX−2YX - 2Y tiene una distribución de . Entonces tiene una probabilidad de .N(0,5)N(0,5)N(0, 5)X−2Y>0X−2Y>0X-2Y > 01/21/21/2 Lo anterior me parece correcto, aunque parece que entonces tendría una probabilidad de . Eso parece un poco mal. ¿Me equivoqué?X>nYX>nYX>nY1/21/21/2

9 probability  normal-distribution 

Un dado de 6 lados se tira de forma iterativa. ¿Cuál es el número esperado de lanzamientos requeridos para hacer una suma mayor o igual a K? Antes de editar P(Sum>=1 in exactly 1 roll)=1 P(Sum>=2 in exactly 1 roll)=5/6 P(Sum>=2 in exactly 2 rolls)=1/6 P(Sum>=3 in exactly 1 roll)=5/6 …

9 self-study  mean  expected-value  dice  saddlepoint-approximation 

A veces suponemos que los regresores son fijos, es decir, no son estocásticos. Creo que eso significa que todos nuestros predictores, estimaciones de parámetros, etc. son incondicionales, ¿verdad? ¿Podría incluso ir tan lejos que ya no son variables aleatorias? Si, por otro lado, aceptamos que la mayoría de los regresores …

9 regression  inference  philosophical  conditioning  ancillary-statistics 

Estoy realizando un análisis en el que el objetivo principal es comprender los datos. El conjunto de datos es lo suficientemente grande para la validación cruzada (10k), y los predictores incluyen variables continuas y ficticias, y el resultado es continuo. El objetivo principal era ver si tiene sentido eliminar algunos …

9 lasso  explanatory-models 

Estoy tratando de comprender el resultado del análisis de componentes principales realizado de la siguiente manera: > head(iris) Sepal.Length Sepal.Width Petal.Length Petal.Width Species 1 5.1 3.5 1.4 0.2 setosa 2 4.9 3.0 1.4 0.2 setosa 3 4.7 3.2 1.3 0.2 setosa 4 4.6 3.1 1.5 0.2 setosa 5 5.0 3.6 …

9 r  pca  interpretation