Estadísticas y Big Data

Estoy leyendo sobre distribuciones anteriores y calculé Jeffreys antes para una muestra de variables aleatorias normalmente distribuidas con media y varianza desconocidas. Según mis cálculos, lo siguiente vale para Jeffreys antes: Aquí,yoes la matriz de información de Fisher.p ( μ , σ2) = de t ( I)-----√= de t ( …

12 bayesian  normal-distribution  prior  jeffreys-prior 

El siguiente es un modelo creado a partir de un mtcarsconjunto de datos: > ols(mpg~wt+am+qsec, mtcars) Linear Regression Model ols(formula = mpg ~ wt + am + qsec, data = mtcars) Model Likelihood Discrimination Ratio Test Indexes Obs 32 LR chi2 60.64 R2 0.850 sigma 2.4588 d.f. 3 R2 adj …

12 regression  multiple-regression  r-squared 

Estoy tratando de resolver una tarea llamada detección de peatones y entreno clasifer binario en dos categorías positivas - personas, negativas - antecedentes. Tengo un conjunto de datos: cantidad de positivos = 3752 número de negativos = 3800 Uso train \ test split 80 \ 20% y RandomForestClassifier de scikit-learn …

12 classification  random-forest  unbalanced-classes  precision-recall  computer-vision 

Los ejemplos de esta página muestran que la regresión simple se ve notablemente afectada por los valores atípicos y esto se puede superar mediante técnicas de regresión robusta: http://www.alastairsanderson.com/R/tutorials/robust-regression-in-R/ . Creo que lmrob y ltsReg son otras técnicas de regresión robustas. ¿Por qué no se debe hacer una regresión robusta …

12 regression  multiple-regression  robust 

Estoy interesado en cómo se pueden usar los filtros Kalman para imputar valores faltantes en los datos de series temporales. ¿También es aplicable si faltan algunos puntos de tiempo consecutivos? No puedo encontrar mucho sobre este tema. Cualquier explicación, comentario y enlace son bienvenidos y apreciados.

12 data-imputation  kalman-filter 

En la serie de conferencias Aprendiendo de los datos , el profesor menciona que la dimensión VC mide la complejidad del modelo sobre cuántos puntos puede romper un modelo dado. Por lo tanto, esto funciona perfectamente para los modelos de clasificación en los que podríamos decir de N puntos si …

12 regression  machine-learning  vc-dimension 

Digamos que tenemos un vector aleatorio , extraído de una distribución con función de densidad de probabilidad . Si lo transformamos linealmente por un rango completo matriz para obtener , entonces la densidad de viene dada porX⃗ ∈RnX→∈Rn\vec{X} \in \mathbb{R}^nfX⃗ (x⃗ )fX→(x→)f_\vec{X}(\vec{x})n×nn×nn \times nAAAY⃗ =AX⃗ Y→=AX→\vec{Y} = A\vec{X}Y⃗ Y→\vec{Y}fY⃗ (y⃗ …

12 references  random-variable  pdf  linear 

Deseo crear un dato de supervivencia de juguetes (tiempo hasta el evento) que esté correctamente censurado y siga alguna distribución con riesgos proporcionales y un riesgo de referencia constante. Creé los datos de la siguiente manera, pero no puedo obtener las razones de riesgo estimadas que están cerca de los …

12 survival  cox-model  monte-carlo 

Para evitar el sobreajuste de las personas, las personas agregan un término de regularización (proporcional a la suma al cuadrado de los parámetros del modelo) con un parámetro de regularización a la función de costo de la regresión lineal. ¿Es este parámetro lo mismo que un multiplicador lagrange? Entonces, ¿es …

12 regression  optimization  regularization 

Sean ~ e ~ dos variables aleatorias independientes con las distribuciones dadas. ¿Cuál es la distribución de ?XXXU(0,2)U(0,2)U(0,2)YYYU(−10,10)U(−10,10)U(-10,10)V=XYV=XYV=XY He intentado convolución, sabiendo que h(v)=∫y=+∞y=−∞1yfY(y)fX(vy)dyh(v)=∫y=−∞y=+∞1yfY(y)fX(vy)dyh(v) = \int_{y=-\infty}^{y=+\infty}\frac{1}{y}f_Y(y) f_X\left (\frac{v}{y} \right ) dy También sabemos que , fY(y)=120fY(y)=120f_Y(y) = \frac{1}{20} h(v)=120∫y=10y=−101y⋅12dyh(v)=120∫y=−10y=101y⋅12dyh(v)= \frac{1}{20} \int_{y=-10}^{y=10} \frac{1}{y}\cdot \frac{1}{2}dy h(v)=140∫y=10y=−101ydyh(v)=140∫y=−10y=101ydyh(v)=\frac{1}{40}\int_{y=-10}^{y=10} \frac{1}{y}dy Algo me dice, hay algo …

12 distributions  random-variable 

Digamos que quiero generar un conjunto de números aleatorios a partir del intervalo (a, b). La secuencia generada también debe tener la propiedad de que está ordenada. Puedo pensar en dos formas de lograr esto. Deje nser la longitud de la secuencia que se generará. 1er algoritmo: Let `offset = …

12 random-generation 

¿Alguien puede explicar la diferencia entre un modelo mixto y un análisis de regresión lineal? (Tengo un conocimiento muy limitado de estadísticas).

12 regression  mixed-model 

Tengo datos para los que calculé la correlación de Spearman y quiero visualizarlos para una publicación. La variable dependiente se clasifica, la variable independiente no. Lo que quiero visualizar es más la tendencia general que la pendiente real, por lo que clasifiqué la independiente y apliqué la correlación / regresión …

12 regression  data-visualization  spearman-rho  ordered-logit  isotonic 

¿Cuáles son las formas de elegir qué núcleo daría lugar a una buena separación de datos en la salida de datos final por el núcleo PCA (análisis de componentes principales), y cuáles son las formas de optimizar los parámetros del núcleo? Los términos simples, si es posible, serían muy apreciados, …

12 pca  cross-validation  dimensionality-reduction  kernel-trick  manifold-learning 

Estoy buscando un libro de texto / apuntes de clase en aprendizaje por refuerzo. Soy aficionado a la "Introducción al aprendizaje estadístico" , pero desafortunadamente no cubren este tema. Sé que un libro de Sutton y Barto es una referencia estándar, y quizás NDP también es bueno, pero están fechados …

12 machine-learning  references