Estadísticas y Big Data

En las estadísticas frecuentistas, un intervalo de confianza del 95% es un procedimiento que produce intervalos que, si se repite un número infinito de veces, contendría el parámetro verdadero el 95% del tiempo. ¿Por qué es útil esto? Los intervalos de confianza a menudo se malinterpretan. Son no un intervalo …

11 hypothesis-testing  bayesian  mathematical-statistics  confidence-interval  frequentist 

A menudo la gente les habla sobre el préstamo de información o el intercambio de información en modelos jerárquicos bayesianos. Parece que no puedo obtener una respuesta directa sobre lo que esto realmente significa y si es exclusivo de los modelos jerárquicos bayesianos. Tengo una idea: algunos niveles en su …

11 machine-learning  bayesian  multilevel-analysis  terminology  hierarchical-bayesian 

Según tengo entendido, lo es (al menos, así es como lo define Wikipedia ). Pero he encontrado esta declaración de Efron * (énfasis agregado): La cadena de Markov Monte Carlo (MCMC) es la gran historia de éxito de las estadísticas bayesianas modernas. MCMC y su método hermano "muestreo de Gibbs" …

11 mcmc  gibbs 

(Esta pregunta está inspirada en este comentario de Xi'an ). Es bien sabido que si la distribución anterior es adecuada y la probabilidad está bien definida, entonces la distribución posterior es apropiado casi con seguridad.π(θ)π(θ)\pi(\theta)L(θ|x)L(θ|x)L(\theta | x)π(θ|x)∝π(θ)L(θ|x)π(θ|x)∝π(θ)L(θ|x)\pi(\theta|x)\propto \pi(\theta) L(\theta|x) En algunos casos, utilizamos en cambio una probabilidad moderada o exponencial, …

11 bayesian  prior  posterior 

Me gustaría probar mi modelo entrenado en un conjunto de datos desequilibrado. ¿Hay algún algoritmo disponible para generar datos sintéticos a partir de un conjunto de datos etiquetado equilibrado (spam / no spam)?

11 unbalanced-classes  synthetic-data 

¿Por qué se eligió el símbolo para denotar la correlación del momento del producto de Pearson?rrr

11 correlation  history 

Según tengo entendido, las CNN consisten en dos partes. La primera parte (capas conv / pool) que realiza la extracción de características y la segunda parte (capas fc) que realiza la clasificación de las características. Dado que las redes neuronales completamente conectadas no son los mejores clasificadores (es decir, la …

11 neural-networks  svm  random-forest  conv-neural-network 

Si sigue una distribución de Cauchy, entonces Y = ˉ X = 1XXXtambién sigue exactamente la misma distribución queX; vereste hilo.Y= X¯= 1norte∑nortei = 1XyoY=X¯=1n∑i=1nXiY = \bar{X} = \frac{1}{n} \sum_{i=1}^n X_iXXX ¿Esta propiedad tiene un nombre? ¿Hay alguna otra distribución para la que esto sea cierto? EDITAR Otra forma de …

11 distributions  expected-value  central-limit-theorem  cauchy 

Estoy trabajando en un proyecto que implica leer etiquetas RFID y comparar la intensidad de la señal que ve el lector cuando cambia la configuración de la antena (número de antena, posición, etc.). Como parte del proyecto, necesito comparar las configuraciones para ver cuáles son las más efectivas. Idealmente, podría …

11 data-transformation  linear-model  descriptive-statistics 

Realicé una regresión lineal que resultó con un resultado significativo, sin embargo, cuando verifiqué la linealidad del diagrama de dispersión, no estaba seguro de que los datos fueran lineales. ¿Hay alguna otra forma de probar la linealidad sin inspeccionar el diagrama de dispersión? ¿Podría la regresión lineal ser significativa si …

11 regression 

Mi curso de estadísticas acaba de enseñarme que una variable aleatoria discreta tiene un número finito de opciones ... No me había dado cuenta de eso. Pensé que, como un conjunto de enteros, podría ser infinito. Buscar en Google y consultar varias páginas web, incluidas algunas de cursos universitarios, no …

11 random-variable  discrete-data 

Un colega tiene una función para nuestros propósitos es una caja negra. La función mide la similitud s ( a , b ) de dos objetos.ssss ( a , b )s(a,b)s(a,b) Sabemos con certeza que tiene estas propiedades:sss Los puntajes de similitud son números reales entre 0 y 1, inclusive. …

11 kernel-trick  distance  similarities  rbf-kernel 

Tengo dificultades para comprender la forma del intervalo de confianza de una regresión polinómica. Aquí hay un ejemplo artificial, . La figura de la izquierda muestra el UPV (varianza de predicción sin escala) y el gráfico de la derecha muestra el intervalo de confianza y los puntos medidos (artificiales) en …

11 regression  confidence-interval 

Sea una secuencia de variables aleatorias distribuidas de forma independiente e idéntica con la función de densidad de probabilidad; Muestre queX1,X2,…X1,X2,…X_1,X_2,\ldotsf(x)={12x2e−x0if x>0;otherwise.f(x)={12x2e−xif x>0;0otherwise. f(x) = \left\{ \begin{array}{ll} \frac{1}{2}x^2 e^{-x} & \mbox{if $x>0$};\\ 0 & \mbox{otherwise}.\end{array} \right. limn→∞P[X1+X2+…+Xn≥3(n−n−−√)]≥12limn→∞P[X1+X2+…+Xn≥3(n−n)]≥12\lim_{n\to \infty} P[X_1+X_2+\ldots+X_n\ge 3(n-\sqrt{n})] \ge \frac{1}{2} Lo que intenté A primera vista, pensé que …

11 probability  self-study 

Deje xx\mathbf{x} ser un vector aleatorio extraído de PPP . Considere una muestra {xi}ni=1∼i.i.d.P{xi}i=1n∼i.i.d.P\{ \mathbf{x}_i \}_{i=1}^n \stackrel{i.i.d.}{\sim} P . Definir x¯n:=1n∑ni=1xix¯n:=1n∑i=1nxi\bar{\mathbf{x}}_n := \frac{1}{n} \sum_{i=1}^n \mathbf{x}_i, y C :=1C^:=1n∑ni=1(xi−x¯n)(xi−x¯n)⊤C^:=1n∑i=1n(xi−x¯n)(xi−x¯n)⊤\hat{C} := \frac{1}{n} \sum_{i=1}^n (\mathbf{x}_i - \bar{\mathbf{x}}_n) (\mathbf{x}_i - \bar{\mathbf{x}}_n)^\top. Seay.μ:=Ex∼P[x]μ:=Ex∼P[x]\boldsymbol{\mu} := \mathbb{E}_{\mathbf{x}\sim P}[\mathbf{x}]C:=covx∼P[x,x]C:=covx∼P[x,x]C:=\mathrm{cov}_{\mathbf{x} \sim P}[\mathbf{x}, \mathbf{x}] Según el teorema del límite central, …

11 normality-assumption  central-limit-theorem  asymptotics  quadratic-form