Estadísticas y Big Data

Actualmente estoy tratando de entender las matemáticas de t-SNE . Desafortunadamente, todavía hay una pregunta que no puedo responder satisfactoriamente: ¿Cuál es el significado real de los ejes en un gráfico t-SNE? Si tuviera que hacer una presentación sobre este tema o incluirla en alguna publicación: ¿Cómo etiquetaría los ejes …

12 machine-learning  dimensionality-reduction  tsne 

El teorema de Halmos-Savage dice que para un modelo estadístico dominado una estadística es suficiente si (y solo si) para todos hay una versión medible de la derivada Radon Nikodym donde es un medida privilegiada tal que para y .(Ω,A,P)(Ω,A,P)(\Omega, \mathscr A, \mathscr P)T:(Ω,A,P)→(Ω′,A′)T:(Ω,A,P)→(Ω′,A′)T: (\Omega, \mathscr A, \mathscr P)\to(\Omega', \mathscr …

12 probability  mathematical-statistics  intuition  measure-theory 

Estoy realizando un modelo de regresión de Poisson con 1 variable de respuesta y 6 covariables. La selección del modelo usando AIC da como resultado un modelo con todas las covariables, así como 6 términos de interacción. Sin embargo, el BIC da como resultado un modelo con solo 2 covariables …

12 model-selection  aic  poisson-regression  bic 

Pruebas como Z, t y varias otras suponen que los datos se basan en un muestreo aleatorio. ¿Por qué? Supongamos que estoy haciendo una investigación experimental, donde me importa mucho más la validez interna que la externa. Entonces, si mi muestra podría estar un poco sesgada, está bien, ya que …

12 hypothesis-testing  sampling  parametric  randomness 

Estudié estadística hace años y lo olvidé todo, por lo que pueden parecer preguntas conceptuales generales que específicas, pero aquí está mi problema. Trabajo para un sitio web de comercio electrónico como diseñador de experiencia de usuario. Tenemos un marco de prueba A / B que fue construido hace años …

12 hypothesis-testing  sample-size  sequential-analysis 

Imagine que tenemos dos procesos de series temporales, que son estacionarios, produciendo: .xt,ytxt,ytx_t,y_t ¿Es , también estacionario?zt=αxt+βytzt=αxt+βytz_t=\alpha x_t +\beta y_t∀α,β∈R∀α,β∈R\forall \alpha, \beta \in \mathbb{R} Cualquier ayuda sería apreciada. Yo diría que sí, ya que tiene una representación MA.

12 time-series  stochastic-processes  stationarity 

Contexto Un grupo de científicos sociales y estadísticos ( Benjamin et al., 2017 ) han sugerido recientemente que la tasa típica de falsos positivos ( = .05) utilizada como umbral para determinar la "significación estadística" debe ajustarse a un umbral más conservador. ( = .005). Un grupo competitivo de científicos …

12 hypothesis-testing  p-value  power  type-i-and-ii-errors 

La normalización por lotes se ha acreditado con mejoras sustanciales de rendimiento en redes neuronales profundas. Un montón de material en Internet muestra cómo implementarlo en una activación por activación. Ya implementé backprop usando álgebra matricial, y dado que estoy trabajando en lenguajes de alto nivel (mientras confío en Rcpp(y …

12 machine-learning  neural-networks  deep-learning  backpropagation  batch-normalization 

Y X ∼ χ 2 ( n - 1 ) Y ∼ Beta ( nXXX e son variables aleatorias distribuidas independientemente donde e . ¿Cuál es la distribución de ?YYYX∼χ2(n−1)X∼χ(n−1)2X\sim\chi^2_{(n-1)}Y∼Beta(n2−1,n2−1)Y∼Beta(n2−1,n2−1)Y\sim\text{Beta}\left(\frac{n}{2}-1,\frac{n}{2}-1\right)Z=(2Y−1)X−−√Z=(2Y−1)XZ=(2Y-1)\sqrt X La densidad conjunta de viene dada por(X,Y)(X,Y)(X,Y) fX,Y(x,y)=fX(x)fY(y)=e−x2xn−12−12n−12Γ(n−12)⋅yn2−2(1−y)n2−2B(n2−1,n2−1)1{x>0,0<y<1}fX,Y(x,y)=fX(x)fY(y)=e−x2xn−12−12n−12Γ(n−12)⋅yn2−2(1−y)n2−2B(n2−1,n2−1)1{x>0,0<y<1}f_{X,Y}(x,y)=f_X(x)f_Y(y)=\frac{e^{-\frac{x}{2}}x^{\frac{n-1}{2}-1}}{2^{\frac{n-1}{2}}\Gamma\left(\frac{n-1}{2}\right)}\cdot\frac{y^{\frac{n}{2}-2}(1-y)^{\frac{n}{2}-2}}{B\left(\frac{n}{2}-1,\frac{n}{2}-1\right)}\mathbf1_{\{x>0\,,\,00\,,\,|z|

12 self-study  distributions  mathematical-statistics  random-variable 

El siguiente problema ha sido publicado en la página de Facebook de Mensa International: \quad\quad\quad\quad\quad\quad\quad\quad La publicación en sí recibió más de 1000 comentarios, pero no entraré en detalles sobre el debate allí, ya que sé que esta es la paradoja de Bertrand y la respuesta es . Lo que …

12 r  probability  simulation  monte-carlo  paradox 

He estado explorando una serie de herramientas para pronosticar, y he encontrado que los Modelos Aditivos Generalizados (GAM) tienen el mayor potencial para este propósito. ¡Los GAM son geniales! Permiten especificar modelos complejos de manera muy sucinta. Sin embargo, esa misma brevedad me está causando cierta confusión, específicamente con respecto …

12 r  modeling  gam  mgcv 

Imagine que un investigador está explorando un conjunto de datos y ejecuta 1000 regresiones diferentes y encuentra una relación interesante entre ellos. Ahora imagine que otro investigador con los mismos datos ejecuta solo 1 regresión, y resulta que es el mismo que el otro investigador tomó 1000 regresiones para encontrar. …

12 bayesian  multiple-regression  multiple-comparisons  inference  theory 

Mi colega quiere analizar algunos datos después de transformar la variable de respuesta elevándola a la potencia de (es decir, ). y0.1251818\frac18y0,125y0.125y^{0.125} Me siento incómodo con esto, pero me cuesta articular por qué. No se me ocurre ninguna razón mecanicista para esta transformación. Tampoco lo he visto antes, y me …

12 regression  data-transformation  aic 

Cerrada . Esta pregunta está basada en la opinión . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que pueda ser respondida con hechos y citas editando esta publicación . Cerrado hace 2 años . Actualmente estoy en una clase de regresión lineal, pero no …

12 regression  machine-learning  linear  teaching 

¿Cómo funciona realmente la estimación de parámetros / Entrenamiento de regresión logística? Trataré de poner lo que tengo hasta ahora. La salida es y la salida de la función logística en forma de probabilidad dependiendo del valor de x: P(y=1|x)=11+e−ωTx≡σ(ωTx)P(y=1|x)=11+e−ωTx≡σ(ωTx)P(y=1|x)={1\over1+e^{-\omega^Tx}}\equiv\sigma(\omega^Tx) P(y=0|x)=1−P(y=1|x)=1−11+e−ωTxP(y=0|x)=1−P(y=1|x)=1−11+e−ωTxP(y=0|x)=1-P(y=1|x)=1-{1\over1+e^{-\omega^Tx}} Para una dimensión, las llamadas Probabilidades se definen de …

12 regression  logistic  likelihood