Estadísticas y Big Data

En general, en un problema de clasificación donde el objetivo es predecir con precisión la pertenencia a una clase fuera de la muestra, ¿cuándo no debo usar un clasificador de conjunto? Esta pregunta está estrechamente relacionada con ¿Por qué no usar siempre el aprendizaje conjunto? . Esa pregunta pregunta por …

17 classification  boosting  ensemble  bagging 

La tendencia central, la propagación y la asimetría pueden definirse relativamente bien, al menos de manera intuitiva; Las medidas matemáticas estándar de estas cosas también corresponden relativamente bien a nuestras nociones intuitivas. Pero la curtosis parece ser diferente. Es muy confuso y no coincide bien con ninguna intuición sobre la …

17 descriptive-statistics  kurtosis  teaching  l-moments 

¿Alguien puede explicarme las diferencias reales entre el análisis de regresión y el ajuste de curvas (lineal y no lineal), con un ejemplo si es posible? Parece que ambos intentan encontrar una relación entre dos variables (dependiente frente a independiente) y luego determinan el parámetro (o coeficiente) asociado con los …

17 regression  multiple-regression  fitting  roc  curve-fitting 

Se me pide que encuentre los valores p para estadísticas descriptivas. Sin embargo, entiendo que los valores p son para estadísticas de prueba. Si no me equivoco, un valor p es la probabilidad de observar un valor tan extremo como el estadístico de prueba si la hipótesis nula fuera cierta.

17 hypothesis-testing  descriptive-statistics  inference 

Dibuje aleatoriamente nnn intervalos de , donde cada punto final A, B se selecciona de la distribución uniforme entre .[0,1][0,1][0,1][0,1][0,1][0,1] ¿Cuál es la probabilidad de que al menos un intervalo se superponga con todos los demás?

17 probability 

He (aproximadamente) escuchado que: El ensacado es una técnica para reducir la varianza de un algoritmo de predicción / estimador / aprendizaje. Sin embargo, nunca he visto una prueba matemática formal de esta afirmación. ¿Alguien sabe por qué esto es matemáticamente cierto? Simplemente parece ser un hecho tan ampliamente aceptado …

17 machine-learning  mathematical-statistics  bagging 

Tengo algunos datos que ajusté usando un modelo LOESS en R, dándome esto: Los datos tienen un predictor y una respuesta, y es heteroscedastic. También agregué intervalos de confianza. El problema es que los intervalos son intervalos de confianza para la línea, mientras que estoy interesado en los intervalos de …

17 r  regression  prediction-interval  loess 

Soy nuevo en las redes neuronales recurrentes (RNN) y sigo aprendiendo los conceptos. Entiendo en un nivel abstracto que una Red de estado de eco (ESN) puede (re) producir una secuencia de entradas, es decir, una señal, incluso después de que la entrada se haya eliminado. Sin embargo, el artículo …

17 neural-networks 

Tengo cuatro variables independientes uniformemente distribuidas a,b,c,da,b,c,da,b,c,d , cada una en [0,1][0,1][0,1] . Quiero calcular la distribución de (a−d)2+4bc(a−d)2+4bc(a-d)^2+4bc . Calculé la distribución de u2=4bcu2=4bcu_2=4bc para ser f2(u2)=−14lnu24f2(u2)=−14ln⁡u24f_2(u_2)=-\frac{1}{4}\ln\frac{u_2}{4} (por lo tanto,u2∈(0,4]u2∈(0,4]u_2\in(0,4]), y deu1=(a−d)2u1=(a−d)2u_1=(a-d)^2para serf1(u1)=1−u1−−√u1−−√.f1(u1)=1−u1u1.f_1(u_1)=\frac{1-\sqrt{u_1}}{\sqrt{u_1}}.Ahora, la distribución de una sumau1+u2u1+u2u_1+u_2es (u1,u2u1,u2u_1,\, u_2 también son independientes)fu1+u2(x)=∫+∞−∞f1(x−y)f2(y)dy=−14∫401−x−y−−−−√x−y−−−−√⋅lny4dy,fu1+u2(x)=∫−∞+∞f1(x−y)f2(y)dy=−14∫041−x−yx−y⋅ln⁡y4dy,f_{u_1+u_2}(x)=\int_{-\infty}^{+\infty}f_1(x-y)f_2(y)dy=-\frac{1}{4}\int_0^4\frac{1-\sqrt{x-y}}{\sqrt{x-y}}\cdot\ln\frac{y}{4}dy,porquey∈(0,4]y∈(0,4]y\in(0,4]. Aquí, debe serx>yx>yx>ypara que la integral …

17 distributions  random-variable  pdf  uniform  mathematica 

Estoy volviendo a publicar una "respuesta" a una pregunta que hice hace unas dos semanas aquí: ¿Por qué es útil el Jeffreys anterior? Sin embargo, realmente era una pregunta (y tampoco tenía derecho a publicar comentarios en ese momento), así que espero que esté bien hacer esto: En el enlace …

17 bayesian  mathematical-statistics  fisher-information  jeffreys-prior  invariance 

¿Por qué las "series temporales" se llaman así? Serie significa suma de una secuencia. ¿Por qué es una serie temporal, no una secuencia temporal? ¿Es el tiempo la variable independiente?

17 time-series  self-study  references  terminology 

He trabajado bajo la creencia de que la mediana muestral es una medida más robusta de tendencia central que la media muestral, ya que ignora los valores atípicos. Por lo tanto, me sorprendió saber (en la respuesta a otra pregunta ) que para las muestras extraídas de una distribución normal, …

17 distributions  median  intuition  mean  efficiency 

Estaba leyendo la siguiente justificación (de las notas del curso cs229) sobre por qué dividimos los datos sin procesar por su desviación estándar: Aunque entiendo lo que dice la explicación, no me queda claro por qué dividir por la desviación estándar alcanzaría tal objetivo. Dice para que todos estén más …

17 machine-learning  pca  mathematical-statistics 

Me he dado cuenta de que muchos paquetes y temas de trama "de vanguardia" y mucha gente de datos distinguidos usan un fondo gris para sus tramas. Aquí hay varios ejemplos: ggplot2: Fivethirtyeight.com de Nate Silver: Mientras que en el primer ejemplo anterior (ggplot2), se puede argumentar que el uso …

17 data-visualization  ggplot2 

De acuerdo con este artículo de Wikipedia , uno puede representar el producto de las probabilidades x⋅ycomo -log(x) - log(y)hacer que el cálculo sea más computacionalmente óptimo. Pero si intento un ejemplo, diga: p1 = 0.5 p2 = 0.5 p1 * p2 = 0.25 -log(p1) - log(p2) = 2 p3 …

17 probability  logarithm  arithmetic