Estadísticas y Big Data

Tengo curiosidad acerca de una afirmación hecha en el artículo de Wikipedia sobre el tamaño del efecto . Específicamente: [...] una comparación estadística no nula siempre mostrará resultados estadísticamente significativos a menos que el tamaño del efecto de la población sea exactamente cero No estoy seguro de lo que esto …

21 hypothesis-testing 

En estadística, ¿independiente y aleatorio describen las mismas características? ¿Cual es la diferencia entre ellos? A menudo nos encontramos con la descripción como "dos variables aleatorias independientes" o "muestreo aleatorio". Me pregunto cuál es la diferencia exacta entre ellos. ¿Alguien puede explicar esto y dar algunos ejemplos? por ejemplo, proceso …

21 distributions  sampling  randomness 

Considere la regresión de cresta con una restricción adicional que requiere que tenga una unidad de suma de cuadrados (equivalente, varianza de unidad); si es necesario, se puede suponer que tiene una unidad de suma de cuadrados: Yy^y^\hat{\mathbf y}yy\mathbf y β^∗λ=argmin{∥y−Xβ∥2+λ∥β∥2}s.t.∥Xβ∥2=1.β^λ∗=arg⁡min{‖y−Xβ‖2+λ‖β‖2}s.t.‖Xβ‖2=1.\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: …

21 pca  regularization  ridge-regression  partial-least-squares  constrained-regression 

He estado leyendo algunas preguntas sobre t-SNE ( t-Distributed Stochastic Neighbor Embedded ) últimamente, y también visité algunas preguntas sobre MDS ( Multidimensional Scaling ). A menudo se usan de manera análoga, por lo que parecía una buena idea hacer esta pregunta, ya que aquí hay muchas preguntas sobre ambas …

21 data-visualization  dimensionality-reduction  multidimensional-scaling  tsne 

¿Cuándo debemos discretizar / bin variables / características independientes y cuándo no? Mis intentos de responder la pregunta: En general, no debemos bin, porque binning perderá información. El binning en realidad aumenta el grado de libertad del modelo, por lo que es posible causar un ajuste excesivo después del binning. …

21 machine-learning  continuous-data  feature-construction  binning 

Fondo: Sí, la máquina de Boltzmann restringida (RBM) PUEDE usarse para iniciar los pesos de una red neuronal. También puede ser utilizado de una manera "capa por capa" para construir una red profunda creencia (es decir, para entrenar a un capa -ésima en la parte superior de ( n - …

21 machine-learning  neural-networks  deep-learning  deep-belief-networks  rbm 

Basado en el poco conocimiento que tengo sobre los métodos MCMC (Markov chain Monte Carlo), entiendo que el muestreo es una parte crucial de la técnica antes mencionada. Los métodos de muestreo más utilizados son Hamiltonian y Metropolis. ¿Hay alguna manera de utilizar el aprendizaje automático o incluso el aprendizaje …

21 machine-learning  mcmc  monte-carlo  markov-process 

Mi pregunta surgió de una discusión con @whuber en los comentarios de una pregunta diferente . Específicamente, el comentario de @whuber fue el siguiente: Una razón por la que puede sorprenderle es que los supuestos subyacentes a una prueba de correlación y una prueba de pendiente de regresión son diferentes, …

21 regression  correlation  p-value  assumptions 

Muchos archivos PDF varían de menos a infinito positivo, sin embargo, algunos medios están definidos y otros no. ¿Qué rasgo común hace que algunos sean computables?

21 distributions  mean 

Tengo entendido que incluso cuando se siguen los procedimientos adecuados de validación cruzada y selección de modelos, se producirá un sobreajuste si se busca un modelo lo suficientemente difícil , a menos que se impongan restricciones en la complejidad del modelo, punto. Además, a menudo las personas intentan aprender las …

21 machine-learning  cross-validation  goodness-of-fit  scikit-learn  caret 

¿Por qué las personas usan técnicas de programación cuadrática (como SMO) cuando se trata de SVM kernelized? ¿Qué hay de malo en el descenso de gradiente? ¿Es imposible de usar con los núcleos o es demasiado lento (y por qué?). Aquí hay un poco más de contexto: tratando de entender …

21 svm  kernel-trick  gradient-descent 

Hace poco, estaba trabajando en el aprendizaje de algoritmos de refuerzo, como adaboost, aumento de gradiente, y he sabido que el árbol de aprendizaje débil más utilizado es el árbol. Realmente quiero saber si hay algunos ejemplos recientes exitosos (me refiero a algunos artículos o artículos) para usar redes neuronales …

21 neural-networks  deep-learning  boosting  ensemble  dropout 

En aras de la simplicidad, digamos que estoy trabajando en el ejemplo clásico de correos electrónicos no deseados / no deseados. Tengo un conjunto de 20000 correos electrónicos. De estos, sé que 2000 son spam, pero no tengo ningún ejemplo de correos electrónicos que no sean spam. Me gustaría predecir …

21 machine-learning  predictive-models  unsupervised-learning  supervised-learning  semi-supervised 

¿Qué es "logístico" acerca de la distribución logística, en sentido común? ¿Cuál es la etimología y la lógica léxica del nombre, no solo la definición matemática pura?

21 terminology  history  etymology  logistic-curve  logistic-distribution 

EDITAR: como esta pregunta se ha inflado, un resumen: encontrar diferentes conjuntos de datos significativos e interpretables con las mismas estadísticas mixtas (media, mediana, rango medio y sus dispersiones asociadas y regresión). El cuarteto Anscombe (ver ¿ Propósito de visualizar datos de alta dimensión? ) Es un famoso ejemplo de …

21 regression  descriptive-statistics  curve-fitting  estimators