Estadísticas y Big Data

¿Cómo saber si las correlaciones en diferentes rezagos obtenidos de la correlación cruzada (función ccf) de dos series de tiempo son significativas.

13 r  statistical-significance  cross-correlation 

El teorema de Gauss-Markov nos dice que el estimador OLS es el mejor estimador lineal imparcial para el modelo de regresión lineal. Pero supongamos que no me importa la linealidad y la imparcialidad. Entonces, ¿hay algún otro estimador (posible no lineal / sesgado) para el modelo de regresión lineal que …

13 regression  unbiased-estimator 

Tengo un montón de artículos que presentan "OR" con un IC del 95% (intervalos de confianza). Quiero estimar a partir de los artículos el valor P para el OR observado. Para eso, necesito una suposición con respecto a la distribución OR. ¿Qué distribución puedo asumir / usar con seguridad?

13 distributions  odds-ratio 

¿Puede alguien explicarme la diferencia entre el método de los momentos y el GMM (método general de los momentos), su relación y cuándo se debe usar uno u otro?

13 estimation  method-of-moments  generalized-moments 

Recientemente comencé a enseñarme a mí mismo el Aprendizaje automático y el Análisis de datos. Me encuentro con un obstáculo en la necesidad de crear y consultar grandes conjuntos de datos. Me gustaría tomar datos que he estado agregando en mi vida profesional y personal y analizarlos, pero no estoy …

13 data-mining  dataset  eda 

Esta pregunta ya tiene respuestas aquí : Algoritmo de retropropagación (2 respuestas) Cerrado hace 3 meses . ¿Qué es el algoritmo de retropropagación y cómo funciona?

13 algorithms  optimization  neural-networks 

Con el conocimiento limitado que tengo sobre SVM, es bueno para una matriz de datos corta y gruesa (muchas características, y no demasiadas instancias), pero no para grandes datos.XXX Entiendo que una razón es que Kernel Matrix es una matriz donde, es el número de instancias en los datos. Si …

13 machine-learning  svm  large-data 

Estoy trabajando en un problema de regresión lineal muy grande, con un tamaño de datos tan grande que deben almacenarse en un grupo de máquinas. Será demasiado grande para agregar todas las muestras en la memoria de una sola máquina (incluso el disco) Para hacer la regresión de estos datos, …

13 regression  linear  large-data 

Estoy a cargo de presentar los resultados de las pruebas A / B (ejecutadas en variaciones del sitio web) en mi empresa. Ejecutamos la prueba durante un mes y luego verificamos los valores p a intervalos regulares hasta que alcancemos la significación (o la abandonamos si no se alcanza la …

13 hypothesis-testing  statistical-significance  bias  ab-test  optimal-stopping 

Estas dos expresiones me confundieron mucho cuando estaba aprendiendo estadísticas. Me parece que son cosas totalmente diferentes. Una muestra aleatoria es tomar una muestra aleatoria de una población, mientras que una variable aleatoria es como una función que asigna el conjunto de todos los resultados posibles de un experimento a …

13 mathematical-statistics  random-variable  terminology  sample 

Mi pregunta proviene del siguiente hecho. He estado leyendo publicaciones, blogs, conferencias, así como libros sobre aprendizaje automático. Mi impresión es que los profesionales del aprendizaje automático parecen ser indiferentes a muchas cosas que les interesan a los estadísticos / econométricos. En particular, los profesionales del aprendizaje automático enfatizan la …

13 machine-learning  self-study  inference 

¿Tiene sentido el costo de la entropía cruzada en el contexto de la regresión (en oposición a la clasificación)? Si es así, ¿podría dar un ejemplo de juguete a través de TensorFlow? ¿Si no, porque no? Estaba leyendo acerca de la entropía cruzada en Redes Neurales y Aprendizaje Profundo por …

13 regression  entropy  tensorflow  cross-entropy 

Entiendo que una de las razones por las que la regresión logística se usa con frecuencia para predecir las tasas de clics en la web es que produce modelos bien calibrados. ¿Hay una buena explicación matemática para esto?

13 regression  logistic 

La coincidencia de puntaje de propensión se usa para hacer inferencias causales en estudios observacionales (ver el artículo de Rosenbaum / Rubin ). ¿Cuál es la simple intuición detrás de por qué funciona? En otras palabras, ¿por qué si nos aseguramos de que la probabilidad de participar en el tratamiento …

13 causality  regression-strategies  propensity-scores  confounding 

Estoy usando scikit-learn para realizar una regresión logística con validación cruzada en un conjunto de datos (aproximadamente 14 parámetros con> 7000 observaciones normalizadas). También tengo un clasificador de destino que tiene un valor de 1 o 0. El problema que tengo es que, independientemente del solucionador utilizado, sigo recibiendo advertencias …

13 logistic  cross-validation  scikit-learn