Estadísticas y Big Data

¿Alguien tiene un buen ejemplo para el pronóstico / suavizado de series temporales con el filtro de Kalman en R?

23 r  time-series  kalman-filter 

¿Cuándo preferiría usar un modelo autorregresivo condicional sobre un modelo autorregresivo simultáneo al modelar datos aéreos georreferenciados autocorrelacionados?

23 modeling  spatial 

En dos artículos en 1986 y 1988 , Connor y Korajczyk propusieron un enfoque para modelar los rendimientos de los activos. Dado que estas series de tiempo generalmente tienen más activos que las observaciones de períodos de tiempo, propusieron realizar un PCA en covarianzas transversales de rendimientos de activos. A …

23 pca  econometrics 

¿Qué métodos generales existen para detectar fraudes, anomalías, falsificaciones, etc. en trabajos científicos producidos por un tercero? (El reciente asunto de Marc Hauser me motivó a preguntar esto ). Por lo general, por fraude electoral y contable, se cita alguna variante de la Ley de Benford . No estoy seguro …

23 meta-analysis  fraud 

Estoy buscando una alternativa a los árboles de clasificación que pueda generar un mejor poder predictivo. Los datos que estoy tratando tienen factores para las variables explicativas y explicadas. Recuerdo haber encontrado bosques aleatorios y redes neuronales en este contexto, aunque nunca los probé antes, ¿hay otro buen candidato para …

23 r  machine-learning  classification  cart 

Preguntas: Tengo una gran matriz de correlación. En lugar de agrupar correlaciones individuales, quiero agrupar variables basadas en sus correlaciones entre sí, es decir, si la variable A y la variable B tienen correlaciones similares a las variables C a Z, entonces A y B deberían ser parte del mismo …

23 correlation  clustering  correlation-matrix 

Recientemente comencé a trabajar para una clínica de tuberculosis. Nos reunimos periódicamente para analizar la cantidad de casos de TB que estamos tratando actualmente, la cantidad de pruebas administradas, etc. Me gustaría comenzar a modelar estos conteos para que no solo estemos adivinando si algo es inusual o no. Desafortunadamente, …

23 r  time-series  poisson-distribution  count-data  epidemiology 

Este es un seguimiento de una pregunta de Stackoverflow acerca de mezclar aleatoriamente una matriz . Existen algoritmos establecidos (como el Shuffle de Knuth-Fisher-Yates ) que uno debería usar para barajar una matriz, en lugar de confiar en implementaciones ad-hoc "ingenuas". Ahora estoy interesado en probar (o refutar) que mi …

23 combinatorics  randomness 

Los mecanismos de atención se han utilizado en varios documentos de Deep Learning en los últimos años. Ilya Sutskever, jefe de investigación de Open AI, los ha elogiado con entusiasmo: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Eugenio Culurciello de la Universidad de Purdue ha afirmado que las RNN y LSTM deben abandonarse en favor de …

23 time-series  deep-learning  lstm  rnn  attention 

La definición del parámetro min_child_weight en xgboost se da como: suma mínima de peso de instancia (hessian) necesaria en un niño. Si el paso de partición del árbol da como resultado un nodo hoja con una suma de peso de instancia menor que min_child_weight, entonces el proceso de construcción abandonará …

23 machine-learning  xgboost  hessian 

Estoy tratando de tener una idea de los méritos y los inconvenientes relativos, así como los diferentes dominios de aplicación de estos dos esquemas MCMC. ¿Cuándo usarías cuál y por qué? Cuándo podría uno fallar pero el otro no (por ejemplo, dónde es aplicable HMC pero SMC no, y viceversa) …

23 mcmc  random-walk  particle-filter  probabilistic-programming  hmc 

He visto dos tipos de formulaciones de pérdida logística. Podemos mostrar fácilmente que son idénticos, la única diferencia es la definición de la etiqueta yyy . Formulación / notación 1, y∈{0,+1}y∈{0,+1}y \in \{0, +1\} : L ( y, βTx ) = - yIniciar sesión( p ) - ( 1 - …

23 logistic  generalized-linear-model  notation  loss-functions 

Esta pregunta se migró de Stack Overflow porque se puede responder en Cross Validated. Migrado hace 3 años . En las estadísticas estamos haciendo regresiones lineales, el comienzo de ellas. En general, sabemos que cuanto mayor sea el , mejor, pero ¿hay alguna situación en la que un alto sería …

23 regression  r-squared 

En inferencia estadística , problema 9.6b, se menciona una "Región de mayor densidad (HDR)". Sin embargo, no encontré la definición de este término en el libro. Un término similar es la más alta densidad posterior (HPD). Pero no encaja en este contexto, ya que 9.6b no menciona nada sobre un …

23 confidence-interval  estimation  definition  credible-interval  highest-density-region 

Me preguntaba cuáles son los diferentes casos de uso para los dos algoritmos, Descenso de coordenadas y Descenso de gradiente . Sé que el descenso coordinado tiene problemas con las funciones no uniformes, pero se usa en algoritmos populares como SVM y LASSO. Sin embargo, creo que el descenso de …

23 optimization  gradient-descent