Estadísticas y Big Data

Quiero saber cuáles son las diferencias entre el algoritmo de avance y retroceso y el algoritmo de Viterbi para inferencia en modelos ocultos de Markov (HMM).

44 algorithms  hidden-markov-model  viterbi-algorithm  forward-backward 

Comprendí que el bosque aleatorio y los árboles extremadamente aleatorios difieren en el sentido de que las divisiones de los árboles en el bosque aleatorio son deterministas, mientras que son aleatorios en el caso de los árboles extremadamente aleatorios (para ser más precisos, la siguiente división es la mejor división …

44 machine-learning  correlation  references  random-forest 

Me he dado cuenta de que hay algunas implementaciones de bosque aleatorio como ALGLIB, Waffles y algunos paquetes R como randomForest. ¿Alguien puede decirme si estas bibliotecas están altamente optimizadas? ¿Son básicamente equivalentes a los bosques aleatorios como se detalla en Los elementos del aprendizaje estadístico o se han agregado …

43 random-forest  algorithms  model-evaluation 

Quiero aprender redes neuronales. Soy un lingüista computacional. Conozco enfoques estadísticos de aprendizaje automático y puedo codificar en Python. Estoy buscando comenzar con sus conceptos y conocer uno o dos modelos populares que pueden ser útiles desde una perspectiva de Lingüística Computacional. Navegué por la web como referencia y encontré …

43 neural-networks  deep-learning  references  natural-language  computer-vision 

¿Alguien puede explicar cómo las propiedades de los registros lo hacen para que pueda hacer regresiones lineales de registro donde los coeficientes se interpretan como cambios porcentuales?

43 regression  logarithm  mathematical-statistics 

Tengo un hash SHA256 de 64 caracteres. Espero entrenar un modelo que pueda predecir si el texto sin formato utilizado para generar el hash comienza con 1 o no. Independientemente de si esto es "posible", ¿qué algoritmo sería el mejor enfoque? Mis pensamientos iniciales: Genere una gran muestra de hashes …

43 machine-learning  logistic 

Mi profesor de estadísticas básicamente dijo que si se le da uno de los siguientes tres, puede encontrar los otros dos: Función de distribución acumulativa Función generadora de momentos Función de densidad de probabilidad Pero mi profesor de econometría dijo que los CDF son más fundamentales que los PDF porque …

43 probability  pdf  cdf  mgf 

Estoy tratando de agregar una capa softmax a una red neuronal entrenada con retropropagación, así que estoy tratando de calcular su gradiente. La salida de softmax es hj=ezj∑ezihj=ezj∑ezih_j = \frac{e^{z_j}}{\sum{e^{z_i}}} dondejjjes el número de neurona de salida. Si lo obtengo, me sale ∂hj∂zj=hj(1−hj)∂hj∂zj=hj(1−hj)\frac{\partial{h_j}}{\partial{z_j}}=h_j(1-h_j) Similar a la regresión logística. Sin embargo, …

43 neural-networks 

Entiendo que la definición básica de endogeneidad es que no está satisfecho, pero ¿qué significa esto en un sentido del mundo real? Leí el artículo de Wikipedia, con el ejemplo de oferta y demanda, tratando de darle sentido, pero realmente no ayudó. He escuchado la otra descripción de endógeno y …

43 regression  causality  instrumental-variables 

Soy un poco nuevo en el bosque aleatorio, así que todavía estoy luchando con algunos conceptos básicos. En regresión lineal, asumimos observaciones independientes, varianza constante ... ¿Cuáles son los supuestos básicos / hipótesis que hacemos cuando usamos bosque aleatorio? ¿Cuáles son las diferencias clave entre el bosque aleatorio y las …

43 regression  classification  random-forest 

Considero el problema de la clasificación (multiclase) basada en series de tiempo de longitud variable TTT , es decir, encontrar una función f(XT)=y∈[1..K]for XT=(x1,…,xT)with xt∈Rd ,f(XT)=y∈[1..K]for XT=(x1,…,xT)with xt∈Rd ,f(X_T) = y \in [1..K]\\ \text{for } X_T = (x_1, \dots, x_T)\\ \text{with } x_t \in \mathbb{R}^d ~, través de una representación …

43 time-series  classification  feature-selection  signal-processing 

Estoy buscando una forma de generar números aleatorios que parezcan distribuidos uniformemente, y cada prueba mostrará que son uniformes, excepto que están distribuidos de manera más uniforme que los datos uniformes verdaderos . El problema que tengo con los randoms uniformes "verdaderos" es que ocasionalmente se agruparán. Este efecto es …

43 distributions  random-generation  uniform  quasi-monte-carlo 

Me pregunto si alguien conoce un compendio de técnicas de validación cruzada con una discusión sobre las diferencias entre ellos y una guía sobre cuándo usar cada una de ellas. Wikipedia tiene una lista de las técnicas más comunes, pero tengo curiosidad por saber si hay otras técnicas y si …

43 cross-validation 

Al enseñar una clase de nivel introductorio, los maestros que conozco tienden a inventar algunos números y una historia para ejemplificar el método que están enseñando. Lo que preferiría es contar una historia real con números reales. Sin embargo, estas historias deben relacionarse con un conjunto de datos muy pequeño, …

43 dataset  references  teaching 

Para algunos de nosotros, los documentos de arbitraje son parte del trabajo. Al arbitrar documentos de metodología estadística, creo que el asesoramiento de otras áreas temáticas es bastante útil, es decir, informática y matemáticas . Esta pregunta se refiere a la revisión de documentos estadísticos más aplicados. Con esto quiero …

43 journals  referee