Estadísticas y Big Data

Cuando hacemos pruebas terminamos con dos resultados. 1) Rechazamos la hipótesis nula 2) No podemos rechazar la hipótesis nula. No hablamos de aceptar hipótesis alternativas. Si no hablamos de aceptar hipótesis alternativas, ¿por qué necesitamos tener hipótesis alternativas? Aquí está la actualización: ¿Podría alguien darme dos ejemplos: 1) rechazar hipótesis …

14 hypothesis-testing 

Si el valor esperado de es , ¿cuál es el valor esperado de ? ¿Se puede calcular analíticamente?Gamma(α,β)Gamma(α,β)\mathsf{Gamma}(\alpha, \beta)αβαβ\frac{\alpha}{\beta}log(Gamma(α,β))log⁡(Gamma(α,β))\log(\mathsf{Gamma}(\alpha, \beta)) La parametrización que estoy usando es la tasa de forma.

14 expected-value  gamma-distribution 

Particularmente en el contexto de las competencias de kaggle, he notado que el rendimiento del modelo tiene que ver con la selección de características / ingeniería. Si bien puedo entender completamente por qué sucede esto cuando se trata de los algoritmos ML más convencionales / de la vieja escuela, no …

14 neural-networks  deep-learning  feature-selection  feature-engineering 

Recientemente, he estado interesado en implementar un modelo de regresión beta, para un resultado que es una proporción. Tenga en cuenta que este resultado no encajaría en un contexto binomial, porque no existe un concepto significativo de un "éxito" discreto en este contexto. De hecho, el resultado es en realidad …

14 logit  beta-regression 

Mi objetivo es clasificar las señales del sensor. El concepto de mi solución hasta ahora es: i) Características de ingeniería de la señal sin procesar ii) Seleccionar características relevantes con ReliefF y un enfoque de agrupamiento iii) Aplicar NN, Bosque aleatorio y SVM Sin embargo, estoy atrapado en un dilema. …

14 feature-selection  hyperparameter  optimization 

Estaba leyendo el artículo de FaceNet y en el tercer párrafo de la introducción dice: Los enfoques anteriores de reconocimiento facial basados ​​en redes profundas usan una capa de clasificación entrenada sobre un conjunto de identidades faciales conocidas y luego toman una capa intermedia de cuello de botella como una …

14 neural-networks  image-processing 

Estoy tratando de entender el famoso artículo "Playing Atari with Deep Reinforcement Learning" ( pdf ). No estoy claro acerca de la diferencia entre una época y un episodio . En el algoritmo , el bucle externo está sobre episodios , mientras que en la figura 2 el eje x …

14 neural-networks  terminology  reinforcement-learning  q-learning 

Mi pregunta principal es con respecto a tratar de entender cómo encaja la validación cruzada k-fold en el contexto de tener conjuntos de capacitación / validación / prueba (si cabe en ese contexto). Por lo general, las personas hablan de dividir los datos en un conjunto de entrenamiento, validación y …

14 cross-validation  dataset  overfitting 

A mi entender (muy básico), Naive Bayes estima las probabilidades en función de las frecuencias de clase de cada característica en los datos de entrenamiento. Pero, ¿cómo calcula la frecuencia de las variables continuas? Y al hacer predicciones, ¿cómo clasifica una nueva observación que puede no tener los mismos valores …

14 machine-learning  classification  bayesian  naive-bayes 

Estoy tratando de aumentar el gradiente en un conjunto de datos con una tasa de eventos de aproximadamente 1% usando Enterprise miner, pero no produce ningún resultado. Mi pregunta es, dado que es un enfoque basado en un árbol de decisión, ¿es correcto usar el aumento de gradiente con un …

14 boosting  unbalanced-classes  rare-events  gradient 

En algunos tutoriales descubrí que se decía que la inicialización del peso "Xavier" (documento: Comprender la dificultad de entrenar redes neuronales de alimentación profunda ) es una forma eficiente de inicializar los pesos de las redes neuronales. Para las capas completamente conectadas, había una regla general en esos tutoriales: Var(W)=2nin+nout,simpler …

14 normal-distribution  variance  neural-networks  conv-neural-network 

¿Por qué el área bajo la curva ROC es la probabilidad de que un clasificador clasifique una instancia "positiva" elegida al azar (de las predicciones recuperadas) más alta que una instancia "positiva" elegida al azar (de la clase positiva original)? ¿Cómo se prueba matemáticamente esta afirmación usando integral, dando los …

14 probability  roc  auc 

Sé que KL Divergence no es simétrica y no puede considerarse estrictamente como una métrica. Si es así, ¿por qué se usa cuando JS Divergence satisface las propiedades requeridas para una métrica? ¿Hay escenarios en los que se puede utilizar la divergencia KL pero no la divergencia JS o viceversa?

14 probability  distributions  kullback-leibler  metric 

He leído sobre el truco log-sum-exp en muchos lugares (por ejemplo , aquí y aquí ) pero nunca he visto un ejemplo de cómo se aplica específicamente al clasificador Naive Bayes (por ejemplo, con características discretas y dos clases) ¿Cómo se evitaría exactamente el problema del desbordamiento numérico con este …

14 naive-bayes  underflow 

Estaba usando una clase SVM , implementada en scikit-learn, para mi trabajo de investigación. Pero no tengo una buena comprensión de esto. ¿Alguien puede dar una explicación simple y buena de una clase SVM ?

14 machine-learning  svm  data-mining  novelty-detection