Estadísticas y Big Data

Mientras tanto, estoy estudiando LASSO (operador de selección y contracción menos absoluta). Veo que el valor óptimo para el parámetro de regularización se puede elegir mediante validación cruzada. También veo en la regresión de crestas y en muchos métodos que aplican la regularización, podemos usar CV para encontrar el parámetro …

11 lasso  regularization  shrinkage 

Estoy tratando de incrustar aproximadamente 60 millones de frases en un espacio vectorial , luego calcular la similitud de coseno entre ellas. He estado usando sklearn's CountVectorizercon una función de tokenizador personalizada que produce unigramas y bigrams. Resulta que para obtener representaciones significativas, tengo que permitir un gran número de …

11 machine-learning  natural-language  word2vec  word-embeddings  cosine-similarity 

Quiero detectar si la colinealidad es un problema en mi regresión OLS. Entiendo que los factores de inflación de varianza y el índice de condición son dos medidas comúnmente utilizadas, pero me resulta difícil encontrar algo definitivo sobre los méritos de cada enfoque, o cuáles deberían ser los puntajes. Sería …

11 multiple-regression  references  least-squares  multicollinearity  vif 

Estoy aprendiendo sobre la selección de funciones. Puedo ver por qué sería importante y útil para la construcción de modelos. Pero centrémonos en las tareas de aprendizaje supervisado (clasificación). ¿Por qué es importante la selección de características para las tareas de clasificación? Veo mucha literatura escrita sobre la selección de …

11 feature-selection  accuracy  regression-strategies 

Tengo que calcular la estimación de densidad de kernel 2d (kde) a partir de una lista de coordenadas de latitud y longitud. Pero un grado en latitud no es la misma distancia que un grado en longitud, esto significa que los núcleos individuales serían ovales, especialmente cuanto más lejos esté …

11 spatial  kernel-smoothing  geostatistics  geography 

Supongamos que quiero aprender un clasificador que toma un vector de números como entrada y le da una etiqueta de clase como salida. Mis datos de entrenamiento consisten en una gran cantidad de pares de entrada-salida. Sin embargo, cuando vengo a probar algunos datos nuevos, estos datos generalmente solo están …

11 machine-learning  classification  neural-networks  deep-learning 

Estoy leyendo un artículo cuyo método se basa completamente en la prueba de razón de probabilidad. El autor dice que la prueba LR contra alternativas unilaterales es UMP. Él procede afirmando que "... incluso cuando [la prueba LR] no se puede demostrar que es uniformemente más potente, la prueba LR …

11 hypothesis-testing  power-analysis  power  likelihood-ratio  neyman-pearson-lemma 

Estoy usando el proceso Gaussiano (GP) para la regresión. En mi problema, es bastante común que dos o más puntos de datos estén cerca uno del otro, relativamente a la longitud escalas del problema. Además, las observaciones pueden ser extremadamente ruidosas. Para acelerar los cálculos y mejorar la precisión de …

11 regression  machine-learning  gaussian-process 

Dada la fórmula para la estimación MAP de un parámetro ¿Por qué se necesita un enfoque MCMC (o similar), ¿no podría simplemente tomar la derivada, establecerla en cero y luego resolver el parámetro?

11 bayesian  estimation  mcmc 

Cuando me enteré del previo de Jeffreys en mi clase de inferencia estadística de posgrado, mis profesores hicieron que pareciera interesante, principalmente por razones históricas y no porque alguien lo usaría alguna vez. Luego, cuando tomé el análisis de datos bayesianos, nunca se nos pidió que usáramos los antecedentes de …

11 bayesian  prior  jeffreys-prior 

He estado pensando en algo desde hace algún tiempo, y dado que no soy muy competente en teoría de la probabilidad, pensé que este podría ser un buen lugar para hacer esta pregunta. Esto es algo que se me ocurrió en las largas colas del transporte público. Suponga que está …

11 probability 

Si un equipo de investigadores realiza pruebas múltiples (hipótesis) en un conjunto de datos dado, existe un volumen de literatura que afirma que deberían usar alguna forma de corrección para pruebas múltiples (Bonferroni, etc.), incluso si las pruebas son independientes. Mi pregunta es esta: ¿se aplica esta misma lógica a …

11 hypothesis-testing  multiple-comparisons 

Sé que usamos para estimar la varianza de una población. Recuerdo un video de Khan Academy donde la intuición dada era que nuestra media estimada probablemente esté un poco fuera de la real, por lo que las distancias realidad serían mayores, por lo que dividimos por menos ( lugar de …

11 variance  sample 

Debo confesar que anteriormente no había oído hablar de ese término en ninguna de mis clases, licenciatura o posgrado. ¿Qué significa que una regresión logística sea bayesiana? Estoy buscando una explicación con una transición de logística regular a logística bayesiana similar a la siguiente: Esta es la ecuación en el …

11 regression  logistic  bayesian  multiple-regression  generalized-linear-model 

Identifiqué varios lugares en los libros de texto donde el GLM se describe con 5 distribuciones (a saber, gamma, gaussiano, binomial, gaussiano inverso y Poisson). Esto también se ejemplifica en la función familiar en R. Ocasionalmente me encuentro con referencias al GLM donde se incluyen distribuciones adicionales ( ejemplo ). …

11 r  probability  distributions  generalized-linear-model