Estadísticas y Big Data

Tengo una máquina prototipo que produce piezas. En una primera prueba, la máquina produce partes y un clasificador binario me dice que partes son defectuosas ( d_1 <N_1 , generalmente d_1 / N_1 <0.01 y N_1 \ approx10 ^ 4 ) y las partes N_1-d_1 son buenas.d 1 d 1 …

10 hypothesis-testing  statistical-significance  classification  proportion 

Dados los múltiples pliegues de validación cruzada de una regresión logística y las múltiples estimaciones resultantes de cada coeficiente de regresión, ¿cómo se debe medir si un predictor (o conjunto de predictores) es estable y significativo en función de los coeficientes de regresión? ? ¿Es esto diferente para la regresión …

10 regression  model-selection  cross-validation 

Quiero hacer una regresión lineal múltiple y luego predecir nuevos valores con poca extrapolación. Tengo mi variable de respuesta en el rango de -2 a +7, y tres predictores (los rangos de +10 - +200). La distribución es casi normal. Pero la relación entre la respuesta y los predictores no …

10 regression  data-transformation 

Si selecciono a 232 personas de un grupo de 363 personas sin reemplazo, ¿cuál es la probabilidad de que 2 de una lista de 12 personas específicas estén en esa selección? Este es un sorteo aleatorio para una carrera ultra donde había 363 participantes para 232 puestos. Existe un argumento …

10 combinatorics  randomness  hypergeometric 

Es difícil para mí aceptar que Donald Rubin alguna vez inventará una verdadera técnica. Sin embargo, esa es mi percepción del BESD [ 1 , 2 , 3 ]. El artículo original de Rosenthal y Rubin (1982) afirmaba que era valioso mostrar "cómo reestructurar cualquier correlación de momento de producto …

10 interpretation  effect-size 

Estoy modelando algunos datos donde creo que tengo dos efectos aleatorios cruzados. Pero el conjunto de datos no está equilibrado, y no estoy seguro de qué se debe hacer para tenerlo en cuenta. Mis datos son un conjunto de eventos. Un evento ocurre cuando un cliente se reúne con un …

10 r  mixed-model  random-effects-model  logistic 

Tengo el siguiente modelo lineal: Para abordar la heteroscedasticidad residual, he tratado de aplicar una transformación logarítmica en la variable dependiente como Iniciar sesión( Y+ 1 )Iniciar sesión⁡(Y+1)\log(Y + 1) pero todavía veo el mismo efecto de abanico en los residuos. Los valores de DV son relativamente pequeños, por lo …

10 regression  data-transformation  linear-model  heteroscedasticity 

¿Cuáles son buenas estrategias para realizar la regresión del proceso gaussiano cuando la función que intento aproximar cambia con el tiempo? El enfoque ingenuo que me viene a la mente es usar solo los N puntos de datos más recientes para realizar la regresión. ¿Cuáles son las mejores estrategias?

10 regression  online  gaussian-process 

Durante un tiempo, parecía que Fisher Kernels podría volverse popular, ya que parecían ser una forma de construir núcleos a partir de modelos probabilísticos. Sin embargo, rara vez los he visto utilizados en la práctica, y tengo la buena autoridad de que tienden a no funcionar muy bien. Se basan …

10 machine-learning  probability  kernel-trick  generative-models 

Tengo muchos problemas con un conjunto de datos al que estoy tratando de aplicar SEM. Suponemos la existencia de 5 factores latentes A, B, C, D, E, con indicadores resp. A1 a A5 (factores ordenados), B1 a B3 (cuantitativo), C1, D1, E1 (los tres últimos factores ordenados, con solo 2 …

10 r  modeling  multiple-regression  sem 

Estoy tratando de pronosticar las ventas de productos en máquinas expendedoras. El problema es que la máquina se llena a intervalos irregulares y en cada llenado solo podemos registrar las ventas agregadas desde el último llenado de la máquina (es decir, no tenemos datos de ventas diarias). Básicamente, tenemos datos …

10 time-series  forecasting 

Tengo acceso a un conjunto de datos muy grande. Los datos provienen de grabaciones MEG de personas que escuchan extractos musicales, de uno de los cuatro géneros. Los datos son los siguientes: 6 sujetos 3 repeticiones experimentales (épocas) 120 ensayos por época 8 segundos de datos por prueba a 500Hz …

10 machine-learning  feature-selection  large-data  feature-construction 

Básicamente, hay dos formas comunes de aprender contra grandes conjuntos de datos (cuando te enfrentas a restricciones de tiempo / espacio): Hacer trampa :): use solo un subconjunto "manejable" para el entrenamiento. La pérdida de precisión puede ser insignificante debido a la ley de rendimientos decrecientes: el rendimiento predictivo del …

10 machine-learning  large-data  model-evaluation  train 

Un problema común es que ML es de baja calidad de los datos: errores en los valores de las características, instancias mal clasificadas, etc. Una forma de abordar este problema es revisar manualmente los datos y verificarlos, pero ¿existen otras técnicas? (¡Apuesto a que sí!) ¿Cuáles son mejores y por …

10 data-cleaning 

Una técnica de procesamiento de señales, la frecuencia de Mel Cepstrum , se usa a menudo para extraer información de una pieza musical para usarla en una tarea de aprendizaje automático. Este método proporciona un espectro de potencia a corto plazo, y los coeficientes se utilizan como entrada. Al diseñar …

10 machine-learning  classification  signal-processing  mfcc