Estadísticas y Big Data

¿Hay algún algoritmo documentado para separar secciones de un conjunto de datos dado en diferentes curvas de mejor ajuste? Por ejemplo, la mayoría de los humanos que miran este cuadro de datos lo dividirían fácilmente en 3 partes: un segmento sinusoidal, un segmento lineal y el segmento exponencial inverso. De …

14 fitting  curve-fitting  segmentation 

La pérdida de bisagra se puede definir usando y la pérdida de registro se puede definir comomax ( 0 , 1 - yyowTXyo)max(0 0,1-yyowTXyo)\text{max}(0, 1-y_i\mathbf{w}^T\mathbf{x}_i)log ( 1 + exp( - yyowTXyo) )Iniciar sesión(1+Exp⁡(-yyowTXyo))\text{log}(1 + \exp(-y_i\mathbf{w}^T\mathbf{x}_i)) Tengo las siguientes preguntas: ¿Hay alguna desventaja en la pérdida de la bisagra (por ejemplo, …

14 machine-learning  svm  loss-functions  computer-vision 

¿Puede alguien explicarme brevemente por qué se necesitan cada uno de los seis supuestos para calcular el estimador de MCO? Solo encontré la multicolinealidad: si existe, no podemos invertir la matriz (X'X) y, a su vez, estimar el estimador general. ¿Qué pasa con los otros (por ejemplo, linealidad, cero errores …

14 least-squares  assumptions 

Mi pregunta podría reformularse como "cómo evaluar un error de muestreo utilizando grandes datos", especialmente para una publicación de revista. Aquí hay un ejemplo para ilustrar un desafío. De un conjunto de datos muy grande (> 100000 pacientes únicos y sus medicamentos recetados de 100 hospitales), me interesó estimar una …

14 confidence-interval  large-data  reporting 

Sé que la regresión de procesos gaussiana (GPR) es una alternativa al uso de splines para ajustar modelos no lineales flexibles. Me gustaría saber en qué situaciones una sería más adecuada que la otra, especialmente en el marco de regresión bayesiano. Ya he visto ¿Cuáles son las ventajas / desventajas …

14 regression  gaussian-process  splines  kriging 

Antecedentes: actualmente estoy haciendo algún trabajo comparando varios modelos jerárquicos bayesianos. Los datos son medidas numéricas de bienestar para el participante i y el tiempo j . Tengo alrededor de 1000 participantes y de 5 a 10 observaciones por participante.yyo jyyojy_{ij}yoyoijjj Al igual que con la mayoría de los conjuntos …

14 bayesian  autocorrelation  hierarchical-bayesian  deviance 

Sé que la regresión logística encuentra un hiperplano que separa las muestras de entrenamiento. También sé que Support vector machines encuentra el hiperplano con el margen máximo. Mi pregunta: ¿la diferencia entre la regresión logística (LR) y las máquinas de vectores de soporte (SVM) es que LR encuentra algún hiperplano …

14 machine-learning  classification  svm  data-mining 

Digamos que estamos interesados ​​en cómo las calificaciones de los exámenes de los estudiantes se ven afectadas por la cantidad de horas que esos estudiantes estudian. Para explorar esta relación, podríamos ejecutar la siguiente regresión lineal: exam.gradesi=a+β1×hours.studiedi+eiexam.gradesi=a+β1×hours.studiedi+ei \text{exam.grades}_i = a + \beta_1 \times \text{hours.studied}_i + e_i Pero si tomamos muestras …

14 regression  mixed-model  random-effects-model  non-independent 

Estoy un poco confundido: ¿cómo pueden los resultados de un modelo entrenado a través de caret diferir del modelo en el paquete original? Yo leo si se necesita un procesamiento previo antes de la predicción usando FinalModel de RandomForest con el paquete caret? pero no uso ningún preprocesamiento aquí. Entrené …

14 r  machine-learning  random-forest  caret  train 

Tengo un modelo lineal generalizado que adopta una distribución gaussiana y una función de enlace de registro. Después de ajustar el modelo, verifico los residuos: gráfico QQ, residuos frente a valores pronosticados, histograma de residuos (reconociendo que se necesita la debida precaución). Todo se ve bien. Esto parece sugerir (para …

14 regression  generalized-linear-model  link-function 

No puedo encontrar definiciones para tantile o medial en Wikipedia o Wolfram Mathworld, pero la siguiente explicación se da en Bílková, D. y Mala, I. (2012), " Aplicación del método del momento L al modelar la distribución del ingreso en la República Checa ", Austrian Journal of Statistics , 41 …

14 descriptive-statistics  quantiles  median  average  partial-moments 

Digamos que estoy escribiendo un algoritmo para construir un autoencoder apilado de 2 capas y una red neuronal de 2 capas. ¿Son las mismas cosas o diferencias? Lo que entiendo es que cuando construyo un codificador automático apilado, construiría capa por capa. Para la red neuronal, inicializaría todos los parámetros …

14 neural-networks  deep-learning  autoencoders 

Realicé una regresión lineal de aceptación en la universidad contra los puntajes del SAT y los antecedentes familiares / étnicos. Los datos son ficticios. Este es un seguimiento de una pregunta anterior, ya respondida. La pregunta se centra en la recopilación e interpretación de las razones de posibilidades al dejar …

14 r  regression  logistic 

Supongamos que tienes ocho corredores corriendo una carrera; la distribución de sus tiempos de ejecución individuales es Normal y cada uno tiene una media de 111111 segundos, por ejemplo. La desviación estándar del corredor uno es la más pequeña, dos la segunda más pequeña, la tercera más pequeña, etc., y …

14 probability  normal-distribution  mathematical-statistics  order-statistics 

P: ¿Cuál es la forma estándar de agrupar datos utilizando un proceso Dirichlet? Cuando se usa Gibbs, los grupos de muestreo aparecen y desaparecen durante el muestreo. Además, tenemos un problema de identificabilidad ya que la distribución posterior es invariable para los reencadenamientos de conglomerados. Por lo tanto, no podemos …

14 bayesian  clustering  mcmc  dirichlet-process  identifiability