Preguntas etiquetadas con agreement-statistics

5
¿Cómo puedo lidiar mejor con los efectos de los marcadores con diferentes niveles de generosidad en la calificación de los documentos de los estudiantes?
Alrededor de 600 estudiantes tienen un puntaje en una evaluación extensa, que se puede suponer que tiene buena fiabilidad / validez. La evaluación se califica entre 100 y es una prueba de opción múltiple marcada por computadora. Esos 600 estudiantes también tienen puntajes en una segunda evaluación menor. En esta …
2
Fiabilidad entre evaluadores para eventos en una serie temporal con incertidumbre sobre el tiempo del evento
Tengo múltiples codificadores independientes que están tratando de identificar eventos en una serie de tiempo, en este caso, viendo videos de conversaciones cara a cara y buscando comportamientos no verbales particulares (por ejemplo, cabezazos) y codificando el tiempo y la categoría de cada uno. evento. Estos datos podrían tratarse razonablemente …
2
¿Cómo puedo usar estos datos para calibrar marcadores con diferentes niveles de generosidad en la calificación de los documentos de los estudiantes?
12 maestros están enseñando a 600 estudiantes. Las 12 cohortes impartidas por estos maestros varían en tamaño de 40 a 90 estudiantes, y esperamos diferencias sistemáticas entre las cohortes, ya que los estudiantes graduados fueron asignados desproporcionadamente a cohortes particulares, y la experiencia previa ha demostrado que los estudiantes graduados …
1
¿Calculando la confiabilidad entre evaluadores en R con un número variable de clasificaciones?
Wikipedia sugiere que una forma de ver la confiabilidad entre evaluadores es usar un modelo de efectos aleatorios para calcular la correlación intraclase . El ejemplo de correlación intraclase habla de mirar σ2ασ2α+ σ2ϵσα2σα2+σϵ2\frac{\sigma_\alpha^2}{\sigma_\alpha^2+\sigma_\epsilon^2} de un modelo Yyo j= μ + αyo+ ϵyo jYyoj=μ+αyo+ϵyojY_{ij} = \mu + \alpha_i + \epsilon_{ij} …
4
Coeficiente de correlación de Matthews con multiclase
Coeficiente de correlación de Matthews (MCCMCC\textrm{MCC}) es una medida para medir la calidad de una clasificación binaria ([Wikipedia] [1]). MCCMCC\textrm{MCC}La formulación se da para la clasificación binaria utilizando verdaderos positivos (TPTPTP), falsos positivos (FPFPFP), falsos negativos (FNFNFN) y verdaderos negativos (TNTNTN) valores como se indica a continuación: MCC=TP×TN−FP×FN(TP+FP)(TP+FN)(TN+FP)(TN+FN)−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−√MCC=TP×TN−FP×FN(TP+FP)(TP+FN)(TN+FP)(TN+FN)\textrm {MCC} = …
3
Cómo realizar SVD para imputar valores perdidos, un ejemplo concreto
He leído los excelentes comentarios sobre cómo lidiar con los valores perdidos antes de aplicar SVD, pero me gustaría saber cómo funciona con un ejemplo simple: Movie1 Movie2 Movie3 User1 5 4 User2 2 5 5 User3 3 4 User4 1 5 User5 5 1 5 Dada la matriz anterior, …
8 r  missing-data  data-imputation  svd  sampling  matlab  mcmc  importance-sampling  predictive-models  prediction  algorithms  graphical-model  graph-theory  r  regression  regression-coefficients  r-squared  r  regression  modeling  confounding  residuals  fitting  glmm  zero-inflation  overdispersion  optimization  curve-fitting  regression  time-series  order-statistics  bayesian  prior  uninformative-prior  probability  discrete-data  kolmogorov-smirnov  r  data-visualization  histogram  dimensionality-reduction  classification  clustering  accuracy  semi-supervised  labeling  state-space-models  t-test  biostatistics  paired-comparisons  paired-data  bioinformatics  regression  logistic  multiple-regression  mixed-model  random-effects-model  neural-networks  error-propagation  numerical-integration  time-series  missing-data  data-imputation  probability  self-study  combinatorics  survival  cox-model  statistical-significance  wilcoxon-mann-whitney  hypothesis-testing  distributions  normal-distribution  variance  t-distribution  probability  simulation  random-walk  diffusion  hypothesis-testing  z-test  hypothesis-testing  data-transformation  lognormal  r  regression  agreement-statistics  classification  svm  mixed-model  non-independent  observational-study  goodness-of-fit  residuals  confirmatory-factor  neural-networks  deep-learning 
1
¿Cómo realizar la confiabilidad entre evaluadores con múltiples evaluadores, diferentes evaluadores por participante y posibles cambios a lo largo del tiempo?
Los participantes fueron calificados dos veces, con las 2 clasificaciones separadas por 3 años. Para la mayoría de los participantes, las evaluaciones fueron hechas por diferentes evaluadores, pero para algunos (<10%) el mismo evaluador realizó ambas evaluaciones. Hubo 8 evaluadores en total, con 2 clasificaciones en ambos puntos de tiempo. …
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.