1. Herb Clark (1973; siguiendo a Coleman, 1964) describe un ejemplo famoso en psicología y lingüística: "La falacia del lenguaje como efecto fijo: una crítica de las estadísticas del lenguaje en la investigación psicológica".
Clark es un psicolingüista que discute experimentos psicológicos en los que una muestra de sujetos de investigación responde a un conjunto de materiales de estímulo, comúnmente varias palabras extraídas de algún corpus. Señala que el procedimiento estadístico estándar utilizado en estos casos, basado en ANOVA de medidas repetidas, y referido por Clark como , trata a los participantes como un factor aleatorio pero (quizás implícitamente) trata los materiales de estímulo (o "lenguaje") como fijo Esto lleva a problemas en la interpretación de los resultados de las pruebas de hipótesis sobre el factor de condición experimental: naturalmente, queremos suponer que un resultado positivo nos dice algo sobre la población de la que extrajimos nuestra muestra participante y la población teórica de la que extrajimos Los materiales del lenguaje. Pero FF1 , al tratar a los participantes como aleatorios y a los estímulos como fijos, solo nos informa sobre el efecto del factor de condición en otros participantes similares que respondenexactamente a los mismos estímulos. Llevar a cabo elanálisis F 1 cuando tanto los participantes como los estímulos se ven más apropiadamente como aleatorios puede conducir a tasas de error de Tipo 1 que exceden sustancialmente elnivel α nominal, generalmente 0.05, y la extensión depende de factores como el número y la variabilidad de estímulos y el diseño del experimento. En estos casos, el análisis más adecuado, al menos en el marco clásico ANOVA, es utilizar lo que se llama cuasi- F estadísticas basadas en las proporciones decombinaciones lineales deF1F1αF cuadrados medios.
El artículo de Clark causó un gran revuelo en la psicolingüística en ese momento, pero no logró hacer una gran mella en la literatura psicológica más amplia. (E incluso dentro de la psicolingüística, el consejo de Clark se distorsionó un poco con el paso de los años, como lo documentan Raaijmakers, Schrijnemakers y Gremmen, 1999). Pero en años más recientes, el tema ha visto un resurgimiento, debido en gran parte a los avances estadísticos. en modelos de efectos mixtos, de los cuales el modelo mixto clásico ANOVA puede verse como un caso especial. Algunos de estos documentos recientes incluyen Baayen, Davidson y Bates (2008), Murayama, Sakaki, Yan y Smith (2014) y ( ejem ) Judd, Westfall y Kenny (2012). Estoy seguro de que hay algunos que estoy olvidando.
2. No exactamente. No son métodos de conseguir en si un factor es mejor incluye como un efecto aleatorio o no en el modelo en absoluto (véase, por ejemplo, Pinheiro y Bates, 2000, pp 83-87;. Sin embargo ver Barr, Levy, Scheepers, y Tily, 2013). Y, por supuesto, existen técnicas clásicas de comparación de modelos para determinar si un factor se incluye mejor como efecto fijo o no (es decir,pruebas ). Pero creo que determinar si un factor se considera mejor como fijo o aleatorio generalmente es mejor dejarlo como una pregunta conceptual, que debe responderse considerando el diseño del estudio y la naturaleza de las conclusiones que se extraigan de él.F
A uno de mis instructores de estadística graduados, Gary McClelland, le gustaba decir que quizás la pregunta fundamental de la inferencia estadística es: "¿Comparado con qué?" Siguiendo a Gary, creo que podemos enmarcar la pregunta conceptual que mencioné anteriormente como: ¿Cuál es la clase de referencia de resultados experimentales hipotéticos con los que quiero comparar mis resultados observados reales? Manteniéndome en el contexto de la psicolingüística, y considerando un diseño experimental en el que tenemos una muestra de Sujetos que responden a una muestra de Palabras que se clasifican en una de dos Condiciones (el diseño particular discutido extensamente por Clark, 1973), me enfocaré en dos posibilidades:
- El conjunto de experimentos en el que, para cada experimento, extraemos una nueva muestra de Sujetos, una nueva muestra de Palabras y una nueva muestra de errores del modelo generativo. Bajo este modelo, Temas y Palabras son ambos efectos aleatorios.
- El conjunto de experimentos en el que, para cada experimento, extraemos una nueva muestra de Sujetos y una nueva muestra de errores, pero siempre usamos el mismo conjunto de Palabras . Según este modelo, los sujetos son efectos aleatorios, pero las palabras son efectos fijos.
Para hacer esto totalmente concreto, a continuación se presentan algunas gráficas de (arriba) 4 conjuntos de resultados hipotéticos de 4 experimentos simulados bajo el Modelo 1; (abajo) 4 conjuntos de resultados hipotéticos de 4 experimentos simulados bajo el Modelo 2. Cada experimento ve los resultados de dos maneras: (paneles de la izquierda) agrupados por Sujetos, con los medios Sujeto por Condición trazados y unidos para cada Sujeto; (paneles de la derecha) agrupados por palabras, con cuadros que resumen la distribución de respuestas para cada palabra. Todos los experimentos involucran 10 sujetos que responden a 10 palabras, y en todos los experimentos la "hipótesis nula" de ninguna diferencia de condición es verdadera en la población relevante.
Sujetos y palabras al azar: 4 experimentos simulados
Observe aquí que en cada experimento, los perfiles de respuesta para los Sujetos y las Palabras son totalmente diferentes. Para los Sujetos, a veces tenemos respuestas generales bajas, a veces respondedores altos, a veces Sujetos que tienden a mostrar grandes diferencias de Condición, y a veces Sujetos que tienden a mostrar una pequeña diferencia de Condición. Del mismo modo, para las palabras, a veces obtenemos palabras que tienden a provocar respuestas bajas, y a veces obtenemos palabras que tienden a generar respuestas altas.
Sujetos al azar, palabras fijas: 4 experimentos simulados
Observe aquí que a través de los 4 experimentos simulados, los Sujetos se ven diferentes cada vez, pero los perfiles de respuestas para las Palabras se ven básicamente iguales, consistentes con el supuesto de que estamos reutilizando el mismo conjunto de Palabras para cada experimento bajo este modelo.
Nuestra elección de si creemos que el Modelo 1 (Sujetos y palabras son al azar) o el Modelo 2 (Sujetos al azar, Palabras fijas) proporciona la clase de referencia adecuada para los resultados experimentales que observamos realmente puede marcar una gran diferencia en nuestra evaluación de si la manipulación de la Condición "trabajó." Esperamos una mayor variación de probabilidad en los datos bajo el Modelo 1 que bajo el Modelo 2, porque hay más "partes móviles". Entonces, si las conclusiones que deseamos extraer son más consistentes con los supuestos del Modelo 1, donde la variabilidad de probabilidad es relativamente más alta, pero analizamos nuestros datos bajo los supuestos del Modelo 2, donde la variabilidad de probabilidad es relativamente menor, entonces nuestro error Tipo 1 La tasa para probar la diferencia de condición se inflará en cierta medida (posiblemente bastante). Para obtener más información, consulte las referencias a continuación.
Referencias
Baayen, RH, Davidson, DJ y Bates, DM (2008). Modelado de efectos mixtos con efectos aleatorios cruzados para sujetos y artículos. Revista de memoria y lenguaje, 59 (4), 390-412. PDF
Barr, DJ, Levy, R., Scheepers, C. y Tily, HJ (2013). Estructura de efectos aleatorios para la prueba de hipótesis confirmatoria: manténgala al máximo. Revista de memoria y lenguaje, 68 (3), 255-278. PDF
Clark, HH (1973). La falacia del lenguaje como efecto fijo: una crítica de las estadísticas del lenguaje en la investigación psicológica. Revista de aprendizaje verbal y comportamiento verbal, 12 (4), 335-359. PDF
Coleman, EB (1964). Generalizando a una población lingüística. Informes psicológicos, 14 (1), 219-226.
Judd, CM, Westfall, J. y Kenny, DA (2012). Tratar los estímulos como un factor aleatorio en la psicología social: una solución nueva e integral a un problema generalizado pero en gran parte ignorado. Revista de personalidad y psicología social, 103 (1), 54. PDF
Murayama, K., Sakaki, M., Yan, VX y Smith, GM (2014). Inflación de errores tipo I en el análisis tradicional por participante para la precisión de la metamemoria: una perspectiva del modelo de efectos mixtos generalizados. Revista de psicología experimental: aprendizaje, memoria y cognición. PDF
Pinheiro, JC y Bates, DM (2000). Modelos de efectos mixtos en S y S-PLUS. Saltador.
Raaijmakers, JG, Schrijnemakers, J. y Gremmen, F. (1999). Cómo lidiar con “la falacia del lenguaje como efecto fijo”: conceptos erróneos comunes y soluciones alternativas. Revista de memoria y lenguaje, 41 (3), 416-426. PDF