Respeto la postura de @ Glen_b sobre la forma correcta de responder aquí (y ciertamente no tengo la intención de restarle importancia), pero no puedo resistirme a señalar un ejemplo particularmente entretenido que esté cerca de mi casa. A riesgo de politizar las cosas y perjudicar el propósito de esta pregunta, recomiendo Wagenmakers, Wetzels, Boorsboom y Van Der Maas (2011) . Cité esto en una publicación relacionada en el Beta SE de Cognitive Sciences ( ¿Cómo explica la ciencia cognitiva la intencionalidad distante y la función cerebral en los receptores? ), Que considera otro ejemplo de "un dardo golpeando al gato". Sin embargo, el artículo de Wagenmakers y sus colegas comenta directamente sobre un verdadero "aullador": fue publicado en JPSP (una de las revistas más grandes en psicología) Hace unos pocos años. También argumentan más en general a favor del análisis bayesiano y que:
Para convencer a una audiencia escéptica de un reclamo controvertido, uno debe realizar estudios estrictamente confirmatorios y analizar los resultados con pruebas estadísticas que sean conservadoras en lugar de liberales.
Probablemente no necesito decirte que esto no fue exactamente una predicación al coro. FWIW, también hay una refutación (como siempre parece haber entre bayesianos y frecuentistas; ( Bem, Utts, & Johnson, 2011 ) , pero tengo la sensación de que no se cerró exactamente el debate .
La psicología como comunidad científica ha tenido un poco de réplica recientemente, en parte debido a esta y otras deficiencias metodológicas de alto perfil. Otros comentarios aquí apuntan a casos similares a lo que antes se conocían como correlaciones de vudú en la neurociencia social (¿cómo es eso para BTW políticamente incorrecto? El documento ha sido retitulado; Vul, Harris, Winkielman y Pashler, 2009 ). Eso también atrajo su refutación , que puede ver para más debate sobre prácticas altamente discutibles.
Para obtener aún más entretenimiento educativo a expensas (más despersonalizadas) de los (pseudo) estadísticos que se comportan mal, vea nuestra octava pregunta más votada aquí en CV con otro título (incorrecto) políticamente incorrecto, " ¿Qué son los pecados estadísticos comunes? " Su OP @MikeLawrence atribuye su inspiración a su estudio paralelo de psicología y estadística. Es uno de mis favoritos personales, y sus respuestas son muy útiles para evitar los innumerables escollos que existen.
En lo personal, he pasado gran parte de mis últimos cinco meses aquí en gran medida porque es increíblemente difícil obtener estadísticas sólidas sobre ciertas preguntas analíticas de datos. Francamente, la revisión por pares a menudo no es muy rigurosa en absoluto, especialmente en términos de escrutinio estadístico de la investigación en ciencias más jóvenes con preguntas complejas y muchas complicaciones epistémicas. Por lo tanto, he sentido la necesidad de asumir la responsabilidad personal de pulir los métodos en mi propio trabajo.
Mientras presentaba mi investigación de tesis , me di cuenta de la importancia de la responsabilidad personal para el escrutinio estadístico. Dos psicólogos excepcionales en mi alma mater intervinieron que estaba cometiendo uno de los pecados más básicos en mis interpretaciones de correlaciones. Me había pensado por encima de eso, y ya había enseñado a estudiantes universitarios varias veces sobre eso, pero aún así fui y me llamaron (desde el principio, gracias a Dios). ¡Fui allí porque la investigación que estaba revisando y replicando fue allí! Así terminé agregando varias secciones a mi disertación eso llamó a esos otros investigadores a asumir la causalidad de los estudios longitudinales cuasiexperimentales (a veces incluso de correlaciones transversales) e ignorar las explicaciones alternativas prematuramente.
Mi tesis fue aceptada sin revisiones por mi comité, que incluía a otro psicometrista excepcional y el que pronto sería presidente de SPSP (que publica JPSP), pero para ser sincero una vez más, no estoy presumiendo al decir esto. Desde entonces, he logrado perforar varios agujeros de conejo en mis propios métodos a pesar de pasar el proceso de revisión externa con revisores perfectamente buenos. Ahora he caído en el extremo profundo de las estadísticas al tratar de conectarlas con métodos más apropiados para el modelado predictivo de clasificaciones de Likert como SEM, IRT y análisis no paramétrico (consulte Pruebas de regresión después de la reducción de dimensiones) Estoy optando voluntariamente por pasar años en un artículo que probablemente podría publicar tal como está ... Creo que incluso me queda un estudio de simulación antes de poder proceder concienzudamente.
Sin embargo, enfatizo que esto es opcional, tal vez incluso demasiado celoso y un lujo costoso en medio de la cultura de publicar o perecer que a menudo enfatiza la cantidad sobre la calidad en los registros de trabajo de la primera carrera. La aplicación errónea de modelos paramétricos para datos continuos a distribuciones que violan los supuestos de datos ordinales es demasiado común en mi campo, al igual que la interpretación errónea y la tergiversación de la significación estadística (ver Acomodando vistas arraigadas de valores p ). Podría salirse con la suya (a corto plazo) ... y ni siquiera es tan difícil hacerlo mejor que eso. Sin embargo, supongo que tengo varios años recientes de increíbles avances en los programas de R para agradecer eso. Espero que los tiempos estén cambiando.
Referencias
· Bem, DJ, Utts, J. y Johnson, WO (2011). ¿Deben los psicólogos cambiar la forma en que analizan sus datos? Revista de Personalidad y Psicología Social, 101 (4), 716–719. Recuperado de http://deanradin.com/evidence/Bem2011.pdf .
· Vul, E., Harris, C., Winkielman, P. y Pashler, H. (2009). Correlaciones asombrosamente altas en los estudios de resonancia magnética funcional de la emoción, la personalidad y la cognición social. Perspectives on Psychological Science, 4 (3), 274–290. Recuperado de http://www.edvul.com/pdf/VulHarrisWinkielmanPashler-PPS-2009.pdf .
·Wagenmakers, EJ, Wetzels, R., Borsboom, D. y Van der Maas, H. (2011). Por qué los psicólogos deben cambiar la forma en que analizan sus datos: el caso de psi. Revista de Personalidad y Psicología Social, 100 , 426–432. Recuperado de http://mpdc.mae.cornell.edu/Courses/MAE714/Papers/Bem6.pdf .