Parece haber algo en nuestra comprensión humana que crea dificultades para comprender intuitivamente la idea de variación. En un sentido estricto, la respuesta es inmediata: la cuadratura nos saca de nuestra comprensión reflexiva. Pero, ¿es solo la varianza la que presenta problemas, o es la idea completa de propagación en los datos? Buscamos refugio en el rango, o simplemente estableciendo el mínimo y el máximo, pero ¿estamos evitando la verdadera dificultad? En la media (moda o mediana) encontramos el centro, el resumen ... una simplificación; la variación extiende las cosas y las hace sentir incómodas El hombre primitivo ciertamente usaría la media para cazar animales triangulando a la oración, pero supongo que fue mucho más tarde cuando sentimos la necesidad de cuantificar la propagación de las cosas. De hecho, el término varianza fue introducido por primera vez por Ronald Fisher en 1918 en el documento "La correlación entre parientes sobre la suposición de la herencia mendeliana".
La mayoría de las personas que siguen las noticias habrían escuchado la historia del desafortunado discurso de Larry Summers sobre las aptitudes matemáticas por género , posiblemente relacionado con su partida de Harvard. En pocas palabras, sugirió una variación más amplia en la distribución de la competencia matemática entre los hombres en comparación con las mujeres, a pesar de que ambos sexos disfrutaron de la misma media. Independientemente de la pertinencia o implicaciones políticas, esto parece estar justificado en la literatura científica .
Más importante aún, tal vez la comprensión de temas como el cambio climático , por favor, perdóneme por mencionar temas que podrían llevar a discusiones completamente incalculables, podría ayudar a la población en general a mejorar la familiaridad con la idea de la variación.
El problema se agrava cuando tratamos de comprender la covarianza, como se muestra en esta publicación , con una respuesta excelente y colorida de @whuber aquí .
Puede ser tentador descartar esta pregunta como demasiado general, pero está claro que la estamos discutiendo indirectamente, como en esta publicación , donde las matemáticas son triviales, pero el concepto sigue siendo difícil de alcanzar, desmintiendo una aceptación más cómoda del rango como opuesto a la varianza de idea más matizada .
En una carta de Fisher a EBFord , refiriéndose a la controversia sobre su sospecha sobre los experimentos mendelianos, leemos: "Ahora, cuando se falsificaron los datos, sé muy bien cómo generalmente la gente subestima la frecuencia de las desviaciones de probabilidad amplia , de modo que la tendencia siempre es hacer que estén muy de acuerdo con las expectativas ... las desviaciones [en los datos de Mendel] son sorprendentemente pequeñas ". El gran RA Fisher está tan interesado en sospechar pequeñas variaciones en muestras pequeñas que escribe : "sigue siendo una posibilidad, entre otras, que Mendel haya sido engañado por un asistente que sabía muy bien lo que se esperaba".
Y es totalmente posible que este sesgo hacia la difusión de la subestimación o la incomprensión persista hoy. Si es así, ¿hay alguna explicación de por qué nos sentimos más cómodos con los conceptos de centralidad que con la dispersión? ¿Hay algo que podamos hacer para internalizar la idea?
Nassim Taleb ha hecho una fortuna aplicando su percepción (bueno, realmente de Benoit Mandelbrot ) de la comprensión defectuosa de la varianza para explotar los tiempos de crisis, y ha tratado de hacer que el concepto sea comprensible para las masas con oraciones como "la varianza de la varianza es, epistemológicamente , una medida de falta de conocimiento sobre la falta de conocimiento de la media "- sí, hay más contexto para este bocado ... Y para su crédito, también lo ha simplificado con la idea de Acción de Gracias Turquía . Se puede argumentar que la clave para invertir es comprender la varianza (y la covarianza).
Entonces, ¿por qué es tan resbaladizo y cómo remediarlo? Sin fórmulas ... solo la intuición de años de lidiar con la incertidumbre ... No sé la respuesta, pero no es matemática (necesariamente, eso es): por ejemplo, me pregunto si la idea de curtosis interfiere con la varianza. En la siguiente gráfica tenemos dos histogramas superpuestos con prácticamente la misma varianza; Sin embargo, mi reacción instintiva es que el que tiene las colas más largas y el pico más alto (curtosis más alta) está más "extendido":
