La población es el conjunto de entidades en estudio. Por ejemplo, la altura media de los hombres. Esta es una población hipotética porque incluye a todos los hombres que han vivido, están vivos y vivirán en el futuro. Me gusta este ejemplo porque lleva a casa el punto de que nosotros, como analistas, elegimos la población que deseamos estudiar. Por lo general, es imposible encuestar / medir a toda la población porque no todos los miembros son observables (por ejemplo, hombres que existirán en el futuro). Si es posible enumerar a toda la población, a menudo es costoso hacerlo y tomaría mucho tiempo. En el ejemplo anterior tenemos una población "hombres" y un parámetro de interés, su altura.
En cambio, podríamos tomar un subconjunto de esta población llamado muestra y usar esta muestra para sacar inferencias sobre la población en estudio, dadas algunas condiciones. Por lo tanto, podríamos medir la altura media de los hombres en una muestra de la población a la que llamamos estadística y usarla para hacer inferencias sobre el parámetro de interés en la población. Es una inferencia porque habrá cierta incertidumbre e imprecisión al sacar conclusiones sobre la población basadas en una muestra. Esto debería ser obvio: tenemos menos miembros en nuestra muestra que nuestra población, por lo tanto, hemos perdido algo de información.
Hay muchas formas de seleccionar una muestra y el estudio de esto se llama teoría de muestreo. Un método de uso común se llama muestreo aleatorio simple (SRS). En SRS, cada miembro de la población tiene la misma probabilidad de ser incluido en la muestra, de ahí el término "aleatorio". Existen muchos otros métodos de muestreo, por ejemplo, muestreo estratificado, muestreo por conglomerados, etc., todos los cuales tienen sus ventajas y desventajas.
Es importante recordar que la muestra que extraemos de la población es solo una de una gran cantidad de muestras potenciales. Si diez investigadores estuvieran estudiando la misma población, sacando sus propias muestras, entonces podrían obtener diferentes respuestas. Volviendo a nuestro ejemplo anterior, cada uno de los diez investigadores puede llegar a una altura media diferente de los hombres, es decir, la estadística en cuestión (altura media) varía de una muestra a otra; tiene una distribución llamada distribución de muestreo. Podemos usar esta distribución para comprender la incertidumbre en nuestra estimación del parámetro de población.
Se sabe que la distribución muestral de la media muestral es una distribución normal con una desviación estándar igual a la desviación estándar de la muestra dividida por el tamaño de la muestra. Debido a que esto podría confundirse fácilmente con la desviación estándar de la muestra, es más común llamar a la desviación estándar de la distribución de muestreo el error estándar .