Calcule un intervalo de confianza a partir de datos de muestra

Tengo datos de muestra para los que me gustaría calcular un intervalo de confianza, asumiendo una distribución normal.

Encontré e instalé los paquetes numpy y scipy y obtuve numpy para devolver una desviación media y estándar (numpy.mean (datos) con datos como una lista). Cualquier consejo sobre cómo obtener un intervalo de confianza de muestra sería muy apreciado.

import numpy as np
import scipy.stats


def mean_confidence_interval(data, confidence=0.95):
    a = 1.0 * np.array(data)
    n = len(a)
    m, se = np.mean(a), scipy.stats.sem(a)
    h = se * scipy.stats.t.ppf((1 + confidence) / 2., n-1)
    return m, m-h, m+h

se puede calcular así.

Aquí una versión abreviada del código de shasan, calculando el intervalo de confianza del 95% de la media de la matriz a:

import numpy as np, scipy.stats as st

st.t.interval(0.95, len(a)-1, loc=np.mean(a), scale=st.sem(a))

Pero usar StatsModels ' tconfint_meanes posiblemente incluso mejor:

import statsmodels.stats.api as sms

sms.DescrStatsW(a).tconfint_mean()

Las suposiciones subyacentes para ambos son que la muestra (matriz a) se extrajo independientemente de una distribución normal con una desviación estándar desconocida (consulte MathWorld o Wikipedia ).

Para un tamaño de muestra grande n, la media de la muestra se distribuye normalmente y se puede calcular su intervalo de confianza usando st.norm.interval()(como se sugiere en el comentario de Jaime). Pero las soluciones anteriores son correctas también para n pequeña, donde st.norm.interval()da intervalos de confianza que son demasiado estrechos (es decir, "confianza falsa"). Mira mi respuesta a una pregunta similar para obtener más detalles (y uno de los comentarios de Russ aquí).

Aquí un ejemplo donde las opciones correctas dan (esencialmente) intervalos de confianza idénticos:

In [9]: a = range(10,14)

In [10]: mean_confidence_interval(a)
Out[10]: (11.5, 9.4457397432391215, 13.554260256760879)

In [11]: st.t.interval(0.95, len(a)-1, loc=np.mean(a), scale=st.sem(a))
Out[11]: (9.4457397432391215, 13.554260256760879)

In [12]: sms.DescrStatsW(a).tconfint_mean()
Out[12]: (9.4457397432391197, 13.55426025676088)

Y finalmente, el resultado incorrecto usando st.norm.interval():

In [13]: st.norm.interval(0.95, loc=np.mean(a), scale=st.sem(a))
Out[13]: (10.23484868811834, 12.76515131188166)

Comience buscando el valor z para su intervalo de confianza deseado en una tabla de búsqueda . Entonces mean +/- z*sigma, el intervalo de confianza es , donde sigmaes la desviación estándar estimada de la media de la muestra, dada por sigma = s / sqrt(n), donde ses la desviación estándar calculada a partir de los datos de la muestra y nes el tamaño de la muestra.

Comenzando Python 3.8, la biblioteca estándar proporciona el NormalDistobjeto como parte del statisticsmódulo:

from statistics import NormalDist

def confidence_interval(data, confidence=0.95):
  dist = NormalDist.from_samples(data)
  z = NormalDist().inv_cdf((1 + confidence) / 2.)
  h = dist.stdev * z / ((len(data) - 1) ** .5)
  return dist.mean - h, dist.mean + h

Esta:

• Crea un NormalDistobjeto a partir de la muestra de datos ( NormalDist.from_samples(data), que nos da acceso a la desviación estándar y media de la muestra mediante NormalDist.meany NormalDist.stdev.

• Calcule el Z-scorebasado en la distribución normal estándar (representada por NormalDist()) para la confianza dada usando el inverso de la función de distribución acumulativa ( inv_cdf).

• Produce el intervalo de confianza basado en la desviación estándar y la media de la muestra.

Esto supone que el tamaño de la muestra es lo suficientemente grande (digamos más de ~ 100 puntos) para usar la distribución normal estándar en lugar de la distribución t de estudiante para calcular el zvalor.