¿Cuáles son ejemplos de la vida real de "modelos estadísticos no paramétricos"?

11

Estoy leyendo el artículo de Wikipedia sobre modelos estadísticos aquí , y estoy algo perplejo en cuanto al significado de "modelos estadísticos no paramétricos", específicamente:

Un modelo estadístico no es paramétrico si el conjunto de parámetros es de dimensión infinita. Un modelo estadístico es semiparamétrico si tiene parámetros de dimensión finita e infinita. Formalmente, si es la dimensión de y es el número de muestras, ambos modelos semiparamétricos y no paramétricos tienen como . Si como , entonces el modelo es semiparamétrico; de lo contrario, el modelo no es paramétrico. $\Theta$ $d$ $\Theta$ $n$ $d \rightarrow \infty$ $n \rightarrow \infty$ $d/n \rightarrow 0$ $n \rightarrow \infty$

Entiendo que si la dimensión , (supongo que significa literalmente, el número de parámetros) de un modelo es finita, entonces este es un modelo paramétrico.

Lo que no tiene sentido para mí es cómo podemos tener un modelo estadístico que tenga un número infinito de parámetros, de modo que podamos llamarlo "no paramétrico". Además, incluso si ese fuera el caso, ¿por qué el "no", si de hecho hay un número infinito de dimensiones? Por último, dado que estoy llegando a esto desde un contexto de aprendizaje automático, ¿hay alguna diferencia entre este "modelo estadístico no paramétrico" y decir "modelos de aprendizaje automático no paramétrico"? Finalmente, ¿cuáles podrían ser algunos ejemplos concretos de tales "modelos dimensionales infinitos no paramétricos"?

nonparametric model

— Creatron
fuente

3

Usando otra página Wiki ( en.wikipedia.org/wiki/… ): 'Los modelos no paramétricos difieren de los modelos paramétricos en que la estructura del modelo no se especifica a priori sino que se determina a partir de los datos. El término no paramétrico no implica que dichos modelos carecen por completo de parámetros, sino que el número y la naturaleza de los parámetros son flexibles y no están fijados de antemano. entonces no paramétrico no tiene un número infinito de parámetros sino un número desconocido de parámetros.

— Riff

Tengo una duda. En los modelos no paramétricos, definimos la estructura del modelo a priori. Por ejemplo, en árboles de decisión (que es un modelo no paramétrico) definimos max_depth. Entonces, ¿cómo puede decir que este parámetro es realmente aprendido / determinado a partir de los datos en sí y no predeterminado por nosotros?

— Amarpreet Singh

4

Como Johnnyboycurtis ha respondido, los métodos no paramétricos son aquellos que no suponen la distribución de la población o el tamaño de la muestra para generar un modelo.

Un modelo k-NN es un ejemplo de un modelo no paramétrico, ya que no considera ningún supuesto para desarrollar un modelo. Un Naive Bayes o K-means es un ejemplo de paramétrico, ya que supone una distribución para crear un modelo.

Por ejemplo, K-means asume lo siguiente para desarrollar un modelo Todos los grupos son esféricos (iid Gaussian). Todos los ejes tienen la misma distribución y, por lo tanto, varianza. Todos los grupos son de tamaño uniforme.

En cuanto a k-NN, utiliza el conjunto completo de entrenamiento para la predicción. Calcula los vecinos más cercanos desde el punto de prueba para la predicción. No supone distribución para crear un modelo.

Para más información:

— prashanth
fuente

¿Puedes ampliar esto por favor? ¿Por qué KNN es un ejemplo de no paramétrico y por qué K-means podría serlo? Son esos detalles los que busco, especialmente ejemplos de métodos no paramétricos, y por qué / cómo no tienen una suposición sobre la distribución de la población. ¡Gracias!

— Creatron

@Creatron He modificado la respuesta para obtener más explicaciones.

— prashanth

3

Entonces, creo que te faltan algunos puntos. Primero, y lo más importante,

Un método estadístico se llama no paramétrico si no asume la distribución de la población o el tamaño de la muestra.

Aquí hay un tutorial simple (aplicado) sobre algunos modelos no paramétricos: http://www.r-tutor.com/elementary-statistics/non-parametric-methods

Un investigador puede decidir usar un modelo no paramétrico frente a un modelo paramétrico, por ejemplo, la regresión no paramétrica frente a la regresión lineal, porque los datos violan los supuestos del modelo paramétrico. Dado que proviene de un entorno de ML, supongo que nunca aprendió los supuestos típicos del modelo de regresión lineal. Aquí hay una referencia: https://statistics.laerd.com/spss-tutorials/linear-regression-using-spss-statistics.php

El incumplimiento de los supuestos puede sesgar las estimaciones de sus parámetros y, en última instancia, aumentar el riesgo de conclusiones no válidas. Un modelo no paramétrico es más robusto para los valores atípicos, las relaciones no lineales, y no depende de muchos supuestos de distribución de la población, por lo tanto, puede proporcionar resultados más dignos de confianza al intentar hacer inferencias o predicciones.

Para un tutorial rápido sobre regresión no paramétrica, recomiendo estas diapositivas: http://socserv.socsci.mcmaster.ca/jfox/Courses/Oxford-2005/slides-handout.pdf

— Jon
fuente

Gracias por los enlaces, los revisaré. Sin embargo, una cosa es cómo se supone que debemos unir esto con el "número infinito de parámetros" que forman un modelo "no paramétrico". Gracias

— Creatron

No hay citas para ese "número infinito de parámetros", así que no puedo comentar. Nunca he visto una referencia al tema del modelo estadístico no paramétrico, por lo que necesitaría ver una referencia antes de poder proporcionar una respuesta / interpretación. Por ahora, me preocuparía por los supuestos de modelos específicos frente a un campo completo.

— Jon

El artículo de wikipedia citado en mi pregunta se refiere a la dimensionalidad infinita. Literalmente: "Un modelo estadístico no es paramétrico si el conjunto de parámetros es de dimensión infinita". ¿Qué significa esto? Esto es a lo que me estoy refiriendo.

— Creatron

Lo sé. Pero Wikipedia no proporciona una cita para esa declaración. No puedo confiar en algo sin una referencia.

— Jon

3

Actualmente estoy tomando un curso sobre aprendizaje automático, donde utilizamos la siguiente definición de modelos no paramétricos: "Los modelos no paramétricos crecen en complejidad con el tamaño de los datos".

Modelo paramétrico

Para ver qué significa, echemos un vistazo a la regresión lineal, un modelo paramétrico: allí intentamos predecir una función parametrizada en : La dimensionalidad de w es independiente del número de observaciones, o el tamaño de sus datos. $w \in ℝ ^d$

f (x) = w^{T} x

$f(x) = w^Tx$

Modelos no paramétricos

En cambio, la regresión del núcleo intenta predecir la siguiente función: donde tenemos puntos de datos, son los pesos es la función del núcleo. Aquí el número de parámetros es dependiente del número de puntos de datos .

f (x) = \sum_{i = 1}^{n} α_{i} k (x_{i}, x)

$f(x) = \sum_{i=1}^n \alpha_i k(x_i, x)$

n

$n$

α_{i}

$\alpha_i$

k (x_{i}, x)

$k(x_i, x)$

α_{i}

$\alpha_i$

n

$n$

Lo mismo es cierto para el perceptrón kernelized:

f (x) = s i g n (\sum_{i = 1}^{n} α_{i} y_{i} k (x_{i}, x)))

$f(x) = sign( \sum_{i=1}^n \alpha_i y_i k(x_i,x)))$

Volvamos a su definición y digamos que d era el número de . Si dejamos entonces . Eso es exactamente lo que pide la definición de Wikipedia. $\alpha_i$ $n \to \infty$ $d \to \infty$

Tomé la función de regresión del kernel de mis diapositivas de lectura y la función de perceptrón kernelized de wikipedia: https://en.wikipedia.org/wiki/Kernel_method

— sop_se
fuente