¿El sesgo bajo en una muestra es sinónimo de varianza alta?

8

¿Es cierto lo siguiente?

sesgo bajo = varianza
alta sesgo alto = varianza baja

Entiendo el sesgo alto y bajo, pero ¿cómo es diferente la varianza? ¿O son los sinónimos anteriores?

machine-learning  neural-networks  variance  sampling  bias 
— siempre curioso
fuente
La variación realmente no tiene nada que ver con el sesgo.
— Michael R. Chernick
¿Es esta una pregunta genérica sobre muestreo estadístico? Si es así, desetiquete las redes neuronales . Si se trata específicamente de redes neuronales, explique por qué y agregue más contexto.
— smci

Respuestas:

26

No. Puedes tener ambas altas o ambas bajas al mismo tiempo. Aquí hay un ejemplo ilustrativo. fuente de imagen y artículo También le recomiendo que lea el artículo de donde proviene esta imagen.

ingrese la descripción de la imagen aquí

La razón por la que tiene esa impresión es que en la "edad temprana" del aprendizaje automático, existe un concepto llamado compensación de variación de sesgo (como mencionó @Kodiologist, este concepto sigue siendo cierto y es un concepto fundamental de los modelos de ajuste actuales).

  • Cuando aumenta la complejidad del modelo, aumenta la varianza y se reduce el sesgo
  • cuando se regulariza el modelo, se incrementa el sesgo y se reduce la varianza.

En la reciente conferencia sobre el curso de aprendizaje profundo de Andrew Ng, mencionó que en el marco de aprendizaje profundo reciente (con una gran cantidad de datos), la gente habla menos sobre el intercambio. En cambio, hay formas de reducir solo la varianza y no aumentar el sesgo (por ejemplo, aumentar el tamaño de los datos de entrenamiento), como viceversa.

— Haitao Du
fuente
Gracias, ¿tienes el enlace al artículo?
— curioso
3
Las observaciones de Andrew Ng probablemente estaban relacionadas con el aprendizaje automático de "big data". Tanto la teoría como la práctica sugieren que cuando el tamaño de los datos es pequeño, el equilibrio entre sesgo y varianza es muy importante.
— Martin L
3
La compensación todavía se presenta con bastante frecuencia en el presente. Por ejemplo, la regresión regularizada obtiene su ventaja predictiva sobre OLS al cambiar la varianza por sesgo de una manera que aumenta la precisión en la red. Además, es fácil encontrar un estimador imparcial que tenga demasiada varianza para ser útil, y un estimador de varianza 0 que tenga demasiado sesgo para ser útil.
— Kodiólogo
2
@Kodiologist gracias por el comentario. Revisé mi respuesta, espero que sea mejor.
— Haitao Du
1
Yah, ¡definitivamente me gusta más ahora!
— Matthew Drury
2

La diferencia entre sesgo y varianza es la misma que entre precisión y precisión :

ingrese la descripción de la imagen aquí

  • La precisión de un sistema de medición es qué tan cerca se acerca al valor real (verdadero) de una cantidad. (≈ sesgo)

  • La precisión de un sistema de medición es el grado en que las mediciones repetidas dan los mismos resultados. (≈ varianza)

— Eric Duminil
fuente
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.