¿Qué se entiende por "alumno débil"?

34

¿Alguien puede decirme qué significa la frase 'estudiante débil'? ¿Se supone que es una hipótesis débil? Estoy confundido acerca de la relación entre un alumno débil y un clasificador débil. ¿Ambos son iguales o hay alguna diferencia?

En el algoritmo AdaBoost, T=10. ¿Qué se entiende por eso? ¿Por qué seleccionamos T=10?

— vrushali
fuente

1

Bienvenido al sitio, @vrushali. Edité esto para suavizar el inglés; asegúrese de que todavía diga lo que quiere decir. Además, no estoy seguro de si el segundo conjunto de preguntas (sobre adaboost) es el mismo que el primer conjunto de preguntas; Puede tener más sentido separarlos en diferentes hilos.

— gung - Restablece a Monica

35

Un alumno 'débil' (clasificador, predictor, etc.) es solo uno que tiene un desempeño relativamente pobre: su precisión está por encima del azar, pero apenas. A menudo, pero no siempre, existe la implicación adicional de que es computacionalmente simple. El alumno débil también sugiere que muchas instancias del algoritmo se agrupan (a través de refuerzo, embolsado, etc.) para crear un clasificador de conjunto "fuerte".

Se menciona en el documento original AdaBoost de Freund & Schapire:

Quizás la más sorprendente de estas aplicaciones es la derivación de una nueva aplicación para "impulsar", es decir, convertir un algoritmo de aprendizaje PAC "débil" que funciona un poco mejor que la suposición aleatoria en una con una precisión arbitrariamente alta. - (Freund y Schapire, 1995)

pero creo que la frase es en realidad más antigua que eso: he visto a personas citar un artículo final (?!) de Michael Kearns de la década de 1980.

El ejemplo clásico de un estudiante débil es un tocón de decisión, un árbol de decisión de un nivel (1R o OneR es otro estudiante débil de uso común; es bastante similar). Sería un tanto extraño llamar a un SVM un 'alumno débil', incluso en situaciones en las que tiene un desempeño deficiente, pero sería perfectamente razonable llamar a un aprendiz débil una decisión difícil, incluso cuando se desempeña sorprendentemente bien por sí mismo.

Adaboost es un algoritmo iterativo y generalmente denota el número de iteraciones o "rondas". El algoritmo comienza entrenando / probando a un alumno débil en los datos, ponderando cada ejemplo por igual. Los ejemplos que se clasifican erróneamente aumentan sus pesos para la (s) siguiente (s) ronda (s), mientras que aquellos que están clasificados correctamente obtienen sus pesos disminuidos.

T

$T$

No estoy seguro de que haya algo mágico en . En el artículo de 1995, se proporciona como un parámetro libre (es decir, lo configura usted mismo). $T=10$ $T$

— Matt Krause
fuente

Hasta donde yo sé, un DecisionStump es diferente de 1Rule. Un tocón de decisión es siempre un árbol binario de 1 nivel (para los atributos nominales y numéricos). 1 La regla puede tener más de 2 elementos secundarios (tanto nominales como numéricos) y los atributos numéricos tienen una prueba más compleja que la división binaria por un valor. Además, en WEKA hay 2 implementaciones diferentes: DecisionStump y OneR.

— rapaio

Hmmm ... supongo que tienes razón. El documento original de 1R dice "El tipo específico de reglas examinadas en este documento, llamadas 1-Reglas, son reglas que clasifican un objeto en base a un solo atributo (es decir, son árboles de decisión de 1 nivel". se implementará de muchas maneras diferentes. Lo editaré para aclararlo.

— Matt Krause

También hay una implementación nativa de OneR: el paquete OneR, en CRAN: CRAN.R-project.org/package=OneR , aquí está la viñeta: cran.r-project.org/web/packages/OneR/vignettes/OneR. html (divulgación completa: soy el autor de este paquete).

— vonjd

7

El alumno débil es un alumno que, sin importar cuál sea la distribución sobre los datos de entrenamiento, siempre será mejor que el azar, cuando intenta etiquetar los datos. Si lo hacemos mejor que el azar, siempre tendremos una tasa de error menor a 1/2.

$X$ $Y$

$H_x$ $Y$

Esto eventualmente mejora a los estudiantes débiles y los convierte en estudiantes fuertes.

Para más información: https://youtu.be/zUXJb1hdU0k .

— Anish Singh Walia
fuente

Bienvenido a CV. Como eres nuevo aquí, es posible que quieras hacer nuestro recorrido , que tiene información para nuevos usuarios. . Esta respuesta no parece proporcionar algo nuevo ni mejorar las respuestas anteriores. ¿Crees que falta algo en las anteriores?

— TEG - Restablecer Monica

¿Por qué debería estar por debajo de 1/2? Si la tasa de error es superior a 1/2, también debería ser un clasificador débil.

— Código Pope

@CodePope, entendí su punto, pero en realidad un "alumno débil" se define formalmente en esos términos. Estoy de acuerdo en que cualquier modelo que tenga un error de más del 50% también es pobre y débil. Pero hablando de definiciones formales tal como las definen los científicos, un alumno débil es aquel que tiene un error menor al 1/2 o 50%.

— Anish Singh Walia

1

El alumno débil es lo mismo que un clasificador débil o un predictor débil. La idea es que uses un clasificador que, bueno ... no sea tan bueno, pero al menos mejor que al azar. El beneficio es que el clasificador será robusto en el sobreajuste. Por supuesto, no usa solo uno, sino un gran conjunto de ellos, cada uno ligeramente mejor que al azar. La forma exacta en que los selecciona / combina depende de la metodología / algoritmo, por ejemplo, AdaBoost.

En la práctica, como clasificador débil, utiliza algo así como un umbral simple en una sola característica. Si la característica está por encima del umbral, predice que pertenece a los aspectos positivos; de lo contrario, decide que pertenece a los negativos. No estoy seguro acerca de T = 10, ya que no hay contexto, pero puedo suponer que es un ejemplo de umbral de alguna característica.

— iliasfl
fuente