Comparación entre SHAP (Shapley Additive Explanation) y LIME (Local Interpretable Model-Agnostic Explanations)

Estoy leyendo sobre dos técnicas populares de interpretación de modelos post hoc: LIME y SHAP

Tengo problemas para comprender la diferencia clave en estas dos técnicas.

Para citar a Scott Lundberg , el cerebro detrás de SHAP:

Los valores SHAP vienen con las ventajas de estimación local de caja negra de LIME, pero también vienen con garantías teóricas sobre la consistencia y la precisión local de la teoría del juego (atributos de otros métodos que unificamos)

Tengo algunos problemas para entender cuáles son estas ' garantías teóricas sobre la coherencia y la precisión local de la teoría de juegos '. Dado que SHAP se desarrolló después de LIME, supongo que llena algunos vacíos que LIME no aborda. ¿Que son esos?

El libro de Christoph Molnar en un capítulo sobre la Estimación de Shapley afirma:

La diferencia entre la predicción y la predicción promedio se distribuye equitativamente entre los valores de las características de la instancia: la propiedad de eficiencia de shapley. Esta propiedad establece el valor de Shapley aparte de otros métodos como LIME. LIME no garantiza distribuir perfectamente los efectos. Podría hacer que el valor de Shapley sea el único método para entregar una explicación completa

Al leer esto, tengo la sensación de que SHAP no es una explicación local sino glocal del punto de datos. Podría estar equivocado aquí y necesito una idea de lo que significa esta cita anterior. Para resumir mi pregunta: LIME produce explicaciones locales. ¿En qué se diferencian las explicaciones de SHAP de las de LIME?

model-interpretation shapley-value lime

— usuario248884
fuente

Buena pregunta (+1), intentaré responderla cuando tenga tiempo, pero lo más obvio es que LIME no ofrece una explicación coherente a nivel mundial, mientras que SHAP sí. Además, SHAP definitivamente se ha desarrollado antes de LIME. SHAP se basa en gran medida en el trabajo de Strumbelj y Kononenko de latE 00's / principios de los 10's, así como en trabajos económicos sobre juegos cooperativos de utilidad transferibles (por ejemplo, Lipovetsky y Conklin (2001)). Además, mucho trabajo en mediciones de análisis de sensibilidad (por ejemplo, índices de Sobol) también funciona de esa manera. Las ideas básicas de SHAP eran generalmente conocidas antes de NIPS 2017.

— ussr11852 dice Reinstate Monic el

(Solo para ser claros con respecto a la segunda mitad de mi comentario anterior: no estoy sugiriendo que el artículo de NIPS 2017 sea producto de plagio o algo remotamente parecido. Es solo que a menudo veo personas que ignoran mucho trabajo previo en un En este caso particular: la teoría algorítmica de juegos ha existido durante décadas como parte de la inteligencia artificial, y ahora se ha vuelto semi- cool . )

— usεr11852 dice Reinstate Monic

@ usεr11852 En espera de su respuesta. Por favor contribuya sus ideas sobre esto.

— user248884

Todavía no tengo todo el tiempo necesario; He escrito unas 400 palabras, pero necesito al menos otras 6-7 horas de trabajo, ya que tengo que volver a leer algunos documentos y ajustar mi texto; explicar SHAP sin simplificar demasiado es un poco difícil (al menos para mí). Probablemente lo

— logre

@ usεr11852 Claro. Will aguarda :)

— user248884

LIME crea un modelo sustituto localmente en torno a la unidad cuya predicción desea comprender. Por lo tanto, es inherentemente local. Los valores bien formados 'descomponen' la predicción final en la contribución de cada atributo; esto es lo que algunos quieren decir con 'consistente' (los valores se suman a la predicción real del modelo verdadero, esto no es algo que obtienes con LIME). Pero para obtener realmente los valores de forma hay que tomar una decisión sobre qué hacer / cómo manejar los valores de los atributos 'excluidos', así es como se llega a los valores. En esta decisión hay alguna opción que podría cambiar la interpretación. Si 'omito' un atributo, ¿promedio todas las posibilidades? ¿Elige alguna 'línea de base'?

Así que Shapely te dice, de manera aditiva, cómo obtuviste tu puntaje, pero hay alguna opción sobre el 'punto de partida' (es decir, la decisión sobre los atributos omitidos).

LIME simplemente le dice, en un sentido local, cuál es el atributo más importante en torno al punto de interés de datos.

— Jeremías
fuente

¿Puede agregar también cómo cada modelo obtiene su puntaje (por ejemplo, puntaje de shap): ¡encontré estos puntajes bastante molestos ya que no son normales y no entiendo lo que significan!

— usuario4581