Tienes razón en sospechar. El hecho de que Web Gardens no tenga inconvenientes es un mito enorme, pueden causarle un sinfín de problemas, pero muchas personas aún no saben cuándo deberían usarse.
Según Chris Adams (del equipo de IIS), solo hay una razón por la que desearía usar un Web Garden: para dar aplicaciones, que no están vinculadas a la CPU, sino que ejecutan solicitudes de larga duración, la capacidad de escalar y no agotar todas hilos disponibles en el proceso de trabajo. Hay muchas razones por las que pueden ser malas, sin embargo, es un error común pensar que no hay inconvenientes.
Aumentan los gastos generales del sistema (no comparten caché), no comparten sesiones (el usuario puede perder su sesión si se cambia a otro proceso), InProc puede enredarse. En resumen, en realidad, la mayoría de las veces, son muchos problemas, y no deberías usar uno sin una buena razón.
Lea la explicación completa de Chris: http://blogs.iis.net/chrisad/archive/2006/07/14/1342059.aspx
Lectura adicional:
http://weblogs.asp.net/owscott/why-you-shouldn-t-use-web-gardens-in-iis-week-24