Los diseños de Android dicen que cuando el usuario "se va" de la aplicación, la aplicación debe seguir ejecutándose para un inicio rápido y para reproducir música de fondo, etc.
Esto significa que lo que estás pidiendo va en contra de la naturaleza de Android. Las aplicaciones mismas podrían optar por cerrarse después de hacer clic en 'un botón de cierre'. Dado que las aplicaciones tienen que proponer sus propias soluciones, puede imaginar que no existe una "solución de un botón".
Usar un Taskkiller es una solución para este problema. Un solo programa en la lista de widgets para eliminar todas las aplicaciones innecesarias para un rendimiento y aumento de batería es de gran ayuda. Estoy usando Advanced Task Killer configurado para mantener mis aplicaciones más utilizadas pero para cerrar todas las demás aplicaciones raramente utilizadas.
Puede haber un navegador con un botón de cerrar, pero el que uso no tiene un botón de cerrar. Por otra parte, mantener abierta la página que visité por última vez es una característica bienvenida.