No puedes desinstalarlo por completo. Pero si no te gusta, puedes apagarlo y no aparecerá.
Para esto, debe pasar Control Panel > Programs and Features > Turn Windows Features on or off
o puede escribir el comando de la barra de direcciones del Explorador de Windows a continuación y aparecerá el mismo cuadro de diálogo:
shell:::{67718415-c450-4f3c-bf8a-b487642dc39b}
Ahora encuentre la casilla de verificación para Internet Explorer 10
, desactívela y reinicie su máquina.
Nota : Esta no es una desinstalación completa de Internet Explorer (algunas funciones de Windows pueden verse afectadas como resultado), solo está utilizando la forma de Microsoft de "desactivarlo".
En respuesta a la edición de OP:
No podrá ejecutar Modern UI Internet Explorer, ya que no puede ejecutar la versión de escritorio. Nada más que eso se verá afectado, que yo sepa.
Después de buscar en Google, encontré algo más interesante, tienes que ejecutar Elevated Command Prompt
y escribir:
pkgmgr.exe
Aparecerá una ventana emergente que muestra los comandos que puede usar para desinstalar cualquier paquete (incluido IE).
Fuente