Las otras respuestas son excelentes, y el spam tiene mucho que ver con eso.
Pero en realidad hay una respuesta más simple, más genérica: características. Enviar correos electrónicos a través de SMTP es en realidad una tarea muy compleja. Incluso sin spam, no querría implementar todo el conjunto de características del protocolo SMTP en cada cliente de correo electrónico; está mejor con un software dedicado (sendmail, postfix, etc. son los más importantes en el mundo * nix, Exchange en el mundo Windows).
Por ejemplo, incluso en la forma más básica, un servidor SMTP "real" tiene que poder al menos poder resolver los registros MX. Luego tiene que negociar características (principalmente TLS, pero también hay otras características). Tiene que gestionar colas para volver a intentar, generar informes de no entrega, etc.
Y esa es solo la funcionalidad básica, imprescindible, sin la cual el servidor ni siquiera funcionaría. Ni siquiera incluye cosas como la reescritura de direcciones, las listas de correo. Sin mencionar la docena de otros protocolos que son compatibles con sendmail y otros, como UUCP.
La implementación de SMTP en Outlook, Thunderbird, etc. es muy mínima, en el mejor de los casos, aproximadamente el equivalente a usar un host inteligente en sendmail, si eso es así.
Relacionado, pero un tema separado: el correo electrónico es un tema muy sensible a la seguridad, y desearía tener uno o muy pocos servidores administrados centralmente para manejarlo, en lugar de potencialmente cientos o miles de servidores individuales en cada escritorio.