Bueno, considera esto:
Al servir como texto / html, todo lo que necesita para un doctype es activar el modo estándar. Más allá de eso, el doctype no hace nada en lo que respecta a los navegadores.
Al servir como texto / html, ya sea que use marcado XHTML o marcado HTML, los navegadores lo tratan como HTML.
Entonces, realmente se trata de usar el doctype más corto que activa el modo estándar (<! DOCTYPE html>) y usar el marcado HTML que produce el resultado correcto en los navegadores.
El resto se trata de conformidad, validación y preferencia de marcado.
Dicho esto, usar <! DOCTYPE html> ahora e intentar hacer que su marcado se ajuste a HTML5 no es una mala idea siempre y cuando se adhiera a características estables que funcionan en los navegadores ahora. No usarías nada en HTML4 o XHTML 1.x que no funcione en los navegadores, ¿verdad?
En otras palabras, utiliza <! DOCTYPE html> con marcado similar a HTML4 mientras respeta las cosas que se han aclarado en HTML5. HTML5 es sobre compatibilidad del navegador después de todo.
La desventaja de usar HTML5 ahora es que la especificación puede cambiar con bastante frecuencia. Esto hace que sea importante para usted mantenerse al día con las especificaciones a medida que cambian activamente. También http://validator.nu/ puede no estar siempre actualizado, pero http://validator.w3.org/ tampoco está siempre actualizado, así que no dejes que eso te detenga.
Por supuesto, si desea usar el marcado XHTML 1.0 y cumplir con XHTML 1.0, entonces no debe usar <! DOCTYPE html>.
Personalmente, siempre uso <! DOCTYPE html> para HTML.