Encontré la respuesta a mi propio problema. Lo publicaré aquí en caso de que mi estupidez ayude a alguien más. :-)
De hecho, tengo dos servidores web de AWS, con un equilibrador de carga frente a ellos. Descubrí que el nuevo certificado en realidad se veía bien en el navegador si accedía a cada servidor web directamente, pero fallaba si accedía a "www" a través del equilibrador de carga.
Olvidé cargar los nuevos archivos de certificado al equilibrador de carga a través de la consola de administración de AWS. Esta página describe el proceso:
Actualización de un certificado SSL para un equilibrador de carga
Tenga en cuenta que los archivos de clave privada y pública que copie y pegue allí deben estar en formato RSA. Esta página web describe cómo convertir sus archivos a ese formato si es necesario:
Limitaciones de SSL de AWS Load Balancer
Después de todo eso, el navegador muestra inmediatamente el nuevo certificado. Sin demora, sin almacenamiento en caché. Gracias por los comentarios anteriores de todos modos.