También tuve suerte al usar el complemento QGIS Generalizer (habilitar complementos experimentales) y luego:
Vector > Geometry Tools > Polygons to lines
Luego use el complemento Generalizer para suavizar las líneas y vértices
Plugins > Generalizer > Generalizer
Algorithm: "Chaiken's Algorithm"
Luego convierte las líneas nuevamente en polígonos
Vector > Geometry Tools > Polygons to lines
Esto hace un mejor trabajo en realidad alisando las líneas y redondeando las esquinas. Es un poco torpe tener que tener que alternar entre líneas y polys, pero funciona. Sé que también hay formas de hacer esto a través de Grass, pero me ha resultado difícil configurarlos.