Este método también dejó de funcionar en algún momento, posiblemente con 29 (Australis) o 57 (Photon) UI. No tengo conocimiento de ninguna alternativa en este momento.
Puede navegar about:configy establecer el valor browser.tabs.tabClipWidthen 1. Deberá reiniciar el navegador.
Como otros han sugerido, el botón Cerrar pestaña se elimina si la pestaña se vuelve demasiado pequeña (estrecha). Esta configuración determina el ancho mínimo de la pestaña en píxeles por debajo del cual no se muestra el botón Cerrar pestaña ( 140es el valor predeterminado). Establecerlo 1esencialmente significa siempre mostrar el botón de cerrar pestaña, no importa cuán estrecha sea la pestaña. Según el artículo vinculado, 0no es un número válido (pero el botón tiene 16 px de todos modos).
Esta configuración tiene efecto en todas las versiones de Firefox desde 1.6a1 en adelante (se confirmó que funciona en 13.0.1).
A partir de Firefox 23.0, este método ya no parece funcionar. Pueden arreglarlo en una futura actualización de la extensión, por lo que lo dejaré aquí por ahora. La opción de configuración descrita anteriormente todavía está disponible.
Una alternativa (y la que estoy usando) es la extensión Tab Mix Plus . Esta extensión incluye muchas otras características posiblemente (no) deseadas, y obviamente no es tan limpia como la configuración anterior, pero es lo que he estado usando (por otras razones, el botón de cierre fue solo un efecto secundario).
En las opciones de TMP, Display> Tab> Close tab button> on all.

Haga clic para tamaño completo
La respuesta de Wilson se vincula a una extensión que ya no está disponible. Tanto la configuración como la configuración de TMP descritas en esta respuesta logran el mismo efecto.