Divulgación: trabajo para Linode.
360 MB es una buena cantidad de memoria, pero no es nada para llamar a casa cuando se trata de pilas LAMP. Debe ser plenamente consciente de las formas de optimizar su pila en esta cantidad de espacio; un sistema operativo de 64 bits impedirá directamente esos esfuerzos al usar más sobrecarga de memoria para algunas cosas. Conociendo cada una de las distribuciones que enumeró como el dorso de mi mano (construí un par de ellas), es mejor que vaya con Ubuntu.
Ejecuto Debian en jedsmith.org y Ubuntu en mi desarrollo Linodes, y probablemente sean los más eficientes del lote; Ubuntu, siendo el actual precursor de las distribuciones, le dará todo lo que desea: seguridad, rendimiento y una gran comunidad para responder preguntas.
Grandes opiniones de cletus:
Estoy casi tentado a sugerir Arch Linux solo para una distribución básica donde solo instalas lo que necesitas, ya que los paquetes innecesarios pueden consumir tu memoria muy rápidamente.
También he oído lo mismo sobre Arch, pero no lo he probado. Otro empleado de Linode, Sam, jura por Arch y tiene muchas cosas buenas que decir al respecto.
Además, re: LAMP stack, considere usar nginx en lugar de Apache para un mejor rendimiento en un segmento VPS de gama baja.
jedsmith.org es nginx frente a FastCGI PHP, y grita como el infierno.