La diferencia entre los núcleos virtual y del servidor es que el núcleo virtual está destinado a ser utilizado dentro de una máquina virtual. El kernel virtual solo incluye los controladores necesarios para ejecutarse dentro de tecnologías de virtualización populares como KVM, Xen y VMWare. El núcleo del servidor, por el contrario, contiene los controladores necesarios para trabajar con una amplia gama de hardware, y debe instalarse directamente en los sistemas host. Aparte de eso, todas las demás opciones son idénticas entre el servidor y el núcleo virtual.
https://help.ubuntu.com/community/ServerFaq#What_are_the_differences_between_the_server_and_virtual_kernels.3F
La diferencia es que el núcleo virtual solo agrupa los controladores necesarios para los dispositivos de hardware virtual comunes en lugar de todos los módulos para el hardware del mundo real.
Por lo tanto, es considerablemente más pequeño en términos de espacio en disco. No conozco ningún ajuste para el rendimiento o ninguna diferencia funcional de esa manera, creo que es solo para imágenes más pequeñas.
http://ubuntuforums.org/showthread.php?t=1635961