Mi regla general, y estoy seguro de que habrá un debate sobre esto, es nunca usar listas (a menos que necesite eliminar con mucha frecuencia las cosas del medio de las listas grandes).
La velocidad que obtendrá al tener todos sus elementos en su contenedor en la memoria contigua (y, por lo tanto, más amigable con la memoria caché) vale la compensación de los costos adicionales de agregar / eliminar / cambiar el tamaño del vector.
Editar: solo para aclarar un poco más, por supuesto, debería ser evidente que cualquier tipo de pregunta "que es más rápida" debe probarse en cualquier plataforma con cualquier conjunto de datos pertinente a sus necesidades particulares. Si solo necesito una colección de elementos, simplemente uso vector (o deque, que es casi lo mismo) a menos que haya una buena razón para no hacerlo.