En mi humilde opinión, si planea desarrollar solo para 4.0, recomendaría ir con las bibliotecas nativas ya que el ejecutable se hará más pequeño. Es cierto que podría tener problemas de errores en las primeras versiones, pero creo que la mayoría de estos deberían ser bastante triviales. Además, se supone que la biblioteca de compatibilidad se debe asignar a los fragmentos nativos en caso de que esté ejecutando en 4.0 y versiones superiores de todos modos. Por lo tanto, puede terminar teniendo que luchar con este tipo de problemas de todos modos. El problema con las bibliotecas de soporte es que muchas de las clases aparecen 2 veces (una vez en la estructura del paquete de soporte y otra en la estructura del paquete "nativo"), lo que hace que el desarrollo sea un poco más engorroso.
Sin embargo, si desea lanzar también su aplicación pre 4.0, entonces no hay forma de evitar la biblioteca de soporte. Además, dado que hay aproximadamente el 38% de todos los usuarios en 2.3, podría tener sentido comercial incluir esta versión del sistema operativo. En tal caso, puede usar la biblioteca de soporte en combinación con Jake Wartons ActionBarSherlock (o con los googles compatibles con ActionBar Library una vez que finalmente se lance).