Puede usar ambos con relativamente pocos problemas. Twitter Bootstrap usa jQuery 1.7.1 (a partir de este escrito), y no puedo pensar en ninguna razón por la que no pueda integrar componentes adicionales de Jquery UI en sus plantillas HTML.
He estado usando una combinación de HTML5 Boilerplate y Twitter Bootstrap creado en Initializr.com. Esto combina dos increíbles plantillas de inicio en un gran proyecto de inicio. Consulte los detalles en http://html5boilerplate.com/ y http://www.initializr.com/ O para comenzar de inmediato, vaya a http://www.initializr.com/ , haga clic en "Bootstrap 2" botón y haga clic en "Descargarlo". Esto le dará todos los js y css que necesita para comenzar.
Y no se asuste con HTML5 y CSS3. Initializr y HTML5 Boilerplate incluyen polyfills y código específico de IE que permitirá que todas las funciones funcionen en IE 6, 7 8 y 9.
El uso de MENOS en Twitter Bootstrap también es opcional. Usan MENOS para compilar todo el CSS que utiliza Bootstrap, pero si solo desea anular o agregar sus propios estilos, proporcionan un archivo CSS vacío para ese propósito.
También hay un archivo js en blanco (script.js) para que pueda agregar código personalizado. Aquí es donde agregaría sus controladores o selectores para componentes jQueryUI adicionales.