No creo que esto sea posible usando calibre. El manejo de imágenes puede ser de alguna manera posible, pero dado que las expresiones matemáticas generalmente se almacenan como texto, es probable que se arruinen por cualquier esfuerzo de conversión.
En cambio, le sugiero que eche un vistazo a k2pdfopt . Esto le permite generar un nuevo PDF optimizado para el tamaño de visualización de su lector.
Puede manejar múltiples columnas, redimensionar y redistribuir texto, preservar imágenes y fórmulas. Las tablas a menudo también se conservan, pero se mantienen pequeñas. Solo pruébalo, tal vez te funcione.
Si le gustan los resultados y no le importa romper su Kindle, puede ejecutar el programa directamente en él. Doy más detalles sobre esto en esta respuesta en el sitio de libros electrónicos de StackExchange.