Hasta donde yo sé, las bibliotecas existentes (casi todas) en Python pueden manejar modelos muy complejos de redes neuronales.
Sin embargo, TensorFlow no está pulido a partir de ahora. Todavía tiene un largo camino por recorrer antes de ser aceptado como una biblioteca convencional para ML.
Entonces, seguir adelante con las bibliotecas existentes como PyLearn / Keras / Torch, etc. tiene sentido a partir de ahora (también porque ya tienen comunidades amplias y dedicadas), ya que debe concentrarse en la investigación en lugar de preocuparse por los errores y problemas técnicos de un biblioteca.