Lo que estoy viendo ( http://en.wikipedia.org/wiki/RAR ) dice que los archivos con formato RAR3 usan AES para el algoritmo de cifrado. A primera vista no me queda claro si el formato de archivo RAR3 está publicado o si hay implementaciones de código abierto del algoritmo de descifrado / descompresión. Si el formato no se publica / o no hay implementaciones gratuitas del algoritmo de descifrado / descompresión, creo que desconfiaría de la "seguridad" ya que siempre existe la posibilidad de que trucos como colocar un texto plano conocido en el encabezado de cada archivo cifrado, fugas de bits de la clave, etc. podrían estar en juego.
Los formatos RAR más antiguos usaban un "algoritmo de cifrado patentado". Siempre debe ser MUY cauteloso con los programas que usan "algoritmos de cifrado patentados". La frase "algoritmo de cifrado patentado" a menudo es el código para "algo golpeado en un sótano por un codificador que realmente no sabe mucho sobre criptografía", o más libremente como "no ha sido revisado por pares".
Editar: Estoy viendo lo que parecen ser implementaciones gratuitas de al menos la parte de descompresión de RAR3 ( http://sourceforge.net/projects/java-unrar , por ejemplo). Mientras el formato de archivo esté abierto, debería ser difícil que una gran parte de los bits de su clave se filtren debido a una implementación poco confiable. Aún así, me sentiría mejor con algo que ha sido revisado o certificado por pares (FIPS, etc.).