No puede agregar sus propias extensiones a RDS, al menos no las que requieren derechos de superusuario (como cualquier cosa con código C). Este es uno de los inconvenientes que acepta a cambio de una administración conveniente.
Si la extensión solo incluye funciones simples plpgsql y sql, puede agregar las funciones manualmente. Eso no es posible con nada que requiera privilegios de superusuario, incluida cualquier extensión con código C.
jsonbx agrega funciones y operadores. La fuente contiene código C , por lo que no hay forma de que pueda cargar esto en RDS. Siempre. En absoluto. RDS no le permite ejecutar nada que pueda proporcionarle acceso de superusuario o acceso a la VM subyacente en la que se ejecuta PostgreSQL, ni proporciona una forma de cargar extensiones, incluso si le permitiera cargarlas.
Deberá pasar a ejecutar un servidor PostgreSQL independiente (por ejemplo, en EC2), persuadir al soporte de Amazon para que haga que la extensión esté disponible como parte de su conjunto de extensiones admitidas, o no.