El firewall no puede controlar a qué URL HTTPS está intentando acceder el cliente, porque la URL está encriptada. El firewall solo puede controlar a qué sitios se está conectando el cliente, utilizando direcciones IP, pero esto no ayuda si las versiones HTTP y HTTPS del sitio están en la misma URL (e incluso si no lo están, tendría para mantener una gran lista de direcciones IP).
La única forma realista de bloquear HTTPS es bloquearlo por completo. Insista en que todas las conexiones deben ser HTTP válidas (es decir, el cliente comienza enviando una HTTP
línea, etc.). Esto no se puede hacer solo con IPtables, necesita un proxy real compatible con el protocolo, como Squid. (No sé de qué es capaz Untangle Lite).
Puede bloquear la mayoría del tráfico HTTPS bloqueando el tráfico saliente al puerto 443, ya que casi todos los servidores HTTPS están en ese puerto. O, siguiendo un enfoque de lista blanca, solo permita el tráfico saliente al puerto 80 (el puerto HTTP normal).
Un enfoque diferente sería proxy de todas las conexiones HTTP y HTTPS. Entonces puede hacer coincidir por URL. Esto requiere llevar a cabo un ataque man-in-the-middle contra los clientes. Puede hacerlo si implementa su propia autoridad de certificación en todas las máquinas cliente y la registra allí como una raíz de confianza. Esto puede considerarse poco ético.
No importa lo que haga, determinados usuarios configurarán un proxy fuera de su entorno y ejecutarán IP sobre HTTP o algo así.
Parece que está intentando solucionar un problema social con medios técnicos, que casi nunca funciona, o está haciendo todo lo posible para implementar un requisito tonto de la administración (en cuyo caso, optaría por bloquear el puerto 443, tal vez solo por ciertas IP, lo que le permitiría informar que ha hecho su trabajo, sin importar cuán inútil sea).