Mi problema era el mismo, tenía consultas IPV6 hechas antes de IPV4 y estaban desperdiciando recursos, así que cambié mi archivo /etc/gai.conf como freddyb publicado, pero mi escenario es un poco diferente, mi servidor es Natted, así que IPv4 no tendrá prioridad sobre IPv6 con solo esa línea. La solución también está comentando otras líneas en gai.conf para que se vea así
#For sites which prefer IPv4 connections change the last line to
precedence ::ffff:0:0/96 100
...
# For sites which use site-local IPv4 addresses behind NAT there is
# the problem that even if IPv4 addresses are preferred they do not
# have the same scope and are therefore not sorted first. To change
# this use only these rules:
#
scopev4 ::ffff:169.254.0.0/112 2
scopev4 ::ffff:127.0.0.0/104 2
scopev4 ::ffff:0.0.0.0/96 14
¡Entonces su servidor probará primero ipv4 incluso si es Natted!