Sí, hay algunas formas de hacerlo dependiendo de lo que intente lograr exactamente.
El primer método se puede hacer a través de la configuración de samba. Esto solo permitirá que estos usuarios se conecten a Samba, otros usuarios aún pueden iniciar sesión a través de otros servicios (ssh, término local, etc.). Con esto, querrá agregar una línea a su sección [global] en smb.conf:
valid users = @groupA @groupB
El otro método es modificando las reglas PAM. Las diferentes distribuciones tienen ligeras diferencias aquí, pero en general hay reglas PAM por servicio, así como reglas comunes, usted puede decidir qué es lo mejor. Deberá agregar una restricción de cuenta utilizando el módulo pam_require. Un ejemplo en mi computadora portátil (Fedora 13) sería modificar la sección de la cuenta en /etc/pam.d/system-auth para:
account required pam_unix.so
account required pam_require.so @groupA @groupB
account sufficient pam_localuser.so
account sufficient pam_succeed_if.so uid < 500 quiet
account required pam_permit.so
Para simplificar la administración, es posible que desee crear un nuevo grupo en AD con el fin de rastrear a los usuarios que pueden iniciar sesión en este servidor.