Realmente hace una diferencia cuál es la entrada al algoritmo: ¿cómo se especifica un grupo?
Si desea grupos dados por generadores y relatores, sugeriría la teoría combinatoria de grupos , de Magnus, Karrass y Solitar (pero los algoritmos son escasos porque muchos de los problemas importantes son indecidibles).
Si desea grupos automáticos (grupos cuyos elementos son cadenas de símbolos y cuyas operaciones grupales son realizadas por autómatas finitos, con aplicaciones en topología de baja dimensión), sugeriría Procesamiento de textos en grupos por Epstein (¡no yo!), Cannon, Holt , Levy, Paterson y Thurston.
Si desea grupos de permutación (el tipo de algoritmo de teoría de grupos que es más relevante, por ejemplo, para el isomorfismo gráfico), Seress tiene un libro Algoritmos de grupo de permutación, pero no tengo una copia, así que no puedo decirle si es bueno.
Debería haber un cuarto párrafo aquí sobre algoritmos de grupo de matriz, pero no conozco un libro sobre ese tema. Hay una pequeña cobertura en el libro de Seress.