Ambas son enormes familias de algoritmos, por lo que es difícil darle una respuesta precisa, pero ...
El ascenso (o descenso) de gradiente es útil cuando desea encontrar un máximo (o mínimo). Por ejemplo, puede encontrar el modo de una distribución de probabilidad, o una combinación de parámetros que minimizan alguna función de pérdida. El "camino" que se necesita para encontrar estos extremos puede informarle un poco sobre la forma general de la función, pero no está destinada a hacerlo; de hecho, cuanto mejor funcione, menos sabrá sobre todo menos los extremos.
Los métodos de Monte Carlo llevan el nombre del casino de Monte Carlo porque, como el casino, dependen de la aleatorización. Se puede usar de muchas maneras diferentes, pero la mayoría de estas se enfocan en distribuciones aproximadas. Los algoritmos de Markov Chain Monte Carlo, por ejemplo, encuentran formas de muestrear eficientemente de distribuciones de probabilidad complicadas. Otras simulaciones de Monte Carlo podrían generar distribuciones sobre posibles resultados.