Fisher Scoring v / s Descenso de coordenadas para MLE en R

La función base R glm()utiliza la puntuación de los pescadores para MLE, mientras que glmnetparece utilizar el método de descenso de coordenadas para resolver la misma ecuación. El descenso coordinado es más eficiente en tiempo que Fisher Scoring, ya que Fisher Scoring calcula la matriz derivada de segundo orden, además de algunas otras operaciones de matriz. lo que hace que sea costoso de realizar, mientras que el descenso coordinado puede hacer la misma tarea en tiempo O (np).

¿Por qué la función base R usaría Fisher Scoring? ¿Este método tiene una ventaja sobre otros métodos de optimización? ¿Cómo se compara el descenso coordinado y la puntuación de Fisher? Soy relativamente nuevo en este campo, por lo que cualquier ayuda o recurso será útil.

La única manera de estar seguro es mediante la evaluación comparativa, pero para glm, la puntuación de Fisher debe ser más rápida que el descenso coordinado. La puntuación de Fisher es un caso especial de Newton Raphson, que tiene una tasa de convergencia más rápida que el descenso coordinado (Newton-Raphson es convergente cuadráticamente, mientras que el descenso coordinado es linealmente convergente). Mientras que el cálculo de la información de la segunda derivada significa que cada paso toma más tiempo, puede requerir muchos menos pasos que el descenso coordinado.

Para el lazo, la forma especial del término de penalización lo convierte en un caso muy especial (y, de hecho, el valor absoluto no es diferenciable de todos modos, aunque a veces puedes refinarlo). Para este problema especial, el descenso coordinado demuestra ser particularmente rápido. Hay muchos otros problemas de optimización en los que en la práctica Newton-Raphson es más rápido.