Recargar submódulos en IPython

Actualmente estoy trabajando en un proyecto de Python que contiene submódulos y usa numpy / scipy. Ipython se usa como consola interactiva. Desafortunadamente no estoy muy contento con el flujo de trabajo que estoy usando en este momento, agradecería algunos consejos.

En IPython, el marco se carga mediante un importcomando simple . Sin embargo, a menudo es necesario cambiar el código en uno de los submódulos del marco. En este punto, un modelo ya está cargado y uso IPython para interactuar con él.

Ahora, el marco contiene muchos módulos que dependen unos de otros, es decir, cuando el marco se carga inicialmente, el módulo principal está importando y configurando los submódulos. Los cambios en el código solo se ejecutan si el módulo se vuelve a cargar usando reload(main_mod.sub_mod). Esto es engorroso ya que necesito volver a cargar todos los módulos modificados individualmente usando la ruta completa. Sería muy conveniente reload(main_module)recargar todos los submódulos, pero sin recargar numpy / scipy.

IPython viene con algo de magia de recarga automática :

%load_ext autoreload
%autoreload 2

Recargará todos los módulos modificados cada vez antes de ejecutar una nueva línea. La forma en que esto funciona es ligeramente diferente de dreload. Se aplican algunas advertencias, escriba %autoreload?para ver qué puede salir mal.

Si desea habilitar siempre esta configuración, modifique su archivo de configuración de IPython ~/.ipython/profile_default/ipython_config.py[1] y agregue:

c.InteractiveShellApp.extensions = ['autoreload']     
c.InteractiveShellApp.exec_lines = ['%autoreload 2']

Crédito a @Kos a través de un comentario a continuación.

[1] Si no tiene el archivo ~/.ipython/profile_default/ipython_config.py, ipython profile createprimero debe llamar . O el archivo puede estar ubicado en $IPYTHONDIR.

En IPython 0.12 (y posiblemente antes), puede usar esto:

%load_ext autoreload
%autoreload 2

Esto es esencialmente lo mismo que la respuesta de pv. , excepto que la extensión ha cambiado de nombre y ahora se carga con %load_ext.

Por alguna razón, %autoreloadni dreloadparece funcionar para la situación cuando importa código de una computadora portátil a otra . Solo Python simple reloadfunciona:

reload(module)

Basado en [1] .

IPython ofrece dreload()recargar recursivamente todos los submódulos. Personalmente, prefiero usar el %run()comando mágico (aunque no realiza una recarga profunda, como lo señala John Salvatier en los comentarios).

El módulo llamado importlibpermite acceder a las partes internas de importación. Especialmente, proporciona función importlib.reload():

import importlib
importlib.reload(my_module)

Por el contrario %autoreload, importlib.reload()también restablece las variables globales establecidas en el módulo. En la mayoría de los casos, es lo que quieres.

importlibsolo está disponible desde Python 3.1. Para la versión anterior, debe usar el módulo imp.

http://shawnleezx.github.io/blog/2015/08/03/some-notes-on-ipython-startup-script/

Para evitar escribir esas funciones mágicas una y otra vez, podrían colocarse en el script de inicio de ipython (nómbrelo con el sufijo .py bajo .ipython / profile_default / startup. Todos los scripts de python en esa carpeta se cargarán de acuerdo con el orden léxico), que se parece a lo siguiente:

from IPython import get_ipython
ipython = get_ipython()

ipython.magic("pylab")
ipython.magic("load_ext autoreload")
ipython.magic("autoreload 2")

Qué tal esto:

import inspect

# needs to be primed with an empty set for loaded
def recursively_reload_all_submodules(module, loaded=None):
    for name in dir(module):
        member = getattr(module, name)
        if inspect.ismodule(member) and member not in loaded:
            recursively_reload_all_submodules(member, loaded)
    loaded.add(module)
    reload(module)

import mymodule
recursively_reload_all_submodules(mymodule, set())

Esto debería recargar de manera efectiva todo el árbol de módulos y submódulos que le dé. También puede poner esta función en su .ipythonrc (creo) para que se cargue cada vez que inicie el intérprete.

Otra opción:

$ cat << EOF > ~/.ipython/profile_default/startup/50-autoreload.ipy
%load_ext autoreload
%autoreload 2
EOF

Verificado en ipython e ipython3 v5.1.0 en Ubuntu 14.04.

Mi práctica estándar para la recarga es combinar ambos métodos después de la primera apertura de IPython:

from IPython.lib.deepreload import reload
%load_ext autoreload
%autoreload 2

Cargar módulos antes de hacer esto hará que no se vuelvan a cargar, incluso con un manual reload(module_name). Todavía, muy raramente, tengo problemas inexplicables con los métodos de clase que no se vuelven a cargar y que aún no he investigado.

Tenga en cuenta que lo mencionado anteriormente autoreloadsolo funciona en IntelliJ si guarda manualmente el archivo modificado (por ejemplo, usando ctrl + so cmd + s). No parece funcionar con el guardado automático.

En Jupyter Notebooks en Anaconda, haciendo esto:

%load_ext autoreload
%autoreload 2

produjo el mensaje:

La extensión de autocarga ya está cargada. Para recargarlo, use: %reload_ext autoreload

Parece que es preferible hacer:

%reload_ext autoreload
%autoreload 2

Información de versión:

La versión del servidor portátil es 5.0.0 y se ejecuta en: Python 3.6.2 | Anaconda, Inc. | (predeterminado, 20 de septiembre de 2017, 13:35:58) [MSC v.1900 32 bit (Intel)]

Esto no recargará ningún subobjeto, creo que debe usar la recarga profunda de IPython para eso.