¿Qué perfil de memoria Python se recomienda? [cerrado]

Quiero saber el uso de memoria de mi aplicación Python y específicamente quiero saber qué bloques de código / porciones u objetos consumen más memoria. La búsqueda de Google muestra que uno comercial es Python Memory Validator (solo Windows).

Y los de código abierto son PySizer y Heapy .

No he probado a nadie, así que quería saber cuál es el mejor teniendo en cuenta:

1. Da la mayoría de los detalles.

2. Tengo que hacer menos o ningún cambio en mi código.

Heapy es bastante simple de usar. En algún momento de su código, debe escribir lo siguiente:

from guppy import hpy
h = hpy()
print(h.heap())

Esto le da un resultado como este:

Partition of a set of 132527 objects. Total size = 8301532 bytes.
Index  Count   %     Size   % Cumulative  % Kind (class / dict of class)
0  35144  27  2140412  26   2140412  26 str
1  38397  29  1309020  16   3449432  42 tuple
2    530   0   739856   9   4189288  50 dict (no owner)

También puede averiguar desde dónde se hace referencia a los objetos y obtener estadísticas al respecto, pero de alguna manera los documentos son un poco escasos.

También hay un navegador gráfico, escrito en Tk.

Como nadie lo ha mencionado, señalaré mi módulo memory_profiler, que es capaz de imprimir informes línea por línea del uso de memoria y funciona en Unix y Windows (necesita psutil en este último). La salida no es muy detallada, pero el objetivo es darle una visión general de dónde el código consume más memoria y no un análisis exhaustivo de los objetos asignados.

Después de decorar su función @profiley ejecutar su código con la -m memory_profilerbandera, imprimirá un informe línea por línea como este:

Line #    Mem usage  Increment   Line Contents
==============================================
     3                           @profile
     4      5.97 MB    0.00 MB   def my_func():
     5     13.61 MB    7.64 MB       a = [1] * (10 ** 6)
     6    166.20 MB  152.59 MB       b = [2] * (2 * 10 ** 7)
     7     13.61 MB -152.59 MB       del b
     8     13.61 MB    0.00 MB       return a

Recomiendo Dowser . Es muy fácil de configurar y no necesita cambios en su código. Puede ver recuentos de objetos de cada tipo a través del tiempo, ver la lista de objetos vivos, ver referencias a objetos vivos, todo desde la interfaz web simple.

# memdebug.py

import cherrypy
import dowser

def start(port):
    cherrypy.tree.mount(dowser.Root())
    cherrypy.config.update({
        'environment': 'embedded',
        'server.socket_port': port
    })
    cherrypy.server.quickstart()
    cherrypy.engine.start(blocking=False)

Importa memdebug y llama a memdebug.start. Eso es todo.

No he probado PySizer o Heapy. Agradecería las opiniones de los demás.

ACTUALIZAR

El código anterior es para CherryPy 2.X, CherryPy 3.Xel server.quickstartmétodo se ha eliminado y engine.startno toma la blockingbandera. Entonces, si estás usandoCherryPy 3.X

# memdebug.py

import cherrypy
import dowser

def start(port):
    cherrypy.tree.mount(dowser.Root())
    cherrypy.config.update({
        'environment': 'embedded',
        'server.socket_port': port
    })
    cherrypy.engine.start()

Considere la biblioteca objgraph (verhttp://www.lshift.net/blog/2008/11/14/tracing-python-memory-leaks para un caso de uso de ejemplo).

Muppy es (otro más) Memory Usage Profiler para Python. El enfoque de este conjunto de herramientas se basa en la identificación de pérdidas de memoria.

Muppy intenta ayudar a los desarrolladores a identificar fugas de memoria de las aplicaciones Python. Permite el seguimiento del uso de la memoria durante el tiempo de ejecución y la identificación de objetos con fugas. Además, se proporcionan herramientas que permiten localizar la fuente de objetos no liberados.

Estoy desarrollando un generador de perfiles de memoria para Python llamado memprof:

http://jmdana.github.io/memprof/

Le permite registrar y trazar el uso de memoria de sus variables durante la ejecución de los métodos decorados. Solo tiene que importar la biblioteca usando:

from memprof import memprof

Y decora tu método usando:

@memprof

Este es un ejemplo de cómo se ven las tramas:

El proyecto está alojado en GitHub:

https://github.com/jmdana/memprof

Encontré que las melias son mucho más funcionales que Heapy o PySizer. Si está ejecutando una aplicación web wsgi, entonces Dozer es un buen contenedor de middleware de Dowser

Pruebe también el proyecto pytracemalloc que proporciona el uso de memoria por número de línea de Python.

EDITAR (2014/04): ahora tiene una interfaz gráfica de usuario Qt para analizar instantáneas.