Forzar la descarga del búfer de salida en el programa en ejecución

Tengo un script de Python de larga ejecución que genera periódicamente datos en la salida estándar que he invocado con algo como:

python script.py > output.txt

Este script se ha estado ejecutando durante un tiempo y quiero detenerlo con Ctrl+ Cpero no perder nada de su salida. Desafortunadamente, cuando implementé el script, olvidé vaciar el búfer después de cada línea de salida con algo como sys.stdout.flush()(la solución sugerida anteriormente para forzar el vaciado de salida), por lo que invocar Ctrl+ Cahora me hará perder toda mi salida.

Si se pregunta si hay alguna forma de interactuar con un script de Python en ejecución (o, más generalmente, un proceso en ejecución) para forzarlo a vaciar su búfer de salida. No estoy preguntando cómo editar y volver a ejecutar el script para que se ejecute correctamente: esta pregunta se trata específicamente de interactuar con un proceso en ejecución (y, en mi caso, no perder el resultado de la ejecución de mi código actual).

SI uno realmente quisiera esos datos, sugeriría adjuntar el depurador gdb al intérprete de python, detener momentáneamente la tarea, llamar fsync(1)( stdout ), desconectarla (reanudar el proceso) y examinar el archivo de salida.

Mire /proc/$(pidof python)/fdpara ver descriptores de archivo válidos. $(pidof x)devuelve el PID del proceso llamado ' x'.

# your python script is running merrily over there.... with some PID you've determined.
#
# load gdb
gdb
#
# attach to python interpreter (use the number returned by $(pidof python))
attach 1234
#
# force a sync within the program's world (1 = stdout, which is redirected in your example)
call fsync(1)
#
# the call SHOULD have returned 0x0, sync successful.   If you get 0xffffffff (-1), perhaps that wasn't stdout.  0=stdin, 1=stdout, 2=stderr
#
# remove our claws from poor python
detach
#
# we're done!
quit

He usado este método para cambiar los directorios de trabajo, ajustar la configuración sobre la marcha ... muchas cosas. Por desgracia, solo puede llamar a funciones definidas en el programa en ejecución, fsyncaunque funciona bien.

(El comando gdb ' info functions' enumerará todas las funciones disponibles. Sin embargo, tenga cuidado. Está operando EN VIVO en un proceso).

También está el comando peekfd(que se encuentra en el psmiscpaquete de Debian Jessie y otros) que le permitirá ver lo que se esconde en las memorias intermedias de un proceso. Nuevamente, /proc/$(pidof python)/fdle mostraremos descriptores de archivo válidos para dar como argumentos a peekfd.

Si no recuerda -upara python, siempre puede prefijar un comando con stdbuf(in coreutils, ya instalado) para establecer stdin / stdout / stderr en no protegido, bloqueado en línea o bloqueado como lo desee:

stdbuf -i 0 -o 0 -e 0 python myscript.py > unbuffered.output

Por supuesto, man pagesson tus amigos, ¡oye! Tal vez un alias podría ser útil aquí también.

alias python='python -u'

¡Ahora tu python siempre usa -upara todos tus esfuerzos de línea de comando!

Primero asegúrese de tener los símbolos de depuración para Python (o al menos glibc). En Fedora ¹ puede instalarlos con:

dnf debuginfo-install python

Luego adjunte gdb al script en ejecución y ejecute los siguientes comandos:

[user@host ~]$ pidof python2
9219
[user@host ~]$ gdb python2 9219
GNU gdb (GDB) Fedora 7.7.1-13.fc20
...
0x00007fa934278780 in __read_nocancel () at ../sysdeps/unix/syscall-template.S:81
81  T_PSEUDO (SYSCALL_SYMBOL, SYSCALL_NAME, SYSCALL_NARGS)
(gdb) call fflush(stdout)
$1 = 0
(gdb) call setvbuf(stdout, 0, 2, 0)
$2 = 0
(gdb) quit
A debugging session is active.

    Inferior 1 [process 9219] will be detached.

Quit anyway? (y or n) y
Detaching from program: /usr/bin/python2, process 9219

Esto vaciará stdout y también deshabilitará el almacenamiento en búfer. El 2de la setvbufllamada es el valor de _IONBFen mi sistema. Tendrá que averiguar qué hay en el suyo ( grep _IONBF /usr/include/stdio.hdebería hacer el truco).

Basado en lo que he visto en la implementación PyFile_SetBufSizey PyFile_WriteStringen CPython 2.7, debería funcionar bastante bien, pero no puedo hacer ninguna garantía.

^{1 Fedora incluye un tipo especial de RPM llamados debuginfo rpms . Estos RPM creados automáticamente contienen la información de depuración de los archivos del programa, pero se trasladan a un archivo externo.}

No hay solución a su problema inmediato. Si su script ya comenzó, no puede cambiar el modo de almacenamiento en búfer después del hecho. Todos estos son buffers en memoria y todo eso se configura cuando se inicia el script, se abren los identificadores de archivo, se crean tuberías, etc.

Como una posibilidad remota, si y solo si una parte o la totalidad del almacenamiento intermedio en cuestión se realiza en el nivel IO en la salida, puede hacer un synccomando; pero esto es generalmente poco probable en un caso como este.

En el futuro, puede usar la -uopción ^{* de} Python para ejecutar el script. En general, muchos comandos tienen opciones específicas de comando para deshabilitar el almacenamiento en búfer stdin / stdout, y también puede tener cierto éxito genérico con el unbuffercomando del expectpaquete.

A Ctrl+ Ccausaría que los búferes a nivel del sistema se vacíen cuando el programa se interrumpa a menos que Python realice el almacenamiento en búfer y no haya implementado la lógica para vaciar sus propios búferes con Ctrl+ C. Una suspensión, choque o muerte no sería tan amable.

_{^* Forzar que stdin, stdout y stderr estén totalmente libres de búfer.}

Documentación de Python 2.7.7, sección "Configuración y uso de Python", subsección 1. La línea de comandos y el entorno , describe este argumento de Python:

-u

Obliga a stdin, stdout y stderr a estar totalmente libres de búfer. En los sistemas donde importa, también ponga stdin, stdout y stderr en modo binario.

Tenga en cuenta que existe un almacenamiento intermedio interno en file.readlines () y File Objects (para la línea en sys.stdin) que no está influenciada por esta opción. Para evitar esto, querrá usar file.readline () dentro de un tiempo 1: bucle.

Y también esta variable de entorno:

PYTHONUNBUFFERED

Si se establece en una cadena no vacía, es equivalente a especificar la opción -u.

Parece que estaba siendo demasiado cauteloso acerca de perder por la salida almacenada después de ejecutar Ctrl-C; De acuerdo con esta publicación , debería esperar que el búfer se vacíe si mi programa tiene una salida normal, que sería el caso si presiono Ctrl-C. Por otro lado, perdería la salida almacenada en búfer si matara el script con SIGKILL o similar.

Creo que otra posible solución puede ser forzar el proceso de matar con el núcleo descargado y luego analizar póstumamente el contenido de memoria.