Escriba Python stdout para presentar inmediatamente

Al intentar escribir la salida estándar de un script de Python en un archivo de texto ( python script.py > log), el archivo de texto se crea cuando se inicia el comando, pero el contenido real no se escribe hasta que finaliza el script de Python. Por ejemplo:

script.py:

import time
for i in range(10):
    print('bla')
    time.sleep(5)

se imprime en stdout cada 5 segundos cuando se llama con python script.py, pero cuando llamo python script.py > log, el tamaño del archivo de registro permanece cero hasta que finaliza el script. ¿Es posible escribir directamente en el archivo de registro, de modo que pueda seguir el progreso de la secuencia de comandos (por ejemplo, usando tail)?

EDITAR Resulta que python -u script.pyhace el truco, no sabía sobre el almacenamiento en búfer de stdout.

Esto sucede porque normalmente cuando el proceso STDOUT se redirige a algo diferente a un terminal, la salida se almacena en un búfer de tamaño específico del sistema operativo (quizás 4k u 8k en muchos casos). Por el contrario, cuando se envía a un terminal, STDOUT tendrá una línea de búfer o nada de búfer, por lo que verá la salida después de cada uno \no para cada carácter.

En general, puede cambiar el almacenamiento intermedio STDOUT con la stdbufutilidad:

stdbuf -oL python script.py > log

Ahora, si es así tail -F log, debería ver cada salida de línea inmediatamente a medida que se genera.

Alternativamente, el enjuague explícito del flujo de salida después de cada impresión debería lograr lo mismo. Parece que sys.stdout.flush()debería lograr esto en Python. Si está utilizando Python 3.3 o posterior, la printfunción también tiene una flushpalabra clave que hace esto: print('hello', flush=True).

Esto debería hacer el trabajo:

import time, sys
for i in range(10):
    print('bla')
    sys.stdout.flush()
    time.sleep(5)

Como Python almacenará el búfer stdoutde forma predeterminada, aquí he utilizado sys.stdout.flush()para vaciar el búfer.

Otra solución sería utilizar el -uinterruptor (sin búfer) de python. Entonces, lo siguiente también lo hará:

python -u script.py >> log

La variación sobre el tema del uso de la propia opción de python para la salida sin búfer sería usar #!/usr/bin/python -ucomo primera línea.

Con #!/usr/bin/env pythonese argumento extra no funcionará, así que, alternativamente, uno podría ejecutarlo PYTHONUNBUFFERED=1 ./my_scriipt.py > output.txto hacerlo en dos pasos:

$ export PYTHONUNBUFFERED=1
$ ./myscript.py

Deberías pasar flush=Truea la printfunción:

import time

for i in range(10):
    print('bla', flush=True)
    time.sleep(5)

Según la documentación, de forma predeterminada, printno se aplica nada sobre el vaciado:

Si el resultado se almacena en búfer generalmente se determina por archivo, pero si el flushargumento de la palabra clave es verdadero, el flujo se vacía a la fuerza.

Y la documentación de syslos strems dice:

Cuando son interactivas, las transmisiones estándar tienen un buffer de línea. De lo contrario, se almacenan en bloques como archivos de texto normales. Puede anular este valor con la -uopción de línea de comandos.

Si está atrapado con una versión antigua de python, debe llamar al flushmétodo de la sys.stdouttransmisión:

import sys
import time

for i in range(10):
    print('bla')
    sys.stdout.flush()
    time.sleep(5)