¿Cómo hago que los programas de Python se comporten como herramientas Unix adecuadas?

Tengo algunos scripts de Python por ahí, y estoy trabajando en reescribirlos. Tengo el mismo problema con todos ellos.

No es obvio para mí cómo escribir los programas para que se comporten como herramientas Unix adecuadas.

Porque esto

$ cat characters | progname

y esto

$ progname characters

debería producir la misma salida.

Lo más parecido que pude encontrar a eso en Python fue la biblioteca de entrada de archivos. Desafortunadamente, realmente no veo cómo reescribir mis scripts de Python, todos los cuales se ven así:

#!/usr/bin/env python 
# coding=UTF-8

import sys, re

for file in sys.argv[1:]:
    f = open(file)
    fs = f.read()
    regexnl = re.compile('[^\s\w.,?!:;-]')
    rstuff = regexnl.sub('', fs)
    f.close()
    print rstuff

La biblioteca de entrada de archivos procesa stdin si hay un stdin, y procesa un archivo si hay un archivo. Pero itera sobre líneas simples.

import fileinput
for line in fileinput.input():
    process(line)

Realmente no entiendo eso. Supongo que si se trata de archivos pequeños, o si no está haciendo mucho a los archivos, esto puede parecer obvio. Pero, para mis propósitos, esto lo hace mucho más lento que simplemente abrir todo el archivo y leerlo en una cadena, como se indicó anteriormente.

Actualmente ejecuto el script anterior como

$ pythonscript textfilename1 > textfilename2

Pero quiero poder ejecutarlo (y sus hermanos) en tuberías, como

$ grep pattern textfile1 | pythonscript | pythonscript | pythonscript > textfile2

¿Por qué no solo

files = sys.argv[1:]
if not files:
    files = ["/dev/stdin"]

for file in files:
    f = open(file)
    ...

Compruebe si se proporciona un nombre de archivo como argumento, o si no se lee sys.stdin.

Algo como esto:

if sys.argv[1]:
   f = open(sys.argv[1])
else:
   f = sys.stdin 

Es similar a la respuesta de Mikel, excepto que usa el sysmódulo. Me imagino que si lo tienen allí debe ser por una razón ...

Mi forma preferida de hacerlo resulta ser ... (y esto está tomado de un pequeño y lindo blog de Linux llamado Harbinger's Hollow )

#!/usr/bin/env python

import argparse, sys

parser = argparse.ArgumentParser()
parser.add_argument('filename', nargs='?')
args = parser.parse_args()
if args.filename:
    string = open(args.filename).read()
elif not sys.stdin.isatty():
    string = sys.stdin.read()
else:
    parser.print_help()

La razón por la que me gustó más esto es que, como dice el blogger, solo emite un mensaje tonto si se llama accidentalmente sin entrada. También se integra tan bien en todos mis scripts de Python existentes que los modifiqué para incluirlos.

files=sys.argv[1:]

for f in files or [sys.stdin]:
   if isinstance(f, file):
      txt = f.read()
   else:
      txt = open(f).read()

   process(txt)

Estoy usando esta solución y funciona de maravilla. En realidad estoy usando una secuencia de comandos que no está en acento que en minúsculas y elimina los acentos de una cadena dada

argument = sys.argv[1:] if len(sys.argv) > 1 else sys.stdin.read()

Creo que el mejor momento en que vi esta solución fue aquí .

Si su sistema no tiene /dev/stdin, o si desea una solución más general, puede intentar algo más complicado como:

class Stdin(object):
    def __getattr__(self, attr):
        return getattr(sys.stdin, attr)

    def __enter__(self):
        return self

def myopen(path):
    if path == "-":
        return Stdin()
    return open(path)

for n in sys.argv[1:] or ["-"]:
    with myopen(n) as f:
            ...