Python concatena archivos de texto

Tengo una lista de 20 nombres de archivo, como ['file1.txt', 'file2.txt', ...]. Quiero escribir un script de Python para concatenar estos archivos en un nuevo archivo. Podía abrir cada archivo f = open(...), leer línea por línea llamando f.readline()y escribir cada línea en ese nuevo archivo. No me parece muy "elegante", especialmente la parte donde tengo que leer // escribir línea por línea.

¿Hay alguna forma más "elegante" de hacer esto en Python?

Esto debería hacerlo

Para archivos grandes:

filenames = ['file1.txt', 'file2.txt', ...]
with open('path/to/output/file', 'w') as outfile:
    for fname in filenames:
        with open(fname) as infile:
            for line in infile:
                outfile.write(line)

Para archivos pequeños:

filenames = ['file1.txt', 'file2.txt', ...]
with open('path/to/output/file', 'w') as outfile:
    for fname in filenames:
        with open(fname) as infile:
            outfile.write(infile.read())

... y otra interesante en la que pensé :

filenames = ['file1.txt', 'file2.txt', ...]
with open('path/to/output/file', 'w') as outfile:
    for line in itertools.chain.from_iterable(itertools.imap(open, filnames)):
        outfile.write(line)

Lamentablemente, este último método deja algunos descriptores de archivos abiertos, de los cuales el GC debería ocuparse de todos modos. Solo pensé que era interesante

Uso shutil.copyfileobj.

Lee automáticamente los archivos de entrada trozo por trozo, lo que es más eficiente y lee los archivos de entrada y funcionará incluso si algunos de los archivos de entrada son demasiado grandes para caber en la memoria:

import shutil

with open('output_file.txt','wb') as wfd:
    for f in ['seg1.txt','seg2.txt','seg3.txt']:
        with open(f,'rb') as fd:
            shutil.copyfileobj(fd, wfd)

Para eso es exactamente la entrada de archivos :

import fileinput
with open(outfilename, 'w') as fout, fileinput.input(filenames) as fin:
    for line in fin:
        fout.write(line)

Para este caso de uso, en realidad no es mucho más simple que simplemente iterar sobre los archivos manualmente, pero en otros casos, tener un solo iterador que itera sobre todos los archivos como si fueran un solo archivo es muy útil. (Además, el hecho de que fileinputcierre cada archivo tan pronto como esté hecho significa que no es necesario withni closecada uno, pero eso es solo un ahorro de una línea, no es un gran problema).

Hay algunas otras características ingeniosas fileinput, como la capacidad de hacer modificaciones in situ de archivos simplemente filtrando cada línea.

Como se señaló en los comentarios y se discutió en otra publicación , fileinputpara Python 2.7 no funcionará como se indica. Aquí una ligera modificación para hacer que el código sea compatible con Python 2.7

with open('outfilename', 'w') as fout:
    fin = fileinput.input(filenames)
    for line in fin:
        fout.write(line)
    fin.close()

No sé sobre elegancia, pero esto funciona:

    import glob
    import os
    for f in glob.glob("file*.txt"):
         os.system("cat "+f+" >> OutFile.txt")

¿Qué hay de malo con los comandos UNIX? (dado que no está trabajando en Windows):

ls | xargs cat | tee output.txt hace el trabajo (puede llamarlo desde python con subproceso si lo desea)

outfile.write(infile.read()) # time: 2.1085190773010254s
shutil.copyfileobj(fd, wfd, 1024*1024*10) # time: 0.60599684715271s

Un punto de referencia simple muestra que el shutil funciona mejor.

Una alternativa a la respuesta @ inspectorG4dget (la mejor respuesta hasta la fecha 29-03-2016). Probé con 3 archivos de 436MB.

@ inspectorG4dget solución: 162 segundos

La siguiente solución: 125 segundos

from subprocess import Popen
filenames = ['file1.txt', 'file2.txt', 'file3.txt']
fbatch = open('batch.bat','w')
str ="type "
for f in filenames:
    str+= f + " "
fbatch.write(str + " > file4results.txt")
fbatch.close()
p = Popen("batch.bat", cwd=r"Drive:\Path\to\folder")
stdout, stderr = p.communicate()

La idea es crear un archivo por lotes y ejecutarlo, aprovechando la "tecnología buena y antigua". Es semi-pitón pero funciona más rápido. Funciona para ventanas.

Si tiene muchos archivos en el directorio, entonces glob2podría ser una mejor opción para generar una lista de nombres de archivos en lugar de escribirlos a mano.

import glob2

filenames = glob2.glob('*.txt')  # list of all .txt files in the directory

with open('outfile.txt', 'w') as f:
    for file in filenames:
        with open(file) as infile:
            f.write(infile.read()+'\n')

Consulte el método .read () del objeto File:

http://docs.python.org/2/tutorial/inputoutput.html#methods-of-file-objects

Podrías hacer algo como:

concat = ""
for file in files:
    concat += open(file).read()

o una forma de pitón más "elegante":

concat = ''.join([open(f).read() for f in files])

que, según este artículo: http://www.skymind.com/~ocrow/python_string/ también sería el más rápido.

Si los archivos no son gigantescos:

with open('newfile.txt','wb') as newf:
    for filename in list_of_files:
        with open(filename,'rb') as hf:
            newf.write(hf.read())
            # newf.write('\n\n\n')   if you want to introduce
            # some blank lines between the contents of the copied files

Si los archivos son demasiado grandes para leerlos por completo y guardarlos en la RAM, el algoritmo debe ser un poco diferente para leer cada archivo que se copiará en un bucle por fragmentos de longitud fija, read(10000)por ejemplo.

def concatFiles():
    path = 'input/'
    files = os.listdir(path)
    for idx, infile in enumerate(files):
        print ("File #" + str(idx) + "  " + infile)
    concat = ''.join([open(path + f).read() for f in files])
    with open("output_concatFile.txt", "w") as fo:
        fo.write(path + concat)

if __name__ == "__main__":
    concatFiles()

  import os
  files=os.listdir()
  print(files)
  print('#',tuple(files))
  name=input('Enter the inclusive file name: ')
  exten=input('Enter the type(extension): ')
  filename=name+'.'+exten
  output_file=open(filename,'w+')
  for i in files:
    print(i)
    j=files.index(i)
    f_j=open(i,'r')
    print(f_j.read())
    for x in f_j:
      outfile.write(x)