Me gustaría leer varios archivos csv de un directorio en pandas y concatenarlos en un gran DataFrame. Sin embargo, no he podido resolverlo. Esto es lo que tengo hasta ahora:

import glob
import pandas as pd

# get data file names
path =r'C:\DRO\DCL_rawdata_files'
filenames = glob.glob(path + "/*.csv")

dfs = []
for filename in filenames:
    dfs.append(pd.read_csv(filename))

# Concatenate all data into one DataFrame
big_frame = pd.concat(dfs, ignore_index=True)

Supongo que necesito ayuda dentro del ciclo for ???

Si tiene las mismas columnas en todos sus csvarchivos, puede probar el siguiente código. He agregado header=0para que después de leer la csvprimera fila se puedan asignar los nombres de columna.

import pandas as pd
import glob

path = r'C:\DRO\DCL_rawdata_files' # use your path
all_files = glob.glob(path + "/*.csv")

li = []

for filename in all_files:
    df = pd.read_csv(filename, index_col=None, header=0)
    li.append(df)

frame = pd.concat(li, axis=0, ignore_index=True)

Una alternativa a la respuesta de darindaCoder :

path = r'C:\DRO\DCL_rawdata_files'                     # use your path
all_files = glob.glob(os.path.join(path, "*.csv"))     # advisable to use os.path.join as this makes concatenation OS independent

df_from_each_file = (pd.read_csv(f) for f in all_files)
concatenated_df   = pd.concat(df_from_each_file, ignore_index=True)
# doesn't create a list, nor does it append to one

import glob, os    
df = pd.concat(map(pd.read_csv, glob.glob(os.path.join('', "my_files*.csv"))))

La biblioteca Dask puede leer un marco de datos de múltiples archivos:

>>> import dask.dataframe as dd
>>> df = dd.read_csv('data*.csv')

(Fuente: http://dask.pydata.org/en/latest/examples/dataframe-csv.html )

Los marcos de datos de Dask implementan un subconjunto de la API de marcos de datos de Pandas. Si todos los datos se ajustan a la memoria, puede llamardf.compute() para convertir el marco de datos en un marco de datos Pandas.

Casi todas las respuestas aquí son innecesariamente complejas (coincidencia de patrones globales) o dependen de bibliotecas de terceros adicionales. Puede hacer esto en 2 líneas usando todo lo que Pandas y Python (todas las versiones) ya han incorporado.

Para algunos archivos - 1 liner:

df = pd.concat(map(pd.read_csv, ['data/d1.csv', 'data/d2.csv','data/d3.csv']))

Para muchos archivos:

from os import listdir

filepaths = [f for f in listdir("./data") if f.endswith('.csv')]
df = pd.concat(map(pd.read_csv, filepaths))

Esta línea de pandas que establece el df utiliza 3 cosas:

1. El mapa de Python (función, iterable) envía a la función (the pd.read_csv()) el iterable (nuestra lista), que es cada elemento csv en las rutas de archivo).
2. La función read_csv () de Panda lee en cada archivo CSV de forma normal.
3. Panda's concat () reúne todo esto bajo una variable df.

Editar: busqué en Google en https://stackoverflow.com/a/21232849/186078 . Sin embargo, últimamente me parece más rápido hacer cualquier manipulación usando numpy y luego asignarlo una vez al marco de datos en lugar de manipular el marco de datos en sí de forma iterativa y parece funcionar también en esta solución.

Sinceramente, quiero que cualquiera que acceda a esta página considere este enfoque, pero no quiero adjuntar este gran fragmento de código como comentario y hacerlo menos legible.

Puede aprovechar numpy para acelerar realmente la concatenación del marco de datos.

import os
import glob
import pandas as pd
import numpy as np

path = "my_dir_full_path"
allFiles = glob.glob(os.path.join(path,"*.csv"))


np_array_list = []
for file_ in allFiles:
    df = pd.read_csv(file_,index_col=None, header=0)
    np_array_list.append(df.as_matrix())

comb_np_array = np.vstack(np_array_list)
big_frame = pd.DataFrame(comb_np_array)

big_frame.columns = ["col1","col2"....]

Estadísticas de tiempo:

total files :192
avg lines per file :8492
--approach 1 without numpy -- 8.248656988143921 seconds ---
total records old :1630571
--approach 2 with numpy -- 2.289292573928833 seconds ---

Si desea buscar de forma recursiva ( Python 3.5 o superior ), puede hacer lo siguiente:

from glob import iglob
import pandas as pd

path = r'C:\user\your\path\**\*.csv'

all_rec = iglob(path, recursive=True)     
dataframes = (pd.read_csv(f) for f in all_rec)
big_dataframe = pd.concat(dataframes, ignore_index=True)

Tenga en cuenta que las tres últimas líneas se pueden expresar en una sola línea :

df = pd.concat((pd.read_csv(f) for f in iglob(path, recursive=True)), ignore_index=True)

Puede encontrar la documentación de ** aquí . Además, usé en igloblugar de glob, ya que devuelve un iterador en lugar de una lista.

EDITAR: Función recursiva multiplataforma:

Puede envolver lo anterior en una función multiplataforma (Linux, Windows, Mac), para que pueda hacer:

df = read_df_rec('C:\user\your\path', *.csv)

Aquí está la función:

from glob import iglob
from os.path import join
import pandas as pd

def read_df_rec(path, fn_regex=r'*.csv'):
    return pd.concat((pd.read_csv(f) for f in iglob(
        join(path, '**', fn_regex), recursive=True)), ignore_index=True)

Fácil y rápido

Importe dos o más csvsin tener que hacer una lista de nombres.

import glob

df = pd.concat(map(pd.read_csv, glob.glob('data/*.csv')))

usando un trazador de líneas map, pero si desea especificar argumentos adicionales, puede hacer:

import pandas as pd
import glob
import functools

df = pd.concat(map(functools.partial(pd.read_csv, sep='|', compression=None), 
                    glob.glob("data/*.csv")))

Nota: mappor sí solo no le permite suministrar argumentos adicionales.

Si los múltiples archivos csv están comprimidos, puede usar zipfile para leerlos todos y concatenarlos de la siguiente manera:

import zipfile
import numpy as np
import pandas as pd

ziptrain = zipfile.ZipFile('yourpath/yourfile.zip')

train=[]

for f in range(0,len(ziptrain.namelist())):
    if (f == 0):
        train = pd.read_csv(ziptrain.open(ziptrain.namelist()[f]))
    else:
        my_df = pd.read_csv(ziptrain.open(ziptrain.namelist()[f]))
        train = (pd.DataFrame(np.concatenate((train,my_df),axis=0), 
                          columns=list(my_df.columns.values)))

Otro en línea con comprensión de lista que permite utilizar argumentos con read_csv.

df = pd.concat([pd.read_csv(f'dir/{f}') for f in os.listdir('dir') if f.endswith('.csv')])

Basado en la buena respuesta de @ Sid.

Antes de concatenar, puede cargar archivos csv en un diccionario intermedio que da acceso a cada conjunto de datos en función del nombre del archivo (en el formulario dict_of_df['filename.csv'] ). Dicho diccionario puede ayudarlo a identificar problemas con formatos de datos heterogéneos, cuando los nombres de columna no están alineados, por ejemplo.

Importe módulos y ubique rutas de archivos:

import os
import glob
import pandas
from collections import OrderedDict
path =r'C:\DRO\DCL_rawdata_files'
filenames = glob.glob(path + "/*.csv")

Nota: OrderedDict no es necesario, pero mantendrá el orden de los archivos que podrían ser útiles para el análisis.

Cargue archivos csv en un diccionario. Luego concatenar:

dict_of_df = OrderedDict((f, pandas.read_csv(f)) for f in filenames)
pandas.concat(dict_of_df, sort=True)

Las claves son nombres de archivos fy los valores son el contenido del marco de datos de los archivos csv. En lugar de usarlo fcomo una clave de diccionario, también puede usar os.path.basename(f)u otros métodos os.path para reducir el tamaño de la clave en el diccionario solo a la parte más pequeña que sea relevante.

Alternativa al uso de la pathlibbiblioteca (a menudo preferida sobre os.path).

Este método evita el uso iterativo de pandas concat()/ apped().

De la documentación de pandas:
Vale la pena señalar que concat () (y, por lo tanto, append ()) hace una copia completa de los datos, y que la reutilización constante de esta función puede crear un impacto significativo en el rendimiento. Si necesita usar la operación en varios conjuntos de datos, use una lista de comprensión.

import pandas as pd
from pathlib import Path

dir = Path("../relevant_directory")

df = (pd.read_csv(f) for f in dir.glob("*.csv"))
df = pd.concat(df)

Así es como puedes hacer usando Colab en Google Drive

import pandas as pd
import glob

path = r'/content/drive/My Drive/data/actual/comments_only' # use your path
all_files = glob.glob(path + "/*.csv")

li = []

for filename in all_files:
    df = pd.read_csv(filename, index_col=None, header=0)
    li.append(df)

frame = pd.concat(li, axis=0, ignore_index=True,sort=True)
frame.to_csv('/content/drive/onefile.csv')

import pandas as pd
import glob

path = r'C:\DRO\DCL_rawdata_files' # use your path
file_path_list = glob.glob(path + "/*.csv")

file_iter = iter(file_path_list)

list_df_csv = []
list_df_csv.append(pd.read_csv(next(file_iter)))

for file in file_iter:
    lsit_df_csv.append(pd.read_csv(file, header=0))
df = pd.concat(lsit_df_csv, ignore_index=True)