DataFrame grande y persistente en pandas

Estoy explorando cambiar a python y pandas como usuario de SAS desde hace mucho tiempo.

Sin embargo, al ejecutar algunas pruebas hoy, me sorprendió que Python se quedara sin memoria al intentar pandas.read_csv()un archivo csv de 128 MB. Tenía alrededor de 200.000 filas y 200 columnas de datos en su mayoría numéricos.

Con SAS, puedo importar un archivo csv a un conjunto de datos SAS y puede ser tan grande como mi disco duro.

¿Hay algo análogo en pandas?

Regularmente trabajo con archivos grandes y no tengo acceso a una red informática distribuida.

En principio, no debería quedarse sin memoria, pero actualmente hay problemas de memoria con read_csvarchivos grandes causados ​​por algunos problemas internos complejos de Python (esto es vago pero se conoce desde hace mucho tiempo: http://github.com/pydata / pandas / issues / 407 ).

Por el momento no hay una solución perfecta (aquí hay una tediosa: podría transcribir el archivo fila por fila en una matriz NumPy preasignada o un archivo mapeado en memoria np.mmap), pero es una en la que estaré trabajando en un futuro próximo. Otra solución es leer el archivo en partes más pequeñas (usar iterator=True, chunksize=1000) y luego concatenarlo con pd.concat. El problema surge cuando almacena todo el archivo de texto en la memoria de una sola vez.

¡Wes tiene razón, por supuesto! Solo estoy interviniendo para proporcionar un código de ejemplo un poco más completo. Tuve el mismo problema con un archivo de 129 Mb, que fue resuelto por:

import pandas as pd

tp = pd.read_csv('large_dataset.csv', iterator=True, chunksize=1000)  # gives TextFileReader, which is iterable with chunks of 1000 rows.
df = pd.concat(tp, ignore_index=True)  # df is DataFrame. If errors, do `list(tp)` instead of `tp`

Este es un hilo más antiguo, pero solo quería descargar mi solución alternativa aquí. Inicialmente probé el chunksizeparámetro (incluso con valores bastante pequeños como 10000), pero no ayudó mucho; todavía tenía problemas técnicos con el tamaño de la memoria (mi CSV era ~ 7.5 Gb).

En este momento, solo leo fragmentos de los archivos CSV en un enfoque de bucle for y los agrego, por ejemplo, a una base de datos SQLite paso a paso:

import pandas as pd
import sqlite3
from pandas.io import sql
import subprocess

# In and output file paths
in_csv = '../data/my_large.csv'
out_sqlite = '../data/my.sqlite'

table_name = 'my_table' # name for the SQLite database table
chunksize = 100000 # number of lines to process at each iteration

# columns that should be read from the CSV file
columns = ['molecule_id','charge','db','drugsnow','hba','hbd','loc','nrb','smiles']

# Get number of lines in the CSV file
nlines = subprocess.check_output('wc -l %s' % in_csv, shell=True)
nlines = int(nlines.split()[0]) 

# connect to database
cnx = sqlite3.connect(out_sqlite)

# Iteratively read CSV and dump lines into the SQLite table
for i in range(0, nlines, chunksize):

    df = pd.read_csv(in_csv,  
            header=None,  # no header, define column header manually later
            nrows=chunksize, # number of rows to read at each iteration
            skiprows=i)   # skip rows that were already read

    # columns to read        
    df.columns = columns

    sql.to_sql(df, 
                name=table_name, 
                con=cnx, 
                index=False, # don't use CSV file index
                index_label='molecule_id', # use a unique column from DataFrame as index
                if_exists='append') 
cnx.close()    

A continuación se muestra mi flujo de trabajo.

import sqlalchemy as sa
import pandas as pd
import psycopg2

count = 0
con = sa.create_engine('postgresql://postgres:pwd@localhost:00001/r')
#con = sa.create_engine('sqlite:///XXXXX.db') SQLite
chunks = pd.read_csv('..file', chunksize=10000, encoding="ISO-8859-1",
                     sep=',', error_bad_lines=False, index_col=False, dtype='unicode')

Según el tamaño de su archivo, será mejor que optimice el tamaño del fragmento.

 for chunk in chunks:
        chunk.to_sql(name='Table', if_exists='append', con=con)
        count += 1
        print(count)

Después de tener todos los datos en la base de datos, puede consultar los que necesita de la base de datos.

Si desea cargar archivos csv enormes, dask podría ser una buena opción. Imita la API de pandas, por lo que se siente bastante similar a los pandas

enlace a dask en github

Puede usar Pytable en lugar de pandas df. Está diseñado para grandes conjuntos de datos y el formato de archivo está en hdf5. Entonces, el tiempo de procesamiento es relativamente rápido.