La mejor manera de simplemente almacenar datos para el análisis estadístico en R [cerrado]

He estado usando archivos de texto para almacenar mis datos para R sin ningún problema desde hace algún tiempo. Pero para un proyecto reciente, los tamaños de los archivos se están volviendo demasiado grandes para que los manejen los archivos de texto sin procesar. ¿Cuál es la mejor alternativa simple?

El enfoque estándar de R es usar savey load. Si ejecuta savesu marco de datos después de importarlo y anotarlo, puede especificar compress=TRUEy se sorprenderá de la compresión y el loadtiempo rápido . Esto funciona especialmente bien si el tamaño del objeto es inferior a aproximadamente 400 MB. De lo contrario, consulte algunas de las sugerencias anteriores o el poderoso ffpaquete en R.

El Hmiscpaquete tiene pequeños envoltorios Savey Loadpara hacer lo anterior aún más indoloro:

mydata <- csv.get(...)  # Hmisc package, has several options
Save(mydata)   # writes mydata.rda to current working directory
....
Load(mydata)   # reads mydata.rda and creates mydata data frame

Echa un vistazo a las bases de datos SQLite3. Cada base de datos es un archivo, por lo que no requiere configurar un servidor de base de datos.

Para crear una base de datos:

$ sqlite3 my_db.db3
> CREATE TABLE my_table ( col1 TEXT );

Para usar con R, https://gist.github.com/lynaghk/1062939

Hay varias opciones genéricas.

• Podrías comprimir el texto.
• Podría ir binario en el texto, no escribir en ascii

La gran compresión depende de los datos.

Mi suposición (y no especificó, así que debo adivinar) es que está buscando almacenar datos similares a una hoja de cálculo en algo distinto de csv (delimitado por comas).

Uno de mis formatos favoritos (me encanta MatLab) es hdf.

Aquí hay información relacionada con R sobre HDF:

• Se accede a través de los paquetes hdf5, h5r, rhdf5 de Bioconductor, RNetCDF, ncdf y ncdf4
• http://www.hdfgroup.org/HDF5/whatishdf5.html

Es un formato de almacenamiento de datos de supercomputación de alta densidad. Puede ser muy rápido y eficiente. También es (como era de esperar) más denso que el texto comprimido.

Las funciones estándar de lectura de archivos en R ahora leerán automáticamente archivos comprimidos de manera automática. Entonces, simplemente ejecute una compresión gzip simple en sus datos y lea como siempre, como si fuera texto sin formato.

read.table('myfile.gz')