Usando R para descargar archivos de datos comprimidos, extraer e importar datos

122

@EZGraphs en Twitter escribe: "Muchos csvs en línea están comprimidos. ¿Hay alguna manera de descargar, descomprimir el archivo y cargar los datos en un data.frame usando R? #Rstats"

También estaba tratando de hacer esto hoy, pero terminé descargando el archivo zip manualmente.

Intenté algo como:

fileName <- "http://www.newcl.org/data/zipfiles/a1.zip"
con1 <- unz(fileName, filename="a1.dat", open = "r")

pero siento que estoy muy lejos. ¿Alguna idea?

r zip connection

— Jeromy Anglim
fuente

¿Funcionó? Si es así, ¿por qué aún sentirías que estás muy lejos?

— FrustratedWithFormsDesigner

@ Frustrado ... No. El código en mi pregunta no funciona. Ver las respuestas a continuación.

— Jeromy Anglim

176

Los archivos zip son en realidad más un 'sistema de archivos' con metadatos de contenido, etc. Consulte help(unzip)para más detalles. Entonces, para hacer lo que bosquejas arriba necesitas

Crea una temperatura. nombre de archivo (por ejemplo tempfile())
Use download.file()para buscar el archivo en la temperatura. expediente
Use unz()para extraer el archivo de destino de temp. expediente
Eliminar el archivo temporal a través de unlink()

que en el código (gracias por el ejemplo básico, pero esto es más simple) parece

temp <- tempfile()
download.file("http://www.newcl.org/data/zipfiles/a1.zip",temp)
data <- read.table(unz(temp, "a1.dat"))
unlink(temp)

Los archivos comprimidos ( .z) o gzipped ( .gz) o bzip2ed ( .bz2) son solo el archivo y los que puede leer directamente desde una conexión. Así que haga que el proveedor de datos lo use en su lugar :)

— Dirk Eddelbuettel
fuente

Dirk, ¿te importaría ampliar cómo extraer datos de un .zarchivo? Puedo leer desde una conexión URL con readBin(url(x, "rb"), 'raw', 99999999), pero ¿cómo extraería los datos contenidos? El uncompresspaquete se ha eliminado de CRAN. ¿Es esto posible en la base R (y si es así, ¿está restringido a los sistemas * nix?)? Feliz de publicar como una nueva pregunta, si corresponde.

— jbaums

3

Mira help(gzfile), estaba pensando que el protocolo gzip ahora también puede descomprimir (viejos) archivos .z ahora que la patente ha expirado hace mucho tiempo. Puede que no. ¿Quién usa .z de todos modos? Los años 80 llamaron, quieren recuperar su compresión ;-)

— Dirk Eddelbuettel

Gracias, no puedo hacer que funcione, así que tal vez no sea compatible después de todo. ¡La Oficina Australiana de Meteorología proporciona algunos de sus datos como .z, por desgracia!

— jbaums

FYI No funciona con readRDS()(al menos para mí). Por lo que puedo decir, el archivo debe estar en un tipo de archivo con el que pueda leer read.table().

— jessi

1

También querrás cerrar la conexión. R solo puede tener 125 abiertos a la vez. Algo así como con <- unz (temp, "a1.dat"); datos <- read.table (con); cerrar (con);

— pdb

28

Solo para que conste, intenté traducir la respuesta de Dirk al código :-P

temp <- tempfile()
download.file("http://www.newcl.org/data/zipfiles/a1.zip",temp)
con <- unz(temp, "a1.dat")
data <- matrix(scan(con),ncol=4,byrow=TRUE)
unlink(temp)

— George Dontas
fuente

55

No utilizar scan(); puede usar read.table()et al directamente en una conexión. Vea mi respuesta editada,

— Dirk Eddelbuettel

17

Utilicé el "descargador" del paquete CRAN que se encuentra en http://cran.r-project.org/web/packages/downloader/index.html . Más fácil.

download(url, dest="dataset.zip", mode="wb") 
unzip ("dataset.zip", exdir = "./")

— unixcreeper
fuente

2

Acabo de usar utils :: descomprimir sin necesidad del paquete de

— descarga

a partir de 2019: tenía que decir exdir = '.'

— userJT

9

Para Mac (y supongo que Linux) ...

Si el archivo zip contiene un solo archivo, puede usar el comando bash funzip, junto con freadel del data.tablepaquete:

library(data.table)
dt <- fread("curl http://www.newcl.org/data/zipfiles/a1.zip | funzip")

En los casos en que el archivo contiene varios archivos, puede usar taren su lugar para extraer un archivo específico para stdout:

dt <- fread("curl http://www.newcl.org/data/zipfiles/a1.zip | tar -xf- --to-stdout *a1.dat")

— dnlbrky
fuente

cuando probé su solución para varios archivos, recibo un error queFile is empty:

— bshelt141

9

Aquí hay un ejemplo que funciona para archivos que no se pueden leer con la read.tablefunción. Este ejemplo lee un archivo .xls.

url <-"https://www1.toronto.ca/City_Of_Toronto/Information_Technology/Open_Data/Data_Sets/Assets/Files/fire_stns.zip"

temp <- tempfile()
temp2 <- tempfile()

download.file(url, temp)
unzip(zipfile = temp, exdir = temp2)
data <- read_xls(file.path(temp2, "fire station x_y.xls"))

unlink(c(temp, temp2))

— ColinTea
fuente

5

Para hacer esto usando data.table, descubrí que lo siguiente funciona. Desafortunadamente, el enlace ya no funciona, así que usé un enlace para otro conjunto de datos.

library(data.table)
temp <- tempfile()
download.file("https://www.bls.gov/tus/special.requests/atusact_0315.zip", temp)
timeUse <- fread(unzip(temp, files = "atusact_0315.dat"))
rm(temp)

Sé que esto es posible en una sola línea, ya que puede pasar scripts de bash a fread, pero no estoy seguro de cómo descargar un archivo .zip, extraer y pasar un solo archivo desde allí fread.

— Mallick Hossain
fuente

4

Prueba este código. Esto funciona para mi:

unzip(zipfile="<directory and filename>",
      exdir="<directory where the content will be extracted>")

Ejemplo:

unzip(zipfile="./data/Data.zip",exdir="./data")

— Marcelo Tibau
fuente