Vivid apt-get update enormes archivos de paquete en / var / lib / apt / lists / partial

ls -Ssh /var/lib/apt/lists/partial | head

total 88G
 46G security.ubuntu.com_ubuntu_dists_vivid-security_main_binary-amd64_Packages.bz2
 42G us.archive.ubuntu.com_ubuntu_dists_vivid-updates_main_binary-i386_Packages.bz2

Intenté bunzipping y obtuve basura:

bunzip2: us.archive.ubuntu.com_ubuntu_dists_vivid-updates_main_binary-i386_Packages.bz2: trailing garbage after EOF ignored

Parece que el archivo descomprimido solo tiene 88K:

 du -hs us.archive.ubuntu.com_ubuntu_dists_vivid-updates_main_binary-i386_Packages
88K

Hacer un volcado hexadecimal al final del archivo parece revelar una lista de directorio que se agrega:

tail -c 200 security.ubuntu.com_ubuntu_dists_vivid-security_main_binary-amd64_Packages.bz2 | hexdump -C
00000000  30 38 64 66 37 20 20 20  20 20 20 20 20 20 20 20  |08df7           |
00000010  20 20 34 38 31 39 20 75  6e 69 76 65 72 73 65 2f  |  4819 universe/|
00000020  69 31 38 6e 2f 54 72 61  6e 73 6c 61 74 69 6f 6e  |i18n/Translation|
00000030  2d 65 6e 2e 62 7a 32 0a  20 31 30 66 64 62 31 61  |-en.bz2. 10fdb1a|
00000040  37 34 61 62 34 34 33 36  64 39 37 62 33 33 66 65  |74ab4436d97b33fe|
00000050  62 30 38 38 36 66 35 63  38 61 63 63 64 36 34 34  |b0886f5c8accd644|
00000060  33 62 36 34 36 37 61 30  64 63 39 61 63 39 64 31  |3b6467a0dc9ac9d1|
00000070  66 64 33 39 61 36 31 63  62 20 20 20 20 20 20 20  |fd39a61cb       |
00000080  20 20 20 20 20 20 31 35  38 31 20 75 6e 69 76 65  |      1581 unive|
00000090  72 73 65 2f 73 6f 75 72  63 65 2f 53 6f 75 72 63  |rse/source/Sourc|
000000a0  65 73 2e 62 7a 32 0a 20  61 64 66 35 31 32 30 66  |es.bz2. adf5120f|
000000b0  65 63 61 37 38 66 34 65  37 36 66 34 31 36 66 38  |eca78f4e76f416f8|
000000c0  31 30 32 31 36 62 33 30                           |10216b30|

La canalización de la cola a través de cadenas y greping para un archivo muestra el mismo archivo listado una y otra vez:

 tail -c 500K security.ubuntu.com_ubuntu_dists_vivid-security_main_binary-amd64_Packages.bz2 | strings  | grep -i multiverse/i18n/Translation-en.bz2
 64a543afbb5f4bf728636bdcbbe7a2ed0804adc2               14 multiverse/i18n/Translation-en.bz2
 d3dda84eb03b9738d118eb2be78e246106900493c0ae07819ad60815134a8058               14 multiverse/i18n/Translation-en.bz2
 64a543afbb5f4bf728636bdcbbe7a2ed0804adc2               14 multiverse/i18n/Translation-en.bz2
 d3dda84eb03b9738d118eb2be78e246106900493c0ae07819ad60815134a8058               14 multiverse/i18n/Translation-en.bz2
 64a543afbb5f4bf728636bdcbbe7a2ed0804adc2               14 multiverse/i18n/Translation-en.bz2
 d3dda84eb03b9738d118eb2be78e246106900493c0ae07819ad60815134a8058               14 multiverse/i18n/Translation-en.bz2
 64a543afbb5f4bf728636bdcbbe7a2ed0804adc2               14 multiverse/i18n/Translation-en.bz2
 d3dda84eb03b9738d118eb2be78e246106900493c0ae07819ad60815134a8058               14 multiverse/i18n/Translation-en.bz2
 64a543afbb5f4bf728636bdcbbe7a2ed0804adc2               14 multiverse/i18n/Translation-en.bz2
 d3dda84eb03b9738d118eb2be78e246106900493c0ae07819ad60815134a8058               14 multiverse/i18n/Translation-en.bz2
 64a543afbb5f4bf728636bdcbbe7a2ed0804adc2               14 multiverse/i18n/Translation-en.bz2
 d3dda84eb03b9738d118eb2be78e246106900493c0ae07819ad60815134a8058               14 multiverse/i18n/Translation-en.bz2
 64a543afbb5f4bf728636bdcbbe7a2ed0804adc2               14 multiverse/i18n/Translation-en.bz2
 d3dda84eb03b9738d118eb2be78e246106900493c0ae07819ad60815134a8058               14 multiverse/i18n/Translation-en.bz2
 64a543afbb5f4bf728636bdcbbe7a2ed0804adc2               14 multiverse/i18n/Translation-en.bz2
 d3dda84eb03b9738d118eb2be78e246106900493c0ae07819ad60815134a8058               14 multiverse/i18n/Translation-en.bz2

¿Alguien se ha encontrado con esto antes?

apt updates

— usuario402751
fuente

Encontré una solución al problema: rm -rf / var / lib / apt / lists / partial / * y luego vuelva a ejecutar apt-get update.

— user402751

Me encontré con esto nuevamente, después de hacer una nueva instalación desde DVD, originalmente había actualizado desde 14.10. {{392G us.archive.ubuntu.com_ubuntu_dists_vivid-updates_main_binary-i386_Packages.bz2}}} La firma es un poco diferente, hay repetidos errores http. {{tail -c 500K us.archive.ubuntu.com_ubuntu_dists_vivid-updates_main_binary-i386_Packages.bz2 | cuerdas | grep "HTTP / 1.1 416 Rango solicitado no satisfecho" HTTP / 1.1 416 Rango solicitado no satisfecho HTTP / 1.1 416 Rango solicitado no satisfecho HTTP / 1.1 416 Rango solicitado HTTP / 1.1 416 Rango solicitado no satisfecho}}

— usuario402751

Hmm, parece que también tengo este problema. Muy molesto. Vengo a trabajar por la mañana y todo tipo de cosas se han bloqueado porque el disco está lleno. ¿Por casualidad has encontrado una solución?

— Frode

Solución no. Acabo de usar la solución alternativa de eliminar todos los archivos en / var / lib / apt / lists / partial / * antes de "apt-get update"

— user402751

Es un error askubuntu.com/a/633235/43246

— aleung

Suena un poco como un problema de proxy. Una vez tuve un problema con Maven porque el proxy reemplazó un jar por una página html que contenía una advertencia de virus. El html se guardó como .jar, pero como estaba roto, ya nada funcionaba.

De todos modos: es seguro eliminar todo del directorio /var/lib/apt/lists/partial/(y también de /var/cache/apt/archives/partial/).

Para solucionar problemas, recomiendo los siguientes pasos:

Pruebe con otro espejo, por ej. http://de.archive.ubuntu.com/ubuntu/ en lugar de http://ch.archive.ubuntu.com/ubuntu/ o incluso el archivo principal http://archive.ubuntu.com/ubuntu/
Pruebe con otro protocolo: ftp: // en lugar de http: //: el resto de la ruta permanece para los espejos predeterminados
Intente analizar la transferencia utilizando wireshark (use la opción del menú contextual 'Seguir flujo TCP'). Son interesantes los encabezados HTTP y el contenido. Si obtiene respuestas con el código de estado HTTP 200 (lo que significa que está bien) pero con contenido legible por humanos, algo está muy mal en su proxy. Un archivo bzip2 normal no debe contener texto legible por humanos.
Use wgeto curlpara verificar lo que obtiene del servidor al descargar sin apt-get.

— Daniel Alder
fuente

Interesante, de hecho estoy detrás de un proxy. @ user402751, ¿tú también?

— Frode

Sí, también estoy detrás de un proxy que probablemente explica por qué no todos se encuentran con este problema. Dicho esto, hay un error bastante malo aquí, ya que solo escribe el disco hasta que esté lleno.

— user402751

El soporte de proxy no está roto per se, pero probablemente algunos servidores no se comporten correctamente. ¿Alguna vez usó Wireshark para analizar lo que se transporta durante la descarga (Opción 'Seguir flujo TCP)? Son interesantes los encabezados HTTP y el contenido. Normalmente, un archivo bzip2 no debe contener ningún resultado utilizable al canalizar a través del stringcomando. Solo para asegurarse: ¿está utilizando servidores http o ftp?

— Daniel Alder

¿Soy curioso? ¿Esta respuesta ayudó a alguien? ¿User402751 o @Frode probaron los pasos?

— Daniel Alder

@DanielAlder No seguí el problema más allá (todavía). Al menos es útil saber que probablemente sea un problema de proxy.

— Frode