Solución para red ruidosa que corrompe los archivos descargados

1

La red en la empresa donde trabaja mi esposa tiene problemas. Casi todos los archivos más grandes que unos pocos cientos de KB se corrompen durante la descarga e incluso las páginas web a veces están confusas. Verificamos todo lo que pudimos verificar y realmente no es un problema en su computadora (especialmente porque todas las demás terminales de computadora en el edificio tienen el mismo problema).

Todos los archivos están dañados, incluidos documentos, fotos, páginas web ... esto sucede con los archivos descargados por cualquier medio (varios navegadores, wget, administradores de descargas, ...) excepto Dropbox. pero el peor problema es que no puede instalar nada en su máquina de Ubuntu porque los paquetes están dañados durante la descarga y hay una falta de comprobación cada vez que intenta usar apt-get o incluso ejecutar un script descargado.

El administrador de la red no parece estar interesado en corregir esto y ni siquiera parece entender cuál es el problema y qué puede estar causando el problema (insiste en que esto se debe a un gran tráfico en la red).

Lo que es extraño es que los archivos descargados por Dropbox no están dañados. Creo que tal vez utiliza una prueba de suma de comprobación y trata de descargar de nuevo en caso de que falle.

Entonces, ¿pensamos que quizás haya algún programa que haga algún tipo de comprobación durante la descarga y vuelva a descargar los bits dañados? ¿Hay alguna manera de que podamos usar esta red ruidosa?

Realmente no hay otra opción, es la única red rápida a la que tiene acceso ... :(

EDIT: Incluso estoy perdiendo conexiones ssh a través de esta red. No puedo mantener la conexión a través de ssh durante más de 30 segundos ... :( Obtengo un:

Corrupted MAC on input.
Disconnecting: Packet corrupt

— Rafael S. Calsaverini
fuente

Leyendo esto, parece que es más que el conectividad a Internet donde trabaja tu mujer tiene problemas Si la corrupción no está ocurriendo en las operaciones de la red interna, no es la red.

— fencepost

Si solo es tráfico de Internet, el administrador de la red puede ver esto como una característica en lugar de un error.

— horatio

"Tráfico pesado"? Eso no debería ser un problema, de lo contrario sería como decir que si un proceso en un sistema multitarea está ocupado, todos los demás procesos fallan; está mal porque todo lo que hace es crear una cola (en su mayor parte, hay algunos situaciones en las que un proceso podría fallar o una conexión de red podría caerse, resultando en un archivo incompleto o corrupto, pero eso es cuando se atasca y tiene que esperar mucho ).

— Synetech

La pila TCP / IP debería ya estar manejando paquetes corruptos y haciendo que sean reenviados. Sin embargo, dado que es un problema en todos los sistemas, hay algo más en la red. Pídale a su esposa que haga una prueba para ver si puede transferir archivos grandes entre otras computadoras en la red (es decir, a un colega local). Si eso funciona, entonces es la puerta de enlace, si no, entonces puede haber algún problema con el cableado o algún tipo de interferencia u otro problema con la red.

— Synetech

en realidad esto no pertenece aquí (o tal vez serverfault ...)

— bubu

1

TL; DR: Suena como una sobresaturación de la conexión a Internet. Pruebe tiempos de inactividad, torrents, gestores de descargas, cualquier cosa que pueda volver a descargar solo partes dañadas de archivos. También algunos consejos de red al final.

Le ahorraré la mayor parte del regaño por lo que suena como si su esposa hiciera uso personal de la red en su oficina (/ yo lo golpeo en la muñeca, considérese regañado), pero si una oficina es la única conexión de alta velocidad disponible me hace pensar que estás en un área con una disponibilidad de banda ancha generalmente pobre.

Si ese es el caso, es muy posible que la conexión comercial en cuestión sea una línea T-1 o quizás T-1 agrupados para una mayor capacidad (o incluso un enlace satelital). Cualquiera de esas opciones generalmente proporciona un rendimiento que está en el extremo inferior de las velocidades modernas de banda ancha, y es muy posible que la conexión de red externa esté saturada. Las conexiones muy sobresaturadas pueden perder paquetes fácilmente, al menos en lo que respecta a las aplicaciones que los esperan, porque cuando un paquete perdido se vuelve a solicitar y se entrega, la aplicación ha dejado de esperarlo.

No va a haber mucho que pueda hacer más allá de usar métodos de descarga orientados a bloques, como BitTorrent (y Dropbox), que realizan la verificación de cada bloque y que pueden transferir solo bloques no coincidentes para reducir el tráfico de red. Rsync (posiblemente tunelizado sobre SSH) es otro método para transferir archivos con ese tipo de verificación a nivel de bloque. Su mejor opción (al menos para transferencias basadas en archivos, no es de mucha ayuda para el correo electrónico / navegación) puede ser obtener otra cuenta fuera de la red donde puede descargar archivos y "instalarlos" en su cuenta de Dropbox o, por lo tanto, puede usar rsync para descargas.

Si puede interesar al administrador de la red (suponiendo que no haya hecho algunas de estas cosas), puede haber formas de reducir la demanda en la conexión de la red, como implementar un proxy Squid de almacenamiento en caché transparente, prohibir / bloquear la transmisión y el amp; torrents y agregue "greylisting" o un sistema de filtrado de correo no deseado que lo incluya entre su servidor de correo e Internet (asumiendo que el correo electrónico se maneja internamente).

Edición: los proxies de calamar y las listas grises pueden ser sorprendentemente fáciles de configurar, especialmente si está utilizando VMWare. Las máquinas virtuales precompiladas con Squid y filtrado están disponibles, y para la lista gris ESVA (www.global-domination.org) es una opción decente si se descuida un poco en estos días.

— fencepost
fuente

Como nota rápida, la administración de QoS (Calidad de servicio) para priorizar el tráfico basado en el protocolo probablemente no hará mucha diferencia: si la conexión de red está sobresaturada, la QoS se administrará al final de la conexión de la empresa, pero la saturación está ocurriendo en el lado del portador. Es como empujar la salida de una manguera de jardín a través de una pajilla: no importa el tipo de filtrado / QoS que haga en el extremo de salida de la pajilla, ese no es el cuello de botella.

— fencepost

El OP ya dijo que intentaron con wget, gestores de descargas, etc. Si la reanudación no funciona, entonces es cierto que el archivo se está corrompiendo. En el pasado, hubiera intentado cortar parte del archivo al final y reanudar desde allí, pero luego descubrí que la corrupción podría haber ocurrido en cualquier parte del archivo, incluso relativamente temprano, lo que hace que la reanudación sea completamente inútil. Tu sugerencia de P2P es buena para cosas que pueden descargarse de esa manera debido a que se cortan en trozos y a cada uno de ellos, pero no ayudará con fotos individuales, páginas web, etc., como dijeron.

— Synetech

0

Mi conjetura es que está ocurriendo una inspección de archivos que está causando la corrupción. Tal vez haya una puerta de enlace antimalware en la red y quizás este servicio no pueda inspeccionar las sesiones SSL (esto explicaría el éxito de Dropbox).

No sé si apt-get hace o puede usar conexiones SSL, pero vale la pena echarle un vistazo.

— uSlackr
fuente

¿Hay alguna forma de usar wget o una herramienta similar con SSL? Si el archivo que estoy descargando no se encuentra en un servidor donde debo iniciar sesión a través de SSL, ¿cómo puedo "disfrazar" la sesión de descarga como una sesión de SSL para probar esta hipótesis?

— Rafael S. Calsaverini

wget usará ssl si la url es https y el otro extremo lo admite. Siempre vale la pena intentarlo. Muchos sitios configuran SSL pero no lo requieren. ¿El sitio web https se muestra correctamente?

— uSlackr

0

Tú podrías usar tcpdump o Wireshark o algún otro paquete para rastrear el tráfico de red.
(Nota: se necesita un paquete compilado por un tercero para Wireshark en Ubuntu).

Esto podría ayudarte a descubrir qué está pasando.

— harrymc
fuente

0

TCP / IP tiene suma de comprobación automáticamente. Si hay corrupción, envía un paquete de reinicio y todo comienza de nuevo

solíamos tener una línea de Internet sobresaturada todo el tiempo, pero el HW subyacente siempre funcionaba perfectamente.

es difícil determinar qué es lo que está mal a menos que vea cómo está todo conectado, la configuración.

Cambia el trabajo :-P

— David Hajes
fuente