¿Cuál es la forma más simple y rápida de transferir archivos grandes a través de una red de Windows?

Tengo una máquina con Windows Server 2000 que ejecuta MS SQL Server que almacena más de 20 GB de datos. La base de datos se respalda todos los días en el segundo disco duro. Quiero transferir esos archivos de respaldo a otra computadora para construir otro servidor de prueba y para practicar la recuperación. (la copia de seguridad nunca se restauró en realidad durante casi 5 años. ¡No se lo cuentes a mi jefe!)

Tengo problemas para transferir ese archivo enorme a través de la red. He intentado una copia de red simple, descarga de apache y ftp. Cualquier método que probé termina fallando cuando la cantidad de datos transferidos alcanza los 2 GB. La última vez que transfirí el archivo con éxito, fue a través de un disco duro externo conectado al usb. Pero quiero realizar esta tarea de forma rutinaria y preferiblemente automática.

¿Se pregunta cuál es el enfoque más pragmático para esta situación?

Una falla predecible a 2 Gb parece que el sistema de archivos objetivo es el culpable ... ¿Ambos están en NTFS? ¿Está pasando por alguna compresión (el zip solía fallar en límites de 2 gb) ((es apache haciendo compresión))

He copiado muchos archivos de más de 20 Gb usando robocopy (como otros han mencionado) pero evitaría usar el modificador / MIR hasta que esté seguro de que tiene la copia haciendo lo que desea, ya que eliminará los archivos y los copiará.

SMB sufre de un paquete único en un límite de tiempo, por lo que a menudo es la forma más lenta de copiar archivos: tiene la opción de copiar usando push o pull. Personalmente, prefiero el método push (la copia la inicia la fuente).

La herramienta MS Exchange eseutil es una excelente utilidad para copiar archivos grandes rápidamente en una red:

eseutil / y archivo_origen / d archivo_destino.

Le recomiendo usar la herramienta gratuita RichCopy . Es multiproceso y puede pausar y reanudar las operaciones de copia de archivos. He tenido mucha suerte usándolo para transferir archivos entre servidores.

Mis tres mejores consejos para usar RichCopy

1. Si está copiando uno o algunos archivos grandes, establezca el atributo 'Copia de archivo' en más de '1'. Utiliza recursos pero copia archivos grandes más rápido

2. Si está copiando muchos archivos, configure los atributos 'Número de subproceso' en 10-10-1. Esto copiará múltiples archivos más rápido

3. Si está copiando a través de una conexión dudosa. Puede volver a ejecutar la descarga e irá a buscar los archivos que no logró obtener la primera vez.

http://blogs.technet.com/markdea/archive/2009/03/24/richcopy-is-it-the-new-sliced-bread.aspx

En lo que respecta a las utilidades de copia de archivos, TeraCopy es una buena interfaz gráfica de usuario (no línea de comando) que puede poner en cola muchos archivos, admite pausas y reanudaciones, puede cambiar dinámicamente el tamaño de su búfer para optimizar la velocidad y, opcionalmente, puede reemplazar el valor predeterminado de Windows Explorer copiar / mover con lo suyo.

Robocopy con la opción / MIR es muy útil para realizar copias de seguridad rápidas y sucias entre máquinas. Puede encontrar robocopy en el Kit de recursos de Windows Server 200X

MIR enviará los contenidos de un directorio a otro servidor. Solo copiará los archivos que hayan cambiado.

La solución más pragmática para la combinación aleatoria repetida de grandes archivos de copia de seguridad de SQL Server es utilizar un producto de compresión de copia de seguridad de terceros o la compresión de copia de seguridad incorporada de SQL Server 2008 Enterprise Edition.

Hay varios por ahí de diferentes proveedores. Trabajo para Quest Software, los creadores de LiteSpeed, pero no estoy aquí para vender nada. Desea consultar todos los productos disponibles y decidir qué es lo mejor para sus necesidades. Aquí hay una publicación de blog reciente que habla específicamente de LiteSpeed, pero los mismos conceptos también se aplican a otros productos:

http://blogs.lessthandot.com/index.php/DataMgmt/DBAdmin/title-8

¿Está copiando el archivo a través de una LAN o mediante alguna conexión WAN como ADSL? Supongo que es una WAN porque 20 GB no es un archivo grande para copiar en una LAN. Copio muchos de esos archivos todos los días.

Si se trata de una conexión WAN, la forma en que lo hago es usar la versión Cygwin de rsync.

JR

Las transferencias de red fallaron alrededor de la marca de 2 GB; resultó ser una NIC defectuosa.

Uso syncback ( http://www.2brightsparks.com/syncback/sbse.html ) diariamente para transferir archivos varias veces más grandes que los suyos. Nunca tuve un problema con eso.

Es un poco tarde, pero recomendaría una opción de copia de seguridad y restauración de terceros. Utilizamos Red Gate SQL Backup ( www.red-gate.com ), tiene opciones de compresión y ubicación alternativa en la GUI. Obtengo un ahorro de compresiones del 80% promedio, por lo que solo transfieres el 20% del tamaño real de base de datos También es compatible con el cifrado, por lo que se puede utilizar en una WAN sin problemas de intercepción.

Es totalmente programable, por lo que puede ejecutarse automáticamente en el ciclo que elija.

La GUI también le permite configurar y administrar el envío de registros.

Versión de prueba gratuita disponible en lo anterior.

No tengo experiencia con un archivo tan grande, pero ¿podría usar robocopy o incluso xcopy con la opción / Z que dice ser reiniciable? Parece que esto está destinado a copias de archivos grandes donde la red no es confiable.

He usado robocopy a más de 1 gb y no tuve problemas. ss64.com tiene una buena explicación de los interruptores. Sin embargo, no puedo publicar el enlace :-(

Mala respuesta ..

Utiliza Netcat . Un tutorial orientado a Unix para transferir archivos se puede encontrar aquí . Puede acelerar aún más las cosas:

1. Comprima en el lado del remitente y descomprima en el lado del destino. (Chuck Windows equivalente a gzip en el medio de las líneas de comando).
2. Elija enviar datos a través de udp en lugar de a través de tcp (oye hombre, ¿a quién le importa la integridad de los datos?)

Bromas aparte, netcat es probablemente la forma más rápida de transferir archivos grandes en una LAN. Como no se realiza ninguna suma de comprobación, puede hacer una suma MD5 del archivo antes de enviarlo y compararlo con la suma MD5 del archivo recibido.

He usado mucho netcat de esta manera, nunca lo vi fallar, nunca lo vi fallar para maximizar la red tampoco ...

Puede valer la pena dividir el archivo en fragmentos más pequeños como una solución a corto plazo hasta que pueda identificar el problema. Hemos tenido problemas similares a esto en el pasado, y ftp siempre ha funcionado para nosotros.

Si estos son archivos .bak de SQL que está copiando, le recomiendo que haga una de las siguientes acciones para reducir sus archivos antes de copiarlos:

• Reducir la base de datos y truncar el registro antes de ejecutar la copia de seguridad. O
• Comprima el archivo .bak antes de copiarlo. Los archivos .bak de SQL se comprimen mucho si no está utilizando el espacio totalmente asignado en los archivos de datos y registros.

Podría eliminar la necesidad de un método alternativo para copiar archivos grandes.

No creo que sea un problema encontrar algo para transferir más rápido, verifique dos veces para asegurarse de que su sistema de archivos de destino NO sea GRANDE, como han dicho otros. Además, asegúrese de que las NIC de ambos lados tengan controladores actualizados y que, de lo contrario, no estén actuando de manera escasa.

Dicho esto, ¿está moviendo muchos archivos pequeños o solo algunos grandes? He visto problemas con el controlador RAID al intentar mover millones de archivos pequeños.

No creo que tenga problemas para automatizar esto una vez que descubra qué está causando la falla. Puede ser útil enumerar más detalles sobre su hardware y cualquier error relevante que pueda ver en el visor de eventos.

¿Has intentado usar una conexión eSATA a un disco duro externo? Las conexiones son rápidas (¡3 gigabits!) Y deberían poder transferir ese archivo en muy poco tiempo.

¿Qué velocidad tiene su tarjeta de red en el servidor, 10/100 o 10/100/1000? ¿Cómo se ve el ancho de banda de la red del servidor y el conmutador cuando está copiando el archivo? ¿Cómo se ve el ancho de banda de red de la ubicación de destino (¿del servidor?) Al copiar? ¿Has intentado unir 2 NIC juntos? ¿Están actualizados los controladores de la tarjeta de red? ¿Está el BIOS actualizado?

Hay muchas cosas que podrían ser el problema para las transferencias de archivos. Asegurarse de que los controladores de hardware y el BIOS estén actualizados realmente puede marcar la diferencia.

-JFV

La forma más simple y rápida: discos USB externos y caminar.

Mi manera: usar rsync. Si la copia falla, simplemente reiníciela y continuará donde la dejó.

La otra cosa para verificar sería ver si el servicio de cuotas está configurado en el servidor de destino; Creo que usa 2 GB como cuota predeterminada por usuario.