¿Cómo llego una TB de datos a un nuevo servidor web?

31

Tengo una TB de archivos de medios comprimidos que necesito para llegar a un servidor web remoto con un poco de urgencia. (desde mi oficina)

Nuestra velocidad de carga es de solo 500 KB / s, lo que sugeriría ~ 23 días para cargar.

La nueva empresa de alojamiento no acepta unidades de disco por correo.

¿Hay un buen lugar para ir en las principales áreas metropolitanas para pedir prestada una pipa más gorda?

transfer data

— Brian Webster
fuente

10

Sé que esto no es una respuesta, o incluso particularmente útil, pero si su nueva empresa de alojamiento no está dispuesta a trabajar con usted en esto, necesita encontrar una nueva empresa de alojamiento. No aceptar un viaje de un cliente (por una tarifa, por supuesto) es bastante desagradable.

— voretaq7

Comprueba mi respuesta: es una empresa de almacenamiento de datos en Tulsa

— Anagio

Tiene buenas respuestas aquí, pero ¿no debería haberse transferido a ServerFault?

— Mark Hurd

1

Tal vez, pero veo la falla del servidor como un lugar para discutir la configuración de hardware y software, mientras que este es el uso de los webmasters que tienen a su disposición para lograr una tarea más compuesta

— Brian Webster,

16

Me pondría en contacto con algunos de sus centros de datos locales (alojamiento en rack, proveedores de servicios administrados, etc.) y vería sobre el alquiler de un vps o máquina virtual por un día o dos. Solo asegúrese de que le permitan traer un disco para la transferencia inicial y estén al tanto de sus necesidades de ancho de banda.

También puede preguntar si simplemente lo ayudarían con la carga. A menudo tienden a ser oportunistas, ingeniosos y pueden estar dispuestos a complacerlo para tener la oportunidad de obtener parte de su negocio.

— InChargeOfIT
fuente

3

También hay una opción de centro de datos remoto: Amazon AWS! Envíeles discos duros, y cobran (al momento de escribir esto) $ 80 por dispositivo, más $ 2.50 por hora de carga de datos, más lo que cuesta almacenar los datos siempre que estén en AWS más transferencia de datos. Posiblemente no sea la opción más atractiva, sino simplemente lanzarla.

Esto es genial saberlo. ¡Usamos mucho AWS! ¿Sabes dónde puedo leer sobre este servicio? Es difícil de encontrar en Google (al menos las palabras clave que estoy usando)

— Brian Webster

1

aws.amazon.com/importexport

— Rich

11

Si tiene amigos o empleados dispuestos a echarle una mano con su conexión doméstica, puede configurar un torrent para el archivo grande y configurar a sus empleados / amigos como semillas. Por supuesto, tendría que cargar y copiar el archivo a todos. Incluso entonces, puede dividir el archivo en .rars y hacer que los "equipos" envíen porciones (asegurándose de que no descarguen los archivos que no tienen). Multitud de abastecimiento ftw!

— luke
fuente

3

Esto sería particularmente efectivo si tienes amigos que están en la universidad. No solo tienen acceso a buenas conexiones universitarias de alta velocidad, sino que no sería difícil para ellos pedirle a un par de amigos en diferentes dormitorios que ayuden con la carga.

— Lèse majesté

7

Encuentre un ISP regional que sea de propiedad local y traiga una buena unidad externa que pueda contener todo esto. Ingrese a su oficina con $ 300 en efectivo, credenciales para su servidor y un paquete de 12 cervezas. Ore para que tengan un enlace ascendente de gigabits porque un máximo de 100 mbits le llevará más de 24 horas.

Si falla, busque un punto de intercambio de Internet local y encuentre cualquier AS que esté conectado a él. Haz buenos amigos con alguien local de NANOG. Lo más probable es que necesites ser creativo. Intenta buscar una ubicación conjunta cerca de ti.

— Jeff Ferland
fuente

2

Este es el camino que tomaría. La cerveza tiende a lubricar las interacciones comerciales.

— Evik James

1

Creo que esta es posiblemente la mejor solución de camino de menor resistencia aquí.

— jeremiahd

5

Si los archivos son archivos de texto o de alguna otra forma, puede comprimirlos antes de cargarlos, lo que podría reducir el tamaño del archivo hasta en un 90%. Luego puede descomprimirlos en el servidor.

También puede intentar dividir la carga entre varias ubicaciones. Cada uno puede darte su velocidad máxima.

— John Conde
fuente

4

Obtenga una empresa de alojamiento temporal a la que pueda enviar su unidad por correo y luego transfiérala del host temporal al host permanente a un ritmo más rápido.

— xpda
fuente

3

O simplemente cambie a un servidor web que acepte unidades por correo. La mayoría de los servidores web con un servicio al cliente decente lo permitirán.

— Lèse majesté

Supongo que la compañía de alojamiento actual fue seleccionada por el precio o algún otro criterio a largo plazo, y sería más costoso cambiar de forma permanente.

— xpda

4

Estos tipos están en Tulsa, que tienes en tu perfil, así que si estás en la zona, llámalos o pasa por aquí y hazles saber tu situación.

http://www.datastorageinc.com/

— Anagio
fuente

3

Solo quiero agregar a las respuestas existentes algo que podría mejorar su transferencia una vez que haya conectado su disco duro a un servidor con buen ancho de banda.

Necesitaba transferir grandes cantidades de datos varias veces entre dos servidores web y, en lugar de usar comandos FTP o WGET comunes para cargar o descargar los datos, he estado usando el comando Linux SCP. Puede encontrar más información aquí: http://www.go2linux.org/scp-linux-command-line-copy-files-over-ssh

Necesitará acceso SSH a ambos servidores y luego podrá copiar un archivo o muchos archivos de forma recursiva.

Entonces, si solo tiene archivos grandes en lugar de muchos pequeños, creo que se copiará lo suficientemente rápido.

A una velocidad de transferencia de 11 MB / segundo entre servidores, la transferencia duraría unas 25 horas.

¡Buena suerte! ;)

— Alexandru Trandafir Catalin2
fuente

1

Mejor aún, use rsync si el host de destino lo admite. (Muchos lo hacen.)

— Ilmari Karonen

3

http://aws.amazon.com/importexport/

Envíe su dispositivo a AWS y ellos se encargarán del resto.

— tranquilo
fuente

"... y ellos se encargarán del resto" - no, no lo harán, a menos que su destino sea AWS. Si no es así, solo transferirán los datos a un depósito S3. Y usted es quien tiene que llevarlo del depósito S3 a su destino de almacenamiento, en cuyo caso es lo mismo que la respuesta de xpda.

— Lèse majesté

2

Oh, absolutamente, debería haber comentado como Rich lo hizo (no estaba allí cuando publiqué) en InChargeOfIt answer. Dado que Hamlin11 mostró especial interés en la solución de AWS y estaba buscando el enlace para este servicio, lo publiqué. Un comentario allí habría sido más apropiado, estoy de acuerdo.

— tranquilo

Bueno, creo que si puede editar la respuesta para vincularla con ese comentario, y tenga en cuenta que para destinos que no son de AWS, solo necesita iniciar una transferencia de servidor a servidor luego usando la tubería muy gruesa de Amazon, aún así ser una buena respuesta

— Lèse majesté

1

Si los datos están en su oficina en la conexión lenta, está en apuros. Si los datos están en o en su host anterior, puede intentar una transferencia de servidor a servidor. Usando las tuberías ISP en lugar de su tubería de oficina apretada

Si lo hiciera en fragmentos a través de un wget de ssh, sería muchísimo más rápido que enviar un disco para la instalación. Dicho esto, nunca he tenido que mover más de 250 GB.

— Brian
fuente

La parte de urgencia de la pregunta provino de un evento catastrófico de inactividad en el "viejo anfitrión". No teníamos un host de respaldo en caliente, pero sí teníamos respaldos recientes a nivel local.

— Brian Webster

0

Como sugieren las otras preguntas, la mayoría de las veces se reduce a encontrar a alguien a tu alrededor con una buena conexión.

Un grupo con el que podría hablar son los administradores de la universidad o la universidad. Solo asegúrate de que el tipo con el que estás hablando esté autorizado para dejarte pasar un poco de TB a través de su cable, y estoy seguro de que puedes llegar a un acuerdo.

Muchas facultades en las universidades, por ejemplo, física de partículas, publican petabytes de datos, por lo que esta podría ser otra opción posible.

— Boldewyn
fuente