Preguntas etiquetadas con bulk

Usando PG 9.1 en Ubuntu 12.04. Actualmente, lleva hasta 24 horas ejecutar un gran conjunto de sentencias ACTUALIZAR en una base de datos, que son de la siguiente forma: UPDATE table SET field1 = constant1, field2 = constant2, ... WHERE id = constid (Solo estamos sobrescribiendo los campos de los …

37 postgresql  performance  update  bulk 

Me pregunto cuál sería la forma más eficiente de eliminar grandes cantidades de filas de PostgreSQL, este proceso sería parte de una tarea recurrente todos los días para importar datos en masa (un delta de inserciones + eliminaciones) en una tabla. Podría haber miles, potencialmente millones de filas para eliminar. …

23 postgresql  delete  bulk 

He leído un artículo que menciona que podemos lograr 60,000 inserciones por segundo usando la LOAD DATA IN FILEinstrucción, que lee de archivos csv e inserta los datos en una base de datos. ¿Por qué debería diferir de los insertos normales? EDITAR: reduje el viaje de ida y vuelta llamando …

22 mysql  import  bulk 

Para resumir los detalles: necesitamos organizar aproximadamente 5 millones de filas en una base de datos de proveedor (Oracle). Todo funciona muy bien para lotes de 500k filas usando OracleBulkCopy(ODP.NET), pero cuando tratamos de escalar hasta 5M, el rendimiento comienza a ralentizarse una vez que alcanza la marca de 1M, …

14 oracle  bulk 

Estoy buscando encontrar una manera de generar una nueva tabla MySQL basada únicamente en el contenido de un CSV especificado. Los archivos CSV que usaré tienen las siguientes propiedades; "|" delimitado La primera fila especifica los nombres de columna (encabezados), también "|" delimitado Los nombres y el orden de las …

12 mysql  csv  import  bulk 

Necesito importar aproximadamente 500,000 registros que contienen datos de búsqueda de IP (referencia de solo lectura) aproximadamente una vez a la semana (solo tres cols int / bigint). Realmente no quiero preocuparme por fusionar los datos con la tabla existente, preferiría borrar lo viejo y volver a importar. Idealmente, las …

11 sql-server  import  bulk 

Estamos trabajando en un proyecto que requiere importar datos de una hoja de cálculo de Excel a diario. Los datos se importarán desde la plantilla predefinida y lo que estamos pensando, primero cargaremos los datos en la tabla temporal y realizaremos la operación de limpieza (eliminar información innecesaria, agregar nuevas …

8 sql-server  bulk  import