¿Cómo ejecuto un script grande con muchas inserciones sin quedarse sin memoria?

Pregunta:

Tengo un script con alrededor de 45 mil inserciones de declaraciones selectas. Cuando intento ejecutarlo, aparece un mensaje de error que indica que me he quedado sin memoria. ¿Cómo puedo ejecutar este script?

Contexto:

1. Se agregaron algunos campos de datos nuevos para que una aplicación funcione bien con otra aplicación que usa el cliente.
2. Obtuve una hoja de cálculo de datos del cliente llena de datos que asignaron elementos de datos actuales a valores para estos nuevos campos.
3. Hoja de cálculo convertida para insertar declaraciones.
4. Si solo ejecuto algunas de las declaraciones, funciona, pero no todo el script.
5. No. No hay errores tipográficos.

Si hay una forma diferente en la que debería cargar estos datos, no dude en castigarme y avisarme.

El tamaño de lote máximo para SQL Server 2005 es 65.536 * Tamaño de paquete de red (NPS), donde NPS suele ser 4KB. Eso funciona a 256 MB. Eso significaría que sus declaraciones de inserción promediarían 5.8 KB cada una. Eso no parece correcto, pero tal vez hay espacios extraños o algo inusual allí.

Mi primera sugerencia sería poner una declaración "IR" después de cada instrucción INSERT. Esto dividirá su único lote de 45,000 declaraciones INSERT en 45,000 lotes separados. Esto debería ser más fácil de digerir. Tenga cuidado, si uno de esos insertos falla, puede ser difícil encontrar al culpable. Es posible que desee protegerse con una transacción. Puede agregar esas declaraciones rápidamente si su editor tiene una buena búsqueda y reemplazo (que le permitirá buscar y reemplazar caracteres de retorno como \ r \ n) o una función de macro.

La segunda sugerencia es usar un asistente para importar los datos directamente desde Excel. El asistente crea un pequeño paquete SSIS para usted, detrás de escena, y luego lo ejecuta. No tendrá este problema.

BULK INSERTo bcpparecen opciones más apropiadas que 45,000 declaraciones de inserción

Si necesita seguir con las instrucciones de inserción, consideraría algunas opciones:

R: Use transacciones y envuelva lotes de 100 o 500 o 1000 extractos en cada uno para minimizar el impacto en el registro y el lote. p.ej

BEGIN TRANSACTION;
INSERT dbo.table(a, ...) SELECT 1, ...
INSERT dbo.table(a, ...) SELECT 2, ...
...
INSERT dbo.table(a, ...) SELECT 500, ...
COMMIT TRANSACTION;
GO

BEGIN TRANSACTION;
INSERT dbo.table(a, ...) SELECT 1, ...
INSERT dbo.table(a, ...) SELECT 2, ...
...
INSERT dbo.table(a, ...) SELECT 500, ...
COMMIT TRANSACTION;
GO

B: en lugar de declaraciones de inserción individuales, úselas UNION ALLpara 100 o 500 declaraciones a la vez, p. Ej.

INSERT dbo.table(a, ...)
SELECT 1, ...
UNION ALL SELECT 2, ...
...
UNION ALL SELECT 500, ...
GO

INSERT dbo.table(a, ...)
SELECT 501, ...
UNION ALL SELECT 502, ...
...
UNION ALL SELECT 1000, ...
GO

He dejado el manejo de errores por brevedad, pero el punto es que nunca trataría de enviar un solo lote de 45,000 declaraciones individuales a SQL Server.

No estoy seguro de por qué está obteniendo el error de falta de memoria, pero hay un enfoque más fácil.

Si puede exportar los datos de la hoja de cálculo a un formato delimitado (por ejemplo, csv), puede usar el asistente de importación de datos en SSMS para insertar los datos por usted:

Usando múltiples SqlBulkCopy, cree una tabla temporal. Inserte datos nuevos en la tabla temporal, luego combine los datos en la tabla temporal con la existente. Ejemplo usando el método C # SqlBulkCopy.WriteToServer (DataTable) . Espero eso ayude

Sí, podríamos hacer eso, intenté con un enfoque BCP (Bulk Copy Program) para evitar un problema de OutOfMemory .

Nota : Probado en SQL Server 2014.

En BCP, primero debemos exportar los datos de la base de datos de origen al archivo bcp (en la carpeta del directorio local) y luego debemos importar ese archivo bcp a la base de datos de destino.

A continuación se detallan los pasos de la tarta:

Nota:

a) Asegúrese de que la tabla vacía esté presente en la base de datos de destino

b) Asegúrese de que la carpeta Temp esté presente en la unidad C

1. Cree un archivo bat denominado Export_Data.bat con el comando que se muestra a continuación:

   bcp.exe [Source_DataBase_Name].[dbo].[TableName] OUT "C:\Temp\TableName.bcp" -S "Computer Name" -U "SQL Server UserName" -P "SQL Server Password" -n -q 

   pausa

2. Ejecute ese archivo bat, como resultado de eso se generará un archivo bcp en la carpeta Temp

3. Luego, cree otro archivo bat llamado Import_Data.bat con el siguiente comando:

   bcp.exe [Destination_DataBase_Name].[dbo].[TableName] IN "C:\Temp\TableName.bcp" -S "Computer Name" -U "SQL Server UserName" -P "SQL Server Password" -n -q 

   Pausa

¡Y aquí vamos!