¿Cómo descargar datos de Redshift a S3?

8

He estado tratando de descargar algunos datos de Redshift al cubo S3. Excepto que he estado recibiendo el siguiente error:

Operación no válida de Amazon: no se puede abandonar el portal activo; [Estado de SQL = XX000, código de error de DB = 500310]

Para tener en cuenta que Redshift y S3 están en 2 cubos diferentes, así que especifiqué la región dentro de la descarga.

He intentado buscarlo, menciona que no puedo dejar caer la mesa.

Así que creé una tabla de "prueba" que estoy 100% seguro de que no está conectada a ninguna vista u otra, pero sigo teniendo el mismo error.

Intenté también solucionar problemas a través de AWSQuickSolutions: la tabla Redshift no se puede descartar o la tabla se cuelga, excepto que no tengo acceso svv_table_info.

¿Hay alguna forma de hacer la descarga?

— ivb1
fuente

Estoy confundido. Hablas de querer crear una UNLOAD tabla (lo que significa exportar los datos a S3), pero luego hablas de abandonar la tabla. ¿Qué operación deseas realizar?

— John Rotenstein

2

Quiero hacer una copia de los datos que tengo en desplazamiento al rojo a S3 para poder descargar el csv. No puedo hacerlo en SQL workbench ya que mi memoria no lo permite. Busqué en línea que la descarga haría eso. Excepto que recibo el error que publiqué. Cuando busco el error, habla de la caída de la tabla, lo que me confunde.

— ivb1

¿Estás utilizando el UNLOADcomando Redshift ? (¿Puede mostrarnos su comando?) ¿Funciona si lo descarga a un cubo en la misma región? La descarga no tiene nada que ver con soltar tablas.

— John Rotenstein el

2

Esto también me está pasando a mí. Lo solucioné ejecutando UNLOAD desde una aplicación diferente, en mi caso, el Editor de consultas en la consola Redshift.

— nofinator

1

Tuve éxito reiniciando la sesión

— darekarsam

2

informando @nofinator respuesta ya que funcionó para mí y puede ser útil para otra persona también:

Al ejecutar UNLOAD desde una aplicación diferente, en mi caso el Editor de consultas en la consola de Redshift, resolvió la excepción Amazon Invalid operation: cannot drop active portal

— Vzzarr
fuente

1

OK, entonces me encontré con el mismo problema. Ninguna de las soluciones conocidas se aplicó a mi problema porque:

1) El clúster estaba en la misma región que el depósito S3 que creé

2) Intenté ejecutar el comando UNLOAD a través de python, cli y corrimiento al rojo con los mismos resultados.

3) Intenté agregar una política de depósito para la función de desplazamiento al rojo

4) Intenté ejecutar el comando de descarga usando arns (la función de desplazamiento al rojo y la función s3)

Finalmente, lo puse a trabajar. ¿Qué cambió? Ahora estaba directamente en la red de mi empresa en lugar de usar VPN, que es cuando experimenté este problema.

Lo que finalmente funcionó para mí:

UNLOAD ('SELECT * FROM table where EXTRACT(YEAR FROM order_datetime_utc )=2019')   
              to 's3://bucket/' 
              REGION 'us-east-1'
                iam_role 'arn:aws:iam::0000000000:role/RedshiftCopyUnload,arn:aws:iam::0000000000:role/S3Access'
              parallel off
              delimiter as '\t' 
gzip;

— Ernie Castruita
fuente

0

Tuve el mismo problema ayer. Al menos en mi incidente, hubo un sev-2 en Data-Warehouse. Uso Amazon DWP que usa Amazon Retail, así que no estoy seguro de si este es el mismo servicio utilizado por AWS.

tldr; Es posible que este sea un problema del servidor dentro del proveedor del desplazamiento al rojo.

— usuario7865286
fuente

0

Tuve este problema después de modificar los permisos de IAM en el rol. Desafortunadamente tuve que reiniciar el clúster y luego mi comando UNLOAD funcionó.

— norpcom
fuente

0

No sé qué causó exactamente este error, pero lo estaba obteniendo después de una descarga fallida.

Me desconecto y luego vuelvo a conectar mi cliente sql y lo puse a trabajar. no es muy conveniente pero es mejor que reiniciar el clúster.

— Mazen AB
fuente