Con respecto al comando de movimiento de Unix

Necesito escribir una secuencia de comandos de shell de Unix que mueva los archivos de entrada csv de la carpeta / exp / files al directorio / exp / ready.

Los archivos de entrada csv se escriben en /exp/files carpeta por un servidor FTP cuyo comportamiento no puedo cambiar trivialmente. En tran.sh shell script debo asegurarme de que antes de mover ese archivo de entrada csv desde el directorio / exp / files ya no haya ningún otro proceso escrito en el archivo.

Cómo puedo hacerlo.

No hay una forma portátil de hacerlo. Puedes probar fuser, lsof, inotify, FAM, y otros sin embargo.

Intenta usar fuser [FILE]. Se devolverá distinto de cero si el archivo no está en uso.

Aquí hay un código de ejemplo que esperará a que un archivo esté listo para moverse:

#!/bin/sh

FROMDIR='/exp/files'
DESTDIR='/exp/ready'

function move_file_if_ready () {
    if [ -f "$1" ]; then
        while fuser "$1" 2>/dev/null 1>&2 ; do
            sleep 1
        done

        mv "$1" "$DESTDIR"
    fi
}

for "$fn" in "$FROMDIR"/*.csv; do
    move_file_if_ready "$fn"
done

puedes usar lsof

r=$(lsof /exp/files )
if [ ! -z "$r" ] ;then
  mv /exp/files/*csv /exp/ready
fi

La forma correcta de hacer esto es hacer que el proceso de escritura de los archivos y renombrarlos o moverlos por su propia voluntad se realice con la escritura. Cualquier otra cosa es propensa a condiciones de carrera y / o problemas de permisos.

Algunos ejemplos particulares de casos de problemas:

• Si el proceso de mover los archivos se ejecuta como un usuario diferente al de lsof / fuser / etc, la información no se garantiza completa
• Si el proceso de escritura es un script de shell, puede generar un subproceso que abre el archivo, deja que se cierre, genera otro subproceso, etc. En este escenario lsof, el fusor y herramientas similares podrían mostrar legítimamente que no se pudo acceder al archivo incluso si se iniciará un nuevo subproceso para escribir en él más tarde.

También pueden existir otras condiciones de carrera más sutiles, e independientemente de esto, lsof, fuser y demás no son herramientas POSIX y no están disponibles en todas partes.

Requerir del protocolo que los procesos que escriben los archivos los muevan a la ubicación final al completarse; Es el único enfoque seguro y portátil.

EDITAR: Se ha aclarado que los archivos se escriben no mediante un proceso arbitrario (que puede cerrarlos y volver a abrirlos), sino mediante un servidor FTP. En este caso, incron se puede usar para ejecutar un script arbitrario siempre que un archivo se haya cerrado en este directorio.

No creo que puedas hacer esto sin modificar los procesos que crean estos archivos. Siempre que tengamos tareas como esta en nuestros sistemas, nos aseguramos de que el proceso que crea el archivo lo haga ejecutable al final. Por lo tanto, el proceso se moverá o postprocesará de alguna otra manera en que dichos archivos puedan verificar el bit ejecutable para asegurarse de que el proceso de origen haya terminado de trabajar con un archivo.