El mejor método para recopilar una muestra aleatoria de una colección de archivos

Supongamos que hay un directorio que contiene 300 archivos de datos. Quiero seleccionar al azar 200 de esos archivos y moverlos a otro directorio. ¿Hay alguna manera de hacerlo bajo Unix / Linux?

Si su sistema lo tiene shuf, puede usar esto de manera bastante conveniente (incluso manejando nombres de archivo feos):

shuf -zen200 source/* | xargs -0 mv -t dest

Si no tiene shufpero tiene una sortque toma -R, esto debería funcionar:

find source -type f -print0 | sort -Rz | cut -d $'\0' -f-200 | xargs -0 mv -t dest

files=(*)
for (( i=0; i<200; i++ )); do
    keys=("${!files[@]}")
    rnd=$(( RANDOM % ${#keys[@]} ))
    key=${keys[$rnd]}
    mv "${files[$key]}" "$otherdir"
    unset files[$key]
done

Ponga todos los nombres de archivo en una matriz llamada "archivos" en bash:

files=( * )

tamaño de la matriz:

echo ${#files[@]}

defina 2/3 de ellos como tamaño de muestra:

take=$((2*${#files[@]}/3)) 

for i in $(seq 1 $take)
do
    r=$((RANDOM%${#files[@]})) 
    echo ${files[r]}
done

Esto seleccionará duplicados y se no probado con nombres de archivo con espacios en blanco y tal.

La forma más sencilla de evitar duplicados es iterar sobre todos los archivos y elegir cada uno con una probabilidad de 2/3, pero esto no necesariamente conducirá a 200 archivos.

Esto eliminará un archivo si fue elegido de la lista y cumple con sus requisitos:

#!/bin/bash
files=( * )
# define 2/3 of them as sample size:
take=$((2*${#files[@]}/3)) 

while (( i < $take ))
do
    r=$((RANDOM%${#files[@]})) 
    f=${files[r]}
    if [[ -n $f ]]
    then 
        i=$((i+1))    
        echo ${files[r]}
        unset files[r]    
    fi
done

Si esto necesita ser estadísticamente aleatorio, no debe usarlo RANDOM % ${#keys[@]}. Considerar:

1. $RANDOM tiene 32768 valores únicos
2. La primera selección es 1 de cada 300 elementos.
3. 32768 = 109 * 300 + 68

Por lo tanto, al seleccionar el primer elemento, hay un 110/32768 ~ = 0.33569% de probabilidad para cada uno de los 68 primeros elementos, y 109/32768 ~ = 0.33264% de probabilidad para cada uno de los otros 232 elementos para ser seleccionados. La selección se repite varias veces con diferentes posibilidades, pero siempre se inclina hacia los primeros elementos.32768 % ${#keys[@]} -ne 0 , por lo que el error se agrava.

Esto debe ser imparcial y funciona con cualquier nombre de archivo:

while IFS= read -r -d '' -u 9
do
    mv -- "$REPLY" /target/dir
done 9< <(find /source/dir -mindepth 1 -print0 | shuf -n 200 -z)

¡La solución de Kevin funciona muy bien! Algo más que he usado mucho porque me resulta más fácil recordar desde la parte superior de mi cabeza es algo como:

cp `ls | shuf -n 200` destination

Un forro en bash:

ls original_directory/|sort -R|head -number_of_files_to_move|while read file; do cp "new_directory/"$file test; done