Calcular el tamaño total del archivo por extensión en shell

Tenemos un conjunto de directorios que contienen índices lucenos. Cada índice es una mezcla de diferentes tipos de archivos (diferenciados por extensión), por ejemplo:

0/index/_2z6.frq
0/index/_2z6.fnm
..
1/index/_1sq.frq
1/index/_1sq.fnm
..

(se trata de 10 extensiones diferentes)

Nos gustaría obtener un total por extensión de archivo, por ejemplo:

.frq     21234
.fnm     34757
..

He probado varias combinaciones de du / awk / xargs pero me resulta difícil hacer exactamente esto.

Para cualquier extensión dada, un uso

find /path -name '*.frq' -exec ls -l {} \; | awk '{ Total += $5} END { print Total }'

para obtener el tamaño total del archivo para ese tipo.

Y después de pensar un poco

#!/bin/bash

ftypes=$(find . -type f | grep -E ".*\.[a-zA-Z0-9]*$" | sed -e 's/.*\(\.[a-zA-Z0-9]*\)$/\1/' | sort | uniq)

for ft in $ftypes
do
    echo -n "$ft "
    find . -name "*${ft}" -exec ls -l {} \; | awk '{total += $5} END {print total}'
done

Lo que generará el tamaño en bytes de cada tipo de archivo encontrado.

Con bash versión 4, solo necesita llamar find, lsy awkno es necesario:

declare -A ary

while IFS=$'\t' read name size; do 
  ext=${name##*.}
  ((ary[$ext] += size))
done < <(find . -type f  -printf "%f\t%s\n")

for key in "${!ary[@]}"; do 
  printf "%s\t%s\n" "$key" "${ary[$key]}"
done

Cada segunda columna dividida por .y la última parte (extensión) guardada en la matriz.

#!/bin/bash

find . -type f -printf "%s\t%f\n" | awk '
{
 split($2, ext, ".")
 e = ext[length(ext)]
 size[e] += $1
}

END{
 for(i in size)
   print size[i], i
}' | sort -n

entonces tienes el tamaño total de cada extensión en bytes.

60055 gemspec
321991 txt
2075312 html
2745143 rb
13387264 gem
47196526 jar

Ampliando el script de Iain con una versión más rápida para trabajar con una gran cantidad de archivos.

#!/bin/bash

ftypes=$(find . -type f | grep -E ".*\.[a-zA-Z0-9]*$" | sed -e 's/.*\(\.[a-zA-Z0-9]*\)$/\1/' | sort | uniq)

for ft in $ftypes
do
    echo -ne "$ft\t"
    find . -name "*${ft}" -exec du -bcsh '{}' + | tail -1 | sed 's/\stotal//'
done

Esta es la solución:

find . -type f | grep -E ".*\.[a-zA-Z0-9]*$" | sed -e 's/.*\(\.[a-zA-Z0-9]*\)$/\1/' | sort | uniq -c | sort -n

Solución publicada originalmente en esta publicación: Obtenga todas las extensiones y su respectivo recuento de archivos en un directorio

Resolví usando estos dos comandos:

FILES=$(find . -name '*.c')
stat -c %s ${FILES[@]} | awk '{ sum += $1 } END { print ".c" " " sum }'

mi versión de respuesta a la pregunta:

#!/bin/bash

date >  get_size.log
# Lists all files
find . -type f -printf "%s\t%f\n" | grep -E ".*\.[a-zA-Z0-9]*$" | sort -h | awk  '
{
        split($2, ext, ".")
        e = ext[length(ext)]
        # Checks that one extension could be found
        if(length(e) < length($2)) {
                # Check that file size are bigger than 0
                if($i > 0) {
                        # Check that extension not are integer
                        if(!(e ~/^[0-9]+$/)) {
                                size[e] += $1
                        }
                }
        }
        if(length(e) == length($2)) {
                size["blandat"] += $1
        }
}

END{
 for(i in size)
   print size[i], i
}' | sort -n >> get_size.log
echo
echo
echo The result are in file get_size.log

Pruebe Crab ( http://etia.co.uk/ ): es una utilidad de línea de comandos que le permite consultar el sistema de archivos mediante SQL.