Tengo un directorio con aproximadamente 100000 archivos pequeños (cada archivo es de 1-3 líneas, cada archivo es un archivo de texto). En tamaño, el directorio no es muy grande (<2GB). Estos datos viven en un servidor NFS administrado profesionalmente. El servidor ejecuta Linux. Creo que el sistema de archivos es ext3, pero no estoy seguro. Además, no tengo acceso de root al servidor.
Estos archivos son el resultado de un experimento científico a gran escala, sobre el cual no tengo control. Sin embargo, tengo que analizar los resultados.
Cualquier operación / procesamiento de E / S en este directorio es muy, muy lento. Abrir un archivo (fopen en python), leer desde un archivo abierto, cerrar un archivo, son muy lentos. En bash ls, du, etc. no funcionan.
La pregunta es:
¿Cuál es el número máximo de archivos en un directorio en Linux de tal manera que sea práctico hacer procesamiento, abrir, leer, etc.? Entiendo que la respuesta depende de muchas cosas: tipo fs, versión del kernel, versión del servidor, hardware, etc. Solo quiero una regla general, si es posible.