Preguntas etiquetadas con performance

Nos gustaría almacenar millones de archivos de texto en un sistema de archivos Linux, con el propósito de poder comprimir y servir una colección arbitraria como servicio. Hemos probado otras soluciones, como una base de datos clave / valor, pero nuestros requisitos de concurrencia y paralelismo hacen que el uso …

15 files  filesystems  performance  ext4 

Estoy ejecutando algunos procesos pesados ​​de E / S en mi estación de trabajo y recientemente los instalé iotoppara monitorearlos. Aquí hay una captura de pantalla reciente: Estoy un poco confundido acerca de las lecturas en la IO>columna. Indica que mi disco se está ejecutando a aproximadamente ~ 1500% de …

15 performance  io  disk  top 

Necesito deduplicar una gran lista de palabras. Probé varios comandos e hice algunas investigaciones aquí y aquí donde explican que la forma más rápida de deduplicar una lista de palabras parece estar usando awk. awk -> O (n)? ordenar -> O (n log n)? Sin embargo, descubrí que esto no …

14 bash  awk  performance  sort 

Estoy ejecutando miles de procesos de fondo curl en paralelo en el siguiente script bash START=$(date +%s) for i in {1..100000} do curl -s "http://some_url_here/"$i > $i.txt& END=$(date +%s) DIFF=$(( $END - $START )) echo "It took $DIFF seconds" done Tengo un servidor dedicado Corei7-920 de 49 Gb (no virtual). …

14 linux  performance  bash  curl  wget 

Mis sistemas Debian Wheezy usan el deadlineplanificador. Estoy acostumbrado a usar ionicepara reprogramar la prioridad de E / S de los trabajos intensivos en disco en momentos de mucho trabajo, y anecdóticamente esto parece ayudar (pero no tengo ninguna evidencia sólida). La página de ionicemanual , la documentación del kernel …

13 linux  performance 

Por ejemplo, para bziphay pbzip , una versión paralela de bzip. ¿Existe alguna herramienta de paralelización para sortmejorar el rendimiento?

13 performance  sort 

Tengo un directorio con cca 26 000 archivos y necesito grep en todos estos archivos. El problema es que lo necesito lo más rápido posible, por lo que no es ideal hacer un script donde grep tome el nombre de un archivo del comando find y escriba coincidencias en el …

13 files  grep  performance 

La página del manual dice acerca de la barrieropción para ext4: Las barreras de escritura imponen el orden adecuado en disco de las confirmaciones de diario, lo que hace que el uso de cachés de escritura de disco volátil sea seguro, con alguna penalización de rendimiento. Si sus discos están …

13 hard-disk  performance  ext4  laptop  cache 

Me di cuenta de que cuando hago aplicaciones de escritura pesada, todo el sistema se ralentiza. Para probar esto aún más, ejecuté esto para hacer una actividad de disco (relativamente) baja en CPU y alta: john -incremental > file_on_SSD Esto bombea decenas de miles de cadenas por segundo a un …

13 kernel  performance  io  ssd 

Tengo dos sistemas Linux de doble núcleo instalados usando cgroups de Linux con núcleos relativamente recientes; uno está ejecutando Debian Squeeze, el otro Ubuntu 11.04 Natty Narwhal. He conseguido que el equilibrio de carga de la CPU con cgroups funcione un poco mejor en el sistema Debian a pesar de …

13 linux  performance  cgroups 

Parece que he puesto logcheck como una tarea programada y siempre que sea proceso de ejecución greppor logchecktoma alrededor de una cuarta parte de mi CPU. Ahora tengo ciertos momentos durante los cuales necesito toda la capacidad de mi CPU y hago que mi sistema tome la menor cantidad de …

12 debian  cron  performance  cpu  laptop 

Cuando ejecuto el comando TOP, un proceso muestra un uso de CPU del 1208% y el tiempo total de uso de la CPU es del 81,7% con el modo IRIX activado. Cuando cambio al modo IRIX apagado, el proceso muestra un 99% de uso de CPU y el tiempo total …

12 performance  cpu  top 

El poderoso straceme ha decepcionado. ¿Cómo es esto posible? time foomuestra que footarda varios segundos en ejecutarse ("real"), pero utiliza un tiempo de CPU insignificante, tanto en el espacio de usuario ("usuario") como en el núcleo ("sys"). Para los curiosos, foose define a continuación. Por lo tanto, pasa la mayor …

11 performance  time  strace 

El parámetro swappiness controla la tendencia del núcleo a mover los procesos fuera de la memoria física al disco de intercambio. ¿Cuál es la configuración predeterminada y cómo configurarla para mejorar el rendimiento general ?

11 linux  performance  swap 

Utilizo las pruebas de Debian sin ningún problema durante ~ 6 años (solo las estoy actualizando regularmente), pero recientemente comenzó a mostrar un comportamiento aleatorio que puede resumirse como "Bajo rendimiento de E / S que persiste hasta el reinicio". El problema es que, de repente, todas las lecturas y …

11 linux  performance  io