¿Por qué max es más lento que sort?

Descubrí que maxes más lento que la sortfunción en Python 2 y 3.

Python 2

$ python -m timeit -s 'import random;a=range(10000);random.shuffle(a)' 'a.sort();a[-1]'
1000 loops, best of 3: 239 usec per loop
$ python -m timeit -s 'import random;a=range(10000);random.shuffle(a)' 'max(a)'        
1000 loops, best of 3: 342 usec per loop

Python 3

$ python3 -m timeit -s 'import random;a=list(range(10000));random.shuffle(a)' 'a.sort();a[-1]'
1000 loops, best of 3: 252 usec per loop
$ python3 -m timeit -s 'import random;a=list(range(10000));random.shuffle(a)' 'max(a)'
1000 loops, best of 3: 371 usec per loop

¿Por qué es max ( O(n)) más lenta que la sortfunción ( O(nlogn))?

Debe tener mucho cuidado al usar el timeitmódulo en Python.

python -m timeit -s 'import random;a=range(10000);random.shuffle(a)' 'a.sort();a[-1]'

Aquí, el código de inicialización se ejecuta una vez para producir una matriz aleatoria a. Luego, el resto del código se ejecuta varias veces. La primera vez que ordena la matriz, pero cada dos veces se llama al método sort en una matriz ya ordenada. Solo se devuelve el tiempo más rápido, por lo que en realidad está midiendo cuánto tiempo le toma a Python ordenar una matriz ya ordenada.

Parte del algoritmo de clasificación de Python es detectar cuándo la matriz ya está ordenada parcial o completamente. Cuando está completamente ordenado, simplemente tiene que escanear una vez a través de la matriz para detectar esto y luego se detiene.

Si en cambio lo intentaste:

python -m timeit -s 'import random;a=range(100000);random.shuffle(a)' 'sorted(a)[-1]'

luego, la clasificación ocurre en cada ciclo de tiempo y puede ver que el tiempo para clasificar una matriz es mucho más largo que simplemente encontrar el valor máximo.

Editar: la respuesta de @ skyking explica la parte que dejé sin explicar: a.sort()sabe que está trabajando en una lista, por lo que puede acceder directamente a los elementos. max(a)funciona en cualquier iterable arbitrario, por lo que debe usar una iteración genérica.

En primer lugar, tenga en cuenta que max()utiliza el protocolo iterador , mientras que list.sort()utiliza código ad-hoc . Claramente, el uso de un iterador es una sobrecarga importante, por eso está observando esa diferencia en los tiempos.

Sin embargo, aparte de eso, sus pruebas no son justas. Estás a.sort()en la misma lista más de una vez. El algoritmo utilizado por Python está diseñado específicamente para ser rápido para datos ya ordenados (parcialmente). Tus pruebas dicen que el algoritmo está haciendo bien su trabajo.

Estas son pruebas justas:

$ python3 -m timeit -s 'import random;a=list(range(10000));random.shuffle(a)' 'max(a[:])'
1000 loops, best of 3: 227 usec per loop
$ python3 -m timeit -s 'import random;a=list(range(10000));random.shuffle(a)' 'a[:].sort()'
100 loops, best of 3: 2.28 msec per loop

Aquí estoy creando una copia de la lista cada vez. Como puede ver, el orden de magnitud de los resultados es diferente: micro- vs milisegundos, como era de esperar.

Y recuerde: ¡gran-Oh especifica un límite superior! El límite inferior del algoritmo de clasificación de Python es Ω ( n ). Ser O ( n log n ) no implica automáticamente que cada ejecución requiera un tiempo proporcional an log n . Ni siquiera implica que deba ser más lento que un algoritmo O ( n ), pero esa es otra historia. Lo que es importante entender es que en algunos casos favorables, un algoritmo O ( n log n ) puede ejecutarse en O ( n ) tiempo o menos.

Esto podría deberse a que l.sortes miembro de listwhile maxes una función genérica. Esto significa que l.sortpuede confiar en la representación interna de listwhile maxtendrá que pasar por un protocolo de iterador genérico.

Esto hace que la búsqueda de cada elemento l.sortsea ​​más rápida que la búsqueda de cada elemento max.

Supongo que si en su lugar usa sorted(a), obtendrá el resultado más lento que max(a).