Los artículos en sus manos son más rápidos para acceder que los artículos en sus bolsillos, que son más rápidos para acceder que los artículos en su armario, que son más rápidos para acceder que los artículos en Digikey. Cada tipo de almacenamiento sucesivo que he enumerado es más grande pero más lento que el anterior.
Entonces, tengamos lo mejor de ambos mundos, ¡hagamos que sus manos sean tan grandes como un almacén Digikey! No, no funciona, porque ahora ya no son realmente manos. Son una bala de cañón que te pesa.
La razón por la que el almacenamiento más grande es de acceso más lento es la distancia . El almacenamiento más grande está más alejado de usted en promedio. Esto es cierto para los elementos físicos y para la RAM.
La memoria de la computadora ocupa espacio físico. Por esa razón, los recuerdos más grandes son físicamente más grandes, y algunos lugares en esa memoria estarán físicamente más lejos. Las cosas que están lejos tardan más en acceder, debido a los límites de velocidad que existen. En el caso de tus bolsillos y Digikey, los límites de velocidad son la velocidad de tus brazos y los límites de velocidad de la carretera.
En el caso de la RAM, los límites de velocidad son la velocidad de propagación de las señales eléctricas, el retraso de propagación de las puertas y los controladores, y el uso común de relojes síncronos. Incluso si el dinero no fuera un problema, y pudieras comprar todo lo que quisieras de la tecnología RAM más rápida disponible en la actualidad, no podrías beneficiarte de todo. Diseñe una hoja de caché L1 de tamaño A4 si lo desea, y coloque su CPU justo en el centro. Cuando la CPU quiere acceder a algo de memoria justo en la esquina de la memoria, literalmente tomará un nanosegundo para que la solicitud llegue allí, y un nanosegundo para que regrese. Y eso no incluye todos los retrasos de propagación a través de puertas y controladores. Eso va a ralentizar seriamente su CPU de 3GHz.
Dado que la lógica síncrona es mucho más fácil de diseñar que la lógica asíncrona, un 'bloque' de RAM se sincronizará con el mismo reloj. Si desea convertir toda la memoria en un caché L1, entonces tendría que registrar todo el lote con un reloj lento para hacer frente al peor momento de la ubicación más distante en la memoria. Esto significa que las ubicaciones de memoria distantes ahora están frenando las locales, que podrían haberse sincronizado más rápido. Por lo tanto, lo mejor que podría hacer sería ubicar la memoria en la zona. La sección más cercana y más pequeña del caché usaría el reloj más rápido. La siguiente sección más cercana y más pequeña usaría un reloj un poco más lento, etc.
Y ahora tienes cachés L1 y L2 y RAM.
Lo que nos lleva a la siguiente razón, el consumo de energía.
El caché en realidad consume una cantidad significativa de energía. No solo la memoria en sí, sino toda la lógica que la rodea que maneja el mapeo entre las líneas de caché y la memoria principal. Aumentar el rendimiento de esta lógica adicional puede resultar en un aumento en el consumo de energía. Ahora, para ciertas aplicaciones (móviles, integradas) tiene aún más incentivos para mantener el caché pequeño.
Consulte las compensaciones de diseño de caché para la optimización de potencia y rendimiento: un estudio de caso (Ching-Long Su y Alvin M. Despain, 1995).