¿Por qué AMD al poner una SSD en una placa GPU redujo tanto la latencia?

AMD ha estado recientemente en las noticias con una placa Radeon Pro interesante con un par de SSD M2.

Como señalan algunas de las historias más detalladas ( aquí o aquí , por ejemplo), los beneficios pueden derivarse principalmente del alto ancho de banda (los M2 solo están en 4 carriles PCIe cada uno, por lo que el conector de 16 carriles de la placa debería tener más) pero de baja latencia. Esta historia incluye la afirmación "esto da como resultado una latencia de acceso a memoria 10 veces menor".

Mi pregunta es básicamente: ¿por qué los SSD conectados a PCIe en la placa GPU tienen una latencia significativamente menor que la GPU que accede a la RAM del sistema principal o los dispositivos de almacenamiento en el bus PCIe del sistema? ¿Qué tiene el sistema principal que "se interpone en el camino" y significa que los SSD integrados pueden ser mucho más rápidos de acceder?

gpu performance hardware

— Timday
fuente

Puede omitir el sistema operativo / controlador

— RichieSams

@RichieSams: Interesante; ¿eso significa en principio que alguien podría lograr el mismo resultado al acceder a una SSD PCIe dedicada a través del bus del sistema? (No sé en qué medida el tráfico PCIe del sistema principal necesita soporte del sistema operativo para que los dispositivos realicen cualquier comunicación, o si pueden hacerlo de manera más autónoma una vez configurado).

— timday

@timday parcialmente pero todavía habría gastos generales ya que tendrías que esperar tu turno para los controles gráficos

— joojaa

Respondiendo desde una perspectiva un poco laica (no soy un experto en hardware, pero he construido mi propia computadora), haré una analogía, usando la situación de obtener algunos ingredientes para cocinar alimentos.

Usar la memoria RAM / almacenamiento del "sistema principal" es como buscar un ingrediente, no encontrarlo en sus armarios y, por ejemplo, acercarse a su vecino y preguntarle si tiene alguno. Resulta que lo hacen; te lo traen, les agradeces y vuelves a tu casa y lo usas.

Usar RAM / almacenamiento "a bordo" es como buscar un ingrediente, encontrarlo en su armario y usarlo.

Con RAM / almacenamiento a bordo, la GPU solo tiene que hacer menos trabajo para obtener la información que necesita. La información también está más cerca, tanto físicamente como cuando se considera la cantidad de hardware y software que la información necesita pasar. Con la RAM / almacenamiento a bordo, la GPU solo necesita buscar dónde está la información y luego recuperar esa información de la RAM / almacenamiento, que luego viaja a través de un par de pulgadas de cable a las unidades de procesamiento de la GPU.

Con el almacenamiento / RAM del sistema principal, hay una mayor distancia de cable para que la señal viaje a través de la cual, aunque puede ser solo una fracción minúscula de un segundo, aún puede sumar más de miles de llamadas para recuperar información. Además, hay más posibles cuellos de botella, con todas las piezas diferentes que están interconectadas.

Por último, con RAM / almacenamiento integrado, AMD tiene la oportunidad de optimizar el sistema, ya que controlan con precisión el hardware que se está utilizando. Así es como Apple adapta Mac OS a sus computadoras Mac.

— Ben Sandeen
fuente