Mike tiene razón, iSCSI y SMB / CIFS operan en dos capas diferentes de abstracción.
Puede pensar en SMB / CIFS como una exportación de un sistema de archivos al que otras máquinas pueden acceder. La estructura del directorio, los metadatos de seguridad y demás ya están allí. Las máquinas cliente pueden leer y escribir archivos en este sistema de archivos, pero ese es el alcance de su acceso.
Con iSCSI, las máquinas cliente ven lo que equivale a un volumen físico desde el punto de vista del sistema operativo. Desde una máquina cliente de Windows, primero debe configurar un iniciador iSCSI que apunte al host iSCSI (destino). Después de eso, verá un nuevo disco físico en el panel de control de administración de discos de Windows. Luego lo inicializaría, lo dividiría y luego lo formatearía con el sistema de archivos que deseara. Ninguna otra máquina tendría acceso a esta área (al menos simultáneamente e ignorando cosas avanzadas como los sistemas de archivos del clúster).
El proceso sería un poco diferente de ESXi, pero el concepto es el mismo: el objetivo iSCSI aparecería como otro disco en el que podría construir un sistema de archivos VMFS.
Una cosa que puede considerar si está creando su propio servidor de almacenamiento es que es posible hacer ambas cosas a la vez. Software como OpenFiler y FreeNAS le permiten agregar un conjunto de almacenamiento y permitir el acceso tanto a iSCSI como a SMB / CIFS. El espacio iSCSI debe asignarse previamente (de forma muy similar a un disco duro de máquina virtual) y no es visible para los clientes CIFS. Las dos áreas están separadas. También puede quedarse con un servidor de Windows e instalar software para exportar un objetivo iSCSI, como el realizado por StarWinds.
iSCSI en general funcionará mejor porque no habrá tantas capas de abstracción en el camino, el protocolo SMB en este caso. Además, dado que es un protocolo de nivel de bloque, algunos software que no funcionarán cuando se instalen en un recurso compartido de red funcionarán con iSCSI.
Estaba pensando que ESXi puede no permitir el acceso a recursos compartidos SMB, solo NFS, por lo que es posible que también desee investigar eso. Si eso es cierto, necesitará alguna forma de exportar recursos compartidos de NFS, pero la discusión anterior sigue siendo la misma. OpenFiler / FreeNAS tiene soporte NFS y Windows también se puede configurar con él.