No verá el efecto de transparencia si no hay nada debajo de la capa porque Photoshop no tiene nada que calcular (todos estos modos de fusión implican cálculos basados en los valores de los píxeles correspondientes en cada capa), por lo que solo le muestra la imagen.
En este caso en particular (como señaló Farray mientras escribía esto), puede hacer un truco fácil en Photoshop y hacerse una imagen llena de humo con toda la transparencia intacta. Es fácil porque ya tienes humo gris sobre negro, como un canal.
Esto es con lo que comienza: tomé una imagen de "humo en negro" (Capa 1) y la apliqué en modo Pantalla sobre un fondo arbitrario (Capa 0).
Paso 1. Ocultar todas las capas excepto el humo.
Paso 2. Cambie a la Paleta de Canales y presione Ctrl-Click (Cmd-Click en Mac) en cualquiera de las miniaturas de los canales ("any" porque en este caso son todos iguales).
Lo que acaba de hacer es cargar una selección basada en los valores de escala de grises en el canal que eligió. Al igual que una máscara, el blanco está completamente seleccionado (opaco) y el negro está completamente sin seleccionar (transparente), con los tonos grises entre ellos.
Paso 3. Cree una nueva capa en blanco, establezca el color de primer plano en blanco y complete la selección. Ocultar todas las otras capas.
Paso 4. Deselecciona, activa tu fondo original, admira el resultado y pasa a cosas más grandes.
La sugerencia de Farray es muy similar. Siga los pasos 1 y 2 y luego use su selección para crear una máscara. La ventaja de este enfoque es que puede "ajustar" la máscara en el panel Máscaras.