Seleccionar (y dimensionar) el sistema de archivos correcto es más importante que cualquier otra cosa, no solo por seguridad sino por muchas otras razones que la gente no suele reconocer. Sin un sistema de archivos, todo el procesamiento sería nulo.
Muy bien respondido por Olli, y el OP está muy anticuado, pero los sistemas de archivos son mi motivo favorito. No podía mantenerme alejado. superuser.com no es algo que visité antes, no soy administrador, pero me inscribí y voy a visitar más.
Las cosas cambiaron mucho desde 2011, pero incluso entonces formateé las tarjetas USB FAT y usé unidades USB para transportar archivos de 4 Gb +. La razón, por supuesto, era la compatibilidad, no la seguridad (tanto para S en SD, pero uso contraseñas en mis 7z), y nunca llevé nada más grande que un CD ISO, fueron principalmente para scripts SQL y diferencias diarias por hora de instantáneas cifradas de la base de datos comprimidas hasta casi la muerte por 7-Zip.
En estos días uso cualquier SD más rápido que cualquiera que conozco. Tengo una memoria USB en algunas máquinas de producción de mi empleador para copias de seguridad automatizadas por hora, FAT formateado. Sin embargo, los vigilo todos los días y, adivinaron, los respaldan religiosamente a mano (están asegurados fuera de línea para construir cosas ITAR). El SSD niveló parte del campo de juego, pero todavía no confío en ellos tanto como el HD normal, y el SD es peor que el óptico. Van mal en un instante y la pérdida es total.
Cualquier sistema de archivos que invite al sistema operativo host a escribir aleatoriamente en él (NTFS, Papelera de reciclaje) es una mala noticia para una SD. Además, desmontarlo ayuda mucho, ningún sistema operativo intentará acceder al almacenamiento desmontado, por lo que cualquier sistema de archivos funcionará siempre que la SD incluya una secuencia de comandos para desengancharse (uno de los archivos estándar en cada SD en la mía).
La lectura de una SD todavía es lenta hoy, por lo que recomendaría algo como el volcado de disco (dd) para capturar toda la imagen al duplicar en lugar de archivo por archivo. dd también le avisa cuando hay algo mal, para que su administrador de archivos no se vuelva kaboom.
Por supuesto, si su propósito principal es extender la vida de un centavo, está haciendo su negocio de la manera incorrecta. Hago lo que no hago para extender la vida útil de una SD, pero para evitar que se deteriore cuando no estoy mirando, y ahí está la diferencia.
Evito ext4 o cualquier FS de diario en SD porque no me importa cuando les escribo mal, ¡pero me duele cuando un día más tarde no puedo leerlos!