Consulte esta respuesta detallada para "¿Cómo configurar un icono para un tipo de archivo en Mac?" en superuser.com .
En este caso, debe actualizar los recursos de TextEdit y hacer una lista para que use su icono personalizado para un tipo de archivo que no conoce. La base de datos LaunchServices también debe actualizarse para que se vean los cambios.
Aquí hay un pequeño fragmento de esa respuesta (el énfasis es mío):
Launch Services maneja los iconos para los tipos de archivo (el servicio determina, entre otras cosas, qué aplicación maneja un tipo de archivo). El icono del archivo siempre lo proporciona la aplicación que maneja la apertura de un archivo de forma predeterminada. De esta manera, por ejemplo, Vista previa proporciona íconos PDF por defecto e íconos PNG, pero si cambia todos los archivos PNG para abrirlos usando Pixelmator, estos archivos obtendrán un ícono de estilo Pixelmator después.
Lo que debe hacer es agregar su definición de tipo de archivo a la aplicación que la abre de manera predeterminada, o crear su propia aplicación "ficticia" para el tipo de archivo.