Consulte esta respuesta detallada para "Cómo configurar un icono para un tipo de archivo en Mac? " en superuser.com .
En este caso, necesita actualizar los recursos de TextEdit y hacer una lista para que use su icono personalizado para un tipo de archivo que no conoce. La base de datos de LaunchServices también debe actualizarse para que se puedan ver los cambios.
Aquí hay un pequeño fragmento de esa respuesta (mío énfasis en negrita):
Los iconos de para tipos de archivos son manejados por Servicios de lanzamiento (el servicio determina, entre otras cosas, qué aplicación maneja un tipo de archivo). El icono del archivo siempre lo proporciona la aplicación que maneja abrir un archivo de forma predeterminada. De esta manera, por ejemplo. La vista previa proporciona iconos PDF de forma predeterminada, e iconos PNG, pero si cambia todos los archivos PNG para que se abran con Pixelmator, estos archivos obtendrán un icono de estilo Pixelmator más adelante.
Lo que debe hacer es agregar su definición de tipo de archivo a la aplicación que lo abre de forma predeterminada, o crear su propia aplicación "ficticia" para el tipo de archivo.