Estoy bastante seguro de que OS X no le permitirá eliminar Mail.app desde el Finder (aunque es posible que pueda forzarlo desde la Terminal). No recomendaría eliminar la aplicación de la carpeta / Aplicaciones, ya que se considera parte del sistema operativo.
Sin embargo, no hay ninguna razón por la que tenga que vivir en el Dock, y en su mayor parte, si no está en algún lugar donde lo sigas viendo, eso es lo más importante (a menos que realmente presionado por espacio en un SSD pequeño, por ejemplo).
Puede eliminar los archivos de correo (su base de datos de correo, todas las configuraciones) yendo a la carpeta ~ / Biblioteca y encontrando esos. Tenga en cuenta que eliminar todos sus datos de correo, por supuesto, eliminará todos sus datos de correo (que es un poco como la etiqueta de "advertencia: contiene nueces" en un paquete de nueces, ¡pero vale la pena mencionarlo!).
Todos los archivos de correo se guardan en ~ / Library / Mail / V2, y es posible que los archivos adjuntos se almacenen por separado en ~ / Library / Mail Downloads.