Está absolutamente bien, es esencialmente una aplicación independiente que puedes desinstalar de nuevo en cualquier momento. Excepto cuando estés ejecutando Inkscape, nunca sabrás que está allí.
De hecho, XQuartz solía venir en el DVD de instalación de OS X (aunque no estaba instalado por defecto), pero al igual que Java y Flash, Apple simplemente prefiere no empaquetar y enviar esas cosas con el sistema operativo más, y requiere que lo instale por separado directamente del desarrollador.
Si aún no está seguro, hay un puerto nativo de Inkscape en progreso Eso no requiere XQuartz, pero la última vez que lo probé fue un poco con errores.