XQuartz es la continuación de la obsoleta X11.app de Apple, que solía ser parte de OS X:
X11 ya no se incluye con OS X, pero las bibliotecas cliente y servidor X11 para OS X están disponibles en el proyecto XQuartz: enlace . Debe usar la última versión disponible de XQuartz.
Fuente: Acerca de X11 para Mac - Soporte de Apple
X11 es un sistema de ventanas muy antiguo para Unix que no se requiere para casi nada de lo que harás en tu Mac. El único uso generalizado de X11 para el que lo uso es Wine, que te permite ejecutar el software de Windows en tu Mac.
XQuartz es muy similar a X11, pero es un 'esfuerzo comunitario para desarrollar más' X11:
Apple creó el proyecto XQuartz como un esfuerzo de la comunidad para desarrollar aún más X11 en OS X. El proyecto XQuartz se basó originalmente en la versión de X11 incluida en Mac OS X v10.5. Ha habido varias versiones de XQuartz con correcciones, compatibilidad con las nuevas funciones de OS X y mejoras adicionales a la experiencia X11. Apple contribuye al proyecto XQuartz y ha trabajado para garantizar que X11 funcione como se espera en OS X con las últimas versiones disponibles de XQuartz.
XQuartz no 'desordena' la pantalla Retina. No reemplaza a ninguno de los gestores de ventanas de OS X. $ DISPLAY solo se utiliza con y para XQuartz, que yo sepa.