¿Cuál es la versión más antigua de Mac OS que se puede usar en las pantallas de retina?

Patrix arriba es correcto. Tratar de instalar versiones que se lanzaron antes del hardware es la forma de llegar al infierno del controlador (puede o no puede copiar algunos archivos del controlador desde el sistema operativo más nuevo al anterior, lo que puede funcionar o no, pero dejaremos tales trucos para Gente de Windows).

Ya que su necesidad de un sistema operativo anterior parece ser temporal (para pruebas), recomiendo usar una máquina virtual. Desktop, VMWare Fusion y VirtualBox deberían ser soluciones viables (como se recomienda aquí cuando alguien responda una pregunta similar en El foro de discusión de Apple). Lo he intentado en el pasado (con otras máquinas, antes de la retina) y fue una experiencia frustrante.

Sin embargo, queda por ver cómo afecta esto a la retina frente a la no retina (no tengo experiencia de primera mano con las máquinas virtuales y cómo asignan pantallas de retina al sistema operativo invitado).

La limitación no es tanto la visualización como el hardware en general. No puede instalar versiones del sistema operativo anteriores al hardware porque las versiones anteriores no traen todos los controladores necesarios, etc. para varios componentes.

Su iMac (a finales de 2014) vino con OSX 10.10 preinstalado, por lo que puede regresar.