Si el emacs que está ejecutando en Linux crea una nueva ventana, entonces lo está ejecutando como una aplicación X11 (una aplicación GUI). Normalmente, emacs en Linux y otros sistemas solo se ejecutan en el terminal que tiene abierto (como una aplicación de consola).
La versión de emacs que se incluye con OS X está compilada para ejecutarse en un terminal. Para replicar la ejecución en una nueva ventana, necesita otra versión de emacs. Yo usaría Aquamacs que es un emacs modificado para actuar como una aplicación de cacao OSX normal. El estándar emacs GNU tiene una versión de la aplicación Cocoa que por defecto es más similar al comportamiento en otras plataformas y está disponible en una versión binaria aquí .
También puede obtener versiones X11 también. Aquí hay una lista exhaustiva de los tipos disponibles de emacs para OS X .