Así es como funciona Mac.
Todas las ventanas pertenecen a la misma instancia de la misma aplicación, a diferencia de las ventanas donde es posible tener cada ventana dentro de un proceso diferente.
La solución más sencilla es duplicar la aplicación que necesita 2 instancias de & arrastre el archivo que desea iniciar a una copia específica de esa aplicación.
Alternativamente, puedes hacerlo en terminal o Applescript / shellscript, pero deberías pasarle los argumentos correctos sobre la marcha ...
do shell script "\"/Applications/myApp.app/Contents/MacOS/myApp\"
+ argumentos [al menos la ruta del archivo]
No estoy seguro de que todas las aplicaciones funcionen con este método, solo lo he probado con estructuras muy específicas con modificadores de línea de comando publicados.