La utilidad screencapture tiene un interruptor -w que permite capturar la ventana frontal, pero solo después de resaltar la ventana y obtener un clic del usuario.
¿Hay alguna forma de capturar la ventana frontal de forma no interactiva utilizando algún comando de shell?
La opción -l permite capturar una ventana por ID. Solo se muestra en el mensaje de ayuda y no en la página de manual.
No conozco ninguna forma de encuentra las ID de ventana que funcionarían con todas las aplicaciones. Esto no funciona con Vista previa, Monitor de actividad o Chrome:
screencapture -l $(osascript -e 'tell application (path to frontmost application as text) to id of window 1') /tmp/screencapture.png
Lea otras preguntas en las etiquetas screen-capture