EDITAR: La siguiente es una solución parcial. Funcionará a nivel de shell como se esperaba, pero en Finder se puede omitir con el usuario if si es admin o conoce el ID de usuario admin & contraseña. Ver comentarios a continuación ...
Consulte la página del manual en chmod
y encontrará ...
The following permissions are applicable to directories:
list List entries.
search Look up files by name.
add_file
Add a file.
add_subdirectory
Add a subdirectory.
delete_child
Delete a contained object. See the file delete permission
above.
Entonces el comando que estás buscando es ...
$ chmod +a "staff deny add_subdirectory" test
para prohibir que cualquier miembro del personal del grupo cree subcarpetas y luego las pruebas deberían proporcionarle
$ mkdir test/subtest
mkdir: test/subtest: Permission denied
Donde al crear un archivo ...
$ touch test/blah.txt
$
no hay problema. También deberías encontrar que Finder también tendrá la opción Crear carpeta deshabilitada.
HTH