La característica autoOpen
es una marca simple que debe establecerse dentro del encabezado del archivo.
Los detalles del formato de archivo están ahí:
enlace
Se explica que el desplazamiento 0x58 de la sección del "encabezado" se debe establecer en un Int32 que represente el ID del directorio que se debe abrir (0 para ninguna, 1 para el padre de la raíz, 2 para la raíz, 0xXXXXXXXX para el directorio con ID 0xXXXXXXXX).
Tampoco olvide que el encabezado está comenzando en el desplazamiento 1024 (0x400), por lo que el desplazamiento total debe ser 0x0458 .
Probó el siguiente comando con éxito:
printf '\x00\x00\x00\x02' | dd conv=notrunc of=$dmg_file bs=1 seek=$((0x0458))
donde $ dmg_file es tu archivo dmg.