No existe tal cosa como un DVD "con formato de Windows". Los DVD y CD-ROM tienen su propio formato, que es compatible con Windows, Mac, Linux y todo tipo de dispositivos, reproductores multimedia, etc.
Recomendaré pruebas:
1) ¿Puede la Mac reproducir otros DVD que no sean los problemáticos?
2) ¿El DVD problemático se reproduce en otra PC?
Si la prueba 1 es negativa, intente resolver el problema con la unidad de DVD en la Mac, por ejemplo, limpiando la lente, etc. Tal vez considere comprar una unidad de DVD USB externa.
Si la prueba 2 es negativa, intente limpiar el propio DVD y compruebe si tiene rasguños, etc. Es posible que no pueda recuperar completamente todos los datos del mismo.
Si ambas pruebas son positivas, es posible que tenga un DVD que se esté llenando con datos, es decir, aún no se haya finalizado. Luego deberá finalizar el disco, lo que se hace con mayor facilidad utilizando el software original que utilizó para grabar datos en el disco.