Acabo de ver que VLC aún no admite 10 bits (he comprobado el enlace aquí y no veo una versión 1.2) enlace
¿Hay algún otro buen jugador que admita esto?
Los comentarios en el enlace que proporcionas indican que el último lanzamiento nocturno de vlc-git debería funcionar con archivos mkv de 10 bits.
En la página de compilación nocturna de VLC , busque el primer archivo con un nombre de archivo que comienza con "vlc-git-intel" o "vlc-git-intel64". Descarga la primera si quieres la versión de 32 bits, la última para 64 bits. (Aunque los archivos vlc-git no indican su número de versión en el nombre del archivo, la última compilación nocturna, a partir del 10/6/11, es una compilación de la versión 1.2)
Tenga en cuenta que estas versiones se consideran inestables, por lo que puede encontrar errores inesperados al utilizar el software.
También puedes probar MplayerX , que creo que debería ser compatible con videos de 10 bits.
Lea otras preguntas en las etiquetas macos mediaplayer