Me he estado llevando bien con VisualHub (inactivo) por un tiempo, pero recientemente he necesitado un conjunto ampliado de Codec, en particular Theora y VP8. 1
FFmpeg puede ser lo que estás buscando. Es gratis y soporta Theora y VP8.
Un par de programas gratuitos:
Lea otras preguntas en las etiquetas macos video encoding