Lamento decir esto, pero la única manera de instalar un cliente de Bittorrent con macOS es obtenerlo desde cualquier lugar que no sea la tienda de aplicaciones de Mac.
Tenga en cuenta que macOS High Sierra es libre de la Mac App Store. Así que no hay razón para hacerlo de otra manera.
Es posible que el cliente de torrent de bits se haya instalado previamente por algún otro medio, posiblemente como un troyano o virus de algún otro tipo.
Si fuera tú, arrancaría en modo de recuperación, reformatearía tu disco duro e instalaría todo desde cero. Esperemos que tengas una buena copia de seguridad no contaminada .