Simplemente instale openssl a través de Homebrew. Contiene todo lo que necesitas.
EDITAR: intenté compilar UnrealIRCd con openssl instalado y se compiló correctamente.
EDIT2: en varios administradores de paquetes, un paquete de software se divide en tiempo de ejecución (usado por otros softwares para ejecutar) y paquetes de desarrollo (usados para compilar los otros softwares).
Por ejemplo, openssl es un tiempo de ejecución y openssl-devel es un paquete de desarrollo en esos administradores de paquetes.
Sin embargo, los paquetes en Homebrew no se separan de esta manera, solo contienen ambos.
Esta es la razón por la que simplemente instalar openssl está bien en Homebrew.