¿Cómo puedo usar una clave ssh con una frase de contraseña pero no tengo que escribir la frase cada vez que se trabaja en un shell remoto?

Aquí está mi situación:

I ssh en un servidor que ejecuta OS X, y desde ese shell remoto quiero realizar push y pulls (a través de ssh) para un repositorio de git cuya copia local existe en este servidor y cuyo origen se encuentra en otro servidor en Internet . (En este caso específico, es un repositorio de bitbucket). He generado un par de claves públicas / privadas ssh con una frase de contraseña en el servidor y cargué la clave pública en bitbucket.

Normalmente, cuando realizaba pulsaciones en mi sistema OS X local, lo hacía a través de una ventana en Terminal.app, y utilizaba el llavero de OS X para manejar mi frase de contraseña ssh de modo que solo tuviera que escribirla una vez por sesión de inicio de sesión. Pero eso no funciona aquí porque estoy trabajando en una sesión remota.

¿Hay alguna forma de no tener que escribir mi frase de contraseña cada vez, aparte de usar un par de claves pública / privada sin frase de contraseña?