Puede eliminarlo, pero mi experiencia ha sido que con el tiempo lo querrá de nuevo, e incluso como desarrollador de Apple puede perder el acceso en el futuro a medida que actualicen xCode.
No es un gran problema si no planeas mantener tus aplicaciones más antiguas, siempre las mantendrás actualizadas y las trasladaremos a las nuevas versiones de xCode cuando salgan, pero la transición de xCode 3 a 4 fue difícil para muchos desarrolladores, e incluso ahora se desarrolla algún software en xCode 3 para admitir el desarrollo de unidades de núcleo para OS X 10.4, que ya no es totalmente compatible con xCode 4.
En general, su mejor opción es almacenar esa aplicación de instalación en algún lugar al que pueda acceder más tarde. No es necesario que esté en tu Mac todo el tiempo, pero es posible que lo necesites más adelante. Si desarrollas algo, es posible que tengas que actualizarlo más tarde.