Puede ser diferente dependiendo del tipo de aplicación que estés usando, pero en general, es bueno actualizar desde 4 GB a 8 GB ya que 4 GB no es mucho para una Mac y estás usando Xcode.
La aplicación iPhoto puede no cambiar mucho, ya que tiene que cargar muchas fotos, su latencia depende más del disco en lugar de la memoria.
El valor de la memoria virtual puede no ser muy informativo, debería mirar más el intercambio utilizado justo debajo de la memoria virtual, esta es la memoria que realmente está almacenada en el disco ya que la memoria física no es suficiente.
Si ve que el intercambio utilizado es a menudo más de cero, su prioridad debe ser absolutamente cambiar para 8 GB de memoria. De lo contrario, la instalación de un SSD podría ser una mejor opción, aunque eso es más caro ...
edición 1:
En términos generales, recomendaría actualizar la memoria en lugar de actualizar a un SSD.
Un SSD solo afecta la velocidad de carga de las cosas, es decir, el tiempo que tarda la computadora en iniciarse o en que una aplicación se cargue sola. Pero el tamaño de la memoria afecta la velocidad de las aplicaciones cuando abres muchas.
En la Mac, el concepto está cambiando cada vez más para mantener la aplicación inactiva en segundo plano en lugar de cerrarla por completo, lo que permite que las aplicaciones respondan rápidamente ya que no tenemos que volver a cargarlas desde el disco.
A pesar de la tecnología de compresión de memoria de Apple, abrir muchas aplicaciones aún requiere una cantidad considerable de memoria, por lo que la actualización de la memoria evita que la mac cambie parte de la memoria al disco, y la hace más rápida cuando tienes muchas aplicaciones en segundo plano.