Parece depender de cómo se hizo la imagen en primer lugar, & en qué se establece su fondo actual.
Pruebas con ejemplo dado en comentarios Veo el mismo comportamiento que el OP cuando uso la vista previa.
Incluso en Photoshop sucede lo mismo ... a menos que primero convierta la imagen en una capa desbloqueada. Después de eso, el borrado se borrará a transparente.
He probado con otras imágenes hechas en photoshop con transparencia, luego guardadas como jpg. También verifiqué la conversión de jpg a png primero, antes de probar.
Parece que la vista previa no es la única aplicación que saldrá a un color predeterminado, Photoshop hará lo mismo, a menos que primero se convierta en una capa separada. [En Photoshop, puedes elegir el color, pero 'transparente' no es una opción.]
Diría que, por lo tanto, no es un error, es un comportamiento intencionado; Una limitación de una imagen de una sola capa.
No veo forma de evitar esto, excepto para usar un paquete de gráficos dedicado, como Photoshop o Gimp.