He experimentado algo similar y siempre sospeché que eran las fotos en el teléfono antes de que se habilitara la biblioteca de fotos de iCloud. La única forma que conozco de eliminarlos es manualmente o mediante una sincronización manual en mi Mac usando Image Capture, que le da la opción de eliminar todas las fotos copiadas en la Mac. Tenga en cuenta que estoy sincronizando con una carpeta de Mac, no con Fotos.
No estoy seguro de lo que se supone que suceda, pero estaba tratando de forzar a mi iPhone para que solo tuviera copias optimizadas, así que desactivé la biblioteca de fotos de iCloud, borré las fotos que quedaban y luego volví a encender la biblioteca de fotos de iCloud. Las fotos procedieron a eliminar todas las fotos que había eliminado manualmente de mi iPhone de la biblioteca de fotos de iCloud. Eso fue inesperado, pero no una gran crisis porque los restauré de "Eliminados recientemente". Sin embargo, aprendí a no asumir que entendía iCloud Photo Library lo suficientemente bien como para pensar que podría hacerlo de mi voluntad.
Después de esas experiencias, si quisiera sacar un dispositivo completamente de la biblioteca de fotos de iCloud, lo borraría y lo reconstruiría desde cero en lugar de una copia de seguridad. Doloroso, pero la única manera de estar seguro.