La mejor manera de controlar el tamaño del texto sería convertir el archivo a texto / markdown. De esa manera usted tendría control total sobre el tamaño.
Realmente depende de su habilidad para editar inDesign o simplificar el formato allí para ver si puede modificar las cosas allí para aislar la parte del nativo - > La conversión de ePub que se está ejecutando de manera irregular.
Si eres bueno allí, toma un enfoque más simple para arreglar las cosas. Si no tiene aptitudes o tiempo para aprender a diseñar o limpiar el formateo del documento (he visto algunos archivos de PageMaker que se movieron a inDesign que están increíblemente complicados y es necesario eliminarlos y volver a empezar desde el texto).
Lo siento, no puedo ser más específico. Si desea hacer una pregunta de seguimiento con detalles específicos sobre qué elemento se está convirtiendo o puede cargar un caso de prueba mínimo, alguien podría tener una mejor idea sobre cómo evitar la conversión deficiente de un formato a otro.