No quería que se fuera sin habernos despedido

No quería que se fuera sin habernos despedido
 

Hola a todos,

La frase en cuestión es del libro Tinta invisible de Javier Peña.

Esa al menos fue la causa por la que yo decidí retomar el contacto con mi padre cuando mis hermanos me dijeron que sufría una enfermedad incurable. La primera vez en cuatro años que estuvimos a solas el olor a desinfectante nos atravesaba el alma y disfrazábamos la tristeza detrás de una de esas sonrisas que si te descuidas un segundo se convierten en puchero. La primera vez en cuatro años que estuve a solas con mi padre no quería que se fuera sin habernos despedido.

Does "sin habernos despedido" refer only to the author?
Or does it also refer to "mis hermanos"?

And if it refers only to the author is it possible to say (without change in meaning) no quería que se fuera sin haberme despedido?

Thank you.

In this context, I read "sin habernos despedido" as referring to the author and his father. While the text you quote does mention the author's brothers, the text is about the author's father and the author's experience of and feelings about being with his father.

Thank you, wrholt.