No quería que se fuera sin habernos despedido

[Michael30000]

Hola a todos,

La frase en cuestión es del libro Tinta invisible de Javier Peña.

Esa al menos fue la causa por la que yo decidí retomar el contacto con mi padre cuando mis hermanos me dijeron que sufría una enfermedad incurable. La primera vez en cuatro años que estuvimos a solas el olor a desinfectante nos atravesaba el alma y disfrazábamos la tristeza detrás de una de esas sonrisas que si te descuidas un segundo se convierten en puchero. La primera vez en cuatro años que estuve a solas con mi padre no quería que se fuera sin habernos despedido.

Does "sin habernos despedido" refer only to the author?
Or does it also refer to "mis hermanos"?

And if it refers only to the author is it possible to say (without change in meaning) no quería que se fuera sin haberme despedido?

Thank you.