¿Mi familia o la persona de la que estoy enamorado?

Hola, tengo 51 años. Casado hace 28 años con 2 hijas universitarias. Desde fuera una familia perfecta. Mi matrimonio nunca fue apasionado, aunque vivía tranquilo, sin discusiones. Una vida normal, sin pasión ni apenas cariño ni sexo. Yo quiero a mi mujer y no tengo nada que reprocharle. Nunca fui infiel.
Hace un año comencé una relación con una compañera de trabajo 20 años menor. Me he enamorado de ella y es un sentimiento muy fuerte. Ella es de origen latino, familia desestructurada, con novio formal (le dejó por mi)... Desde fuera se podría interpretar como una relación de interés por su parte. No es así... o eso creo. Ella es joven, pero brillante y tiene estudios universitarios. Tiene un futuro prometedor sin mi.
Hace 5 meses le dije a mi mujer que estaba con la otra persona. Su reacción fue que quería luchar por nuestra relación. Yo accedí y ella realmente ha cambiado. Se muestra cariñosa y está esforzándose porque tengamos una relación más pasional. Es increíble lo que está aguantando y luchando por seguir juntos. Aunque a mi me cuesta cambiar lo que siento.
Dejé a la otra persona. En estos 5 meses he intentado irme de casa 5 veces y finalmente cambiar de opinión por miedo. Con las consiguientes rupturas con la otra persona. He hecho mucho daño a las 2 y yo tampoco estoy bien.
No paro de pensar en la otra persona y al final siempre acabamos volviendo.
Irme me da pánico porque mi mujer es probable que entre en depresión, pierda a mis hijas y mis amigos; y económicamente perdería bastante.
Por otro lado no estoy bien con mi mujer y pensando siempre en otra persona. Cuando estoy con ella es impresionante. Aunque tengo dudas sobre cómo sería una convivencia y la rutina porque nunca hemos sido una pareja normal.
Nadie va a entender si dejo a mi familia. Y en su familia tampoco van a encajar que dejó a su novio de siempre por un sr 20 años mayor. Ella no descarta tener hijos y supone empezar una vida desde cero, quizás fuera de Madrid.
Esta todo en contra y creo que por eso nunca fui capaz de dar el paso. Por otro lado estoy enamorado como nunca me ocurrió en 50 años.
Estoy hecho un lío. Cualquier ayuda sería bien venida.