Ser la amante y después la esposa

A la edad de 19 años me enamoré de un hombre casado, él me conquisto y comenzamos una amistad de 6 meses, luego de eso comenzamos una relación por 11 años. El siempre era muy amoroso y atento conmigo, nos mirábamos diario, hasta escapada de fin de semana. Siempre me decía que tenía problemas con su esposa y que no le interesaba, para ese entonces solo tenían una niña. Después de 8 años me doy cuenta de que su esposa está embarazada y me dolió muchísimo porque decía que vivían prácticamente como hermanos. Intenté dejarlo, no contestaba sus llamadas y me perseguía y me buscaba en mi trabajo. Me pidió perdón y me dijo que fue una noche de copas y que pasó. Yo comencé a estudiar y dejé de verlo, de contestar sus llamadas casi por 2 años, donde él siempre llamaba, se presentaba a mi trabajo, me buscaba, pasaba por mi casa, incluso llegaba a mi casa. Bueno, después de eso volví con él, ahora más intenso porque lo amaba y lo amo. Se divorció por civil y nos casamos civilmente, hemos tenido 3 niños y seguimos enamorados. El problema ha sido integrarme a su familia ya que no me aceptan ni me invitan a sus reuniones, prácticamente me ignoran y no me siento valorada. La hermana de él se lleva muy bien con la ex y pone fotos siempre con ella o si estoy presente siempre está hablando de ella para molestar. He tomado decisión de alejarme de esa familia pero me entristece en fechas especiales como navidad y cumpleaños no asistir con mi esposo porque él va solo, no sé qué hacer. No sé si es correcto retirarme e ignorarlos. Para mi cumpleaños ni me felicitan, ya son 27 años de conocerlo y 13 años de estar juntos, tres hermosos niños, ¿qué me recomiendan hacer con la familia de mi pareja?