Me cuesta aceptar a los hijos de mi pareja y me siento mal por ello

Hola a todos! Hace dos años conocí a un hombre maravilloso, en un principio me frené a conocerlo más porque el tiene dos hijos mellizos de nueve años (es divorciado) y me echaba para detrás ya que yo nunca he querido tener hijos ni parejas con niños. La cosa es que aunque le di una negativa el insistió y nos acabamos conociendo más y más hasta que nos enamoramos, es un hombre maravilloso y me hace muy feliz hasta que empezamos a vivir juntos. Él tiene custodia compartida por tanto una semana tiene a los niños y otra no, el asunto por no alargarme es que me cuesta horrores estar emocionalmente estable la semana que él tiene a los niños y me siento fatal por eso. Las semanas que estamos nosotros solos estamos super felices y relajados, es llegar los días que vienen los niños y él se estresa y está de mal humor por las responsabilidades que acarrean esos días. Me cuesta muchísimo adaptarme a convivir con unos niños, son buenos pero a veces me sacan de quicio y he llegado a sentir celos y rabia, me siento fatal por ello, cuando ellos no están estoy súper a gusto tranquila, pero cuando ellos están me cambia el humor y me cuesta mucho adaptarme a la convivencia, me daría rabia rechazar el amor que siento por mi pareja por sus hijos y por eso no he roto la relación, estoy echa un lío, llevamos un año viviendo juntos y me mata el sentir que sería super feliz sin esos niños, por supuesto mi pareja no sabe nada de esto porque me mandaría a paseo...