El papa de mis hijas no acepta que yo tenga una nueva pareja

Tengo 2 hijas de 9 y 13 años de una relación anterior, y hace 3 años decidi rehacer mi vida con otra persona, es un compañero de trabajo un hombre bueno, centrado, respetuoso y que me quiere. Mis hijas y el se llevan bien, aun no vivimos juntos pero de vez en cuando compartimos tiempo los cuatro, cosa que el papá de mis hijas no esta de acuerdo, el es una persona conflictiva y se enoja por todo hasta el punto de ponerse fácilmente con actitud grosera, y mas desde q sabe que tengo una pareja y mis hijas lo conocen en varias oportunidades les ha dicho, que no deben acercarse al "tipo ese" , que "TODOS" los padrastros son violadores, les dice a las niñas que no se acerquen a el, que mucho cuidado, que ese tipo es un aparecido, que lo conoci "ayer" las niñas le contestan que es buena persona y que las respeta y nunca ha hecho nada de eso, ni abrazoa ni nada, pero el papa las manda a callar; hace unos dias celebre el cumpleaños de mi hija bueno una torta y dulces, invitamos a mi novio, mi hija estuvo de acuerdo y cuando ella invitó al papá lo primero que preguntó fue que si iba mi novio entonces el no iba...y no fue, pero el dia despues de la fiesta me llamó demasiado grosero gritando que porque habia llevado al "tipo" ese, que era un aparecido etc etc que los padrastros son violadores etc etc, me tocó colgarle porque ya estaba muy irrespetuoso, no se cómo manejar esta situación, tambien en la llamada me decia que yo les estaba metiendo en la cabeza a las niñas que mi novio era una buena persona, y que yo creo que me conseguí la ultima "coca cola" en el desierto....ni siquiera nunca lo ha visto, no lo conoce pero para el solo por el hecho de que yo este con otra persona y le vaya puesto padrastro a mis hijas ya lo ve mal, inclusive les dijo a las niñas que no estaba bien que un tipo se "metiera" con una .mujer con hijos..recibo consejos, PD el papá solo aporta los almuerzos de 3 dias de la semana para las niñas y las loncheras de ellas nada más, TODO lo demás soy yo la que pago todo.