Problemas con la ex de mi pareja, creo que se aprovecha de mi novio

Hola, tengo una pareja hace 4 años con la cual vivimos juntos. Cuando conocí a mi pareja esta me contó que tenía una hija, lo cual lo tomé muy bien. Al pasar de los días mi pareja me contó que su hija no era su hija biológica sino que era la hija de su ex, a quien él había criado con ella en su anterior relación la cual duró más de 8 años. Intenté no pensar mal y pensar en que mi pareja era una muy buena persona por lo que había hecho. La hija de mi pareja no tiene el apellido de mi pareja, sino que el de su papá biológico, nunca se formalizó nada. La ex de mi pareja comenzó a comportarse de manera muy molesta cuando se enteró de nuestra relación, no lo dejaba verla y peleaba constantemente recalcando que no era su hija y que se alejara de ellas. Aún así la ex de mi pareja recibía la pensión que mi pareja le daba, hablaba con la mamá de mi pareja (quien le costeaba viajes, celulares, etc.). Comencé a pensar que la ex de mi pareja se aprovechaba de la situación (ya que mi pareja quiere mucho a su hija), ya que no me calzaba que dijera esas cosas pero siguiera recibiendo los beneficios que le da la paternidad de mi pareja. Hoy llevamos 4 años y la relación entre ellos se ha alejado debido a los conflictos mencionados los cuales de han mantenido a lo largo del tiempo. Siento que esto me está afectando mucho, me molesta que ayude económicamente a su ex como si fuera un padre, ya que no lo reconocen como tal. Cada vez me siento más insegura y lloro de vez en cuando pensando en lo importante que es para él dicha relación y el compromiso o lazo que llega a mantener con su ex, ya que pienso todo el tiempo que ella no es la madre de su hija y no se merece tanto cuidado. Últimamente sueño que lloro y despierto llorando. Lo he conversado con mi pareja pero este se niega rotundamente cuando le digo que no es su hija y que debe soportar todo de su ex para poder verla (ya que al no tener el apellido no hay nada legal que les permita verla ni a él ni a su familia). Siento que es un peso con el que cargo y cada vez me duele más. Ya no sé qué hacer, mis cercanos me aconsejan que no debo aguantar dicha relación pero a la vez no quiero ser una mala persona.