Mi esposo se pone celoso de mi ex pareja

Cabe destacar que a mi ex pareja la conocí hace más de 20 años, de los cuales 10 fuimos pareja, nos llevamos muy bien y no terminamos mal, no tenemos hijos ni nada que nos una, más que cosas materiales que aun estábamos solucionando, pero ya con vidas y parejas independientes, tiene 2 años que nos dejamos de los cuales tengo 1 año con mi nueva relación y vivimos juntos. Ocasionalmente mi ex-pareja me habla para saber cómo estoy, aunque le dije que no debíamos hablar más por respeto a mi pareja él no lo deja de hacer (esto no es frecuente), me cuenta sobre su vida, su trabajo y me pide consejo de qué debería hacer en ciertas situaciones. Pero eso me ha traído conflictos con mi pareja actual, al grado que quiere que nos separemos. Yo no siento nada por mi ex pareja y él tampoco quiere nada conmigo, él tiene a su esposa y su hijo, se lo he explicado a mi esposo, pero él no entiende y piensa que lo voy a engañar, yo no quiero seguir con estos problemas con mi esposo, pero tampoco quiero que me manipule con sus celos y me obligue a hacer algo que no quiero, pues a pesar de todo a mi ex pareja puedo considerarle como un amigo.