¿Puedo sentir atracción por alguien más teniendo pareja?

A lo largo de mi relación, es decir desde un poco más del principio me han atraído diferentes personas, ya sea por su físico o su personalidad, al principio pensé que era porque recién me estaba enamorando de mi pareja, pero con el pasó del tiempo he notado que me sigue pasando. Me puse a analizar si de verdad quiero a mi pareja y llegué a la conclusión de que sí le quiero, lo amo, pero me hace sentir tan culpable el hecho de que yo sienta esto hacia otras personas. Hablé de esto con él, es decir, si a él le gustan más personas o al menos le parecen físicamente atractivas, pero me ha dicho que no, que nunca le pasó algo así, lo que me hace sentir peor aún.
Quiero aclarar que nunca le fui infiel y no quiero serlo, solo es como que me gusta alguien más pero hasta ahí nomas, también le pregunté a algunos amigos y me han dicho que no les pasó ¿es raro?¿está mal? Porque no dejo de pensar en por qué soy así y por qué miro a otras personas siendo que tengo a un ser maravilloso como mi novio a la par. Él me encanta y lo amo tanto no quiero hacerle daño, he planteado en decirle pero siento que solo alimentaría que tenga inseguridades o desconfianza.
Pensé en por qué me pasa esto y no sé si es porque he vivido una situación desagradable como el abuso, que afecta mi percepción del amor o las relaciones personales.