Siento que no soy buena para él

Quisiera compartirles una situación por la que estoy atravesando a ver si pueden darme su opinión y consejos porque me tiene con mucha ansiedad y no puedo dejar de pensar en esto.
Desde hace como un mes comencé un noviazgo. Yo soy mayor que el por 3 años. Al comienzo de la relación antes de formalizar yo le conté que no era virgen, que ya habia tenido esas experiencias. El si lo es, y yo soy su primera novia. Yo tenia mucho miedo de decirle porque el viene de una familia muy religiosa y estaba preparada para que el me dejara. Pero ese día le conté y me dijo que no le importaba, que lo sorprendió, pero que por esa razón no me hiba a dejar. Pasaron los días y yo quede con la angustia, de que el estaba conmigo por lastima, por ilusión, por fantasias de que soy su primera novia. Y yo decidí volver a hablar sobre eso y contarle todas mis inseguridades le dije que el ya no hiba a ser el primero, que me preocupaba lo que dijeran los demas, que si el quería estar con otra mujer que no tuviera la misma carga emocional, que pensara si podria soportar esto toda una vida, que yo estaba rota y no le podia dar lo que el me daba, prácticamente le pedi que me dejara. El se sintió muy mal, yo pense que me hiba a dejar pero me dijo que se sentia mal porque estaba preocupado por mi, por las cosas horribles que yo estaba pensando y que no podia superar. Me dijo que a el no le interesaba nadie mas que yo, ni lo que pensaran, que el queria estar conmigo y que el me aceptaba y me queria.
Todo mejoro después de eso, me presento a su familia y dice que me ama.
El problema es que yo no suelto la idea en mí mente. Y sus comentarios me hacen pensar de nuevo en el tema. Me ha dicho cosas como "si nos hubiéramos conocido antes" o " que experiencia borrarias de tu vida" y yo pienso que lo hace insinuando el tema. Yo me siento inferior por ese hecho, siento que puede encontrar a alguien mejor con quien compartir su primera vez, y aunque suene horrible me siento sucia y como una cualquiera. El ambiente donde estamos no me ayuda mucho. Su familia, la mia, y nuestros amigos todos son muy moralistas y religiosos, ver que ellos si tienen una relación de pareja donde son sus primeras veces me hace sentir inferior con culpa y que le estoy haciendo un mal a mi novio. Quitandole la oportunidad de estar con alguien mejor con quien pueda disfrutar de eso. Ya no se que pensar. Incluso he dudado de si en verdad me acepta o solo es porque soy su primera novia y todavía esta en la etapa de enamoramiento y muy ilusionado planeando nuestro futuro. Por otra parte me da miedo creer que en verdad no le importa y de que en un futuro me recrimine por las cosas que hice en el pasado o que se pueda sentir inseguro en ese aspecto y cambie de opinión. Yo no quiero hacerle daño. El es un gran hombre, muy honesto y buena persona. Siento que en algún punto voy a hacerle daño por culpa de mi pasado.