No sé lo que siento

Buenas, me remito en busca de ayuda ya que realmente no sé cómo debería sentirme.
La situación fue esta: Estábamos en un comedor de la universidad un amigo, mi novia y yo y todas las mesas estaban completamente ocupadas, en lo que nos fijamos, vi a mi ex pareja. A continuación, no sabíamos qué hacer y casualmente, quedó sitio en la mesa de mi ex y mi novia, quiso sentarse allí, a lo que le respondí negativamente, a lo cual ella me reclamó por qué y simplemente le dije que no quería, porque en ese momento tan solo no quería estar en la misma mesa que mi ex, porque pensé que no sería cómodo.
Y tras varias discusiones, mi novia dice que mi ex aún me importa porque no quise sentarme en la misma mesa que ella.
Le respondí que no pensé en nada en ese momento, simplemente me negué y ya.
Realmente desde ese día tan solo ha ido a peor la relación, y estamos al borde de terminar, ella le dio mucha importancia a ese suceso cuando yo no, realmente no sé qué siento, pero creo que sólo debí haberle hecho caso.
Cabe decir que yo por mi ex no siento nada, me he autoanalizado y sencillamente, podría sentarme en la misma mesa, pero no sé por qué no quise en ese momento.
Y ahora mi novia me pide explicaciones y por qué no quise sentarme allí.
Siento que hasta ahora no me he expresado bien y ella recalca que mi ex me importa cuando no es así.
Realmente, quisiera ayuda porque la solución de terminar mi relación actual por esa tontería no lo veo factible.