¿Por qué me afectan cosas insignificantes?

Padecí e intenté curarme varias veces de una fobia social hace tiempo, pero con el tiempo y mi falta de relación con los demás, que es la mínima que puedo, esa fobia social ha quedado como latente, es decir, no eliminada pero tampoco me afecta demasiado, ahora me afecta una depresión con la que llevaré 5 años o mas, comento esto mas que nada para que sepan un poco de mi antes de ir al problema que no he conseguido resolver en mis 45 años de vida y es que todo me afecta demasiado, soy hombre y en teoría los hombres somos menos emocionales y si bien es cierto que puedo disimular muy bien mi estado de animo y que pocas personas se enteren de como me siento(ni se lo imaginan salvo en momentos donde ya no pueda disimular mas), pero la realidad es que por dentro por casi cualquier cosa que de algún modo me sienta infravalorado, me afecta demasiado, lo que hace que una interacción normal, un gesto, una mirada, etc que ha pasado a las 9 de la mañana yo le este dando vueltas dentro de mi durante días en un pensamiento cíclico constante, me ha pasado desde los 15 años y no he conseguido resolverlo, esto, entre otras cosas, ha hecho que mi vida se haya estancado pues el resto de la gente estas cosas le afectan 5 minutos y siguen con su vida pasados esos 5 minutos, pero yo no puedo, de algún modo solo me siento bien si enfrento eso de un modo agresivo, pero como digo es agresivo e intimidatorio y no creo que sea una solución, aparte de que no soy muy dado a esa respuesta, pero cuando lo he hecho me he sentido muy muy bien.
He trabajado durante años esto en terapia y no puedo quitarme de ello, esta intrínseco en mi, una mirada, un mal gesto, hasta el comentario aparentemente mas inofensivo me puede llegar a afectar muchísimo.

¿Cómo lo supero?