Он не хочет разрушать семью

У меня вот какая проблема.
Я не буду рассказывать всю историю целиком, просто расскажу самое последнее.

Я замужем, двое детей (старшему 4,5 года). Но замуж я вышла не по любви. Так бывает в жизни. Очень сильно люблю другого человека. Он моя первая любовь. У него ко мне взаимные чувства.

И вот недавно я спросила: "А почему мы не можем быть вместе? Мы же любим друг друга!"
На что он ответил: "Пойми! У меня есть одно заветное правило - не разрушать семьи! Я не хочу стать причиной распада твоей семьи!"

Как это понимать? И есть ли у меня шанс быть счастливой с этим человеком?