Если это моё, он будет со мной.?

Добрый день!
Не знаю уже что и делать и как с собой и своими чувствами справиться!
Разошлась с мужем пол года назад. Любила... И люблю... Но... Находясь в этих отношениях теряю себя как личность.
Благодаря себе и своему внутреннему стержню добилась управленческой должности в фирме, которой работаю, за короткий срок!
После развода начала замечать пристальное внимание своего подчинённого, но до определённого времени для меня отношения были Табу!!!!
Толи скука за вниманием и лаской, то ли действительно симпатия, но мы начали встречаться... Но... И тут есть свои преграды... Он женат... Ушёл от жены месяц назад. Говорит что любит меня и хочет быть со мной, но всё равно скучает по жене.
Я не держу.. И это его очень обижает, по моей логики давая выбор человеку, будет справедливо по отношению ко всем. Я вижу что в приятные моменты проведённые со мной, он не думает ни о чем, а как начинаем ругаться так начинается сравнение и метания в сторону жены. Завтра у неё день рождения, и от своей паранойи я схожу с ума... Хотя отвлекаю себя мыслями что если это моё, он будет со мной. Ведь человек ради меня пошёл на такой то шаг.
Как не сойти с ума в этой ситуации?? Или отпустить его и быть счастливой самой??