Любовник хочет уйти из семьи ко мне... не знаю что делать?

Я замужем, детей нет. Замуж выходила не по большой любви. Муж любит меня, но бывает очень грубый. Но не в этом суть. Не так давно закрутился маленький роман , прекрасным парнем. Он старше меня, так же женат и есть прекрасных двое деток. Когда у нас всё начиналось, думали так, без обязательств (как бы это дико не звучала)/у нас есть семьи и никто никому ничего не должен. Он очень славный парень.. Такую заботу как от него , я никогда не получала. Нам хорошо вместе. И тут, случилось то, чего не ждали... У нас появилось сильное привыкание друг к другу. И мы влюбились. Он собирается уходить от жены. Но.. Я не знаю что мне делать, я его очень люблю. На душе тяжело. Он из-за меня собирается бросить семью. Маленьких деток. Он безумно их любит. И это очень заметно. Но и оставаться с семьёй он не хочет.. Не раз пыталась с ним разорвать отношения, чтобы не разрушить семью. Но не получилось.... Уж очень сильно полюбили друг друга. Как быть в этой ситуации и что делать. Подскажите пожалуйста...