Разводиться ли с мужем?

С мужем женаты уже 9 лет, двое детей, мальчики. Все это время денег нормальных не видели, подарки толком не дарит, деньги есть только на основные нужды (продукты, кредиты, расходы на детей), квартира в ипотеке, машина в кредите. Муж слабохарактерный, ответственность вся на мне, дети на мне. Все надоело. Стала осознавать, что мужа не люблю, не уважаю, не хочу. Мне 31 год, привела себя в порядок, вижу, что мужчины заглядываются. Завела даже любовника, сильного, мужественного, страстного, муж в подметки ему не годится, но женатого. Перспектив с ним никаких, но после этой связи еще больше понимаю, что мужа не хочу как мужчину.
Разводиться боюсь, вдруг будет еще хуже. Но жить с ним тоже не хочу, он постоянно ко мне лезет, требует внимания, а меня все это только раздражает и я еще больше от него отдаляюсь. Боюсь, что дети, видя мое неуважение к нему, вырастут такими же, как он. Хочется найти достойного мужчину, который будет примером для детей, но вряд ли ему нужна будет женщина с двумя детьми.
Что делать - жить дальше с нелюбимым или искать свое счастье?